计算机大数据分析与云计算网络技术

计算机大数据分析与云计算网络技术

樊超1李国军2

（1.中国软件与服务股份有限公司；2.北京歌华有线电视网络股份有限公司）

摘要：大数据和云计算的快速发展对国内外都产生了重大的影响，同时也引起了广泛的关注和重视。大数据分析具有可视化分析、数据挖掘、预测性分析、语义分析、数据质量和数据管理等方面的特点，而云计算具有虚拟化、分布式存储和分布式计算的特点，与传统的计算方式和存储方式相比，它们都更加具有优势。本文主要从现有的时代背景出发，对大数据和云计算的相关内涵和理论进行分析，同时重点阐述了两者的优势，最后将现有的图书馆服务融入到其中，更好的体现出计算大数据分析和云计算网络技术的前景。

关键词：计算机；大数据；云计算；网络技术

引言

在互联网技术和信息技术的不断发展之下，计算机正在对人们的生产、生活和工作方式进行改变。在这样的背景中，数据处理的重要性被重点凸显出来，因此需要相关人员对此进行重视。具体来说，数据指的就是对事实或者概念的一种表达形式，可以采用人工或者自动化的装置对其进行处理。数据处理具体来说就是对数据进行采集。存储、检索、加工和传输。

一、大数据和云计算的相关理论

（一）大数据的内涵

大数据指的就是无法在一定的是时间范围内使用常规软件工具进行捕捉和管理以及处理的数据集合，因此需要一种新的处理模式来进行处理，这种处理模式需要具有更强大的决策能力、发现能力以及流程优化的能力，这样才能进一步的从海量和多样化的信息资源中寻找到有效信息。大数据的核心理念就是使用一种以传统方式更有的技术来对海量的数据进行管理并且提取出相关价值。大数据分析是大数据理念和方法的核心内容，指的就是对类型多样和增长速度极快的数据进行分析，进而从中寻找到能够帮助决策的隐藏信息[1]。

（二）云计算的内涵

云计算是一种分布式运算和计算的方式，它是集计算、网络储存、虚拟化和负载均衡等传统的计算机和网络技术发展和融合的产物。

（三）大数据和云计算的关系

对于大数据和云计算来说，这是两种不同的概念，但是这两种概念又具有非常密切的联系。云计算相当于是计算机和操作系统，是将大量的硬件资源进行虚拟之后再进行一定的分配和使用，而大数据就相当于海量数据的数据库。对于云计算来说，它更加侧重的是计算的能力，对IT架构和解决方案比较重视，尽可能的减少部署成本。而大数据侧重的是对数据的潜在价值进行挖掘。两者之间还是相辅相成的关系，云计算可以提供可以扩展的计算和存储资源，在大数据分析的阶段，云计算可以对数据处理速度和价值信息的安全性进行一定程度的保证。从现有的状况可以看出，云计算和大数据已经有机的融合在一起，也成为了大数据服务的基础设施。

二、大数据分析和云计算网络技术的优势和缺陷

（一）大数据分析的优势和缺陷

1、大数据分析的优势

（1）可视化分析

可视化分析的基础理论主要包括的就支持分析过程的认知理论、信息可视化理论和认知理论，重点研究的内容就是从大数据中获取信息并且形成知识的过程。通过可视化分析，人们可以清晰而且直观的认识到数据的结构和数据的特点，进而带给人们一定的安全感。对于面向主流的信息可视化技术来说，主要可以包括文本可视化、网络可视化、时空数据可视化、多为数据可视化等等。

（2）数据挖掘技术

大数据分析的核心就是挖掘，从大量复杂的不规则数据中，获取隐藏的有潜力价值的信息和知识的过程，这个基本的过程包括数据准备、数据挖掘、解释评估和知识运用等环节。对不同的数据类型和数据格式进行不同算法的挖掘，这样可以让数据分析更加科学的展示在人们的面前，通过这样的方式进行的数据分析才能让数据分析的结果更加有价值。

（3）预测性分析

预测性分析是利用统计、建模和数据挖掘工具对已有的数据进行研究进而完成一定的预测工作。预测性分析是数据分析中的重点内容，人们可以通过预测性分析对未来进行预测，进而更好的提高决策的效果。预测方法从技术上可以分为定性预测和定量预测[2]。

（4）语义引擎

对于大数据分析来说，非结构化数据与异构数据的多样性给数据分析带来了不小的挑战和困难，因此需要更多的工具去进行解析、提取和分析。语义引擎的设计就是需要其从文档中智能的进行提取信息，然后还要从大数据中挖掘出一定的特点，通过科学建模输入新的数据，进而对未来的数据进行一定的预测。语义分析技术是一种智能语义分析，主要有三个方面：一是要通过语义识别，对非结构化的社会性信息进行处理，二是要通过对大规模的程序计算，自动的对持续快速增长的大数据进行分析，三是通过人工智能对信息进行及时的处理，进而提高数据处理的时效性。

（5）数据质量和数据管理

对于数据质量和数据管理的内容来说，不管是商业应用还是学术应用，都是一个不可忽视的重要组成部分。大数据分析和数据的质量以及数据的管理之间有着非常重要的联系，高质量的数据分析和高效能的数据管理对于行业的发展有着非常重要的影响，这样可以更好的对数据分析结果的有效性进行保证。

2、大数据分析的缺陷

（1）隐私泄露

在现代高效快速发展的阶段中，大数据的发展是非常具有潜力的。但是在这样的背景之下，各个行业之间的互动信息和一些个人的隐私也容易出现泄漏的情况，这对于个人的活动来说具有一定的负面影响。

（2）虚假信息泛滥

在大数据时代的背景下，海量的数据信息没有经过一定的验证就被各大平台传播出来，非常容易被有心之人进行利用，这样就会演变成虚假信息。另外，恶意的虚假信息还会引起恶性事件的发生，对整个社会的发展都造成不小的负面影响。

（二）云计算网络技术的优势和缺陷

1、云计算网络技术的优势

（1）降低计算成本

传统的计算方式是利用计算机上的软件进行运算的，因此需要一定的硬盘空间和处理的能力。但是对于云计算来说，它是将所有的计算都放在云端，因此对计算的成本进行了降低。

（2）改进性能

对于云计算来说，它不需要相关的程序，因此在计算机中所需要的程序和进程是比较的，因此可以进一步的提升云计算的效率。

（3）存储空间增大

因为云计算是在云端来完成的，因此相较于传统的计算方式来说，它有着接近与无限的存储空间，这是非常方便的一个特点。

（4）数据存储相对安全

传统的数据存储方式大部分就是硬盘等设备，他们的存储空间都是十分有限的，除此之外，因为设备本身的问题，也容易出现一些数据的丢失和泄露等等，容易造成一定的损失。对于云计算来说，将数据存储到云空间就不会出现这样的情况。

2、云计算网络技术的缺陷

（1）安全性的进一步保障

云计算的存储空间是接近于无限大的，但是云计算网络对于用户数据的安全没有十分有效的保障，因此对于云计算的网络安全性来说，还具有一定的隐患漏洞。

（2）虚拟化有一定安全隐患

在虚拟化技术的背景之下，很多内容都发生了一定的改变。比如说，在虚拟技术的影响之下，操作系统和硬件之间的关系发生了一定变化，这两者的变化同时也会导致存储和运算出现一定的变化，因此对于云计算的网络虚拟化来说，这其中也存在着一定的安全隐患。

三、大数据分析和云计算技术在图书馆服务方面的应用

（一）大数据分析和云计算技术为图书馆服务带来的发展机遇

1、有利于图书馆对丰富的数据资源进行整合

在大数据的环境下，图书馆除了有图书、期刊和报纸以及数据库和自建库等资源之外，还包括着行业的数据、站点数据和社交网络数据以及外部网络数据来源等等，这些数据在每天都呈现出一定的爆炸式增长，不仅具有总量大的特点，还具有类型复杂的特点，主要是以半结构化数据和非结构化的数据作为主要的内容。对于这种现状来说，如何将数据进行有效的整合是更加重要的问题，云计算可以为数据整合提供一定的基础和便利。对于图书馆来说，它可以将数据资源存储在云服务器上，然后形成多个地区的图书馆资源聚合中心，进而通过网络进行资源的获取和云管理。同时还可以在使用的过程中进行进一步的丰富，进一步的大数据带来的数据问题进行解决。

2、有利于图书馆提供更加针对性的用户服务

不同的用户信息在时间和空间上会具有一定的差异性，图书馆想要更好的对用户的需求进行满足，目前来说还面临着一定的挑战。在大数据环境下，用户的信息行为会在信息系统和社交系统中留下一定的痕迹，然后图书馆就可以对用户的大数据进行整合和分析，从多个角度对用户群体进行了解和分析，对用户群体的需求进行精准的把握，同时也让不同群体的用户去修需求可以得到一定的预测，从而提供出更加具有针对性的个性化的服务[3]。云计算技术具有极强的预算能力，它不仅能够实现图书馆大数据的高效流通和分析，还能在数据分析之后，使用私有云的技术将分析记过导入到图书馆的内部，非常具有便利性。

3、有利于图书馆扩展服务功能的实现

图书馆的服务与图书馆的生存和发展具有直接性的关系，同时这也是图书馆的价值体现。在网络环境和知识经济的影响之下，图书馆服务从文献服务到信息服务再到知识服务的转变，让图书馆的服务对新技术和新环境具有较强的适应性。在大数据时代的到来，图书馆资源变得更加丰富，用户的需求也变得而更加多样和复杂，图书馆的服务内容开始从传统的文献服务、科技查新和参考咨询等服务转向大数据开放、大数据使用和大数据挖掘和分析的阶段，云计算大和大数据的有机融合为图书馆服务的虚拟化和个性化以及智能化提供了更多的技术支撑，在对这样内容都进行一定的深入分析之后，就可以更好的对图书馆的用户需求和业务趋势进行预测，进而对图书馆服务的质量进行提升，提高用户体验。

（二）基于云计算和大数据分析的图书馆服务架构

1、图书馆的大数据存储

在云计算和大数据的环境下，图书馆的数据资源变得越来越多，同时它的来源也比较广泛，而且也类型也具有一定的多样性。传统的图书馆存储设备和技术已经不能满足现代的图书馆数据资源，因此云储存这种方式成为了现代数据资源存储的重要方式，它具有可靠性高和成本低以及易于扩展的特性。云存储主要包括私有云和公有云两种部署方式，对于公有云部署来说，它具有较强的灵活性和可扩展性，而私有云则更加的安全和可靠，同时也比较便于进行控制。图书馆的大数据可以分为内部的保密数据和可以共享的数据，而混合式的云存储则可以更好的与现有的基础设施进行结合，能够很好的提高大数据存贮的效率和水平。

2、图书馆的大数据处理

图书馆的大数据分布式储存给数据处理带来了一定的复杂性，海量存储又给数据处理的时效性带来了一定的时效性要求，目前来说，这是图书馆大数据处理层需要解决的重要问题。对于传统的图书馆自动化系统来说，它已经无法满足对于大数据处理的各种要求，相比较而言，云计算的技术已经成为大数据处理的最佳选择。通过有云计算的处理方式，将传统的查询、分解和数据进行性分布式的处理，然后把处理任务分配到不同的处理阶段上，让其具有很强的并行能力，进而实现在多个处理点上灵活调度的情况。通过这样的方式，可以实现计算资源和存储资源的优化配置，进一步的对数据处理的速度进行提高，它的主要原理就是先分后合的方式。对于图书馆大数据处理来说，其中遇到的很多数据问题都可以通过与计算的方式来进行处理，具有比较强的适用性。

3、图书馆的大数据分析

在大数据的环境下，数据已经成为了重要的资产和资源，将海量大数据中的信息进行处理和分析是非常重要的内容。对于数据处理的工作来说，基本上都是为了更好的实现价值目标而服务的，在对图书馆的大数据存储和相关的处理问题进行解决之后，再进行数据的分析，提取出有价值的信息和实质。在面对大数据的时代的情况下，实时数据、关联数据、动态数据和非结构化数据等等，各种方面开始为大数据的分析提供一定的发展空间。对于数据的分析来说，它是离不开技术的支撑的，云计算的弹性扩展能力让它成为大数据分析的重要选择，混合云技术可以为大数据分析提供一定的帮助，这样既能对分析的速度进行保证，能够也能对数据的安全性进行保证[4]。

（三）基于云计算和大数据环境下的图书馆服务方式创新

1、基于数据管理的数据服务

图书馆是一种信息中心，尤其是对对于高校图书管和科学专业图书馆来说，科研支持是其重要的职责。对于传统的图书馆科研来说，它的主要关注点在于研究者的最终科研产品上，属于一种辅助科研的角色。在大数据时代的发展之中，半结构化和结构化的数据开始成为科研数据的重要组成部分，科研人员在数据搜集和管理方面面对着比较大的挑战，在这样的被江中，图书管理的数据服务应该从关注最终的科研产品转变到关注整个研究过程上来，在数据管理的基础之上，更好的为科研人员提供开放性的数据服务。为了更好的提供图书馆的数据管理服务，目前有一部分图书馆开展了相关的科学数据服务实践项目，这对拓展图书馆服务具有重要的意义。

2、基于知识发现的学科服务

学科服务是面向不同专业、院系和读者的一种多层次的服务体系，这种服务可以更好的对学科发展中的资源需求进行满足，这种基于知识发现的学科服务已经在我国有了十多年的发展历史，它所涉及到的主要技术有信息抽取、信息过滤、数据与文本挖掘等等。在大数据的环境之下，学科的前沿知识正在不断的发展，用户可以通过搜索引擎进行信息的获取，但是其中可能会有一定的数据不确定性和不全面性。对于图书馆这样的场所而言，它是一种知识服务性的平台，可以利用相关的知识对新的技术和方法进行探索，同时从学科的大数据中也能挖掘出更多有价值的信息，为不同专业的用户所用[5]。

3、基于用户研究的定制服务

个性化的定制服务对于数字图书馆具有重要的作用，它是以用户为中心而发展的服务模式。在大数据到来的时代中，个性化的定制服务成为发展的重要内容，图书馆作为重要的场所，拥有比较丰富的用户数据，通过对这些数据进行挖掘和分析，可以对用户的基本信息进行掌握，进而方便为用户提供具有针对性和个性化的信息服务，同时还能在一定程度上对用户的需求进行预测。通过大数据和云计算技术的使用的，可以进一步的提高图书馆个性化服务和定制服务的可靠性和匹配度。

4、基于数据应用的可视化服务

在大数据的发展环境中，在对大量的数据进行分析和应用的时候，对于用户来说，他们更加喜欢使用可视化的方式来对数据分析的结果进行展示，这样可以方便接收和理解。对于图书馆来说，可视化的工具可以让科研相关领域的研究成果更加直观的展示出来，进而让一个领域的发展现状和知识结构变得更加可视化[6]。另一个方面，图书馆可以为用户提供一定的可视化方案，可以针对客户的某项具体的需求进行具体的可视化方案设计，比如说为企业提供一定的专利地图和专利信息等等。另外，在人员和资金足够的情况的下，图书馆还可以开发相关的软件，进一步的对用户的多方面需求进行满足。

结语

综上所述，网络技术和计算机技术的不断发展为人们的工作和生活提供了更多的便利，大数据的分析及其云计算网络技术的发展为各个领域的发展提供了重要的技术支撑，对各个行业的发展都具有重要的影响。从目前来说，大数据分析和云计算还面临着重大的挑战和机遇，人们必须要采取科学的态度和应用方式对其进行科学的发展。

参考文献

[1]乔岚.计算机大数据分析与云计算网络技术探析[J].工程技术研究,2018(12):17-19.

[2]殷齐龙,王军策.浅谈计算机大数据分析与云计算网络技术[J].信息与电脑(理论版),2018(17):121-123.