大数据处理技术应用分析

大数据处理技术应用分析

韩佳兴1,赵佳伟1,王永胜2

（辽宁工程技术大学软件学院  辽宁省兴城市  125100）1

（辽宁工程技术大学电气与控制工程学院  辽宁省兴城市  125100）2

摘 要：在如今社会经济飞速发展的大环境下，大数据处理为人们的生产、生活带来了诸多改变，推动了社会生产力的发展。文章首先对大数据处理技术的相关概念进行阐述，然后通过分析说明了大数据采集及预处理技术应用现状、难点及挑战，最后以智慧校园建设为研究案例，对大数据处理技术的应用要点进行分析，具有现实指导意义。

关键词：大数据；处理；技术

0 引言

随着生产力的不断发展，计算机、通信网络、互联网技术逐渐影响着这个世界。近年来，大数据技术逐步成为我国未来发展的基础，包含无限的潜力。大数据技术包括数据收集、数据转化、数据储存、数据处理分析、数据应用等多个环节，大数据处理技术是其中至关重要的一部分。无论是企业、医院、学校，还是政府单位，在新的历史机遇下，有必要对大数据处理技术的应用，进行深入研究和探索。
1 大数据处理技术的相关概念
1.1 大数据
    从 IT 行业的角度来讲，大数据是一种重要的信息化资产，具有数量大、增长率高及多样化的特点。具体来讲，随着人类社会的不断发展和进步，人们对信息及数据的获取、转化和应用水平越来越高。但是，传统的信息数据获取渠道少，
并且在储存方面依赖大量的实体资料，在保存、查询、使用方面都具有体量小、效率低、应用价值低的问题。随着计算机、信息技术的不断发展，基于计算机数据库的数据储存量极大增长，通过计算机软件可以实现对海量数据的多元化处理，
而基于互联网、移动通信网络技术可以实现数据的多渠道采集、转化、共享及应用。在大数据时代，世间万物皆可按照人们的专业认知、使用需求转化为数据信息，而这些数据的应用，对推动社会生产力的发展具有至关重要的作用[1]。
1.2 大数据处理
    大数据处理也就是按照应用需求，对从各渠道采集到的数据进行整理、转化，进而提升其应用价值的过程。大数据处理是大数据技术中的重要环节，在很大程度上决定着大数据的应用价值[2]。因为在大数据系统中，有相当一部分数据对某个应用单位而言是没有利用价值的，同时其中还存在大量有干扰性、误导性及负面性的数据信息，而通过大数据处理可以将有应用价值的数据整理出来，并挖掘其价值。随着数据信息体量进一步增大，大数据处理的重要性进一步提升。从企业发展的角度来讲，通过对客户信息大数据进行分析和处理，将有助于了解客户需求，评估自身产品的优劣势，进而在后续战略规划中做出有效调整。

2、基于云计算技术的大数据采集及预处理技术
2.1 云计算技术
    云计算技术是大数据持续发展下的产物，云计算技术可将数据资源集合起来，运用到数据处理的各个环节中。过去传统的数据处理技术不但数据处理量受到限制，而且传统方法的效率低、分析结果也不一定准确，传统的数据处理方法已经不能满足现代发展的需求。相比之下，充分利用云计算技术可以有效地规避这一现象。大量的数据处理板块存在于云计算系统中，不同区域、类型的数据由各自的数据处理板块负责。最终，不同的数据处理板块将处理结果进行总和并加以分析。
2.2 大数据采集技术
    为了保证数据全面被采集，对于大量数据的采集，我们选用整体的网络大数据系统。结构化数据是一种可以借助二维表结构来实现逻辑表达的储存在Ｒ MDB 数据库中的数据，结构化数据又被称为定量数据，它是高度组织和整齐格式化的数据，结构化数据的处理包括采集、清洗、去重等过程，其技术手段已比较成熟。非结构化数据从本质上可以说是结构化数据之外的一切数据，该数据不容易组织或格式化，故采用文件的形式储存到CEPH 或 HDFS 中。
2.3 大数据预处理技术
    数据预处理是数据处理的基础，通常包括对已接收数据的辨析、清洗、变换等操作。数据清洗是指将收集到的错误的、无价值的数据筛除掉，从而得到有效的数据。数据变换则是对现有的数据进行适当的转换与归并，使其满足统计学方差分析的要求。数据预处理技术有效地保证了所得数据的精确性与完整性。

3、大数据处理的难点及挑战
3.1 干扰因素众多

大数据时代的到来，虽然给各企业提供了更开阔的数据体系以及更多的机遇，但是海量的数据也给大数据分析处理工作带来了极大的挑战。很多企业单位不具备高效、精准的数据收集能力，在数据识别、价值评估的时候会受到较多干扰，最终导致数据处理的结果不尽如人意。
3.2 缺乏专业人才

在大数据时代，专业人才是发挥大数据处理技术价值的关键。一方面我国很多企业缺乏专业的掌握大数据技术的人才，另一方面多数管理者及员工不具备大数据思维。比如，很多企业对客户行为的分析依然停留在简单的客户评价上面，而不具备从客户消费习惯、产品复购率等深层次数据中挖掘价值的能力[3]。另外，有部分人员认为大数据处理仅仅是从事计算机、互联网工作的人所需要掌握的技术，因此没有主动了解和学习大数据处理技术的意识。这些现象都导致各领域、各单位在经营过程中不能很好地对大数据进行收集和处理，同时相关专业人员的大数据处理结果也无法得到其他部门、人员的有效利用。

4、大数据处理技术在智慧校园建设中的应用

智慧校园是近年来在各级学校群体中被频繁提及的概念，构建智慧校园的基础则是大数据技术。经过多年的建设和优化，如今大数据处理技术在智慧校园体系的建设和运营管理中发挥着重要的作用。
4.1大数据处理技术在智慧校园管理中的应用
    传统的校园管理用到的计算机网络系统包括教务系统、团支部系统、财务系统等，而教务系统又是与学生密切相关的系统。但是，各个学校普遍存在教务系统应用效率低、应用价值不高的问题。在智慧校园体系下，基于大数据处理
技术，教务系统发生了重要的变化。从系统数据基础的角度来讲，教务系统收集和储存了学生的学历资料、学习成绩资料、选课资料等，然而在传统学校管理工作中，没有在日常的校园管理中进行使用。而大数据处理技术的应用，可以对教务系统中的各类数据信息进行优化处理，基于校园管理发展需求挖掘其中的价值 。
4.2 大数据处理技术在师生沟通中的应用
    在传统的教学模式下，教师与学生之间的沟通较少，除了在课堂上的讲课听课关系以外，其他时候很难开展高质量的沟通交流。而通过大数据处理技术的应用，教师可以对学生的学习效果进行数据分析，明确学生的短板和优势，然后
通过信息化渠道给学生提供指导。在针对学生长期学习管理的过程中，教师和学校可以对学生的德、智、体、美等多个方面进行数据收集，结合全面、多样化的数据处理分析，可以进一步改善和优化教育模式，并给学生个体提供针对性的
教育指导，进而促进所有学生的全面发展 。
4 结 语
    随着社会经济的不断发展，我国逐步进入大数据时代，大数据信息的收集、处理、储存、应用成为各个企业、单位十分重视的工作。人们应当建立大数据思维，深刻意识到大数据处理技术的应用价值，在企业经营和管理中通过各种渠
道收集大量数据信息，并通过科学的大数据处理挖掘数据信息的价值。只有这样，才能提高企业的市场竞争力，提高校园、医院及政府部门的服务管理水平，进而推动社会稳定发展。

参考文献：

[1]刘世银 . 浅谈移动通信技术发展现状及展望 [J]. 科协论坛 (下半月 ),2011(05).
[2] 王强 . 基于物联网大数据处理的关键技术研究 [J]. 电脑知识与技术 , 2018, v.14(12):35-37+45.
[3] 蔡宝玉 .“大数据”时代网络信息处理技术的分析 [J]. 计算机产品与流通 ,2020(06):57.

第一作者：韩佳兴，男，2002年4月，葫芦岛市，本科学历，在读
辽宁工程技术大学，软件学院，辽宁省葫芦岛市  

第二作者：赵佳伟，男，2004年7月，葫芦岛兴城市，本科学历，在读，辽宁工程技术大学  软件学院
第三作者：王永胜，男，2002年2月，葫芦岛兴城市，本科学历，在读，辽宁工程技术大学  电气与控制学院