基于大数据技术下的高校舆情监控研究

基于大数据技术下的高校舆情监控研究

陈家寿 吴学勇 杜鑫豪 崔高峰 张一明

山西省运城市 运城学院 044000

摘要：随着科技的日新月异，通讯手段与交流方式不断更新，网络作为信息通讯的重要媒介，成为了高校学生沟通交流、发表观点的重要平台。高校学生通过利用网络公民自发形成的舆论圈，交流更为便捷，传播更为多元，使得高校舆情具有了随意性、直接性、偏差性、突发性四大特征，对社会中的舆情传播产生的影响不可小觑，所以高校需要及时掌握学生舆情的发展动态，通过对高校网络舆情监测的实际需求分析和概要分析，构建了以python爬虫技术为基础的高校舆情监测与分析系统，可以及时做出有效的监管和正确的引导。

关键词：高校舆情；网络爬虫；舆情监测；舆情分析

1 引言

当互联网技术逐渐渗透进入社会的各种领域，已然成为社会中不可或缺的一部分。人们获取信息的途径以及日常交流也逐渐由线下转为线上，使得信息的传播速度呈指数式增长，同时随着生活条件的提升和互联网工具的普及，网民数量急剧增长，年龄趋于年轻化。其中作为生活得到初步自由的高校学生，他们是在网络上发表意见和关注社会热点的重要群体，因而高校学生对于网络舆情的爆发和推动起到关键性作用。由于高校学生涉世未深，长期处于校园生活，对社会热点的看法容易受到蛊惑和欺骗，从而在网络上肆意表达自己的情绪，对社会和学校造成严重的后果。随着大数据时代的到来，应用大数据技术分析网络舆情发展走向，遏制舆情的产生，是高校管理部门对舆情监测与分析的研究方向。

2 需求分析和系统总体架构

2.1 可行性分析

本系统使用PyCharm作为开发工具，以Python作为开发语言，Scrapy爬虫框架进行数据的收集，Mysql作为数据存储库，Jieba进行分词，Pandas、Matplotlib、Numpy进行数据可视化处理，所以系统在技术上是可行的。

2.2 系统需求分析

本文以高校贴吧作为信息源进行分析研究，以爬取到贴吧内容作为系统的初步目标，由于贴吧内容繁杂，反爬虫机制健全，无法通过短时间内获取到一定规模的有效信息，故本系统可以根据需求任意选择爬取的贴吧名字和爬取的页数，根据舆情发展时间和热度的高低设定贴吧爬取范围。主要工作放在信息分析方面，通过数据展示出高校学生最为关心的问题，从而提前预知高校舆情的走向。

2.3 系统总体架构

系统的整体架构如下：

1.安装PyCharm编程软件，MySQL数据库，scarpy、jieba等第三方库，为系统的运行搭建前期环境。

2.根据百度贴吧的网页结构，制定相应的爬虫方式，从而实现对贴吧贴子以及评论的爬取，再通过数据的封装、清洗，在数据中提取到有价值的信息，并将信息存入到数据库中。

3.有效利用反爬虫技术，避开贴吧对爬虫的限制。

4.通过对提取出的信息进行分析处理，实现数据的可视化操作。

3 高校舆情监测与分析系统实现

3.1 爬虫模块

3.1.1 爬虫框架的搭建

本系统使用到的开发程序为Pycharm，它是JetBrains设计开发的一款由python语言进行编程的软件。Pycharm开发软件中可以自定义第三方的库，下载scrapy框架库和该库需要并行的第三方库，配置所有库所需要的运行环境，将存储接口连接到数据库，就可以通过解析网页实现对数据爬取并且存储。

3.1.2 系统爬取

用户通过系统输入任何一个合法贴吧名字，然后根据舆情预测规模大小和结合高校自身情况选择需要爬取贴吧网站的页数（每页的爬取时间在4秒钟左右）。

获取页面信息，并用xpath解析内容，通过页面分析可知道每一个帖子都是一个li。循环遍历取出内容，并拼接帖子url，进入帖子详情页面通过html分析获得一楼文本。系统会自动翻页爬取贴吧的标题、作者、发布时间、链接、回复数量、帖子内容。将爬取到的数据存储到Mysql数据库的baidu库下。系统通过解析数据库，从数据库读取bordered表中数据以表格的形式展示到系统的html页面上table class="table table-bordered">。用户可以根据数据的可视化完整的看到目标网站的所有帖子内容，根据标题、内容、回复数量直观的了解每一个话题的内容和关注程度。细致的掌握每一个话题的动向。

3.2 数据分析模块

系统根据爬虫系统对贴吧网页的数据进行一定规模的爬取后，对目标数据进行重新审核检查和校验，将重复的数据信息进行删减，改正格式不正确，最终保证数据的独立性和统一性，完成系统可以将数据进行批处理的归一化。通过对初始脏数据的预处理，得到干净的、连续的、标准的可进行Python库可视化操作的数据。为系统进一步的模型建立提供准确性。通过使用duplicated()函数和pandas函数，集中进行检测是否存在数据重复，将重复的数据利用drop_duplicates()函数进行删除。

利用第三方Jieba库，导入自定义词典，获取停用词list，然后删除jieba空格、删除停止词后的分词，使用reverse降序排序字典，最后得到关键词以及关键词出现的次数，完成分词操作，对后面数据分析创造条件。

3.3 数据可视化模块

3.3.1 词云展示

Python语言中pyecharts库是一个开源的完成词云绘制的关键库。首先引入pandas库和numpy库对数据进行分析，通过pandas库中的read-csv进行文件的读取，再通过文件的具体类型进行sep参数的设置，利用字符串join方法，使列表转化为字符串。第二，引入collection库中的counter方法，返回词汇出现频率的统计。第三，使用sorted方法和lambda函数得到分词关键词，choices_number=50取出关键词出现频率排名在前50的关键词。最后，通过pyecharts库，设置wordcloud.add参数字体、颜色、大小、倾斜度，得到词云图。

为了使高校舆情信息的及时发现处理。词云是高校舆情管理人员发现学生动态异常、掌握学生近期关注话题最直接的方式。词云通过词汇的形式展示学生近期最佳关注的话题，词汇区分颜色大小位置，将出现次数最多的词汇放到图形的中心并且增加字号，系统管理人员可以第一时间发现高校内的热点话题，如果话题内容为负面词汇，高校可以第一时间掌控信息，扭转舆情的爆发。

3.3.2 热点话题词频

通过引入jieba库中的anasyle方法，收集数据中每个关键词汇以及每个关键词出现的频率。对词频前20名的词汇出现频率以柱状图的形式展示出来，可以使得高校舆情管理人员掌握学生对热点话题的关注人数，了解舆情的规模大小。

通过后台对高频词的分析，可以对有效、重要的高频词进行了统计，比如看出关键词考研出现的频率最高，说明考研是最受关注的话题，足以说明学习氛围的浓郁。当某一种关键词的出现频率远高于其他关键词或者有负面关键词出现时，则会有舆情爆发的风险，管理人员应随时关注，及时作出相应的决策。

通过词云与热点主题词汇出现的频率，使得高校舆情管理人员掌握学生对热点话题的关注人数，了解舆情的规模大小。针对不同程度，不同情感的舆情，高校可以及时作出相应的决策。

3.3.3 贴吧评论数量区间

通过统计贴吧不同楼层范围内的回复数量，将20层设为分界点。统计数据中20层以上的楼层如果占比越大，说明此时间段内可能会出现热点话题讨论高潮，意味着将会有舆情的发生，所以用户根据实时监控楼层回复数量的占比，可以有效的预测舆情的发生，词云和排名前20的关键词分析出舆情的主题，从而高校舆情管理人员及时的做出决策，避免负面舆情的发展。

4 结语

本文通过使用python语言按照前期开题报告要求实现了一个高校舆情监测与分析系统，功能基本完善，对高校贴吧的监测具有一定的效果。随着大数据时代的前进，高校学生作为新时代下的接班人，对网络的依赖性与迷茫性很高，此系统将高校学生在网络中的言行举止记录下来，关注他们在生活中的另一种状态，使得高校在一定程度上帮助学生调整心态，避免舆情的大面积爆发，具有一定的实现意义。

参考文献

[1] 钱丹丹, 李林. 基于大数据技术的高校网络舆情监测与分析[J]. 厦门理工学院学报, 2019, 27(4):55-60.

2