首页 > 《中国教工》 > 2021年1期 > 浅析基于云平台的分布式数据采集系统

浅析基于云平台的分布式数据采集系统

在线阅读下载PDF 导出详情

摘要摘要：随着时代的进步，互联网技术不断发展，网络成为了大家获取信息的主要途径。与此同时，互联网数据呈几何级增长，如何高效、快速的从中获取到我们感兴趣的内容十分值得学习和研究。目前成型的产品及开源界中有大量类似的软件，在借鉴他们优点、改进他们缺点的基础上，基于实验室的云平台构建出一个高效的分布式数据采集系统，利用丰富的云端资源来实现大规模的网络数据采集。

DOI lj10pz374v/5174520

作者和乾

机构地区（铁人学院黑龙江大庆 163311）

出处《中国教工》 2021年1期

关键词云平台网络爬虫分布式数据采集

分类 [文化科学][教育学]

出版日期 2021年05月06日（中国期刊网平台首次上网日期，不代表论文的发表时间）

相关文献

1钱永江. 浅析基于分布式架构PaaS平台中的“中国蓝云”云数据库建设.信号与信息处理,2017-09.
2梁柏山1杨启蓓2龙忠建3. 基于Hadoop的分布式非结构化数据采集系统*.建筑设计及理论,2018-12.
3郑芙蓉. 分布式数据采集传输系统设计与实现.建筑设计及理论,2019-06.
4梁本超. 基于数据中心管理技术的分布式云平台系统的架构与建设研究.建筑技术科学,2020-06.
5杜彦亮,王兴晶. 分布式监控系统Prometheus在某云平台的应用.建筑技术科学,2023-11.
6陈志广. 分布式云数据中心设想.计算机应用技术,2015-05.
7刘培林. 基于CAN-Bus的实验室分布式数据采集测量系统.职业技术教育学,2008-03.
8雷建龙. 油库分布式数据采集和控制系统的设计.船舶及航道工程,2010-04.
9刘文妍闻锋*. 浅析大数据之Hadoop分布式系统.文化科学,2018-07.
10葛翔. 分布式电能计量表能耗数据采集与传输系统.,2022-07.

来源期刊

中国教工

中国教工

相关推荐

同分类资源更多

相关关键词

云平台网络爬虫分布式数据采集

返回顶部