学科分类
/ 1
1 个结果
  • 简介:摘要:随着时代的进步,互联网技术不断发展,网络成为了大家获取信息的主要途径。与此同时,互联网数据呈几何级增长,如何高效、快速的从中获取到我们感兴趣的内容十分值得学习研究。目前成型的产品及开源界中有大量类似的软件,在借鉴他们优点、改进他们缺点的基础上,基于实验室的云平台构建出一个高效的分布数据采集系统,利用丰富的云端资源来实现大规模的网络数据采集。

  • 标签: 云平台 网络爬虫 分布式数据采集