顶尖云采集

顶尖时代推出的互联网大数据“一键采集”云服务是定向针对互联网进行网页信息采集、处理、加工、分类的云服务。

云采集平台采用的核心技术是分布式网页爬虫系统。分布式爬虫系统采取主从方式的体系结构。即有一个主节点控制所有从节点执行抓取任务，这个主节点负责分配URL，保证集群中所有节点的负载均衡。网页采集爬虫系统将网页的非结构化信息采集后， 自动提取网页属性信息进行结构化的处理，字段提取（包括站点、来源、日期、标题、内容、包含图片等）。 

  系统架构

顶尖云采集总体上可以分为四个层次（见上图）：互联网（数据源层）、采集层、信息加工、分析层和服务接口。

• 数据源

由互联网的各类数据和政府/企业内部各类数据组成，互联网数据为互联网上各大新闻网站、门户网站、各类论坛、各类博客、各类微博、微信上的所有信息组成，信息的表现形式为新闻、新闻评论、论坛帖子、博客和播客等。

• 数据采集加工

采用“顶尖云采集”系统，全面及时采集互联网的各类信息，全文搜索引擎实现对信息的智能分析处理，包括内容抽取（标题、正文、来源、日期、URL）信息分类、实体提取（人名、地名、机构）、支持文本语义分析、语义搜索、关键词分析、词频分析、摘要分析、相关文章分析、热点分析等。

• 服务接口

云采集平台支持基于http请求 REST Ful风格的API接口，可以通过JSON格式提供接口数据给各个应用系统。可以通过接口定义需要数据的周期、类型、数量等。通过接口数据可以提供给信息资源库、CMS素材库、情报系统、舆情系统等多种应用。 

  采集范围

  服务特点