顶尖云采集
针对互联网进行网页信息采集、处理、加工、分类。云采集平台采用的核心技术是分布式网页爬虫系统。分布式爬虫系统采取主从方式的体系结构。采集速度快、采集类型全、采集数量多、防止屏蔽、分析加工灵活。
顶尖政搜、顶尖搜索、企业搜索、搜索中台、信息采集、云搜索、一网通查、企业情报、企业竞争情报
针对互联网进行网页信息采集、处理、加工、分类。云采集平台采用的核心技术是分布式网页爬虫系统。分布式爬虫系统采取主从方式的体系结构。采集速度快、采集类型全、采集数量多、防止屏蔽、分析加工灵活。
顶尖时代推出的互联网大数据“一键采集”云服务是定向针对互联网进行网页信息采集、处理、加工、分类的云服务。
云采集平台采用的核心技术是分布式网页爬虫系统。分布式爬虫系统采取主从方式的体系结构。即有一个主节点控制所有从节点执行抓取任务,这个主节点负责分配URL,保证集群中所有节点的负载均衡。网页采集爬虫系统将网页的非结构化信息采集后, 自动提取网页属性信息进行结构化的处理,字段提取(包括站点、来源、日期、标题、内容、包含图片等)。
系统架构
顶尖云采集总体上可以分为四个层次(见上图):互联网(数据源层)、采集层、信息加工、分析层和服务接口。
数据源
由互联网的各类数据和政府/企业内部各类数据组成,互联网数据为互联网上各大新闻网站、门户网站、各类论坛、各类博客、各类微博、微信上的所有信息组成,信息的表现形式为新闻、新闻评论、论坛帖子、博客和播客等。
数据采集加工
采用“顶尖云采集”系统,全面及时采集互联网的各类信息,全文搜索引擎实现对信息的智能分析处理,包括内容抽取(标题、正文、来源、日期、URL)信息分类、实体提取(人名、地名、机构)、支持文本语义分析、语义搜索、关键词分析、词频分析、摘要分析、相关文章分析、热点分析等。
服务接口
云采集平台支持基于http请求 REST Ful风格的API接口,可以通过JSON格式提供接口数据给各个应用系统。可以通过接口定义需要数据的周期、类型、数量等。通过接口数据可以提供给信息资源库、CMS素材库、情报系统、舆情系统等多种应用。
采集范围
服务特点