一种基于互联网的数据信息传输和采集系统的制作方法
【专利摘要】本发明涉及互联网领域，尤其是一种基于互联网的数据信息传输和采集系统，包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，互联模块通过数据采集模块与数据信息中心连接，数据信息中心通过数据传输模块与数据处理模块连接、数据处理模块与数据库组连接，数据处理模块包括内容提取、网页批量下载和自动分类，数据库组包括全文数据库，关系型数据库和指定文件夹。本发明有益效果是：基于互联网模块下，利用了数据采集模块和数据传输模块之间的结合传输，使得数据处理更为便携，安全可靠性较好，系统结构简单，同时具有很强的实用性。
【专利说明】
一种基于互联网的数据信息传输和采集系统
技术领域
[0001]本发明涉及互联网领域，尤其是一种基于互联网的数据信息传输和采集系统。
【背景技术】
[0002]随着互联网的发展，大数据采集和挖掘技术也在不断发展。因此，如何准确、高效、完整地从互联网中获取海量数据，就成为大数据技术群中的一项重要技术点。
[0003]为了获取互联网中的数据，通常是结合爬行技术，试图下载目标网站所有的网页的HTML源码，理论上这样确实能够保证下载内容的完整性。然而，在具体实践中，如果直接在客户端使用HTTP/HTTPS协议下载目标网站的HTML源码会出现以下问题:部分目标网站使用ajax技术，并通过JavaScript将数据灌入页面中，由于不同网站的ajax方式均不同，需要额外分析XHR数据流;部分目标网站通过登录身份验证等外围手段对网站数据进行保护，因此需要对登录过程进行逆向分析和模拟，由于涉及加解密的JS通常经过了代码混淆，逆向分析的难度很大;直接对目标网站进行HTTP请求时，无法控制缓存Cache，经常会出现重复下载的情况，造成了资源的极大浪费。
【发明内容】
[0004]针对上述现有技术中存在的不足，本发明的目的在于提供一种基于互联网的数据信息传输和采集系统。
[0005]为达到上述目的，本发明采用的技术方案是:一种基于互联网的数据信息传输和采集系统，包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，所述互联模块通过数据采集模块与数据信息中心连接，所述数据信息中心通过数据传输模块与数据处理模块连接，所述数据处理模块与数据库组连接，所述数据处理模块包括内容提取、网页批量下载和自动分类，所述数据库组包括全文数据库、关系型数据库和指定文件夹。
[0006]优选地，所述数据采集模块包括控制平台、配置芯片、指示灯、复位模块、子板扩展插槽、时钟模块、以太网接口、USB接口、固态存储器、第一串口和第二串口，所述控制平台包括单片机、总线模块、定时器、三态总线桥、IP核、异步收发传输器、子板接口、SDRAM控制器、输出/输入模块和RAM模块。
[0007]优选地，所述单片机、SDRAM控制器、子板接口、异步收发传输器、USB接口、IP核和三态总线桥均与总线模块连接。
[0008]优选地，所述配置芯片与RAM模块连接，所述指示灯和复位模块均与输出/输入模块连接，所述子板扩展插槽与子板接口连接，所述第一串口和第二串口均与异步收发传输器连接，所述以太网接口和固态存储器均与三态总线桥连接，所述时钟模块与定时器连接。
[0009]由于采用上述技术方案，本发明有益效果是:基于互联网模块下，利用了数据采集模块和数据传输模块之间的结合传输，使得数据处理更为便携，安全可靠性较好，系统结构简单，同时具有很强的实用性。
【附图说明】
[0010]图1是本发明的系统框图；
[0011 ]图2是本发明的数据采集模块原理框图。
【具体实施方式】
[0012]以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0013]如图1并结合图2所示，一种基于互联网的数据信息传输和采集系统，包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，所述互联模块通过数据采集模块与数据信息中心连接，所述数据信息中心通过数据传输模块与数据处理模块连接，所述数据处理模块与数据库组连接，所述数据处理模块包括内容提取、网页批量下载和自动分类，所述数据库组包括全文数据库，关系型数据库和指定文件夹。
[0014]进一步的，所述数据采集模块包括控制平台、配置芯片、指示灯、复位模块、子板扩展插槽、时钟模块、以太网接口、USB接口、固态存储器、第一串口和第二串口，所述控制平台包括单片机、总线模块、定时器、三态总线桥、IP核、异步收发传输器、子板接口、SDRAM控制器、输出/输入模块和RAM模块;所述单片机、SDRAM控制器、子板接口、异步收发传输器、USB接口、IP核和三态总线桥均与总线模块连接;所述配置芯片与RAM模块连接，所述指示灯和复位模块均与输出/输入模块连接，所述子板扩展插槽与子板接口连接，所述第一串口和第二串口均与异步收发传输器连接，所述以太网接口和固态存储器均与三态总线桥连接，所述时钟模块与定时器连接。
[0015]本发明有益效果是:基于互联网模块下，利用了数据采集模块和数据传输模块之间的结合传输，使得数据处理更为便携，安全可靠性较好，系统结构简单，同时具有很强的实用性。
[0016]以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种基于互联网的数据信息传输和采集系统，其特征在于:包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，所述互联模块通过数据采集模块与数据信息中心连接，所述数据信息中心通过数据传输模块与数据处理模块连接，所述数据处理模块与数据库组连接，所述数据处理模块包括内容提取、网页批量下载和自动分类，所述数据库组包括全文数据库、关系型数据库和指定文件夹。2.根据权利要求1所述的一种基于互联网的数据信息传输和采集系统，其特征在于:所述数据采集模块包括控制平台、配置芯片、指示灯、复位模块、子板扩展插槽、时钟模块、以太网接口、USB接口、固态存储器、第一串口和第二串口，所述控制平台包括单片机、总线模块、定时器、三态总线桥、IP核、异步收发传输器、子板接口、SDRAM控制器、输出/输入模块和RAM模块； 所述单片机、SDRAM控制器、子板接口、异步收发传输器、USB接口、IP核和三态总线桥均与总线模块连接； 所述配置芯片与RAM模块连接，所述指示灯和复位模块均与输出/输入模块连接，所述子板扩展插槽与子板接口连接，所述第一串口和第二串口均与异步收发传输器连接，所述以太网接口和固态存储器均与三态总线桥连接，所述时钟模块与定时器连接。
【文档编号】G06F17/30GK105912695SQ201610262043
【公开日】2016年8月31日
【申请日】2016年4月25日
【发明人】陶军
【申请人】全球电气资源（深圳）有限公司