一种基于网络安全的大数据实施系统及方法
【专利摘要】本发明公开了一种基于网络安全的大数据实施系统及方法，设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统；大数据服务器通过具有硬件安全防护功能的数据对比器将小类大数据传输至大数据存储池内进行存储，小类大数据通过数据对比器上传至大数据存储池的过程中，数据对比器将调用大数据安全存储系统内所存储的数据与上传中的小类大数据进行对比；在降低成本投入的同时，还可以进一步的提升数据安全输级别，上行或下发都保障了其数据的完整性。
【专利说明】
一种基于网络安全的大数据实施系统及方法
技术领域
[0001]本发明涉及大数据、网络安全等技术领域，具体的说，是一种基于网络安全的大数据实施系统及方法。
【背景技术】
[0002]网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。
[0003]主要特性:
1、保密性，信息不泄露给非授权用户、实体或过程，或供其利用的特性。
[0004]2、完整性，数据未经授权不能进行改变的特性。即信息在存储或传输过程中保持不被修改、不被破坏和丢失的特性。
[0005]3、可用性，可被授权实体访问并按需求使用的特性。即当需要时能否存取所需的信息。例如网络环境下拒绝服务、破坏网络和有关系统的正常运行等都属于对可用性的攻击。
[0006]4、可控性，对信息的传播及内容具有控制能力。
[0007]5、可审查性，出现安全问题时提供依据与手段。
[0008]从网络运行和管理者角度说，希望对本地网络信息的访问、读写等操作受到保护和控制，避免出现“陷门”、病毒、非法存取、拒绝服务和网络资源非法占用和非法控制等威胁，制止和防御网络黑客的攻击。对安全保密部门来说，他们希望对非法的、有害的或涉及国家机密的信息进行过滤和防堵，避免机要信息泄露，避免对社会产生危害，对国家造成巨大损失。
[0009]随着计算机技术的迅速发展，在计算机上处理的业务也由基于单机的数学运算、文件处理，基于简单连接的内部网络的内部业务处理、办公自动化等发展到基于复杂的内部网(Intranet)、企业外部网(Extranet)、全球互联网(Internet)的企业级计算机处理系统和世界范围内的信息共享和业务处理。
[0010]在系统处理能力提高的同时，系统的连接能力也在不断的提高。但在连接能力信息、流通能力提高的同时，基于网络连接的安全问题也日益突出，整体的网络安全主要表现在以下几个方面:网络的物理安全、网络拓扑结构安全、网络系统安全、应用系统安全和网络管理的安全等。
[0011]因此计算机安全问题，应该像每家每户的防火防盗问题一样，做到防范于未然。甚至不会想到你自己也会成为目标的时候，威胁就已经出现了，一旦发生，常常措手不及，造成极大的损失。
[0012]随着移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。数据量的飞速增长预示着现在已经进入了大数据时代。网络运营商拥有庞大的用户，同时具有对终端及用户上网通道的掌控能力，使得在用户行为分析方面具有很好的数据基础，深入分析用户流量行为特征和规律，发现用户潜在消费需求，是提升价值和经营水平的有效手段。然而，不仅仅是数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度。大数据给传统的数据安全传输管理带来的技术挑战。
[0013]目前，随着计算机技术和互联网的发展，许多政府和企业都在进行大数据的建设，而大数据建设对企业的发展方向，政府的管理水平和服务方式的改进都起到非常重要的作用，但现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题。
【发明内容】
[0014]本发明的目的在于提供一种基于网络安全的大数据实施系统及方法，在提供用于实现基于大数据平台的网络安全实施方法的同时，配套的提出用于实现基于大数据平台的网络安全实施方法的一种较优的一种基于网络安全的大数据实施系统及方法;在大数据处理平台内进行数据处理时，通过采用多级硬件防护措施(数据牵引器、数据对比器)代替传统的软件、防火墙、vpn等综合应用防护措施来保障数据的安全和完整性，在降低成本投入的同时，还可以进一步的提升数据安全输级别，使得不论是上行至大数据处理平台内的大数据还是从大数据处理平台内下发至Internet内的大数据都保障了其数据的完整性。
[0015]本发明通过下述技术方案实现:一种基于网络安全的大数据实施系统及方法，设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，所述大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统，所述分布式计算机群和数据收集器皆接入Internet，所述数据收集器依次连接智能采集设备、冗余数据清洗系统和大数据管理系统，所述大数据管理系统通过数据牵引器与大数据服务器相连接，所述大数据服务器通过数据对比器与大数据存储池相连接，所述大数据操作日志记录器分别与大数据存储池、数据对比器、大数据服务器、大数据安全存储系统、数据牵引器及大数据管理系统相连接，所述大数据安全存储系统分别与数据牵引器、数据对比器和大数据存储池相连接。
[0016]进一步的，所述分布式计算机群内设置有第一层交换机、第一层防火墙、第二层交换机、入侵检测引擎、防DDoS系统、企业网络架构，所述第一层交换机依次连接第一层防火墙、第二层交换机、入侵检测引擎和防DDoS系统，所述第二层交换机和防DDoS系统皆与企业网络架构相连接，所述第一层交换机接入Internet。
[0017]进一步的，所述企业网络架构内设置有局域网用户架构和广域网用户架构，所述局域网用户架构分别与第二层交换机和广域网用户架构相连接，所述广域网用户架构与防DDoS系统相连接。
[0018]进一步的，所述广域网用户架构内设置有数据认证系统、核心防火墙系统、多个分布式计算机和DNS安全管理系统，所述防DDoS系统通过企业广域网分别与局域网用户架构、数据认证系统、核心防火墙系统和身份认证系统相连接，所述核心防火墙系统与多个分布式计算机相连接，所述多个分布式计算机皆与DNS安全管理系统相连接。
[0019]进一步的，所述局域网用户架构内设置有管理系统、上网代理服务器和办公用户系统，所述管理系统分别与第二层交换机和上网代理服务器相连接，所述上网代理服务器通过局域网分别与办公用户系统相连接;在所述局域网上还设置有网络漏洞监视器、防病毒系统及OA防火墙系统，所述OA防火墙系统通过企业广域网与广域网用户架构相连接。
[0020]应用一种基于网络安全的大数据实施系统及方法实现基于大数据平台的网络安全实施方法，包括大数据安全收集方法，所述大数据安全收集方法包括以下步骤:
1)所述数据采集器从Internet内采集从分布式计算机群中上传至Internet内的各类数据；
2)所述智能采集设备从数据采集器内将数据采集器所采集的数据进行收集并分析，初步将需要采集的信息进行保存后进行初次分类，形成所需的大类数据信息，而余下的非所需要数据信息将被抛弃;所述所需的大类数据信息指某一个行业内所需要涉及到的所有信息;
3)所述智能采集设备经过初次分类后，所形成的大类数据信息利用冗余数据清洗系统将内部的冗余数据清洗出去，形成所需的大数据并临时保存，以备传输至下一环节；
4)所述大数据管理系统根据预置的管理策略接收由冗余数据清洗系统内所形成或临时保存的的所需的大数据；
5)所述大数据管理系统通过利用硬件安全防护策略的数据牵引器将所需的大数据分别上传至大数据服务器和大数据安全存储系统内；在大数据服务器内将所需的大数据再次进行小类的区分，并临时保存小类大数据;而在大数据安全存储系统内直接将接收的所需的大数据进行分块存储;所述小类大数据指行业内某个支系行业内所涉及到的各细分支系的重要且有用的综合数据信息；
6)所述大数据服务器通过具有硬件安全防护功能的数据对比器将小类大数据传输至大数据存储池内进行存储，在小类大数据通过数据对比器上传至大数据存储池的过程中，数据对比器将调用大数据安全存储系统内所存储的数据与上传中的小类大数据进行对比，当上传中的小类大数据存在错误时，将临时中断大数据服务器内的小类大数据存储在大数据存储池内的行为，而利用大数据安全存储系统内的数据进行错误存储数据的补正，直到大数据服务器内上传的小类大数据与大数据安全存储系统内所存储的数据相符合时，才继续存储由大数据服务器中上传的小类大数据，直到将大数据服务器内的小类大数据传输完成为止。
[0021]进一步的，还包括大数据安全调用的方法，所述大数据安全调用的方法包括以下步骤:
(1)数据收集器接收到由Internet内下达的需要调用大数据处理平台内的大数据的调用信息；
(2)智能采集设备接收到调用信息后，进行解析，并确定需要调用那种大类的大数据，而后传输至冗余数据清洗系统；
(3)冗余数据清洗系统将对需要调用那种大类的大数据再次进行分析，从而确定需要调用那种小类大数据，并上传至大数据管理系统内；
(4)大数据管理系统接收到需要调用那种小类大数据的调用信息后，将根据预设的安全调用策略进行数据调用，包括以下具体步骤:
(4-1)大数据服务器接收到大数据管理系统所传达的调用那种小类大数据的调用信息后，选择指定的小类大数据以备调用；
(4-2)指定的小类大数据通过采用硬件防护策略的保护数据安全的数据对比器下行指定的小类大数据至大数据服务器内；
(4-3)大数据安全存储系统同步将传输存储其内的所需的大数据至数据对比器内与下行指定的小类大数据进行数据准确性的对比:当两者相同时，指定的小类大数据持续下行；而当两者有异时，从大数据存储池内调用的小类大数据将不会被传输至大数据服务器中与前期下行的正确数据相汇合，而直接调用大数据安全存储系统内的数据进行补录，直到从大数据存储池内当前小类大数据的正确数据流为止；
(4-4)大数据服务器接收到下行的指定的小类大数据后，利用数据牵引器在硬件防护策略的保护下将下行指定的小类大数据传输至大数据管理系统；
(4-5)大数据安全存储系统同步将传输存储其内的所需的大数据至数据牵引器内与下行指定的小类大数据进行数据准确性的对比:当两者相同时，指定的小类大数据持续下行；而当两者有异时，从大数据服务器内下行的小类大数据将不会被传输至大数据管理系统中与前期下行的正确数据相汇合，而直接调用大数据安全存储系统内的数据进行补录，直到从大数据服务器内当前小类大数据的正确数据流为止；
(5)大数据管理系统将下行指定的小类大数据通过冗余数据清洗系统、智能采集设备及数据收集器传输至Internet。
[0022]进一步的，在执行所述大数据安全收集方法和大数据安全调用方法时，所述大数据操作日志记录器将对大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池及大数据安全存储系统的操作作日志记录，包括数据上行时间、数据下行时间、数据上行错误环节、数据下行错误环节信息。
[0023]进一步的为更好地实现本发明所述基于大数据平台的网络安全实施方法，特别采用下述设置方式:还包括分布式计算机群上传大数据步骤:
步骤一:多个分布式计算机所形成的数据流信息通过核心防火墙系统传输至企业广域网内；
步骤二:防DDoS系统接收企业广域网内的数据流信息后，在防DDoS的情况下将数据流信息通过入侵检测引擎、第二层交换机、第一层防火墙、第一层交换机安全的传输至Internet 内；
步骤三:办公用户系统内的数据流信息将在网络漏洞监视器、防病毒系统的共同作用下安全的传输至局域网内；
步骤四:上网代理将从局域网内将办公用户系统所传输的数据流信息收集，而后通过管理系统在预置的控制策略下将可以上传的信息传输至第二层交换机内，而不可以上传的信息将被屏蔽；
步骤五:第二层交换机接收到可以上传的办公室用户系统的数据流信息后依次通过第一层防火墙和第一层交换机传输至Internet内。
[0024]进一步的，还包括分布式计算机群调用大数据步骤:
步骤internet内的数据通过第一层交换机将数据分发到需要的链路上；
步骤2:第一层防火墙将链路上的数据内可能存在的病毒信息进行防护，并同时能防止网络攻击；
步骤3:数据过第一层防火墙后，通过第二层交换机将所数据再次分发到需要的链路上； 步骤4:经过第二层交换机后的数据将执行下述方法:
步骤4.1: 一方面通过入侵检测引擎入侵检测后，再经防DDoS系统防DDoS攻击处理后传入企业广域网内:
步骤4.1.1:企业广域网内的数据将在核心防火墙系统的防病毒、防攻击作用下传输至分布式计算机内，分布式计算机在接收由企业广域网内传输的数据时将通过DNS安全管理系统进行防DNS攻击处理；
步骤4.1.2:分布式计算机访问企业广域网时将分别利用数据认证系统和身份认证系统进行数据和身份的同步或异步认证；
步骤4.2:另一方面通过管理系统在预置的管理策略下将需要的数据利用上网代理服务器传输至局域网内:
步骤4.2.1:办公用户系统在网络漏洞监视器和防病毒系统的双重保护下从局域网内进行数据的调用；
步骤4.2.2:办公用户系统通过oa防火墙系统安全的接入企业广域网，进行数据访问。
[0025]本发明与现有技术相比，具有以下优点及有益效果:
本发明在提供用于实现基于大数据平台的网络安全实施方法的同时，配套的提出用于实现基于大数据平台的网络安全实施方法的一种较优的一种基于网络安全的大数据实施系统及方法;在大数据处理平台内进行数据处理时，通过采用多级硬件防护措施(数据牵引器、数据对比器)代替传统的软件、防火墙、vpn等综合应用防护措施来保障数据的安全和完整性，在降低成本投入的同时，还可以进一步的提升数据安全输级别，使得不论是上行至大数据处理平台内的大数据还是从大数据处理平台内下发至Internet内的大数据都保障了其数据的完整性。
[0026]本发明在大数据处理平台内，大数据管理系统与大数据服务器之间的数据传输过程中设计了具有硬件防护措施进行防病毒、防攻击等处理的数据牵引器，以便保障大数据在大数据管理系统和大数据服务器之间的安全传输，使得传输中的数据不会被攻击或出现病毒；同时在传输的过程中结合大数据安全存储系统内的数据进行比较从而保障到大数据管理系统或大数据服务器内的数据都为完整的数据。
[0027]本发明在大数据处理平台内，大数据服务器与大数据存储池之间的数据传输过程中设计了具有硬件防护措施进行防病毒、防攻击等处理的数据对比器，以便保障大数据在大数据存储池和大数据服务器之间的安全传输，使得传输中的数据不会被攻击或出现病毒；同时在传输的过程中结合大数据安全存储系统内的数据进行比较从而保障到大数据存储池或大数据服务器内的数据都为完整的数据。
[0028]本发明所述的大数据安全存储系统内储存有最为完整、安全的所有预置策略所设定采集和保留的大数据，当上行或下行的过程中出现数据完整性错误时，都可以从大数据安全存储系统内调用数据来进行补录或补正，从而保障大数据在大数据处理平台内上行或下行都为完整的数据。
[0029]本发明在使用时，Internet上的网络数据接入时不光经过传统的防火墙保护，还经过入侵检测，通过主动防护技术的使用，对内部攻击、外部攻击和误操作实时保护，在网络系统受到危害之前拦截和响应入侵。
[0030]本发明在分布式计算机群内设置有多种防护措施，可做大限度的保障内部数据传输的安全，避免由于网络攻击对分布式计算机群造成伤害，使得分布式计算机群瘫痪的情况发生，进而避免出现经济损失。
[0031]本发明设置的大数据操作日志记录器可有效的将对大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池及大数据安全存储系统的操作作日志记录，包括数据上行时间、数据下行时间、数据上行错误环节、数据下行错误环节信息、数据在大数据存储池与大数据服务器之间的操作错误日志、数据在大数据管理系统与大数据服务器之间的操作错误日志、大数据安全存储系统补录或补正操作日志等。
【附图说明】
[0032]图1为本发明所述一种基于网络安全的大数据实施系统及方法结构示意图。
【具体实施方式】
[0033]下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0034]分布式拒绝服务(DDoS: Di stributedDenialof Servi ce)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力。通常，攻击者使用一个偷窃帐号将DDoS主控程序安装在一个计算机上，在一个设定的时间主控程序将与大量代理程序通讯，代理程序已经被安装在网络上的许多计算机上。代理程序收到指令时就发动攻击。利用客户/服务器技术，主控程序能在几秒钟内激活成百上千次代理程序的运行。
[0035]实施例1:
一种基于网络安全的大数据实施系统及方法，如图1所示，设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，所述大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统，所述分布式计算机群和数据收集器皆接入Internet，所述数据收集器依次连接智能采集设备、冗余数据清洗系统和大数据管理系统，所述大数据管理系统通过数据牵引器与大数据服务器相连接，所述大数据服务器通过数据对比器与大数据存储池相连接，所述大数据操作日志记录器分别与大数据存储池、数据对比器、大数据服务器、大数据安全存储系统、数据牵引器及大数据管理系统相连接，所述大数据安全存储系统分别与数据牵引器、数据对比器和大数据存储池相连接。
[0036]所述的大数据安全存储系统内储存有最为完整、安全的所有预置策略所设定采集和保留的大数据，当上行或下行的过程中出现数据完整性错误时，都可以从大数据安全存储系统内调用数据来进行补录或补正，从而保障大数据在大数据处理平台内上行或下行都为完整的数据。
[0037]所述大数据服务器包括至少一个浪潮英信NF5280M4服务器，优选的设置有4台或6台或8台；所述浪潮英信NF5280M4具有如下特征:
为一款基于2U机箱的机架式服务器；其CPU类型为Intel至强E5-2600v2，CHJ型号为XeonE5-2620v2，CPU频率为2.16取，且智能加速主频2.66取，最大装载2颗0?1];基于2211111制程工艺，采用15MB的三级缓存，总线规格QPI7.2GT/s，CPU核心六核，CPU线程数12线程;采用扩展槽6 X PC1-E3.0，支持4个全长全高的主板;采用单个64GB的DDR4内存，内存插槽数量24，最大内存容量1536GB ；硬盘接口类型SAS，标配硬盘容量300GB，磁盘控制器可选8通道SAS6Gb及12Gb磁盘控制器，RAID模式标配RAID0/1/10;网络控制器千兆以太网控制器；显示芯片集成带16MB显存的显示控制器;标准接口后置:2 X USB3.0接口、I X VGA接口 ；前置:I XUSB3.0接口、I X VGA接口；内置:2 X USB3.0接口、I X内置串口；系统管理集成系统管理芯片，支持IPMI2.0、KVMOverIP、虚拟媒体等管理功能;支持浪潮睿捷系列服务器管理、部署软件；可选浪潮睿捷LCD管理模块，提供本地可视化系统监控和故障诊断功能；系统支持Windows2012R2、Windows2012、Windows2008R264Bit、VMware5.5、Citrix6.264Bit、Solorisll、SuSELinuxEnterpriseServerllSP264Bit等。
[0038]所述大数据管理系统包括至少一台IBMSystemx3850X6，优选的设置2台或4台或5台或6台，所述IBMSystemx3850X6的基本参数如下:
为一款基于4U机箱的机架式服务器；其CHJ类型为Intel至强E7-4800，CPU型号为XeonE7-4809v2，CPU频率I.9GHz，最大支持4颗CPU;制程工艺22nm，三级缓存12MB，总线规格QPI6.4GT/s，CI3U核心六核，CPU线程数十二线程；采用扩展槽7 X半长PC1-E的主板；采用32GB的DDR3内存，最大支持1536GB内存;硬盘接口类型SAS，最大硬盘容量8TB(8个2.5 "SAS热插拔硬盘槽位)，热插拔盘位支持热插拔，RAID模式RAIDO，I，10;网络控制器板载ML2四端口千兆以太网卡，可选双口万兆夹层卡；系统管理AlertonLAN2，服务器自动重启，IBMSystemsDirector，IBMServerGuide，集成管理模块(IMM)，光通路诊断(单独供电)，适用于硬盘驱动器/处理器/VRM/风扇/内存的Predicti veFai IureAnalysis，WakeonLAN，动态系统分析，QPIFai Idown，单点故障转移；系统支持 WindowsServer 2008 (Standard ,Enterprise和DataCenterEdit1n，32位和64位)，32位和64位RedHatEnterpriseLinux，SUSEEnterpriseLinux(Server和AdvancedServer) ,VMwareESXServer/ESXi4.0 ；带4个千兆以太网卡。
[0039]实施例2:
本实施例是在上述实施例的基础上进一步优化，进一步的为更好地实现本发明所述网络安全实施系统，如图1所示，特别设置成下述结构:所述分布式计算机群内设置有第一层交换机、第一层防火墙、第二层交换机、入侵检测引擎、防DDoS系统、企业网络架构，所述第一层交换机依次连接第一层防火墙、第二层交换机、入侵检测引擎和防DDoS系统，所述第二层交换机和防DDoS系统皆与企业网络架构相连接，所述第一层交换机接入Internet。
[0040]所述分布式计算机群的架构具有如下特性:
能够防护DDoS攻击、黑客入侵、病毒、蠕虫等多种互联网常见的安全威胁;可以防止网页篡改和注入式攻击等有扩散性危害的安全威胁；同时能够有效的防护垃圾邮件，病毒邮件等非法邮件，保证正确邮件安全快速的投递和接收。
[0041 ]所述第二层交换机采用CISC0WS-C6509-E，为一款企业级交换机，传输速率10/100/1000Mbps，交换方式:存储-转发，背板带宽720Gbps，包转发率387Mpps，MAC地址表64K，传输模式支持全双工，，网络标准 IEEE802.3，IEEE802.3u，IEEE802.1s, IEEE802.1w，IEEE802.3ad ；支持VLAN和QOS，网络管理Ci scoWorks2000，RM0N，增强交换端口分析器(ESPAN)，SNMP，TeInet，Β00ΤΡ，TFTP。
[0042] 所述第一层防火墙采用CISC0ASA5510-K8:为一款VPN防火墙，并发连接数130000，网络吞吐量最高300Mbps，安全过滤带宽170Mbps，网络端口 3个快速以太网端口，控制端口console，2个RJ-45，并支持入侵检测DoS;采用思科安全管理器(CS-Manager)，Web;安全标准UL1950，CSAC22.2Νο.950,EN60950IEC60950,AS/NZS3260,TSOOl。
[0043]实施例3:
本实施例是在上述实施例的基础上进一步优化，进一步的为更好地实现本发明所述网络安全实施系统，如图1所示，特别设置成下述结构:所述企业网络架构内设置有局域网用户架构和广域网用户架构，所述局域网用户架构分别与第二层交换机和广域网用户架构相连接，所述广域网用户架构与防DDoS系统相连接。
[0044]实施例4:
本实施例是在上述实施例的基础上进一步优化，进一步的为更好地实现本发明所述网络安全实施系统，如图1所示，特别设置成下述结构:所述广域网用户架构内设置有数据认证系统、核心防火墙系统、多个分布式计算机和DNS安全管理系统，所述防DDoS系统通过企业广域网分别与局域网用户架构、数据认证系统、核心防火墙系统和身份认证系统相连接，所述核心防火墙系统与多个分布式计算机相连接，所述多个分布式计算机皆与DNS安全管理系统相连接。
[0045]实施例5:
本实施例是在实施例3或4的基础上进一步优化，进一步的为更好地实现本发明所述网络安全实施系统，如图1所示，特别设置成下述结构:所述局域网用户架构内设置有管理系统、上网代理服务器和办公用户系统，所述管理系统分别与第二层交换机和上网代理服务器相连接，所述上网代理服务器通过局域网分别与办公用户系统相连接;在所述局域网上还设置有网络漏洞监视器、防病毒系统及OA防火墙系统，所述OA防火墙系统通过企业广域网与广域网用户架构相连接。
[0046]所述局域网用户架构的设置，不仅建立完善的病毒防护体系，降低病毒感染机率；并且采用可视化的上网行为管理，包括:屏蔽不良网站，记录并审计用户上网行为，预防间谍软件，根据用户、应用、时间段控制带宽使用，详尽的统计分析报表等。
[0047]所述局域网用户架构，通过代理服务器上网；并设置网络漏洞监视器、防病毒系统(抵御各种病毒攻击)，保障了办公用户系统的安全;部署的管理系统可进行上网行为的管理，有效控制企业员工的上网行为(价丨口、？丨口、？2?、]、51:代31]1等)，提高企业安全等级，提升员工工作效率，降低了恶意软件(病毒、木马、流氓、钓鱼等)的感染机率，提升企业防护能力。
[0048]实施例6:
本实施例是在上述任一实施例的基础上进一步优化，应用一种基于网络安全的大数据实施系统及方法实现基于大数据平台的网络安全实施方法，包括大数据安全收集方法，所述大数据安全收集方法包括以下步骤:
1)所述数据采集器从Internet内采集从分布式计算机群中上传至Internet内的各类数据；
2)所述智能采集设备从数据采集器内将数据采集器所采集的数据进行收集并分析，初步将需要采集的信息进行保存后进行初次分类，形成所需的大类数据信息，而余下的非所需要数据信息将被抛弃;所述所需的大类数据信息指某一个行业内所需要涉及到的所有信息;
3)所述智能采集设备经过初次分类后，所形成的大类数据信息利用冗余数据清洗系统将内部的冗余数据清洗出去，形成所需的大数据并临时保存，以备传输至下一环节；
4)所述大数据管理系统根据预置的管理策略接收由冗余数据清洗系统内所形成或临时保存的的所需的大数据；
5)所述大数据管理系统通过利用硬件安全防护策略的数据牵引器将所需的大数据分别上传至大数据服务器和大数据安全存储系统内；在大数据服务器内将所需的大数据再次进行小类的区分，并临时保存小类大数据;而在大数据安全存储系统内直接将接收的所需的大数据进行分块存储;所述小类大数据指行业内某个支系行业内所涉及到的各细分支系的重要且有用的综合数据信息；
6)所述大数据服务器通过具有硬件安全防护功能的数据对比器将小类大数据传输至大数据存储池内进行存储，在小类大数据通过数据对比器上传至大数据存储池的过程中，数据对比器将调用大数据安全存储系统内所存储的数据与上传中的小类大数据进行对比，当上传中的小类大数据存在错误时，将临时中断大数据服务器内的小类大数据存储在大数据存储池内的行为，而利用大数据安全存储系统内的数据进行错误存储数据的补正，直到大数据服务器内上传的小类大数据与大数据安全存储系统内所存储的数据相符合时，才继续存储由大数据服务器中上传的小类大数据，直到将大数据服务器内的小类大数据传输完成为止。
[0049] 实施例7:
本实施例是在上述实施例的基础上进一步优化，进一步的为更好地实现本发明所述基于大数据平台的网络安全实施方法，特别采用下述设置方式:还包括大数据安全调用的方法，所述大数据安全调用的方法包括以下步骤:
(1)数据收集器接收到由Internet内下达的需要调用大数据处理平台内的大数据的调用信息；
(2)智能采集设备接收到调用信息后，进行解析，并确定需要调用那种大类的大数据，而后传输至冗余数据清洗系统；
(3)冗余数据清洗系统将对需要调用那种大类的大数据再次进行分析，从而确定需要调用那种小类大数据，并上传至大数据管理系统内；
(4)大数据管理系统接收到需要调用那种小类大数据的调用信息后，将根据预设的安全调用策略进行数据调用，包括以下具体步骤:
(4-1)大数据服务器接收到大数据管理系统所传达的调用那种小类大数据的调用信息后，选择指定的小类大数据以备调用；
(4-2)指定的小类大数据通过采用硬件防护策略的保护数据安全的数据对比器下行指定的小类大数据至大数据服务器内；
(4-3)大数据安全存储系统同步将传输存储其内的所需的大数据至数据对比器内与下行指定的小类大数据进行数据准确性的对比:当两者相同时，指定的小类大数据持续下行；而当两者有异时，从大数据存储池内调用的小类大数据将不会被传输至大数据服务器中与前期下行的正确数据相汇合，而直接调用大数据安全存储系统内的数据进行补录，直到从大数据存储池内当前小类大数据的正确数据流为止； (4-4)大数据服务器接收到下行的指定的小类大数据后，利用数据牵引器在硬件防护策略的保护下将下行指定的小类大数据传输至大数据管理系统；
(4-5)大数据安全存储系统同步将传输存储其内的所需的大数据至数据牵引器内与下行指定的小类大数据进行数据准确性的对比:当两者相同时，指定的小类大数据持续下行；而当两者有异时，从大数据服务器内下行的小类大数据将不会被传输至大数据管理系统中与前期下行的正确数据相汇合，而直接调用大数据安全存储系统内的数据进行补录，直到从大数据服务器内当前小类大数据的正确数据流为止；
(5)大数据管理系统将下行指定的小类大数据通过冗余数据清洗系统、智能采集设备及数据收集器传输至Internet。
[0050]实施例8:
本实施例是在上述实施例的基础上进一步优化，进一步的为更好地实现本发明所述基于大数据平台的网络安全实施方法，特别采用下述设置方式:在执行所述大数据安全收集方法和大数据安全调用方法时，所述大数据操作日志记录器将对大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池及大数据安全存储系统的操作作日志记录，包括数据上行时间、数据下行时间、数据上行错误环节、数据下行错误环节信息、数据在大数据存储池与大数据服务器之间的操作错误日志、数据在大数据管理系统与大数据服务器之间的操作错误日志、大数据安全存储系统补录或补正操作日志等。
[0051 ] 实施例9:
本实施例是在实施例6-8任一实施例的基础上进一步优化，进一步的为更好地实现本发明所述基于大数据平台的网络安全实施方法，特别采用下述设置方式:还包括分布式计算机群上传大数据步骤:
步骤一:多个分布式计算机所形成的数据流信息通过核心防火墙系统传输至企业广域网内；
步骤二:防DDoS系统接收企业广域网内的数据流信息后，在防DDoS的情况下将数据流信息通过入侵检测引擎、第二层交换机、第一层防火墙、第一层交换机安全的传输至Internet 内；
步骤三:办公用户系统内的数据流信息将在网络漏洞监视器、防病毒系统的共同作用下安全的传输至局域网内；
步骤四:上网代理将从局域网内将办公用户系统所传输的数据流信息收集，而后通过管理系统在预置的控制策略下将可以上传的信息传输至第二层交换机内，而不可以上传的信息将被屏蔽；
步骤五:第二层交换机接收到可以上传的办公室用户系统的数据流信息后依次通过第一层防火墙和第一层交换机传输至Internet内。
[0052]实施例10:
本实施例是在实施例6-9任一实施例的基础上进一步优化，进一步的为更好地实现本发明所述基于大数据平台的网络安全实施方法，特别采用下述设置方式:还包括分布式计算机群调用大数据步骤:
步骤internet内的数据通过第一层交换机将数据分发到需要的链路上；
步骤2:第一层防火墙将链路上的数据内可能存在的病毒信息进行防护，并同时能防止网络攻击；
步骤3:数据过第一层防火墙后，通过第二层交换机将所数据再次分发到需要的链路上；
步骤4:经过第二层交换机后的数据将执行下述方法:
步骤4.1: 一方面通过入侵检测引擎入侵检测后，再经防DDoS系统防DDoS攻击处理后传入企业广域网内:
步骤4.1.1:企业广域网内的数据将在核心防火墙系统的防病毒、防攻击作用下传输至分布式计算机内，分布式计算机在接收由企业广域网内传输的数据时将通过DNS安全管理系统进行防DNS攻击处理；
步骤4.1.2:分布式计算机访问企业广域网时将分别利用数据认证系统和身份认证系统进行数据和身份的同步或异步认证；
步骤4.2:另一方面通过管理系统在预置的管理策略下将需要的数据利用上网代理服务器传输至局域网内:
步骤4.2.1:办公用户系统在网络漏洞监视器和防病毒系统的双重保护下从局域网内进行数据的调用；
步骤4.2.2:办公用户系统通过oa防火墙系统安全的接入企业广域网，进行数据访问。
[0053]以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
【主权项】
1.一种基于网络安全的大数据实施系统及方法，其特征在于:设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，所述大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统，所述分布式计算机群和数据收集器皆接入Internet，所述数据收集器依次连接智能采集设备、冗余数据清洗系统和大数据管理系统，所述大数据管理系统通过数据牵引器与大数据服务器相连接，所述大数据服务器通过数据对比器与大数据存储池相连接，所述大数据操作日志记录器分别与大数据存储池、数据对比器、大数据服务器、大数据安全存储系统、数据牵引器及大数据管理系统相连接，所述大数据安全存储系统分别与数据牵引器、数据对比器和大数据存储池相连接。2.根据权利要求1所述的一种基于网络安全的大数据实施系统及方法，其特征在于:所述分布式计算机群内设置有第一层交换机、第一层防火墙、第二层交换机、入侵检测引擎、防DDoS系统、企业网络架构，所述第一层交换机依次连接第一层防火墙、第二层交换机、入侵检测引擎和防DDoS系统，所述第二层交换机和防DDoS系统皆与企业网络架构相连接，所述第一层交换机接入Internet。3.根据权利要求2所述的一种基于网络安全的大数据实施系统及方法，其特征在于:所述企业网络架构内设置有局域网用户架构和广域网用户架构，所述局域网用户架构分别与第二层交换机和广域网用户架构相连接，所述广域网用户架构与防DDoS系统相连接。4.根据权利要求3所述的一种基于网络安全的大数据实施系统及方法，其特征在于:所述广域网用户架构内设置有数据认证系统、核心防火墙系统、多个分布式计算机和DNS安全管理系统，所述防DDoS系统通过企业广域网分别与局域网用户架构、数据认证系统、核心防火墙系统和身份认证系统相连接，所述核心防火墙系统与多个分布式计算机相连接，所述多个分布式计算机皆与DNS安全管理系统相连接。5.根据权利要求3或4所述的一种基于网络安全的大数据实施系统及方法，其特征在于:所述局域网用户架构内设置有管理系统、上网代理服务器和办公用户系统，所述管理系统分别与第二层交换机和上网代理服务器相连接，所述上网代理服务器通过局域网分别与办公用户系统相连接;在所述局域网上还设置有网络漏洞监视器、防病毒系统及OA防火墙系统，所述OA防火墙系统通过企业广域网与广域网用户架构相连接。6.应用权利要求1-5所述的一种基于网络安全的大数据实施系统及方法实现基于大数据平台的网络安全实施方法，其特征在于:包括大数据安全收集方法，所述大数据安全收集方法包括以下步骤: 1)所述数据采集器从Internet内采集从分布式计算机群中上传至Internet内的各类数据； 2)所述智能采集设备从数据采集器内将数据采集器所采集的数据进行收集并分析，初步将需要采集的信息进行保存后进行初次分类，形成所需的大类数据信息，而余下的非所需要数据信息将被抛弃； 3)所述智能采集设备经过初次分类后，所形成的大类数据信息利用冗余数据清洗系统将内部的冗余数据清洗出去，形成所需的大数据并临时保存，以备传输至下一环节； 4)所述大数据管理系统根据预置的管理策略接收由冗余数据清洗系统内所形成或临时保存的的所需的大数据； 5)所述大数据管理系统通过利用硬件安全防护策略的数据牵引器将所需的大数据分别上传至大数据服务器和大数据安全存储系统内；在大数据服务器内将所需的大数据再次进行小类的区分，并临时保存小类大数据;而在大数据安全存储系统内直接将接收的所需的大数据进行分块存储； 6)所述大数据服务器通过具有硬件安全防护功能的数据对比器将小类大数据传输至大数据存储池内进行存储，在小类大数据通过数据对比器上传至大数据存储池的过程中，数据对比器将调用大数据安全存储系统内所存储的数据与上传中的小类大数据进行对比，当上传中的小类大数据存在错误时，将临时中断大数据服务器内的小类大数据存储在大数据存储池内的行为，而利用大数据安全存储系统内的数据进行错误存储数据的补正，直到大数据服务器内上传的小类大数据与大数据安全存储系统内所存储的数据相符合时，才继续存储由大数据服务器中上传的小类大数据，直到将大数据服务器内的小类大数据传输完成为止。7.根据权利要求6所述的基于大数据平台的网络安全实施方法，其特征在于:还包括大数据安全调用的方法，所述大数据安全调用的方法包括以下步骤: (1)数据收集器接收到由Internet内下达的需要调用大数据处理平台内的大数据的调用信息； (2)智能采集设备接收到调用信息后，进行解析，并确定需要调用那种大类的大数据，而后传输至冗余数据清洗系统； (3)冗余数据清洗系统将对需要调用那种大类的大数据再次进行分析，从而确定需要调用那种小类大数据，并上传至大数据管理系统内； (4)大数据管理系统接收到需要调用那种小类大数据的调用信息后，将根据预设的安全调用策略进行数据调用，包括以下具体步骤: (4-1)大数据服务器接收到大数据管理系统所传达的调用那种小类大数据的调用信息后，选择指定的小类大数据以备调用； (4-2)指定的小类大数据通过采用硬件防护策略的保护数据安全的数据对比器下行指定的小类大数据至大数据服务器内； (4-3)大数据安全存储系统同步将传输存储其内的所需的大数据至数据对比器内与下行指定的小类大数据进行数据准确性的对比:当两者相同时，指定的小类大数据持续下行；而当两者有异时，从大数据存储池内调用的小类大数据将不会被传输至大数据服务器中与前期下行的正确数据相汇合，而直接调用大数据安全存储系统内的数据进行补录，直到从大数据存储池内当前小类大数据的正确数据流为止； (4-4)大数据服务器接收到下行的指定的小类大数据后，利用数据牵引器在硬件防护策略的保护下将下行指定的小类大数据传输至大数据管理系统； (4-5)大数据安全存储系统同步将传输存储其内的所需的大数据至数据牵引器内与下行指定的小类大数据进行数据准确性的对比:当两者相同时，指定的小类大数据持续下行；而当两者有异时，从大数据服务器内下行的小类大数据将不会被传输至大数据管理系统中与前期下行的正确数据相汇合，而直接调用大数据安全存储系统内的数据进行补录，直到从大数据服务器内当前小类大数据的正确数据流为止； (5)大数据管理系统将下行指定的小类大数据通过冗余数据清洗系统、智能采集设备及数据收集器传输至Internet。8.根据权利要求7所述的基于大数据平台的网络安全实施方法，其特征在于:在执行所述大数据安全收集方法和大数据安全调用方法时，所述大数据操作日志记录器将对大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池及大数据安全存储系统的操作作日志记录，包括数据上行时间、数据下行时间、数据上行错误环节、数据下行错误环节信息。9.根据权利要求6或7或8所述的基于大数据平台的网络安全实施方法，其特征在于:还包括分布式计算机群上传大数据步骤: 步骤一:多个分布式计算机所形成的数据流信息通过核心防火墙系统传输至企业广域网内； 步骤二:防DDoS系统接收企业广域网内的数据流信息后，在防DDoS的情况下将数据流信息通过入侵检测引擎、第二层交换机、第一层防火墙、第一层交换机安全的传输至Internet 内； 步骤三:办公用户系统内的数据流信息将在网络漏洞监视器、防病毒系统的共同作用下安全的传输至局域网内； 步骤四:上网代理将从局域网内将办公用户系统所传输的数据流信息收集，而后通过管理系统在预置的控制策略下将可以上传的信息传输至第二层交换机内，而不可以上传的信息将被屏蔽； 步骤五:第二层交换机接收到可以上传的办公室用户系统的数据流信息后依次通过第一层防火墙和第一层交换机传输至Internet内。10.根据权利要求9所述的基于大数据平台的网络安全实施方法，其特征在于:还包括分布式计算机群调用大数据步骤: 步骤1:1nternet内的数据通过第一层交换机将数据分发到需要的链路上； 步骤2:第一层防火墙将链路上的数据内可能存在的病毒信息进行防护，并同时能防止网络攻击； 步骤3:数据过第一层防火墙后，通过第二层交换机将所数据再次分发到需要的链路上； 步骤4:经过第二层交换机后的数据将执行下述方法: 步骤4.1: 一方面通过入侵检测引擎入侵检测后，再经防DDoS系统防DDoS攻击处理后传入企业广域网内: 步骤4.1.1:企业广域网内的数据将在核心防火墙系统的防病毒、防攻击作用下传输至分布式计算机内，分布式计算机在接收由企业广域网内传输的数据时将通过DNS安全管理系统进行防DNS攻击处理； 步骤4.1.2:分布式计算机访问企业广域网时将分别利用数据认证系统和身份认证系统进行数据和身份的同步或异步认证； 步骤4.2:另一方面通过管理系统在预置的管理策略下将需要的数据利用上网代理服务器传输至局域网内: 步骤4.2.1:办公用户系统在网络漏洞监视器和防病毒系统的双重保护下从局域网内进行数据的调用；步骤4.2.2:办公用户系统通过oa防火墙系统安全的接入企业广域网，进行数据访问。
【文档编号】H04L29/06GK105871877SQ201610295006
【公开日】2016年8月17日
【申请日】2016年5月5日
【发明人】于欣
【申请人】云神科技投资股份有限公司