数据摆渡系统及方法与流程

本发明涉及数据处理技术领域，特别涉及一种数据摆渡系统及方法。

背景技术：

由于企业内网和企业外网之间的网络连接存在安全入侵威胁的问题，企业内网和企业外网之间会增加网闸等设备，用以对不同的网络进行隔离。但是网络隔离后，内外网之间无法建立网络连接，只能基于网闸设备实现简单的文件传输，无法满足大数据场景下的流量传输。

针对上述问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供一种数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，该系统包括：

流量探针、日志采集器、外网服务器、隔离装置、内网服务器和态势感知与安全运营平台；

其中，流量探针、日志采集器和外网服务器部署在外网环境，内网服务器和态势感知与安全运营平台部署在内网环境，隔离装置将外网环境与内网环境隔离；

流量探针，用于获得外网的网络流量数据；

日志采集器，用于采集外网的网络安全日志，根据日志解析规则解析网络安全日志；

外网服务器，用于将网络流量数据和解析后的网络安全日志转换为文本格式并加密；

隔离装置，用于将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；

内网服务器，用于对加密后的文本格式的网络流量数据和网络安全日志解密；

态势感知与安全运营平台，用于根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。

本发明实施例提供一种数据摆渡方法，该方法应用于上述数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，该方法包括：

流量探针获得外网的网络流量数据；

日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；

外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；

隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；

内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；

态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据摆渡方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据摆渡方法的计算机程序。

本发明实施例通过：流量探针获得外网的网络流量数据；日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警，本发明基于隔离装置，通过对外网的网络流量数据和网络安全日志进行格式转换和加密解密，实现了外网流量数据向内网的安全传输，并在内网实现了对外网流量数据的分析和告警，能够预警外网流量数据的潜在安全隐患，满足了内网网络安全和流量数据传输的双重需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中数据摆渡系统结构的示意图；

图2为本发明实施例中数据摆渡系统整体框架的示意图；

图3为本发明实施例中数据摆渡方法流程的示意图；

图4为本发明实施例中数据摆渡方法另一流程的示意图；

图5为图3中步骤302的具体流程的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、方法或计算机程序产品。因此，本发明公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

为了解决现有技术在只能基于网闸设备实现简单的文件传输，无法满足大数据场景下的流量传输的技术问题，本发明实施例提供一种数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，图1为本发明实施例中数据摆渡系统结构的示意图，如图1所示，该系统包括：

流量探针01、日志采集器02、外网服务器03、隔离装置04、内网服务器05和态势感知与安全运营平台06；

其中，流量探针01、日志采集器02和外网服务器03部署在外网环境，内网服务器05和态势感知与安全运营平台06部署在内网环境，隔离装置04将外网环境与内网环境隔离；

流量探针01，用于获得外网的网络流量数据；

日志采集器02，用于采集外网的网络安全日志，根据日志解析规则解析网络安全日志；

外网服务器03，用于将网络流量数据和解析后的网络安全日志转换为文本格式并加密；

隔离装置04，用于将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器05；

内网服务器05，用于对加密后的文本格式的网络流量数据和网络安全日志解密；

态势感知与安全运营平台06，用于根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。

如图1所示，本发明实施例通过：流量探针获得外网的网络流量数据；日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警，本发明基于隔离装置，通过对外网的网络流量数据和网络安全日志进行格式转换和加密解密，实现了外网流量数据向内网的安全传输，并在内网实现了对外网流量数据的分析和告警，能够预警外网流量数据的潜在安全隐患，满足了内网网络安全和流量数据传输的双重需求。

在一个实施例中，日志采集器02具体用于：

根据网络安全日志，确定网络安全日志的类型；

根据网络安全日志的类型，在规则库中查询网络安全日志的类型对应的日志解析规则，其中，规则库中存储有多种网络安全日志的日志解析规则；

根据网络安全日志的类型对应的日志解析规则，解析网络安全日志。

具体实施时，图2为本发明实施例中数据摆渡系统整体框架的示意图，如图2所示，为了收集外网环境中安全设备的网络流量数据，本发明实施例部署了流量探针01，用于获得外网的海量的网络流量数据，其中，网络流量数据可以是tcp流量数据，用于反映数据的传输信息；为了满足在大流量高并发的安全日志采集的场景，本发明实施例部署了日志采集器02，用于采集海量的安全日志，并根据日志解析规则解析、富化网络安全日志，具体包括：首先将多种类型的网络安全日志的日志解析规则预先存储在规则库中，接着根据网络安全日志，确定网络安全日志的类型，并在规则库中查询网络安全日志的类型对应的日志解析规则，最后根据网络安全日志的类型对应的日志解析规则，对网络安全日志进行相应的解析和富化处理。

在一个实施例中，流量探针01还用于：将外网的网络流量数据分布式存储至外网kafka；

日志采集器02还用于：将解析后的网络安全日志分布式存储至外网kafka；

外网服务器03还用于，从外网kafka中读取网络流量数据和解析后的网络安全日志。

为了实现海量数据的分布式存储，本发明实施例在外网服务器03部署了外网kafka(分布式消息发布订阅系统)，流量探针01可以将外网的网络流量数据分布式存储至外网kafka，日志采集器02也可以将解析后的网络安全日志分布式存储至外网kafka。外网kafka接收到网络流量数据和解析后的网络安全日志后，通过监听9092/tcp端口，创建与流量探针01和日志采集器02匹配的topic，存储海量的网络流量数据和网络安全日志，便于后续高并发处理。

外网服务器03中部署有日志解析程序，日志解析程序可以对外网kafka中存储的各种类型的网络流量数据和解析后的网络安全日志，基于富化规则进行进一步的富化处理，由于隔离装置04只能传输文件的特性，日志解析程序还可以将网络流量数据和解析后的网络安全日志转换为文本格式，并基于base64加密，将加密后的文本格式的网络流量数据和网络安全日志传输至隔离装置04，这样就基于隔离装置的传输特性，实现了外网流量数据向内网的安全传输，并且转换为文本格式的网络流量数据和解析后的网络安全日志为静态数据，不会对内网的网络安全造成威胁。

隔离装置04可以是网闸，隔离装置04可以基于自身的传输特性，将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器05对应的文件目录中，便于后续的解析。

在一个实施例中，内网服务器05还用于：将解密后的网络流量数据和网络安全日志分布式存储至内网kafka；

态势感知与安全运营平台06，用于从内网kafka中读取解密后的网络流量数据和网络安全日志。

具体实施时，内网服务器05中部署有日志解析程序，用于接收隔离装置04发送的加密后的文本格式的网络流量数据和网络安全日志，对文件解码，并基于内网的相关富化规则进行富化处理，态势感知与安全运营平台06中部署有内网kafka，内网服务器05还可以将解密后的网络流量数据和网络安全日志分布式存储至内网kafka，态势感知与安全运营平台06可以在一定的时间和空间范围内，对内网环境的安全状态以及威胁环境的感知，并从内网kafka中读取解密后的网络流量数据和网络安全日志，解析后存储至es和hive中，通过关联分析引擎按照关联规则进行对解密后的网络流量数据和网络安全日志进行解析，产生告警数据，进行外网的网络安全分析和告警，实现对外网流量数据的潜在安全隐患的预警。

基于同一发明构思，本发明实施例中还提供了一种数据摆渡方法，如下面的实施例。由于数据摆渡方法解决问题的原理与数据摆渡系统相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

本发明实施例提供一种数据摆渡方法，该方法应用于上述数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，图3为本发明实施例中数据摆渡方法流程的示意图，如图3所示，该方法包括：

步骤301：流量探针获得外网的网络流量数据；

步骤302：日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；

步骤303：外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；

步骤304：隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；

步骤305：内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；

步骤306：态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。

图4为本发明实施例中数据摆渡方法另一流程的示意图，如图4所示，在一个实施例中，该方法还可以包括：

步骤401：流量探针将外网的网络流量数据分布式存储至外网kafka，日志采集器将解析后的网络安全日志分布式存储至外网kafka；

步骤402：外网服务器从外网kafka中读取网络流量数据和解析后的网络安全日志。

如图4所示，在一个实施例中，该方法还可以包括：

步骤403：内网服务器将解密后的网络流量数据和网络安全日志分布式存储至内网kafka；

步骤404：态势感知与安全运营平台从内网kafka中读取解密后的网络流量数据和网络安全日志。

图5为图3中步骤302的具体流程的示意图，如图5所示，在一个实施例中，步骤301：日志采集器接收网络安全日志，根据日志解析规则解析网络安全日志，可以包括：

步骤501：根据网络安全日志，确定网络安全日志的类型；

步骤502：根据网络安全日志的类型，在规则库中查询网络安全日志的类型对应的日志解析规则，其中，规则库中存储有多种网络安全日志的日志解析规则；

步骤503：根据网络安全日志的类型对应的日志解析规则，解析网络安全日志。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据摆渡方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据摆渡方法的计算机程序。

下面举一个具体的例子，以便于理解本发明如何实施。

首先，按照图2所示的方式布设数据摆渡系统，接着执行如下步骤：

第一步：流量探针采集外网海量的网络流量数据，日志采集器采集外网海量的安全日志，并根据网络安全日志的类型，从规则库中查询网络安全日志的类型对应的日志解析规则，对网络安全日志进行解析和富化处理；

第二步：流量探针将外网的网络流量数据分布式存储至外网kafka，日志采集器将解析后的网络安全日志分布式存储至外网kafka；

第三步：外网服务器中的日志解析程序对外网kafka中存储的各种类型的网络流量数据和解析后的网络安全日志，基于富化规则进行进一步的富化处理，并将网络流量数据和解析后的网络安全日志转换为文本格式，基于base64加密，将加密后的文本格式的网络流量数据和网络安全日志传输至隔离装置；

第四步：隔离装置基于自身的传输特性，将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器对应的文件目录中；

第五步：内网服务器中的日志解析程序接收隔离装置发送的加密后的文本格式的网络流量数据和网络安全日志，对文件解码，并基于内网的相关富化规则进行富化处理，将解密后的网络流量数据和网络安全日志分布式存储至内网kafka；

第六步：态势感知与安全运营平台从内网kafka中读取解密后的网络流量数据和网络安全日志，解析后存储至es和hive中，通过关联分析引擎按照关联规则进行对解密后的网络流量数据和网络安全日志进行解析，产生告警数据。

综上所述，本发明实施例通过：流量探针获得外网的网络流量数据；日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警，本发明基于隔离装置，通过对外网的网络流量数据和网络安全日志进行格式转换和加密解密，实现了外网流量数据向内网的安全传输，并在内网实现了对外网流量数据的分析和告警，能够预警外网流量数据的潜在安全隐患，满足了内网网络安全和流量数据传输的双重需求。

此外，本发明实施例中的流量探针、日志采集器、外网服务器、内网服务器和态势感知与安全运营平台以及kafka等均为基于大数据场景的设备，可以实现海量数据的安全传输。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。