一种支持大数据量的数据传输方法与流程

本发明涉及数据传输方法，特别涉及一种支持大数据量的数据传输方法。

背景技术：

目前大数据环境缺乏统一的数据传输管理体系，没有一种通用的大数据传输方案，现有的不同网络间、内部不同业务系统间、内部与外单位不同业务系统间均设置有各自的数据传输方式，不能在大数据环境下实现高效的跨系统间调用，且各系统和平台间还存在重复建设的问题。

因此，如何提供一种支持大数据量的数据传输方法，在日益增长的数据传输活动中提高数据库间数据的一致性与及时性，成为一个亟待解决的问题。

技术实现要素：

本发明要解决的技术问题，在于提供一种支持大数据量的数据传输方法，实现跨业务系统的大数据量传输，同时保证数据的一致性与及时性。

本发明提供了一种支持大数据量的数据传输方法，包括如下步骤：

步骤s1、将需要的传输节点安装节点程序后注册到总控平台；

步骤s2、对节点进行审批并创建传输通道；

步骤s3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型；

步骤s4、调用api-gateway接口将需要传输的数据传递到api-gateway接口中；

步骤s5、传输节点接收到api-gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。

进一步的，所述传输类型包括kafka和mq，所述消息中间件包括kafka和activemq。

进一步的，所述传输节点分布在不同的业务系统中。

进一步的，所述数据校验包括过滤得到需要的数据。

进一步的，所述方法还提供联网报文的配置，包括字符串报文、二进制流、xml格式报文和文件。

本发明的优点在于：

1、通过传输节点与传输通道的配置以及将kafka、activemq作为传输组件(消息中间件)，在采用kafka传输方式的传递的过程中采用json结构进行数据交换，最终将目标结构与数据(即最终需要的数据结构和对应的数据)写到目标地址，最大程度保障数据传输过程的数据一致性和及时性；

2、通过将不同的传输节点统一注册到总控平台，保证扩展的便捷性和兼容性；

3、结合api-gateway接口调用数据，实现同侧网域不同逻辑地域间服务器的逐级连接和数据传递，以及基于通道进行跨网络服务器间的“无缝”数据分发；

4、提供多种接收通知消息的机制，支持提供源数据端和目标数据端之间多种通讯方式，如会话、广播通知、管道、发布/订阅等，满足不同的应用场景需求。

5、在数据传输过程中增加了总控平台对节点的授权认证(认证由超级管理员进行操作)以及传输数据的校验功能，同时兼具保密和保护作用；

6、还可通过数据上传平台展示，实现全流程的日志跟踪，实现了问题数据流向追溯。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种支持大数据量的数据传输方法的流程图。

具体实施方式

请参照图1所示，本发明一种支持大数据量的数据传输方法，包括如下步骤：

步骤s1、将需要的传输节点安装节点程序后注册到总控平台；所述节点程序支持数据的传输与获取等操作；

步骤s2、对节点进行审批并创建传输通道；即实现对节点的身份审批，比如在注册了省厅、市局和县局三个传输节点，可在省厅创建oracle传输通道，对应的业务需求是将省厅数据下发到县局，则配置路由为省厅到市局，再由市局到县局；

步骤s3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型，所述传输类型包括kafka和mq，在配置时传输类型选择kafka和mq两种之一即可；

步骤s4、调用api-gateway接口将需要传输的数据传递到api-gateway接口中；

步骤s5、传输节点接收到api-gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。

较佳的，所述消息中间件包括kafka和activemq，根据业务需要选择其中一种传输类型即可。

较佳的，所述传输节点分布在不同的业务系统中。使得不同的业务系统中的传输节点均可以根据业务需求进行数据传输。

较佳的，所述数据校验包括过滤得到需要的数据，保留目标地址需要的数据即可。

较佳的，所述方法还提供联网报文的配置，包括字符串报文、二进制流、xml格式报文和文件，提供不同接收通知消息的机制，以满足不同的应用场景需求。

本发明优化大数据传输架构和大数据传输能力，提供统一的大数据传输通用解决方案。汇聚现有大数据传输的现实需求，提取大数据传输的共性，实现从“源”到“端”的传输护航，解决在日益增长的数据传输活动中面临的数据库间数据的一致性与及时性的难题。且任何系统及平台均可直接采用本发明方法，可避免重复建设，根据不同传输内容，提供不同的解决方案，如：文件、图片、字符串、视频流、音频流等，整个系统科学、高效、可靠、协调的管理与运行。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

技术特征：

1.一种支持大数据量的数据传输方法，其特征在于：包括如下步骤：

步骤s1、将需要的传输节点安装节点程序后注册到总控平台；

步骤s2、对节点进行审批并创建传输通道；

步骤s3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型；

步骤s4、调用api-gateway接口将需要传输的数据传递到api-gateway接口中；

步骤s5、传输节点接收到api-gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。

2.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述传输类型包括kafka和mq，所述消息中间件包括kafka和activemq。

3.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述传输节点分布在不同的业务系统中。

4.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述数据校验包括过滤得到需要的数据。

5.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述方法还提供联网报文的配置，包括字符串报文、二进制流、xml格式报文和文件。

技术总结
本发明提供了一种支持大数据量的数据传输方法，包括：步骤S1、将需要的传输节点安装节点程序后注册到总控平台；步骤S2、对节点进行审批并创建传输通道；步骤S3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型；步骤S4、调用api‑gateway接口将需要传输的数据传递到api‑gateway接口中；步骤S5、传输节点接收到api‑gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。本发明的优点在于：实现跨业务系统的大数据量传输，同时保证数据的一致性与及时性。

技术研发人员：吴志雄;甘俊奇;黄毓斌
受保护的技术使用者：南威软件股份有限公司;福建威盾科技集团有限公司
技术研发日：2020.10.12
技术公布日：2021.01.15