一种金融实时数据处理方法及系统与流程

本技术涉及金融交易系统，尤其是涉及一种金融实时数据处理方法及系统。

背景技术：

1、在金融场景下，金融实时数据具有实时性、多样性、复杂性等特性，同时也具备很大的研究和应用的价值。例如，根据获取的实时数据进行计算分析得到相应的计算结果，并依据该计算结果实时驱动相应的业务流程。

2、另外，金融实时数据的计算处理过程相对复杂，通常会设立多个计算服务器以减轻单个计算服务器的运算负荷。在数据处理过程中，每个计算服务器同步接入实时数据库获取同一实时数据，再共同参与对该实时数据的计算。但由于各个计算服务器之间互相独立，很难保证各自获取到的实时数据的一致性；并且，为应对复杂的计算处理，计算服务器之间还会存在多级运算关系，上级计算服务器需要引用下级计算服务器处理得到的计算结果，各个计算服务器之间通信关系复杂，数据传输易出现延迟，难以实现计算结果的实时共享。

技术实现思路

1、为解决上述问题，本技术的第一方面提供了一种金融实时数据的处理方法，包括以下步骤：

2、s1.搭建由n级计算服务器组成的运算组，每级计算服务器均订阅有一条源数据并被设定为根据所述源数据进行运算处理得出一条对应的计算结果数据；

3、s2.建立数据集中管理服务器，所述数据集中管理服务器通信连接每级所述计算服务器并接收所有所述计算结果数据；

4、s3.所述运算组中的一级计算服务器接收待处理金融实时数据作为源数据，二级及以上的计算服务器自所述数据集中管理服务器处订阅上一级计算服务器的计算结果数据作为源数据；

5、s4.所述运算组逐级进行所述计算结果数据的引用并由第n级计算服务器的运算得到目标计算结果数据。

6、本技术通过建立运算组对金融实时数据进行分布式计算，减轻单个计算服务器的运算负荷，提高数据处理结果的可靠性，同时设立数据集中管理服务器用于接收各级计算服务器的计算结果数据，运算组中的一级计算服务器接收所述待处理的金融实时数据，经过计算处理将其转换为计算结果数据并推送至数据集中管理服务器，后续各级所述计算服务器通过向所述数据集中管理服务器订阅相关计算结果数据进行逐级运算，能够确保在一次金融实时数据处理过程中，始终只存在一条数据传输路径，有效保障数据处理的原子性与一致性。

7、在一些实施例中，所述数据处理方法还包括以下步骤：

8、s5.建立风控服务器，通信连接所述风控服务器与所述数据集中管理服务器；

9、s6.所述风控服务器自所述数据集中管理服务器订阅所述目标计算结果数据，并依据预定风控标准对所述目标计算结果数据进行修正，得到目标校正结果数据并推送至所述数据集中管理服务器。

10、本技术建立风控服务器，用于依据预定风控标准修正目标计算结果数据得到目标校正结果数据，增强目标结果数据的可操作性，加快对金融实时数据的响应速度。

11、在一些实施方式中，所述数据处理方法还包括以下步骤：

12、s7.建立策略模块，通信连接所述策略模块与所述数据集中管理服务器；

13、s8.所述数据集中管理服务器将所述目标校正结果数据推送至所述策略模块；

14、s9.所述策略模块响应所述目标校正结果数据并启动业务执行流程。

15、本技术数据集中管理服务器准确且迅速地为策略模块推送目标校正结果数据，实现策略模块实时启动相关业务执行流程，加快后续业务对金融实时数据的响应速度，保障业务操作的及时性。

16、在一些实施方式中，搭建所述运算组包括以下步骤：

17、s11.依据待处理金融实时数据确定目标计算结果；

18、s12.针对所述目标计算结果设计n级数据计算程序；

19、s13.对应每级所述数据计算程序设立一个计算服务器。

20、本技术先确定目标计算结果并设计n级数据计算程序，再一一对应地设立计算服务器来执行每级数据计算程序，每个计算服务器相对独立运行，可靠性强，可伸缩性好，便于进行功能叠加与优化。

21、在一些实施方式中，所述运算组为若干组，每组所述运算组对应得出一个目标计算结果，各个所述运算组中执行相同的数据计算程序的计算服务器合并成一个计算服务器，且各个所述运算组之间通过所述数据集中管理服务器共享所有计算结果数据。本技术通过将各个运算组中执行相同的数据计算程序的计算服务器进行合并，减少计算服务器和计算结果数据的冗余，提高计算服务器的利用率并释放数据集中管理服务器存储空间，各运算组之间资源共享，减轻算力负荷。

22、在一些实施方式中，所述数据集中管理服务器为由若干个互联的节点构成的集群服务器，所述节点之间数据共享。本技术将由若干个互联的节点构成的集群服务器作为数据集中管理服务器，通过节点分散同步各个计算服务器的计算结果数据，均衡负载，提高数据的处理能力；且节点间的数据共享，便于进行数据调度，提升对计算服务器订阅上级计算结果数据的响应速度。

23、在一些实施方式中，所述节点之间基于raft协议进行协同运作以接收和推送所述计算结果数据、所述目标计算结果数据以及所述目标校正结果数据。本技术节点基于raft协议协同运作，能够保障任一时间点，数据集中管理服务器中只有一个节点进行数据接收和推送，保障数据传输操作的顺序性和一致性。

24、在一些实施方式中，所述数据集中管理服务器上还搭建有actor模型，每个所述节点上创建有actor实例，所述actor实例之间通过消息列队实现所述节点间的数据共享。本技术中的数据集中管理服务器结合了集群服务器与actor模型，actor实例通过消息列队实现跨节点数据共享，多个actor实例可以并行执行数据传递且互不干扰，提升对计算结果数据的传输效率。

25、在一些实施方式中，所述数据集中管理服务器与所述计算服务器、所述风控服务器或策略模块之间的数据传输包括以下步骤：

26、s01.在数据发送端采用protobuffer编译器将待传输数据进行序列化，重定义待传输数据的结构并形成数据包；

27、s02.将所述数据包通过tcp协议传递至数据接收端；

28、s03.所述数据接收端采用protobuffer编译器解码接收到的所述数据包并同步数据；

29、所述数据发送端为数据集中管理服务器、计算服务器和风控服务器中的一个；所述数据接收端为数据集中管理服务器、计算服务器、风控服务器和策略模块中的一个，所述待传输数据包括所述计算结果数据、所述目标计算结果数据以及所述目标校正结果数据。

30、本技术通过采用tcp协议搭载出通信通道，实现数据集中管理服务器与计算服务器之间的实时通信，同时由protobuffer编译器对待传输数据进行序列化，压缩为数据量更小、解析速度更快的数据包，便于在服务器间的快速传输，降低网络延迟。

31、本技术的第二方面提供了一种金融实时数据处理系统，用于执行上述金融实时数据处理方法。

32、基于上述的数据处理方法，本技术中的数据处理系统相应地具有数据处理结果可靠性强、数据处理的原子性与一致性好等特点。