基于区块链和数字金融的业务数据日志处理方法及系统与流程

1.本发明涉及互联网金融技术领域，具体涉及一种基于区块链和数字金融的业务数据日志处理方法及系统。


背景技术：

2.区块链是一种在不可信的竞争环境中低成本建立信任的新型计算范式和协作模式，由于其具有存储密度大、防篡改、可追溯等特性，基于区块链技术的应用越来越广泛。区块链通过增加区块的方式进行数据存储，且数据都是存储在单链上，但随着时间和交易数据的扩大极易引发数据膨胀，可能会导致存储和查询效率的降低。同时，数据在系统中均采用日志来记录，日志是记录各种系统中问题信息的关键，也是一种常见的海量数据，目前可以通过系统的日志对系统的运行状态进行分析，目前银行等组织机构都有多种系统，这些系统基于分布式的应用服务器集群日复一日地运，产生海量的日志。核心银行系统拥有的运维数据，既包括系统层面有关资源消耗的性能特征日志，还包括业务层面事关客户、账户的交易明细日志。
3.因此，由于区块链的数据存储方式，导致业务数据日志处理系统中进行数据采集时，发生异常并出现日志不连续的问题。


技术实现要素：

4.针对现有技术中的缺陷，本发明提供一种基于区块链和数字金融的业务数据日志处理方法及系统。
5.一种基于区块链和数字金融的业务数据日志处理方法，包括以下步骤：将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，多个数据备用库分别对应不同区块；在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，所调用业务数据代表了前区块的业务数据；对转发的单链数据日志添加位置标识符和增量序次标记，所述位置标识符与该单链数据日志对应的数据备用库相对应；接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；检测实时序列中的增量序次标记是否连续：若不连续，检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；若连续，得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库。区块链通过增加区块的方式进行数据存储，且数据都是存储在单链上，增加区块的同时，形成了前区块和后区块，以及前区块与后区块之间的链节点。一般来说。业务数据日志的形成过程如下：第一步，将多个依次链接的
区块中每个区块的业务数据进行实时存储并形成多个数据备用库，因此每个数据备用库都对应一个区块内的业务数据，同时所实时存储的业务数据都是实时新增的业务数据，并不会对原有的业务数据进行存储；第二步，在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，在链节点处能够更快更准确地调用前区块的业务数据，并且此业务数据也是实时新增的业务数据，也不是原有业务数据，也就是说在链节点处提取的业务数据是跟数据备用库中的业务数据是一样的，但数据备用库仅仅起到存储的作用，而单链数据日志需要对在后续数据处理过程中对其进行处理；第三步，对转发的单链数据日志添加位置标识符和增量序次标记，其中，位置标识符代表了单链链节点的位置，也就代表了所提取业务数据是属于哪一个前区块，从而代表了该前区块所对应的数据备用库，而增量序次标记代表了每个单链数据日志的标识，不同的单链数据日志的增量序次标记互不相同，比如不同单链数据日志的增量序次标记为：1、2、3、4、5、6
……
或a、b、c、d、e
……
等等，其中具体单个标记选取按照标记次数进行，每个标记均只能标记一个单链数据日志；第四步，接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，这是业务数据日志的形成过程，也是将所有区块中的业务数据进行集成，其中预设排序标准为增量序次标记对应的规定顺序，或者增量序次标记对应的用户自行设计的顺序，最后形成实时序列，其中实时序列与预设排序标准中的顺序可能不相同，会出现断层；第五步，检测实时序列中的增量序次标记是否连续，也就是是否出现断层，如果出现断层，也就代表了该断层处对应的增量序次标记丢失，根据丢失的增量序次标记找到丢失的单链数据日志，然后根据丢失的单链数据日志找到与其对应的位置标识符，根据位置标示符得到与其对应的数据备用库，再重新在数据备用库中调用业务数据并形成新的单链数据日志，很明显，此单链数据日志跟丢失的单链数据日志相同，从而能够利用填补标准在业务数据日志中插入新的单链数据日志，然后继续进行检测，检测实时序列中的增量序次标记是否连续；在第五步中，如果不出现断层，也就是代表了是多个单链数据日志形成了连续的业务数据日志，再通过多个单链数据日志得到对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库。
6.具体地，填补标准包括将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。在第五步中，利用填补标准在业务数据日志中插入新的单链数据日志，其中填补标准需要重新在单链数据日志中添加丢失的增量序次标记，以保证后续在检测实时序列中的增量序次标记是否连续时，获得连续结果。
7.还提供了一种基于区块链和数字金融的业务数据日志处理系统，其特征在于，包括：多个用于存储业务数据的区块，多个所述区块中两两链接并且两个相互链接的区块形成前区块和后区块，所述前区块和所述后区块之间形成链节点，所述前区块所存储的业务数据通过链节点进行调用；存储模块，所述存储模块用于存储多个数据备用库，多个所述数据备用库分别用于实时存储多个区块的增量业务数据；调用转发模块，所述调用转发模块用于调用业务数据并形成单链数据日志，并将单链数据日志进行转发；标记处理模块，所述标记处理模块用于对转发的单链数据日志添加位置标识符和增量序次标记，其中，所述位置标识符与该单链数据日志对应的数据备用库相对应；综合排序模块，所述综合排序模块用于接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，并形成业务
数据日志，其中，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；检测模块，所述检测模块用于检测实时序列中的增量序次标记是否连续：若不连续，所述检测模块检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；若连续，所述检测模块得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符在所述存储模块中找到与其对应的多个数据备用库，实时删除存储模块中找到的多个数据备用库。
8.具体地，检测模块包括填补单元，所述填补单元用于将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。
9.具体地，综合排序模块连接有若干应用服务器，所述应用服务器利用flume实时收集所述业务数据日志。通过在各应用服务器中设置日志采集插件，该日志采集插件可以定时或实时将应用服务器中产生的业务数据日志进行继续处理。应用服务器集群中部署有多种系统，例如redis缓存系统、kafka等，每个系统可以部署在一个或多个应用服务器中，各系统产生的业务日志将存储在部署的应用服务器中。flume是一个分布式、可靠的高性能工具，可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。
10.具体地，综合排序模块连接有监测统计模块，所述监测统计模块用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务数据日志中提取数据，得到各监测统计任务的监测数据。，针对各系统设置监测统计任务，例如针对redis缓存系统设置监测命令进程数量、内存使用数量、网络输入/输出数量等监测统计任务。在本发明实施例中，监测统计根据监测统计任务访问任务对应的业务数据日志获取数据，进而得到监测统计任务的监测统计结果。
11.具体地，监测统计模块连接有web展示模块，所述web展示模块实时动态展示所述监测数据。
12.具体地，web展示模块包括监控规则管理单元、报警渠道管理单元、性能参数动态展示单元、报警对象管理单元、报警历史展示单元、业务异常动态展示单元和关键词内容检索单元。
13.具体地，监测统计模块连接有报警控制模块，所述报警控制模块用于根据实时计算和分析的结果生成报警反馈。监测统计模块连接有报警控制模块，报警控制模块用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势，能够实时处理刚产生的日志，并及时反馈线上应用系统的运行状态，对线上出现的问题能够及时生成报警反馈。即本发明的系统能够对线上出现的问题实时给出报警反馈，进而方便及时有效的对线上故障进行处理。
14.还提供了一种存储介质，该存储介质存储有计算机程序，存储介质被一个或多个处理器执行时，实现如上述所记载实施方式中的基于区块链和数字金融的业务数据日志处理方法。
15.还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施方式中的
基于区块链和数字金融的业务数据日志处理方法。
16.本发明的有益效果体现在：
17.在本发明中，在具备存储密度大、防篡改、可追溯等特性的前提下，利用数据备用库、增量序次标记和位置标识符三者协同作用，有效防止业务数据日志异常，直接保证了业务数据日志形成的连续性和可靠性，重要的是，上述方法是连续并不断循环的，形成连续的业务数据日志后会直接对数据备用库进行删除，从而节省运算空间，提高存储效率和运算效率，因此数据备用库的形成和删除都是实时且循环进行的，也正因为此，以上方法均是在不额外造成大量数据运算成本的前提下进行。
附图说明
18.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
19.图1为本发明基于区块链和数字金融的业务数据日志处理方法的流程示意图；
20.图2为本发明基于区块链和数字金融的业务数据日志处理系统的区块连接的连接示意图；
21.图3为本发明基于区块链和数字金融的业务数据日志处理系统的部分模块的组成示意图；
22.图4为本发明基于区块链和数字金融的业务数据日志处理系统中与综合排序模块相关模块的组成示意图。
23.附图标记：
[0024]1‑
区块，11
‑
前区块，12
‑
后区块，13
‑
链节点，2
‑
存储模块，21
‑
数据备用库，3
‑
调用转发模块，4
‑
标记处理模块，41
‑
位置标识符，42
‑
增量序次标记，5
‑
综合排序模块，51
‑
应用服务器，6
‑
检测模块，61
‑
填补单元，7
‑
监测统计模块，8
‑
web展示模块。
具体实施方式
[0025]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和出示的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0026]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0027]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0028]
在本发明实施方式的描述中，需要说明的是，术语“内”、“外”、“上”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位
或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0029]
如图1所示，一种基于区块链和数字金融的业务数据日志处理方法，包括以下步骤：将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，多个数据备用库分别对应不同区块；在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，所调用业务数据代表了前区块的业务数据；对转发的单链数据日志添加位置标识符和增量序次标记，所述位置标识符与该单链数据日志对应的数据备用库相对应；接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；检测实时序列中的增量序次标记是否连续：若不连续，检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；若连续，得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库。
[0030]
在本实施方式中，需要说明的是，区块链通过增加区块的方式进行数据存储，且数据都是存储在单链上，增加区块的同时，形成了前区块和后区块，以及前区块与后区块之间的链节点。一般来说。业务数据日志的形成过程如下：第一步，将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，因此每个数据备用库都对应一个区块内的业务数据，同时所实时存储的业务数据都是实时新增的业务数据，并不会对原有的业务数据进行存储；第二步，在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，在链节点处能够更快更准确地调用前区块的业务数据，并且此业务数据也是实时新增的业务数据，也不是原有业务数据，也就是说在链节点处提取的业务数据是跟数据备用库中的业务数据是一样的，但数据备用库仅仅起到存储的作用，而单链数据日志需要对在后续数据处理过程中对其进行处理；第三步，对转发的单链数据日志添加位置标识符和增量序次标记，其中，位置标识符代表了单链链节点的位置，也就代表了所提取业务数据是属于哪一个前区块，从而代表了该前区块所对应的数据备用库，而增量序次标记代表了每个单链数据日志的标识，不同的单链数据日志的增量序次标记互不相同，比如不同单链数据日志的增量序次标记为：1、2、3、4、5、6
……
或a、b、c、d、e
……
等等，其中具体单个标记选取按照标记次数进行，每个标记均只能标记一个单链数据日志；第四步，接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，这是业务数据日志的形成过程，也是将所有区块中的业务数据进行集成，其中预设排序标准为增量序次标记对应的规定顺序，或者增量序次标记对应的用户自行设计的顺序，最后形成实时序列，其中实时序列与预设排序标准中的顺序可能不相同，会出现断层；第五步，检测实时序列中的增量序次标记是否连续，也就是是否出现断层，如果出现断层，也就代表了该断层处对应的增量序次标记丢失，根据丢失的增量序次标记找到丢失的单链数据日志，然后根据丢失的单链数据日志找到与其对应的位置标识符，根据位置标示符得到与其对应的数据备用库，再重新在数据备用库中调用业务数据并
形成新的单链数据日志，很明显，此单链数据日志跟丢失的单链数据日志相同，从而能够利用填补标准在业务数据日志中插入新的单链数据日志，然后继续进行检测，检测实时序列中的增量序次标记是否连续；在第五步中，如果不出现断层，也就是代表了是多个单链数据日志形成了连续的业务数据日志，再通过多个单链数据日志得到对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库；通过上述方法，在具备存储密度大、防篡改、可追溯等特性的前提下，利用数据备用库、增量序次标记和位置标识符三者协同作用，有效防止业务数据日志异常，直接保证了业务数据日志形成的连续性和可靠性，重要的是，上述方法是连续并不断循环的，形成连续的业务数据日志后会直接对数据备用库进行删除，从而节省运算空间，提高存储效率和运算效率，因此数据备用库的形成和删除都是实时且循环进行的，也正因为此，以上方法均是在不额外造成大量数据运算成本的前提下进行。
[0031]
具体地，填补标准包括将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。
[0032]
在本实施方式中，需要说明的是，在第五步中，利用填补标准在业务数据日志中插入新的单链数据日志，其中填补标准需要重新在单链数据日志中添加丢失的增量序次标记，以保证后续在检测实时序列中的增量序次标记是否连续时，获得连续结果。
[0033]
如图1至图4所示，还提供了一种基于区块链和数字金融的业务数据日志处理系统，包括：多个用于存储业务数据的区块1，多个区块1中两两链接并且两个相互链接的区块1形成前区块11和后区块12，前区块11和后区块12之间形成链节点13，前区块11所存储的业务数据通过链节点13进行调用；存储模块2，存储模块2用于存储多个数据备用库21，多个数据备用库21分别用于实时存储多个区块1的增量业务数据；调用转发模块3，调用转发模块3用于调用业务数据并形成单链数据日志，并将单链数据日志进行转发；标记处理模块4，标记处理模块4用于对转发的单链数据日志添加位置标识符41和增量序次标记42，其中，位置标识符41与该单链数据日志对应的数据备用库21相对应；综合排序模块5，综合排序模块5用于接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，并形成业务数据日志，其中，预设排序标准包括按预设序列排列多个增量序次标记42并形成实时序列；检测模块6，检测模块6用于检测实时序列中的增量序次标记42是否连续：若不连续，检测模块6检测丢失的增量序次标记42，并通过增量序次标记42得到与其对应的单链数据日志和该单链数据日志对应的位置标识符41，通过位置标示符得到与其对应的数据备用库21，在数据备用库21中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记42是否连续；若连续，检测模块6得到业务数据日志中的多个单链数据日志对应的多个位置标识符41，通过多个位置标示符在存储模块2中找到与其对应的多个数据备用库21，实时删除存储模块2中找到的多个数据备用库21。
[0034]
在本实施方式中，需要说明的是，在本系统中，各类模块和单元均在执行时实现如上述实施方式中的基于区块链和数字金融的业务数据日志处理方法，因此具体在此处不做过多赘述。
[0035]
具体地，检测模块6包括填补单元61，填补单元61用于将新的单链数据日志添加丢失的增量序次标记42，并按增量序次标记42在预设序列排列中的次序插入实时序列。
[0036]
在本实施方式中，需要说明的是，同样的，在本系统中，各类模块和单元均在执行时实现如上述实施方式中的基于区块链和数字金融的业务数据日志处理方法，因此具体在此处不做过多赘述。
[0037]
具体地，综合排序模块5连接有若干应用服务器51，应用服务器51利用flume实时收集业务数据日志。
[0038]
在本实施方式中，需要说明的是，通过在各应用服务器51中设置日志采集插件，该日志采集插件可以定时或实时将应用服务器51中产生的业务数据日志进行继续处理。应用服务器51集群中部署有多种系统，例如redis缓存系统、kafka等，每个系统可以部署在一个或多个应用服务器51中，各系统产生的业务日志将存储在部署的应用服务器51中。flume是一个分布式、可靠的高性能工具，可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。
[0039]
具体地，综合排序模块5连接有监测统计模块7，监测统计模块7用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务数据日志中提取数据，得到各监测统计任务的监测数据。
[0040]
在本实施方式中，需要说明的是，针对各系统设置监测统计任务，例如针对redis缓存系统设置监测命令进程数量、内存使用数量、网络输入/输出数量等监测统计任务。在本发明实施例中，监测统计根据监测统计任务访问任务对应的业务数据日志获取数据，进而得到监测统计任务的监测统计结果。
[0041]
具体地，监测统计模块7连接有web展示模块8，web展示模块8实时动态展示监测数据。
[0042]
具体地，web展示模块8包括监控规则管理单元、报警渠道管理单元、性能参数动态展示单元、报警对象管理单元、报警历史展示单元、业务异常动态展示单元和关键词内容检索单元。
[0043]
具体地，监测统计模块7连接有报警控制模块，报警控制模块用于根据实时计算和分析的结果生成报警反馈。
[0044]
在本实施方式中，需要说明的是，监测统计模块7连接有报警控制模块，报警控制模块用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势，能够实时处理刚产生的日志，并及时反馈线上应用系统的运行状态，对线上出现的问题能够及时生成报警反馈。即本发明的系统能够对线上出现的问题实时给出报警反馈，进而方便及时有效的对线上故障进行处理。
[0045]
还提供了一种存储介质，该存储介质存储有计算机程序，存储介质被一个或多个处理器执行时，实现如上述所记载实施方式中的基于区块链和数字金融的业务数据日志处理方法。
[0046]
在本实施方式中，需要说明的是，上述存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等。
[0047]
还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施方式中的
基于区块链和数字金融的业务数据日志处理方法。
[0048]
在本实施方式中，需要说明的是，处理器可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施方式中的方法。
[0049]
存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read
‑
only memory，简称eprom)，可编程只读存储器(programmable read
‑
only memory，简称prom)，只读存储器(read
‑
only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
[0050]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。