一种轻量级数据存储管理方法、装置、设备及介质与流程

本发明涉及数据存储，具体涉及一种轻量级数据存储管理方法、装置、设备及介质。

背景技术：

1、以太坊被广泛应用于金融、供应链、游戏和数字资产领域，目前也在电力信息领域逐步扩大。然而，随着以太坊应用的持续火热，海量的数据使得以太坊网络面临着巨大的存储压力。

2、到如今为止，归档模式下的以太坊数据总量已经突破了10tb的大关。受数据规模的影响，以太坊系统正面临着严峻的挑战。

3、首先，新加入以太坊网络时，尽管以太坊已经提供了同步选项来加速同步历史数据的过程，但大量的数据写入以及由数据库引入的写放大仍然是不可忽视的开销。此外，随着以太坊区块的不断增长，历史数据的同步也变得更加耗时。其次，区块的落盘存储是区块从被挖掘到持久化过程中的一个关键环节，其性能直接影响系统的吞吐量。当一个新的区块被挖掘后，节点需要将该区块写入磁盘进行持久化存储。如果磁盘写入速度较慢或存在其他瓶颈，会导致系统网络的延迟增加，从而影响整体的交易处理速度。最后，海量的数据写入以及由此带来的写放大问题对存储设备的使用寿命提出了很高的要求。以太坊区块上的每一笔交易都需要被写入磁盘，而且随着时间的推移，数据量的增长会导致写入操作频繁和存储空间的消耗进而导致的系统吞吐量下降问题。

技术实现思路

1、面临海量数据的吞吐量带来的写放大系数问题，这种存储瓶颈导致的系统吞吐量下降问题。本发明提供一种轻量级数据存储管理方法、装置、设备及介质。

2、第一方面，本发明技术方案提供一种轻量级数据存储管理方法，应用于数据系统，所述系统包括若干个节点，每个节点有多个区块；所述方法包括如下步骤：

3、每个区块的数据落盘完成后，将对应的区块号按照落盘的时间顺序写入数据引擎；

4、系统崩溃时，检索数据引擎获取最新写入的区块号；

5、将获取的所述区块号作为断点，结合该节点的区块数量确认丢失数据的区块信息；

6、启动以太坊同步过程恢复丢失的数据。

7、作为本发明技术方案的优选，该方法还包括：

8、当数据引擎中不存在该节点的区块号时，将首个区块号作为断点确认所有区块丢失数据；执行步骤：启动以太坊同步过程恢复丢失的数据。

9、作为本发明技术方案的优选，启动以太坊同步过程恢复丢失的数据的步骤包括：

10、将断点的下一个区块作为同步起点；

11、选择从中请求区块数据的同步节点；

12、构造包含需要请求的区块号的同步请求并向选定的同步节点发送所述同步请求；

13、接收到基于同步请求的响应数据后，验证数据的有效性，验证通过后将接收到的数据存储。

14、作为本发明技术方案的优选，选择从中请求区块数据的同步节点的步骤包括：

15、获取与数据丢失节点通信的各节点的声誉值，根据选择声誉值大于设定阈值的节点作为同步节点；或根据网络拓扑结构来选择与数据丢失节点通信且物理距离小于设定距离阈值的节点作为同步节点；或选择物理距离小于设定距离阈值的节点中声誉值大于设定阈值的节点作为同步节点。

16、作为本发明技术方案的优选，选择从中请求区块数据的同步节点的步骤包括：

17、获取与数据丢失节点通信的各节点提供的数据的质量评估值，选择评估值大于设定估值的节点作为同步节点。

18、作为本发明技术方案的优选，选择从中请求区块数据的同步节点的步骤包括：

19、获取与数据丢失节点通信的各节点的负载量，选择负载量小于设定负载阈值的节点作为同步节点。

20、作为本发明技术方案的优选，该方法还包括：

21、接收到同步请求的同步节点检查自己的本地存储，看是否有请求的区块数据；若有，将数据发送给丢失数据的节点。

22、作为本发明技术方案的优选，该方法还包括：

23、丢失数据的节点接收到同步数据同步的数据后，检查区块的工作量证明是否有效以及区块中的交易是否合法，将验证通过的数据存入本地对应的区块；

24、判断丢失数据的节点数据是否与同步节点的最新区块的数据同步；

25、若是，数据同步结束；

26、若否，继续发送同步请求获取下一个区块的数据。

27、第二方面，本发明技术方案还提供一种轻量级数据存储管理装置，应用于数据系统，所述系统包括若干个节点，每个节点有多个区块；所述装置包括数据引擎写入模块、区块号检索模块、区块信息确认模块和数据恢复处理模块；

28、数据引擎写入模块，用于每个区块的数据落盘完成后，将对应的区块号按照落盘的时间顺序写入数据引擎；

29、区块号检索模块，用于系统崩溃时，检索数据引擎获取最新写入的区块号；

30、区块信息确认模块，用于将获取的所述区块号作为断点，结合该节点的区块数量确认丢失数据的区块信息；

31、数据恢复处理模块，用于启动以太坊同步过程恢复丢失的数据。

32、作为本发明技术方案的优选，区块号检索模块，还用于当数据引擎中不存在该节点的区块号时，将首个区块号作为断点确认所有区块丢失数据。

33、作为本发明技术方案的优选，数据恢复处理模块包括同步器点确认单元、同步节点选择单元、同步请求构造单元和数据接收处理单元；

34、同步器点确认单元，用于将断点的下一个区块作为同步起点；

35、同步节点选择单元，用于选择从中请求区块数据的同步节点；

36、同步请求构造单元，用于构造包含需要请求的区块号的同步请求并向选定的同步节点发送所述同步请求；

37、数据接收处理单元，用于接收到基于同步请求的响应数据后，验证数据的有效性，验证通过后将接收到的数据存储。

38、作为本发明技术方案的优选，同步节点选择单元，具体用于获取与数据丢失节点通信的各节点的声誉值，根据选择声誉值大于设定阈值的节点作为同步节点；或根据网络拓扑结构来选择与数据丢失节点通信且物理距离小于设定距离阈值的节点作为同步节点；或选择物理距离小于设定距离阈值的节点中声誉值大于设定阈值的节点作为同步节点。

39、作为本发明技术方案的优选，同步节点选择单元，具体用于获取与数据丢失节点通信的各节点提供的数据的质量评估值，选择评估值大于设定估值的节点作为同步节点。

40、作为本发明技术方案的优选，同步节点选择单元，具体用于获取与数据丢失节点通信的各节点的负载量，选择负载量小于设定负载阈值的节点作为同步节点。

41、作为本发明技术方案的优选，该装置还包括同步请求响应模块，用于接收到同步请求的同步节点检查自己的本地存储，看是否有请求的区块数据；若有，将数据发送给丢失数据的节点。

42、作为本发明技术方案的优选，数据接收处理单元，还用于接收到同步数据同步的数据后，检查区块的工作量证明是否有效以及区块中的交易是否合法，将验证通过的数据存入本地对应的区块；判断丢失数据的节点数据是否与同步节点的最新区块的数据同步；若是，数据同步结束；若否，触发同步请求构造单元继续发送同步请求获取下一个区块的数据。

43、第三方面，本发明技术方案还提供一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的轻量级数据存储管理方法。

44、第四方面，本发明技术方案还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述的轻量级数据存储管理方法。

45、从以上技术方案可以看出，本发明具有以下优点：节点可以判断当崩溃发生时，完全落盘的最后一个区块号，这个区块号将作为断点和起始块，并由节点开始区块同步进程。这种策略避免了传统方法中周期性地布置断点，而是通过追踪的方式直接定义最新的断点，最终实现了最少的数据同步量。

46、此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

47、由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。