聚变实验多维度数据统一存取方法、系统、设备和介质与流程

本发明属于聚变实验数据存储，具体涉及一种聚变实验多维度数据统一存取方法、系统、设备和介质。

背景技术：

1、在聚变实验数据解析、存储、使用过程中，存在多种不同维度的数据和文件。主要包括dqa(实验采集数据)、ioc(实验过程数据)、file(实验二进制文件或拍摄图片)、para(实验参数数据)、wavf(实验波形配置数据)、tsd(时序数据)、pdb(物理数据)、rdb(数据库数据)，这些数据都是实验前置、过程和结果中产生的需要存储的实验数据，便于追溯历史实验，分别属于0维、一维、二维、三维、四维、二进制文件(图片)等。

2、目前上述多种不同维度的数据和文件进行存储时通常采用单一数据类型、单一维度数据的方式，各自分散在各个自定义的数据文件和数据存储方式中，并且采用各自定义的接口或方式分别进行存取，操作复杂；同时在调用这些数据时，需要对接多个不同的存取接口，同时在页面呈现的时候，也需要对接多个数据提供接口，极大的浪费了很多硬件资源和操作时间，不利于数据的统一存储和调度。

技术实现思路

1、为了解决现有聚变实验数据存储分散且不统一，导致操作复杂、效率低等问题，本发明提供了一种聚变实验多维度数据统一存取方法、系统、设备和介质，本发明将各个子系统不同类型的数据根据不同维度方式写入到固定的hdf5中，实现统一存储，同时本发明基于grpc框架实现同一接口统一存取各种数据，包含各维度不同类型数据以及数据相关属性信息，实现多种类型、多维度数据的统一存取和维护管理。

2、本发明通过下述技术方案实现：

3、一种聚变实验多维度数据统一存取方法，所述方法包括：

4、通过配置规范通道将各个子系统多类型多维度数据写入到固定的hdf5中，实现统一存储，规范通道配置方式为：

5、基于hfd5数据文件，构建多维数据存储结构，所述多维数据存储结构由节点及节点属性构成；并按照预先设置的命名规则，为所述多维数据存储结构的节点创建文件名、第一级文件夹以及多个dataset通道，且每个dataset通道记录相应的dataset基本属性和dataset数据空间数据；

6、构建统一存取接口：标准化对象实例定义，在grpc中定义proto文件，使用grpc双向流进行批量处理数据，按照不同装置、不同炮号、不同通道、不同数据文件类型、数据存取方式、维度数值和数据标识信息，实现数据统一存取接口；

7、利用所述统一存取接口对不同类型、不同维度的数据进行数据解析和存取。

8、现有采用单一数据类型、单一维度数据的方式对局部实验数据进行分别存储，存储方式复杂，不便于操作，同时在数据调度时，需要耗费大量的资源和时间。而本发明提出的方法通过多维数据存储结构，将各个子系统不同类型的数据根据不同维度方式写入到固定的hdf5中，实现统一存储，同时基于grpc框架实现同一接口统一存取各种数据，包含各维度不同类型数据以及数据相关属性信息，实现不同类型多维数据的统一存储和维护，大大提高了资源利用率，减少了成本，有效完成数据整合。

9、作为优选实施方式，本发明的按照预先设置的命名规则，为所述多维数据存储结构的节点创建文件名、第一级文件夹以及多个dataset通道，具体包括：

10、按照预先设置的命名规则，将每个数据文件都标明装置和每炮序号，即“装置＝炮号＝physicsdb.h5”保存为文件名，从而创建文件名；

11、按照预先设置的命名规则，将每一个实验系统都标明“系统标识-数据来源-数据类型”，作为第一级文件夹，从而创建第一级文件夹；

12、按照预先设置的命名规则，每一个通道都采用“定语-名词”结构，作为dataset通道，从而创建dataset通道。

13、作为优选实施方式，本发明的dataset基本属性包括通道属性和数据属性信息。

14、作为优选实施方式，本发明的通道属性包括：通道名、通道类型、作者信息、数据类型、备注说明、版本信息。

15、作为优选实施方式，本发明的数据属性用于说明数据信息的属性，一维及以上数据需要属性中增加数据属性字段和数据空间结合说明，具体包括：

16、数据空间的数据命名为v，均以浮点数的数据类型存储在数据空间中；

17、一维数据存储时间t与值v，时间t与值v等长；时间t在dataset通道的数据属性中呈现，时间t的数据属性分为：t_type标注有序时间us或无序时间nus，t_unit时间单位，t_dim时间长度；有序时间us还包括：t_coord_start开始时间，t_coord_freq时间频率；无序时间nus没有属性说明，以当前dataset通道名增加后缀-t-coord生成新的dataset通道，无序时间nus没有属性说明，直接将数据存入此新的dataset通道的数据空间；

18、二维数据在一维数据的基础上增加空间r，空间r的数据属性为：r_type分为有序us和无序nus，r_unit空间单位，r_dim空间数据长度，r_coord存储空间数据，另外dataset通道名增加后缀-r-coord生成新的dataset通道存储数据量大的空间数组数据；

19、三维数据在二维数据的基础上增加速度z，速度z的数据属性为：z_type有序无序，z_unit速度单位，z_dim速度数据长度，z_coord存储速度数据；另外dataset通道名增加后缀-z-coord生成新的dataset通道存储数据量大的速度数组数据；

20、四维数据在三维数据的基础上上增加阵列a，阵列a的数据属性为：a_type有序无序，a_unit阵列单位，a_dim阵列数据长度，a_coord存储阵列数据；另外在此dataset通道名增加后缀-a-coord为名称的另外一个dataset存储数据量大的阵列数组数据。

21、作为优选实施方式，本发明中，如果当前通道不存在某一属性可以缺失，只保留dim为0配置。

22、作为优选实施方式，本发明的方法还包括：

23、通过将装置、炮号、通道名信息传入所述统一数据接口，返回不同数据和维度，并进行数据呈现。本发明通过统一存取接口，与多客户端统一接口，大大整合了资源，便于数据调度管理。

24、第二方面，本发明提出了一种聚变实验多维度数据统一存取系统，所述系统包括：

25、统一存储单元，所述统一存储单元通过配置规范通道将各个子系统多类型多维度数据写入固定的hdf5中，实现统一存储，规范通道配置方式具体为：

26、基于hfd5数据文件，构建多维数据存储结构，所述多维数据存储结构由节点及节点属性构成；并按照预先设置的命名规则，为所述多维数据存储结构的节点创建文件名、第一级文件夹以及多个dataset通道，且每个dataset通道记录相应的dataset基本属性和dataset数据空间数据；

27、统一存取接口，所述统一存取接口构建过程具体为：标准化对象实例定义，在grc中定义proto文件，使用grpc双向流进行批量处理数据，按照不同装置、不同炮号、不同通道、不同数据文件类型、数据存取方式、维度数值和数据标识信息，实现数据统一存取接口；

28、所述统一存取接口与多客户端交互，实现不同类型、不同维度的数据解析和存取。

29、第三方面，本发明提出了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本发明所述方法的步骤。

30、第四方面，本发明提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明所述方法的步骤。

31、本发明与现有技术相比，具有如下的优点和有益效果：

32、1、本发明通过采用基于hdf5数据文件的统一数据存储结构，将各个子系统多类型多维度数据进行整合，实现统一存储；同时本发明还通过grpc可实现同一接口统一存取各种数据，包含各维度不同类型数据、以及数据相关属性信息，实现不同类型不同维度数据的统一存取和维护管理，大大提高了资源利用率，有效完成数据整合。

33、2、本发明还通过grpc可实现跨平台传输，实现c、python、java、c#等平台客户端统一接口，大大整合了资源，增加了利用率，并降低了开发成本。