一种数据转换方法、装置、设备以及存储介质与流程

本发明涉及数据处理，具体涉及数据治理领域，尤其涉及一种数据转换方法、装置、设备以及存储介质。

背景技术：

1、随着可观测性概念引入it领域，其主要用于帮助运维团队在关键事件中尽早发现问题、进行控制并发出警告，但可观测的建设不是一蹴而就的，不同时期或不同供应商在数据格式和规范上差异很大，甚至在同一类型的数据中元数据的定义也不一致，这种不一致会大大降低数据的质量，造成数据的孤立。

2、如果有一个统一的数据平台，把所有数据放在一个平台，似乎就能解决关联性的问题。但实际情况往往是，建立了一个观察可观测性数据的统一平台，数据堆在了一个地方，用的时候还是按传统的方式各看各的，关联性还得靠人的知识和经验。

3、由于数据是来自于各种观察工具的，虽然在数据格式上统一了，但不同工具的元数据截然不同，因此，如何采取有效的数据治理手段，实现数据格式标准化以及进行数据间的关联，是目前有待解决的重要问题。

技术实现思路

1、基于此，本发明提供了一种数据转换方法、装置、设备以及存储介质，以解决可观测型数据无法做到统一和关联的问题。

2、第一方面，本发明实施例提供了一种数据转换方法，该方法包括：

3、通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于ebpf(extended berkeley packet filter，扩展型伯克利包过滤器)构建得到；

4、通过规则加载器将进程标识和数据转换规则写入预设的ebpf存储空间中；

5、通过规则加载器基于ebpf存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

6、将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

7、第二方面，本发明实施例提供了一种数据转换装置，该装置包括：

8、数据读取模块，用于通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；其中规则加载器基于ebpf构建得到；

9、数据写入模块，用于通过规则加载器将进程标识和数据转换规则写入预设的ebpf存储空间中；

10、目标转换数据生成模块，用于通过规则加载器基于ebpf存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；

11、数据转发模块，用于将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。

12、第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种数据转换方法。

16、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种数据转换方法。

17、本发明实施例的技术方案，通过引入ebpf技术，对发送至数据处理器中的数据进行提前拦截，并通过规则加载器替换数据处理器来进行数据转换，规避了数据处理器在加载规则时会重启以及过多人工参与的缺陷，不仅建立了数据间的关联性，也提升了数据转换的效率和准确性，改善了数据转换环节的质量。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据转换方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述数据转换规则包括：至少一个第一类数据转换规则，第一类数据转换规则中包括数据指标名集合；在每个数据指标名集合中预先指定唯一的转换数据指标名；

3.根据权利要求1所述的方法，其特征在于，所述数据转换规则包括：至少一个第二类数据转换规则，第二类数据转换规则中包括设定数据指标名下的属性名集合；在每个属性名集合中预先指定唯一的转换属性名；

4.根据权利要求1所述的方法，其特征在于，所述数据转换规则包括：至少一个第三类数据转换规则，第三类数据转换规则中包括设定数据指标名的设定属性名下的属性值集合；在每个属性值集合中预先指定唯一的转换属性值；

5.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，通过规则生成器根据每个树结构的根节点，生成至少一个第一类数据转换规则，包括：

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

8.一种数据转换装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种数据转换方法。

技术总结
本发明公开了一种数据转换方法、装置、设备以及存储介质。该方法包括：通过规则加载器读取数据处理器的进程标识，并从规则生成器获取数据转换规则；通过规则加载器将进程标识和数据转换规则写入预设的eBPF存储空间中；通过规则加载器基于eBPF存储空间，拦截数据传输终点指向进程标识的目标网络数据，并使用数据转换规则对目标网络数据进行数据转换，得到目标转换数据；将目标转换数据重新发送至数据处理器，以供数据处理器对目标转换数据执行匹配的数据处理操作。本发明实施例的技术方案规避了数据处理器加载规则时重启以及过多人工参与的缺陷，建立了数据间的关联性，提升了数据转换的效率和准确性，改善了数据转换环节的质量。

技术研发人员：胡伟
受保护的技术使用者：北京优特捷信息技术有限公司
技术研发日：
技术公布日：2024/6/11