数据纠偏方法、装置、电子设备和计算机可读存储介质与流程

本技术涉及通信，尤其涉及一种数据纠偏方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、本部分旨在为权利要求书中陈述的本技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、现有光传送网(opticaltransportnetwork，otn)统一管控平台校验模块的格式校验方法在进行报文校验时只能对报文的格式进行校验，无法准确定位出关键字段的具体问题，关键字段出现的问题仍需耗费大量资源成本对校验结果进行人工甄别；同时在某些场景下，由于厂商设备版本迭代，会导致厂商设备输出的报文信息紊乱以及数据格式不统一的现象，导致大量数据直接被现有校验模块丢弃，造成的数据浪费现象严重影响智能运维分析任务中数据采集的需要，最终导致智能分析平台获取到的数据量少，影响平台智能分析模型的训练效率和推理效果。

技术实现思路

1、本技术的目的在于提供一种数据纠偏方法、装置、电子设备以及计算机可读存储介质，能够对报文中出现问题的字段进行准确的定位和纠错。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、本技术实施例提供了一种数据纠偏方法，包括：获取目标数据报文，所述目标数据报文包括目标信息类型的目标数据字段；对所述目标数据字段进行拆分，获得多个字符元素；对所述多个字符元素进行热编码，获得字符元素矩阵；获取所述目标信息类型对应的编码模板矩阵，所述编码模板矩阵用于对所述目标信息类型对应的字段模板进行描述；将所述字符元素矩阵与所述编码模板矩阵进行比对，以对所述字符元素矩阵进行纠偏处理。

4、在一些实施例中，将所述字符元素矩阵与所述编码模板矩阵进行比对，以对所述字符元素矩阵进行纠偏处理，包括：将所述字符元素矩阵与所述编码模板矩阵进行比对，确定所述字符元素矩阵相比于所述编码模板矩阵的缺失元素数量、冗余元素数量以及差异元素数量；确定所述字符元素矩阵的元素个数和所述编码模板矩阵的元素个数；根据所述缺失元素数量、所述冗余元素数量、所述差异元素数量、所述字符元素矩阵的元素个数和所述编码模板矩阵的元素个数，确定所述字符元素矩阵相比于所述编码模板矩阵的偏差系数值；确定所述目标信息类型对应的偏差容忍度；如果所述偏差系数值小于所述偏差容忍度，则通过所述编码模板矩阵对所述字符元素矩阵进行纠偏；如果所述偏差系数大于或者等于所述偏差容忍度，则抛弃所述目标数据字段。

5、在一些实施例中，根据所述缺失元素数量、所述冗余元素数量、所述差异元素数量、所述字符元素矩阵的元素个数和所述编码模板矩阵的元素个数，确定所述字符元素矩阵相比于所述编码模板矩阵的偏差系数值，包括：将所述缺失元素数量与所述冗余元素数量相加，确定所述字符元素矩阵对应的元素数量偏差；根据所述差异元素数量，确定所述字符元素矩阵元素的元素内容偏差；根据所述字符元素矩阵的元素个数和所述编码模板矩阵的元素个数，确定所述字符元素矩阵相对于所述编码模板矩阵的矩阵大小偏差；通过所述字符元素矩阵对应的元素数量偏差和所述矩阵大小偏差，确定所述字符元素矩阵对应的混乱值；根据所述元素数量偏差、所述元素内容偏差以及所述混乱值，确定所述字符元素矩阵相比于所述编码模板矩阵的偏差系数值。

6、在一些实施例中，所述字符元素矩阵包括第一元素向量和第二元素向量，所述编码模板矩阵包括第一元素模板向量、第二元素模板向量以及第三元素模板向量；其中，将所述字符元素矩阵与所述编码模板矩阵进行比对，确定所述字符元素矩阵相比于所述编码模板矩阵的缺失元素数量，包括：将所述字符元素矩阵中的第一元素向量与所述编码模板矩阵中的第一元素模板向量比较；如果所述第一元素向量与所述第一元素模板向量相同，则将所述第二元素向量与所述第二元素模板向量相比；如果所述第二元素向量与所述第二元素模板向量不相同，则将所述第二元素向量与所述第三元素模板向量相比；如果所述第二元素向量与所述第三元素模板向量相同，则确定所述第二元素向量与所述第一元素向量之间存在元素缺失。

7、在一些实施例中，通过所述编码模板矩阵对所述字符元素矩阵进行纠偏，包括：在确定所述第二元素向量与所述第一元素向量之间存在元素缺失之后，复制所述第二元素模板向量获得补全向量；将所述补全向量置放在所述第一元素向量与所述第二元素向量之间，以补全所述字符元素矩阵。

8、在一些实施例中，所述字符元素矩阵包括第四元素向量和第五元素向量，所述编码模板矩阵包括第四元素模板向量、第五元素模板向量以及第六元素模板向量；其中，将所述字符元素矩阵与所述编码模板矩阵进行比对，确定所述字符元素矩阵相比于所述编码模板矩阵的冗余元素数量，包括：将所述字符元素矩阵中的第四元素向量与所述编码模板矩阵中的第四元素模板向量比较；如果所述第四元素向量与所述第四元素模板向量相同，则将所述第五元素向量与所述第五元素模板向量相比；如果所述第五元素向量与所述第五元素模板向量不相同，则将所述第五元素向量与所述第六元素模板向量相比；如果所述第五元素向量与所述第六元素模板向量也不相同，则确定所述字符元素矩阵中的所述第五元素向量是冗余元素向量。

9、在一些实施例中，通过所述编码模板矩阵对所述字符元素矩阵进行纠偏，包括：将所述第五元素向量删除。

10、在一些实施例中，在获取所述目标信息类型对应的编码模板矩阵之前，所述方法包括：获取所述目标信息类型对应的所述字段模板，所述字段模板包括固定字符和占位字符；对所述占位字符进行热编码，获得占位字符向量；对占位字符标签进行热编码，获得占位字符标签向量；将所述占位字符标签向量与所述占位字符向量拼接，以生成所述占位字符对应的占位字符元素向量；对所述字段模板中的固定字符进行热编码，获得固定字符向量；对固定字符标签进行热编码，获得固定字符标签向量；将所述固定字符标签向量与所述固定字符向量拼接，以生成所述固定字符对应的固定字符元素向量；根据所述占位字符元素向量与所述固定字符元素向量，生成所述目标信息类型对应的编码模板矩阵。

11、在一些实施例中，所述字符元素矩阵包括第七元素向量，所述编码模板矩阵包括第七元素模板向量，所述；其中，所述第七元素模板向量包括所述占位字符标签向量和所述占位字符元素向量；其中，将所述字符元素矩阵与所述编码模板矩阵进行比对，包括：确定所述第七元素模板向量中标签向量是占位符标签向量；根据所述占位符标签向量确定所述第七元素模板向量对应的占位类型；通过所述占位类型对所述第七元素向量进行校验；如果所述第七元素向量校验通过，则确定所述第七元素向量与所述第七元素模板向量相同；如果所述第七元素向量校验不通过，则确定所述第七元素向量与所述第七元素模板向量不相同。

12、在一些实施例中，所述字符元素矩阵包括第八元素向量，所述编码模板矩阵包括第八元素模板向量；其中，所述第八元素模板向量包括所述占位字符标签向量和所述占位字符元素向量；其中，将所述字符元素矩阵与所述编码模板矩阵进行比对，包括：在将所述第八元素向量与所述第八元素模板向量进行比对时，如果所述第八元素模板向量中的标签向量是占位符标签向量，则确定所述第八元素向量与所述第八元素模板向量相同。

13、本技术实施例提供了一种数据纠偏装置，包括：目标数据报文获取模块、字段拆分模块、字符元素矩阵确定模块、编码模块矩阵确定模块以及纠偏处理模块。

14、其中，所述目标数据报文获取模块用于获取目标数据报文，所述目标数据报文包括目标信息类型的目标数据字段；所述字段拆分模块可以用于对所述目标数据字段进行拆分，获得多个字符元素；所述字符元素矩阵确定模块可以用于对所述多个字符元素进行热编码，获得字符元素矩阵；所述编码模块矩阵确定模块可以用于获取所述目标信息类型对应的编码模板矩阵，所述编码模板矩阵用于对所述目标信息类型对应的字段模板进行描述；所述纠偏处理模块可以用于将所述字符元素矩阵与所述编码模板矩阵进行比对，以对所述字符元素矩阵进行纠偏处理。

15、本技术实施例提出一种电子设备，该电子设备包括：存储器和处理器；所述存储器用于存储计算机程序指令；所述处理器调用所述存储器存储的所述计算机程序指令，用于实现上述任一项所述的数据纠偏方法。

16、本技术实施例提出一种计算机可读存储介质，其上存储有计算机程序指令，实现如上述任一项所述的数据纠偏方法。

17、本技术实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令，处理器执行该计算机程序指令，实现上述数据纠偏方法。

18、本技术实施例提供的数据纠偏方法、装置及电子设备和计算机可读存储介质，可以将目标信息类型的目标数据报文的字符元素矩阵与目标信息类型对应的编码模板矩阵进行比对，以确定目标数据字段是否存在问题，并在目标数据字段存在问题的情况下通过编码模板矩阵对该模板数据字段对应的字符元素矩阵进行纠偏处理，从而反编码获得纠偏后的数据字段。

19、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本技术。