一种多源异构数据整合方法、电子设备、介质及产品与流程

本技术涉及数据整合，尤其是涉及一种多源异构数据整合方法、电子设备、介质及产品。

背景技术：

1、随着医疗信息化的发展，医院内部积累的数据量日益庞大，并且不同的数据来源可能不同，例如数据来源可以为医院信息系统、实验室信息系统等，不同的数据来源对应的数据格式、结构以及类型均存在显著的差异性，通过对多源异构数据进行整合和分析，便于反映医院的运营状况，也便于为医疗质控提供有力支持。

2、相关技术中一般通过全面抽取医院内部各系统数据，以及数据全内容物理整合实现对多源异构数据进行整理，但是，随着医院业务的不断扩展与更新换代，特别是非结构化数据与影像资料等多源异构数据的海量涌现，利用传统的数据整合方式可能会引入大量与当前质控任务无关的数据，增加了数据处理的复杂性和成本，还有可能降低数据整合的准确性。

技术实现思路

1、为了减少数据处理过程中的复杂性，从而提升数据整合结果的精确度，本技术提供了一种多源异构数据整合方法、电子设备、存储介质及产品。

2、第一方面，本技术提供一种多源异构数据整合方法，采用如下的技术方案：

3、一种多源异构数据整合方法，包括：

4、获取多源异构数据和目标指标条件，并基于所述目标指标条件对所述多源异构数据进行筛选，得到至少一个有效多源异构数据，有效多源异构数据为符合所述目标指标条件的多源异构数据；

5、识别所述至少一个有效多源异构数据对应的目标数据量，当所述目标数据量不高于预设数据量时，对所述至少一个有效多源异构数据进行数据预处理，得到每个有效多源异构数据对应的有效处理多源异构数据，数据预处理包括但不限于数据归一化处理、去重处理以及降噪处理；

6、基于所述目标指标条件从预设初始数据主题域中确定至少一个目标待填充目录，所述初始数据主题域中包含多个待填充目录；

7、识别每个有效处理多源异构数据包含的数据特征，并基于每个数据特征确定每个有效处理多源异构数据对应的目标待填充目录，将每个目标待填充目录对应的有效处理多源异构数据进行整合，得到每个目标待填充目录对应的待填充数据；

8、根据每个待填充目录和每个待填充目录对应的待填充数据确定所述目标指标条件对应的目标整合文档，并将所述目标整合文档进行反馈。

9、通过采用上述技术方案，通过目标指标条件对多源异构数据进行筛选，便于剔除多源异构数据中的无效数据，通过便于降低数据处理过程中的数量，便于提升数据处理过程中的速率和精度，由于多源异构数据来源广泛、类型多样并且不同的数据之间的单位或量级之间存在较大差异，通过对有效多源异构数据进行数据预处理，提升有效多源异构数据的质量、减少数据噪声以及数据冗余，同时还便于在同一尺度上对有效多源异构数据进行比较和分析，从而便于避免因数据之间存在差异而导致数据误解或误判，根据目标指标条件从预设的初始数据主题域中确定目标待填充目录，并基于数据特征将有效处理多源异构数据精准地分配至相应的目录中，不仅简化了数据整合的流程，还便于提高确定目标整合文档时的准确性。

10、在一种可能实现的方式中，该方法还包括：

11、当所述目标数据量高于预设数据量时，基于所述目标数据量确定对应的目标缓冲区；

12、将所述至少一个有效多源异构数据写入所述目标缓冲区内，并对写入所述目标缓冲区内的至少一个有效多源异构数据进行数据预处理，得到每个有效多源异构数据对应的有效处理多源异构数据。

13、通过采用上述技术方案，通过在目标数据量较多时，将所有的有效多源异构数据导入目标缓冲区后再对有效多源异构数据进行数据预处理，而不是在获取数据过程中进行数据预处理，便于降低因数据预处理造成的数据传输延时，另外，确定出所有的有效多源异构数据后再进行数据预处理操作，即，对有效多源异构数据进行集中处理，便于有效利用计算资源，提升数据处理过程中的效率，除此之外，基于目标数据量确定对应的目标缓冲区，便于降低数据存储过程中发生数据丢失的情况。

14、在一种可能实现的方式中，所述根据每个待填充目录和每个待填充目录对应的待填充数据确定所述目标指标条件对应的目标整合文档，包括：

15、识别对接方式，并基于预设对接映射关系和所述对接方式确定对应的目标对接技术，所述预设对接映射关系为对接方式与目标对接技术之间的对应关系；

16、对每个有效处理多源异构数据进行语义识别，并根据语义识别结果判断有效处理多源异构数据中是否包含关联异构数据，当存在关联异构数据时，建立对应有效处理多源异构数据之间的关联索引，所述关联异构数据对应的语义识别结果中包含相同的语义实体分词；

17、基于所述目标对接技术和关联索引将每个待填充数据添加至对应的待填充目录中，得到所述目标指标条件对应的目标整合文档。

18、通过采用上述技术方案，基于预设对接映射关系便于精准确定出对接方式对应的对接技术，通过提升对接方式与对接技术之间的适配性，便于提升对接过程中的准确性，另外，通过语义识别的方式确定有效多源异构数据中的关联异构数据，并建立关联异构数据之间的关联索引，最后基于该关联索引确定目标整合文档，便于相关人员在对目标整合文档进行访问过程中进行关联查询和对比，最后通过目标对接技术将待填充数据自动添加至对应的待填充目录中，提升数据填充过程中的准确性的同时，也便于减少因人工干预造成的误差。

19、在一种可能实现的方式中，生成目标整合文档之后，该方法还包括：

20、识别所述目标整合文档中是否存在预设缺失标识，并将包含预设缺失标识的字段确定为缺失字段；

21、判断所述缺失字段是否包含缺失关联索引；

22、若是，则基于所述缺失关联索引从对应的关联异构数据中确定替补数据，并基于所述替补数据更新所述缺失字段，以实现更新所述目标整合文档；

23、若否，则基于所述缺失字段生成提示信息，并将所述提示信息叠加至所述目标整合文档中。

24、通过采用上述技术方案，通过在生成目标整合文档后对目标整合文档是否包含缺失信息进行检测，便于及时发现并定位缺失字段，并根据确实字段对应的缺失关联索引从关联异构数据中确定替补数据，便于提升补全缺失字段时的速率，也便于确保目标整合文档中的数据尽可能完整，减少因数据缺失而导致的分析和决策失误，对于无法自动填补的缺失字段，通过生成提示信息并叠加至文档中，便于提示相关工作人员对缺失内容进行查看或人工补全等。

25、在一种可能实现的方式中，该方法还包括：

26、识别所述目标整合文档中是否包含逻辑目录，所述逻辑目录为包含预设逻辑标识的待填充目录；

27、若包含逻辑目录，则获取所述预设逻辑标识对应的逻辑公式并从所述逻辑目录对应的待填充数据中确定所述预设逻辑标识对应的逻辑字段；

28、基于所述逻辑公式和所述逻辑字段确定所述逻辑目录对应的逻辑值，并将所述逻辑值写入所述逻辑目录在所述目标整合文档中的对应位置。

29、通过采用上述技术方案，便于自动识别目标整合文档中是否包含逻辑目录，在逻辑运算过程中减少人工干预便于提升运算结果的准确性，另外，由于逻辑值是通过使用预设的逻辑公式和逻辑字段来自动计算得到的，因此便于避免因人工填写引起的错误或疏漏，从而便于提升确定逻辑值时的准确性。

30、在一种可能实现的方式中，该方法还包括：

31、当检测到明细访问指令时，识别所述明细访问指令对应的明细内容；

32、当所述明细内容包含多个时，可基于所述明细访问指令确定明细展示方式，并基于所述明细展示方式确定目标明细内容；

33、识别所述目标明细内容对应的明细字段和每个明细字段对应的明细日期，基于所述明细日期将所有明细字段进行排序得到明细列表，并将所述明细列表进行反馈；

34、识别所述明细列表中是否包含预设明细缺失标识，若是，则基于所述明细缺失标识生成明细提示信息，并将所述明细提示信息叠加至所述明细列表中。

35、通过采用上述技术方案，通过自动识别明细访问指令并确定对应的明细内容，便于更快速地获取到所需信息，当明细内容有多个时，通过从明细访问指令中识别明细展示方式，便于快速从多条明细内容中选择需要访问或查看的内容，另外，当需要对明细内容进行进一步查看时，可根据每个明细字段对应的明细日期将多个明细字段进行排序，以明细列表的形式进行反馈，便于提升明细字段展示时的规范性，还可以通过缺陷识别的方式及时发现明细列表中可能存在的预设明细缺失标识，并及时对缺失内容进行补全，便于提升数据完整性。

36、第二方面，本技术提供一种电子设备，采用如下的技术方案：

37、一种电子设备，该电子设备包括：

38、至少一个处理器；

39、存储器；

40、至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述多源异构数据整合方法。

41、第三方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：

42、一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述多源异构数据整合方法的计算机程序。

43、第四方面，本技术提供了一种计算机程序产品，采用如下的技术方案：

44、一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述多源异构数据整合方法。

45、综上所述，本技术包括以下至少一种有益技术效果：

46、通过目标指标条件对多源异构数据进行筛选，便于剔除多源异构数据中的无效数据，通过便于降低数据处理过程中的数量，便于提升数据处理过程中的速率和精度，由于多源异构数据来源广泛、类型多样并且不同的数据之间的单位或量级之间存在较大差异，通过对有效多源异构数据进行数据预处理，提升有效多源异构数据的质量、减少数据噪声以及数据冗余，同时还便于在同一尺度上对有效多源异构数据进行比较和分析，从而便于避免因数据之间存在差异而导致数据误解或误判，根据目标指标条件从预设的初始数据主题域中确定目标待填充目录，并基于数据特征将有效处理多源异构数据精准地分配至相应的目录中，不仅简化了数据整合的流程，还便于提高确定目标整合文档时的准确性；

47、通过在目标数据量较多时，将所有的有效多源异构数据导入目标缓冲区后再对有效多源异构数据进行数据预处理，而不是在获取数据过程中进行数据预处理，便于降低因数据预处理造成的数据传输延时，另外，确定出所有的有效多源异构数据后再进行数据预处理操作，即，对有效多源异构数据进行集中处理，便于有效利用计算资源，提升数据处理过程中的效率，除此之外，基于目标数据量确定对应的目标缓冲区，便于降低数据存储过程中发生数据丢失的情况。