知识图谱中知识的生成方法和装置与流程

本说明书实施例涉及知识图谱，尤其涉及一种知识图谱中知识的生成方法和装置。

背景技术：

1、在知识图谱技术领域，从数据到知识是一个相对复杂的处理过程。主要体现在数据来源的复杂性、知识的复杂性、数据质量问题等等。具体而言，用于构建知识图谱的数据来源复杂，例如，可能包括结构化数据、半结构化数据和非结构化数据等等，而每种数据都需要不同的方法进行加工处理。而且，数据来源还可能是多源异构的，需要进行数据集成、关系抽取等处理，才能得到适合图谱的数据。此外，知识图谱所涉及的知识非常庞杂复杂，知识之间存在着复杂的关系和联系。为了将知识整合到一个图谱中，需要采用多种技术和方法进行知识加工和处理。另外，数据的质量也可能不尽如人意，存在不准确、不完整、重复等问题。因此，需要对数据进行清洗、去重、纠错等处理，才能得到高质量的知识。总之，面对情况复杂的数据和知识，想要生成知识图谱中的知识是一个相对复杂的处理过程。

技术实现思路

1、本说明书的实施例描述了一种知识图谱中知识的生成方法和装置，本方法在面对情况复杂的数据和知识时，可以简单、快捷的生成知识图谱中的知识。

2、根据第一方面，提供了一种知识图谱中知识的生成方法，包括：接收用户通过可视化界面创建的处理逻辑dag，输入的源数据的指示信息，和用户针对上述处理逻辑dag配置的与知识生成相关的场景信息，其中，上述处理逻辑dag包括多个组件和组件之间的连接关系，每个组件对应知识生成过程中的一个数据处理算子；从模板库中确定与上述场景信息匹配的dag形式的目标执行模板，根据上述目标执行模板对上述处理逻辑dag进行转换，基于转换结果形成执行计划dag，其中，上述执行计划dag包括机器可识别的多个任务和任务之间的连接关系；根据上述源数据的指示信息，按照上述执行计划dag调度执行上述多个任务，从而基于上述源数据生成知识图谱中的知识。

3、根据第二方面，提供了一种知识图谱中知识的生成装置，包括：接收单元，配置为，接收用户通过可视化界面创建的处理逻辑dag，输入的源数据的指示信息，和用户针对上述处理逻辑dag配置的与知识生成相关的场景信息，其中，上述处理逻辑dag包括多个组件和组件之间的连接关系，每个组件对应知识生成过程中的一个数据处理算子；转换单元，配置为，从模板库中确定与上述场景信息匹配的dag形式的目标执行模板，根据上述目标执行模板对上述处理逻辑dag进行转换，基于转换结果形成执行计划dag，其中，上述执行计划dag包括机器可识别的多个任务和任务之间的连接关系；生成单元，配置为，根据上述源数据的指示信息，按照上述执行计划dag调度执行上述多个任务，从而基于上述源数据生成知识图谱中的知识。

4、根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面中任一实现方式描述的方法。

5、根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面中任一实现方式描述的方法。

6、根据本说明书实施例提供的知识图谱中知识的生成方法和装置，可以将知识生成过程中的各数据处理算子抽象成组件，并基于用户在可视化界面使用组件构建的处理逻辑dag，生成执行计划dag，进而生成知识图谱的知识。由此，用户可以根据数据和知识等的具体需求使用组件在可视化界面灵活动态的构建处理逻辑dag，基于该处理逻辑dag可以自动生成执行计划dag，进而生成符合用户需求的知识。通过本实施例，在面对情况复杂的数据和知识时，可以简单、快捷的生成知识图谱中的知识。

技术特征：

1.一种知识图谱中知识的生成方法，包括：

2.根据权利要求1所述的方法，其中，所述接收用户通过可视化界面创建的处理逻辑dag，包括：

3.根据权利要求1所述的方法，其中，所述场景信息包括，dag场景类型和输出场景条件；

4.根据权利要求1所述的方法，其中，所述根据所述目标执行模板对所述处理逻辑dag进行转换，包括：

5.根据权利要求1所述的方法，其中，所述基于转换结果形成执行计划dag，包括：

6.根据权利要求1所述的方法，其中，所述执行计划dag中的任务包括同步任务和异步任务，所述异步任务采用分布式计算的方式由预设资源池对应的执行集群执行。

7.根据权利要求6所述的方法，其中，异步任务包括目标任务，以及所述调度执行所述多个任务，包括：

8.根据权利要求4所述的方法，其中，所述后置任务包括，将生成的知识进行离线数据存储和/或在线数据存储。

9.根据权利要求4所述的方法，其中，其中，所述前置任务包括，对所述源数据的数据量进行统计；以及，

10.根据权利要求9所述的方法，其中，所述方法还包括：

11.根据权利要求1所述的方法，其中，所述多个组件包括以下中的至少一项：

12.根据权利要求11所述的方法，其中，所述源数据包括结构化数据，所述知识包括实体，所述处理逻辑dag包括映射组件、标准化与链指组件、标注组件和融合组件。

13.根据权利要求11所述的方法，其中，所述源数据包括非结构化数据，所述知识包括实体关系，所述处理逻辑dag包括抽取组件、标准化组件、映射组件、质检组件。

14.根据权利要求11所述的方法，其中，所述源数据包括已有知识图谱和结构化数据，所述知识包括更新后知识图谱，所述处理逻辑dag包括映射组件、标准化组件和融合组件。

15.一种知识图谱中知识的生成装置，包括：

16.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-14中任一项所述的方法。

17.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-14中任一项所述的方法。

技术总结
本说明书实施例提供了一种知识图谱中知识的生成方法和装置。该方法的一具体实施方式包括：接收用户通过可视化界面创建的处理逻辑DAG，输入的源数据的指示信息，和用户针对处理逻辑DAG配置的与知识生成相关的场景信息，其中，处理逻辑DAG包括多个组件和组件之间的连接关系，每个组件对应知识生成过程中的一个数据处理算子；从模板库中确定与场景信息匹配的DAG形式的目标执行模板，根据目标执行模板对处理逻辑DAG进行转换，基于转换结果形成执行计划DAG，其中，执行计划DAG包括机器可识别的多个任务和任务之间的连接关系；根据源数据的指示信息，按照执行计划DAG调度执行多个任务，从而基于源数据生成知识图谱中的知识。

技术研发人员：阳进
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/3/24