技术特征：
1.一种知识图谱的构建方法，其特征在于，所述方法包括：确定第一数据的模态类别，所述第一数据是指从用于构建知识图谱的原始数据中提取得到的单模态数据；如果所述模态类别包括多个类别，获取各模态类别分别对应的第一数据的表示向量；构建第一知识图谱，所述第一知识图谱是指基于所有所述表示向量进行知识抽取后，由抽取得到的知识构建得到的知识图谱；构建第二知识图谱，所述第二知识图谱是指对所述第一知识图谱包含的知识进行知识融合和知识补全得到的知识图谱。2.根据权利要求1所述的方法，其特征在于，所述模态类别包括文本模态和图像模态；所述获取各模态类别分别对应的第一数据的表示向量，包括：获取所述文本模态对应的第一数据的文本表示向量和所述图像模态对应的第一数据的图像表示向量。3.根据权利要求2所述的方法，其特征在于，所述构建第一知识图谱，包括：生成第一表示向量，所述第一表示向量是指由所述文本表示向量和所述图像表示向量拼接得到的表示向量；生成第二表示向量，所述第二表示向量是指对所述第一表示向量进行全连接层编码得到的表示向量；生成第三表示向量，所述第三表示向量是指对所述第二表示向量进行卷积处理得到的表示向量；根据所述第三表示向量的归一化处理结果，构建所述第一知识图谱。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：如果所述模态类别包括一个类别，构建第一实体图谱，所述第一实体图谱是指采用基于所述模态类别对应的预训练模型和/或表示学习模型训练得到的知识抽取模型，对所述第一数据进行实体知识抽取后，由抽取得到的知识构建得到的知识图谱；构建第一属性图谱，所述第一属性图谱是指采用基于所述预训练模型和/或所述表示学习模型训练得到的知识抽取模型对所述第一实体图谱进行属性知识抽取得到的知识图谱；构建第一关系图谱，所述第一关系图谱是指采用基于所述预训练模型和/或所述表示学习模型训练得到的知识抽取模型对所述第一实体图谱进行关系知识抽取得到的知识图谱；构建第一事件图谱，所述第一事件图谱是指采用基于所述预训练模型和/或所述表示学习模型训练得到的知识抽取模型对所述第一实体图谱进行事件知识抽取得到的知识图谱；构建第三知识图谱，所述第三知识图谱是指由所述第一实体图谱、所述第一属性图谱、所述第一关系图谱和所述第一事件图谱合并得到的知识图谱；构建第四知识图谱，所述第四知识图谱是指对所述第三知识图谱包含的知识进行知识融合和知识补全得到的知识图谱。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取第一训练语料，所述第一训练语料是指根据所述模态类别对应的现有知识和/或
通用语言学规则，通过自动标注的方式，对第二数据进行标注，得到的标注数据；所述第二数据为用于生成训练语料的原始数据；生成初始抽取模型，所述初始抽取模型是指使用所述第一训练语料对所述模态类别对应的预训练模型进行训练，得到的用于抽取知识的模型；生成第二训练语料，所述第二训练语料是指通过所述初始抽取模型对第三数据进行知识抽取后，通过自动标注的方式，对抽取得到的知识进行标注，得到的标注数据，所述第三数据为用于生成训练语料的原始数据；基于所述第二训练语料训练所述初始抽取模型，得到所述知识抽取模型。6.一种知识图谱的构建装置，其特征在于，所述装置包括：确定模块，用于确定第一数据的模态类别，所述第一数据是指从用于构建知识图谱的原始数据中提取得到的单模态数据；第一获取模块，用于如果所述模态类别包括多个类别，获取各模态类别分别对应的第一数据的表示向量；第一构建模块，用于构建第一知识图谱，所述第一知识图谱是指基于所有所述表示向量进行知识抽取后，由抽取得到的知识构建得到的知识图谱；第二构建模块，用于构建第二知识图谱，所述第二知识图谱是指对所述第一知识图谱包含的知识进行知识融合和知识补全得到的知识图谱。7.根据权利要求6所述的装置，其特征在于，所述模态类别包括文本模态和图像模态；所述第一获取模块用于获取各模态类别分别对应的第一数据的表示向量，具体为：所述第一获取模块用于获取所述文本模态对应的第一数据的文本表示向量和所述图像模态对应的第一数据的图像表示向量。8.根据权利要求7所述的装置，其特征在于，所述第一构建模块用于构建第一知识图谱，具体为：所述第一构建模块用于：生成第一表示向量，所述第一表示向量是指由所述文本表示向量和所述图像表示向量拼接得到的表示向量；生成第二表示向量，所述第二表示向量是指对所述第一表示向量进行全连接层编码得到的表示向量；生成第三表示向量，所述第三表示向量是指对所述第二表示向量进行卷积处理得到的表示向量；根据所述第三表示向量的归一化处理结果，构建所述第一知识图谱。9.根据权利要求6所述的装置，其特征在于，所述装置还包括：第三构建模块，用于如果所述模态类别包括一个类别，构建第一实体图谱，所述第一实体图谱是指采用基于所述模态类别对应的预训练模型和/或表示学习模型训练得到的知识抽取模型，对所述第一数据进行实体知识抽取后，由抽取得到的知识构建得到的知识图谱；第四构建模块，用于构建第一属性图谱，所述第一属性图谱是指采用基于所述预训练模型和/或所述表示学习模型训练得到的知识抽取模型对所述第一实体图谱进行属性知识抽取得到的知识图谱；第五构建模块，用于构建第一关系图谱，所述第一关系图谱是指采用基于所述预训练
模型和/或所述表示学习模型训练得到的知识抽取模型对所述第一实体图谱进行关系知识抽取得到的知识图谱；第六构建模块，用于构建第一事件图谱，所述第一事件图谱是指采用基于所述预训练模型和/或所述表示学习模型训练得到的知识抽取模型对所述第一实体图谱进行事件知识抽取得到的知识图谱；第七构建模块，用于构建第三知识图谱，所述第三知识图谱是指由所述第一实体图谱、所述第一属性图谱、所述第一关系图谱和所述第一事件图谱合并得到的知识图谱；第八构建模块，用于构建第四知识图谱，所述第四知识图谱是指对所述第三知识图谱包含的知识进行知识融合和知识补全得到的知识图谱。10.根据权利要求9所述的装置，其特征在于，所述装置还包括：第二获取模块，用于获取第一训练语料，所述第一训练语料是指根据所述模态类别对应的现有知识和/或通用语言学规则，通过自动标注的方式，对第二数据进行标注，得到的标注数据；所述第二数据为用于生成训练语料的原始数据；第一生成模块，用于生成初始抽取模型，所述初始抽取模型是指使用所述第一训练语料对所述模态类别对应的预训练模型进行训练，得到的用于抽取知识的模型；第二生成模块，用于生成第二训练语料，所述第二训练语料是指通过所述初始抽取模型对第三数据进行知识抽取后，通过自动标注的方式，对抽取得到的知识进行标注，得到的标注数据，所述第三数据为用于生成训练语料的原始数据；训练模块，用于基于所述第二训练语料训练所述初始抽取模型，得到所述知识抽取模型。
技术总结
本申请提供了一种知识图谱的构建方法及装置。该方法包括：确定第一数据的模态类别，所述第一数据是指从用于构建知识图谱的原始数据中提取得到的单模态数据；如果所述模态类别包括多个类别，获取各模态类别分别对应的第一数据的表示向量；构建第一知识图谱，所述第一知识图谱是指基于所有所述表示向量进行知识抽取后，由抽取得到的知识构建得到的知识图谱；构建第二知识图谱，所述第二知识图谱是指对所述第一知识图谱包含的知识进行知识融合和知识补全得到的知识图谱。通过该方法构建的知识图谱，充分蕴含了各种模态关联的信息，不会割裂各种模态信息之间的关联关系，准确度更高，适用性更好。适用性更好。适用性更好。
技术研发人员：王懋 李璇 李鸿飞 黄宏斌 刘丽华 韩鹏 胡芳槐
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2022.11.03
技术公布日：2023/1/31