一种对象识别方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种对象识别方法、装置、电子设备和存储介质。


背景技术：

2.随着医疗大数据时代的到来，知识互联受到了广泛的关注。如何从大量的医疗数据中提取有用的医学知识，是医学诊疗大数据分析的关键。
3.现有技术中，有些疾病在早期存在一定程度的隐匿性，通过现有的大数据分析方法难以获取到对应的医学知识，从而对具有隐匿性的疾病在早期进行识别，因此降低了对象识别的准确性和有效性。


技术实现要素：

4.本技术提供了一种对象识别方法、装置、电子设备和存储介质，可以提高对象识别的准确性和有效性。
5.一方面，本技术提供了一种对象识别方法，所述方法包括：
6.对待识别对象对应的文本数据进行语义图构建，得到语义结构图，所述语义结构图表征所述待识别对象的第一特征信息，与第一特征描述信息的关联信息；
7.对所述待识别对象对应的影像数据进行特征提取，得到影像特征信息；
8.基于所述语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果；所述知识结构图表征多个已识别对象分别对应的第二特征信息，与第二特征描述信息的关联信息；
9.基于所述影像特征信息，与所述知识结构图进行信息融合，得到第二融合结果；
10.基于所述第一融合结果和所述第二融合结果，从所述知识结构图中确定所述待识别对象对应的对象识别结果。
11.在一个可选的实施例中，所述基于所述语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果包括：
12.从所述知识结构图中确定与所述语义结构图关联的关联结构图；
13.对所述语义结构图和所述关联结构图进行信息融合，得到所述第一融合结果；
14.所述基于所述影像特征信息，与所述知识结构图进行信息融合，得到第二融合结果包括：
15.对所述影像特征信息和所述关联结构图进行信息融合，得到所述第二融合结果。
16.在一个可选的实施例中，所述对所述语义结构图和所述关联结构图进行信息融合，得到所述第一融合结果包括：
17.确定所述语义结构图中的语义节点与所述关联结构图中的知识节点间的相关程度，得到第一融合权重；
18.基于所述第一融合权重，对所述语义结构图中的语义节点进行加权融合处理，得
到所述第一融合结果。
19.在一个可选的实施例中，所述对所述影像特征信息和所述关联结构图进行信息融合，得到所述第二融合结果包括：
20.确定所述影像特征信息与所述关联结构图中的知识节点间的相关程度，得到第二融合权重；
21.基于所述第二融合权重，对所述影像特征信息进行加权融合处理，得到所述第二融合结果。
22.在一个可选的实施例中，所述对所述语义结构图和所述关联结构图进行信息融合，得到所述第一融合结果之前，所述方法还包括：
23.对所述语义结构图、所述关联结构图和所述影像特征信息分别进行信息增强，得到所述语义结构图对应的语义图增强信息、所述关联结构图对应的关联图增强信息和所述影像特征信息对应的影像增强信息；
24.所述对所述语义结构图和所述关联结构图进行信息融合，得到所述第一融合结果包括：
25.对所述语义图增强信息和所述关联图增强信息进行信息融合，得到所述第一融合结果；
26.所述对所述影像特征信息和所述关联结构图进行信息融合，得到所述第二融合结果包括：
27.对所述影像增强信息和所述关联图增强信息进行信息融合，得到所述第二融合结果。
28.在一个可选的实施例中，所述对所述语义结构图、所述关联结构图和所述影像特征信息分别进行信息增强，得到所述语义结构图对应的语义图增强信息、所述关联结构图对应的关联图增强信息和所述影像特征信息对应的影像增强信息包括：
29.确定所述语义结构图中的语义节点与所述待识别对象间的第一相关度；
30.基于所述第一相关度，对所述语义节点进行节点更新处理，得到所述语义图增强信息；
31.确定所述关联结构图中的知识节点与所述待识别对象间的第二相关度；
32.基于所述第二相关度，对所述知识节点进行节点更新处理，得到关联图结构增强信息；
33.确定所述影像特征信息与所述待识别对象间的第三相关度；
34.基于所述第三相关度，对所述影像特征信息进行更新，得到影像增强信息。
35.在一个可选的实施例中，所述第一相关度包括语义节点权重和语义关联权重，所述确定所述语义结构图中的语义节点与所述待识别对象间的第一相关度包括：
36.对每个语义节点进行注意力处理，得到所述每个语义节点各自对应的语义节点权重；
37.对所述每个语义节点的关联语义节点进行注意力处理，得到所述每个语义节点各自对应的语义关联权重；
38.所述基于所述第一相关度，对所述语义节点进行节点更新处理，得到所述语义图增强信息包括：
39.基于所述语义关联权重，对所述关联语义节点进行加权融合处理，得到所述每个语义节点对应的第一节点更新信息；
40.基于所述第一节点更新信息和所述语义节点权重，对所述每个语义节点进行节点更新处理，得到所述语义图增强信息。
41.在一个可选的实施例中，所述第二相关度包括知识节点权重和知识关联权重，所述确定所述关联结构图中的知识节点与所述待识别对象间的第二相关度包括：
42.对每个知识节点进行注意力处理，得到所述每个知识节点各自对应的知识节点权重；
43.对所述每个知识节点的关联知识节点进行注意力处理，得到所述每个知识节点各自对应的知识关联权重；
44.所述基于所述第二相关度，对所述知识节点进行节点更新处理，得到关联图结构增强信息包括：
45.基于所述知识关联权重，对所述关联知识节点进行加权融合处理，得到每个所述知识节点对应的第二节点更新信息；
46.基于所述第二节点更新信息和所述知识节点权重，对所述每个知识节点进行更新处理，得到所述知识图增强信息。
47.在一个可选的实施例中，所述确定所述影像特征信息与所述待识别对象间的第三相关度包括：
48.对所述影像特征信息进行注意力处理，得到所述第三相关度；
49.所述基于所述第三相关度，对所述影像特征信息进行更新，得到影像增强信息包括：
50.基于所述第三相关度，对所述影像特征信息进行特征更新处理，得到所述影像增强信息。
51.另一方面提供了一种对象识别装置，所述装置包括：
52.语义图构建模块，用于对待识别对象对应的文本数据进行语义图构建，得到语义结构图，所述语义结构图表征所述待识别对象的第一特征信息，与第一特征描述信息的关联信息；
53.影像特征提取模块，用于对所述待识别对象对应的影像数据进行特征提取，得到影像特征信息；
54.第一信息融合模块，用于基于所述语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果；所述知识结构图表征多个已识别对象分别对应的第二特征信息，与第二特征描述信息的关联信息；
55.第二信息融合模块，用于基于所述影像特征信息，与所述知识结构图进行信息融合，得到第二融合结果；
56.对象识别模块，用于基于所述第一融合结果和所述第二融合结果，从所述知识结构图中确定所述待识别对象对应的对象识别结果。
57.另一方面提供了一种一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现上述所述的一种对象识别方法。
58.另一方面提供了一种计算机可读存储介质，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的一种对象识别方法。
59.另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述所述的对象识别方法。
60.本技术提供的一种对象识别方法、装置、电子设备和存储介质，该方法包括：对待识别对象对应的文本数据进行语义图构建，得到语义结构图。对待识别对象对应的影像数据进行特征提取，得到影像特征信息。基于语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果，基于影像特征信息，与预设的知识结构图进行信息融合，得到第二融合结果。基于第一融合结果和第二融合结果，从知识结构图中确定待识别对象对应的对象识别结果。该方法可以结合语义信息与知识信息的融合结果，以及影像信息与知识信息的融合结果两个方面的信息对待识别对象进行识别，可以提高对象识别的准确性和有效性。
附图说明
61.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
62.图1为本技术实施例提供的一种对象识别方法的应用场景示意图；
63.图2为本技术实施例提供的一种对象识别方法的流程图；
64.图3为本技术实施例提供的一种对象识别方法中获取关联结构图后进行信息融合的流程图；
65.图4为本技术实施例提供的一种对象识别方法中得到第一融合结果的流程图；
66.图5为本技术实施例提供的一种对象识别方法中对语义结构图、关联结构图和影像特征信息进行模态间融合的示意图；
67.图6为本技术实施例提供的一种对象识别方法中得到第二融合结果的流程图；
68.图7为本技术实施例提供的一种对象识别方法中进行信息增强后再进行信息融合的流程图；
69.图8为本技术实施例提供的一种对象识别方法中对语义结构图、关联结构图和影像特征信息分别进行信息增强的流程图；
70.图9为本技术实施例提供的一种对象识别方法中对语义结构图进行信息增强的流程图；
71.图10为本技术实施例提供的一种对象识别方法中对语义结构图进行节点更新的示意图；
72.图11为本技术实施例提供的一种对象识别方法中对关联结构图进行信息增强的流程图；
73.图12为本技术实施例提供的一种对象识别方法中对关联结构图进行节点更新的示意图。；
74.图13为本技术实施例提供的一种对象识别方法中对影像特征信息进行特征更新的示意图；
75.图14为本技术实施例提供的应用一种对象识别方法识别眼科疾病或眼科疾病治疗方案的示意图。；
76.图15为本技术实施例提供的一种对象识别装置的结构示意图；
77.图16为本技术实施例提供的一种用于实现本技术实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
78.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
79.在本技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
80.可以理解的是，在本技术的具体实施方式中，涉及到用户信息等相关的数据，当本技术以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
81.首先对本技术实施例中所涉及的相关术语做以下解释：
82.bert算法：全称为bidirectional encoder representation from transformers，是谷歌提出的一个自然语言处理框架，可以通过在左右上下文中共有的条件计算来预先训练来自无标记文本的深度双向表示。
83.请参见图1，其显示了本技术实施例提供的一种对象识别方法的应用场景示意图，所述应用场景包括客户端110和服务器120，客户端110将用户输入的文本数据和影像数据传输到服务器120中，服务器120对待识别对象对应的文本数据进行语义图构建，得到语义结构图，并对待识别对象对应的影像数据进行特征提取，得到影像特征信息。服务器120基于语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果，并基于影像特征信息，与知识结构图进行信息融合，得到第二融合结果。服务器120基于第一融合结果和第二融合结果，从知识结构图中确定待识别对象对应的对象识别结果。服务器120将对象识别结果传输到客户端110。
84.在本技术实施例中，客户端110包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本技术实施例中实体设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、unix、windows等。
85.在本技术实施例中，服务器120可以包括一个独立运行的服务器，或者分布式服务
器，或者由多个服务器组成的服务器集群。服务器120可以包括有网络通信单元、处理器和存储器等等。
86.请参见图2，其显示了一种对象识别方法，可应用于服务器侧，所述方法包括：
87.s210.对待识别对象对应的文本数据进行语义图构建，得到语义结构图，语义结构图表征待识别对象的第一特征信息，与第一特征描述信息的关联信息；
88.在一个可选的实施例中，待识别对象为具有隐匿性的对象或与具有隐匿性的对象相关的对象处理方法。例如眼科疾病中的青光眼、高度近视、糖尿病视网膜病变、老年性黄斑变性、甲状腺相关性眼病等起病隐匿的慢性病以及对应的治疗方案。
89.对待识别对象对应的文本数据进行文本特征提取，并结合文本数据中各个词语的位置信息，可以得到第一特征信息、第一特征描述信息以及第一特征信息与第一特征描述信息的关联信息。各个词语的位置信息表示该词语在段落中的位置或者在句子中的位置。该关联信息可以包括第一特征信息间的关联关系以及第一特征信息和第一特征描述信息间的关联关系。第一特征描述信息可以为文本数据中对第一特征信息进行描述的信息。
90.将第一特征信息和第一特征描述信息作为语义节点，将第一特征信息间的关联关系以及第一特征信息和第一特征描述信息间的关联关系作为边，可以构建得到语义结构图。
91.在对疾病进行辅助识别的场景中，待识别对象可以为疾病类型、治疗方案等，文本数据可以为病历信息，包括姓名、性别、年龄、既往史、药物过敏史、特征、主诉、辅助检查结果、生化指标、现病史等。第一特征信息可以为待识别疾病的症状，第一特征描述信息可以为该症状的持续时间、病因等症状描述信息，比如说文本描述为“头疼持续两个小时”，则“头疼”对应的文本特征提取结果为第一特征信息，“两个小时”对应的文本特征提取结果为第一特征描述信息，“头疼”和“两个小时”间的关联信息即为症状持续时间。或者说文本描述为“头疼伴随头晕”，则“头疼”对应的文本特征提取结果和“头晕”对应的文本特征提取结果均为第一特征信息，“头疼”和“头晕”间的关联信息即为伴随症状。
92.其中，文本特征提取时可以采用bert算法对文本数据进行词向量嵌入，并结合文本数据中各个词语在段落中的位置或者在句子中的位置，得到词向量组，该词向量组即包括第一特征信息、第一特征描述信息以及第一特征信息与第一特征描述信息的关联信息。
93.可以将待识别对象对应的文本数据输入到预设的语义图构建模型中进行语义图构建。语义图构建模型可以包括文本特征提取层和语义图生成层，将待识别对象对应的文本数据输入到文本特征提取层中进行文本特征提取，得到第一特征信息、第一特征描述信息、以及第一特征信息与第一特征描述信息的关联信息，将第一特征信息、第一特征描述信息和对应的关联信息输入到语义图生成层中进行语义图生成，可以得到语义结构图。
94.s220.对待识别对象对应的影像数据进行特征提取，得到影像特征信息；
95.在一个可选的实施例中，影像数据可以为多源影像数据，多源影像数据为基于不同的影像采集设备采集得到的多种影像数据。不同种类的影像数据对应的影像特征信息的特征维度相同。可以将待识别对象对应的影像数据输入到预设的影像特征提取模型中进行特征提取。该影像特征提取模型可以为深度学习的图像识别方法所对应的模型。
96.在对疾病进行辅助识别的场景中，若待识别对象为眼科疾病的疾病类型，则影像数据可以包括眼底相片、荧光照影、眼眶ct、角膜地形图等多种类型的数据。
97.s230.基于语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果；知识结构图表征多个已识别对象分别对应的第二特征信息，与第二特征描述信息的关联信息；
98.在一个可选的实施例中，已识别对象可以为历史识别到的对象或者通过相关知识信息得到的对象，相关知识信息可以包括教材、论文、百科等信息。在对疾病进行辅助识别的场景中，已识别对象可以包括疾病知识库中的对象和历史病例库中的对象。
99.可以将语义结构图和预设的知识结构图输入到第一信息融合模型中进行信息融合，得到第一融合结果。
100.s240.基于影像特征信息，与知识结构图进行信息融合，得到第二融合结果；
101.在一个可选的实施例中，可以将影像特征信息和知识结构图输入到第二信息融合模型中进行信息融合，得到第二融合结果。
102.在一个可选的实施例中，请参见图3，基于语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果包括：
103.s310.从知识结构图中确定与语义结构图关联的关联结构图；
104.s320.对语义结构图和关联结构图进行信息融合，得到第一融合结果；
105.基于影像特征信息，与知识结构图进行信息融合，得到第二融合结果包括：
106.s330.对影像特征信息和关联结构图进行信息融合，得到第二融合结果。
107.在一个可选的实施例中，从知识结构图中可以确定与语义结构图关联的关联结构图。该关联结构图可以与语义图进行信息融合，得到第一融合结果，该关联结构图还可以与影像特征信息进行信息融合，得到第二融合结果。
108.将语义结构图中的语义节点和边转化为知识查询信息，基于知识查询信息在知识结构图中确定关联结构图。可以将知识查询信息与知识结构图进行连接，从知识结构图中确定与知识查询信息关联的知识节点，将与知识查询信息关联的知识节点与该知识节点对应的边构建为关联结构图。关联结构图中的节点的向量表示可以与语义结构图中的节点的向量表示相同，关联结构图中边对应的向量表示可以与语义结构图中边的向量表示相同。例如，构成语义结构图的向量为bert词向量，构成关联结构图的向量也为bert词向量。
109.例如，在对疾病进行辅助识别的场景中，基于知识查询信息在知识结构图中确定关联结构图时，可以查询与病历信息关联的历史病历信息和与病历信息关联的其他知识信息，通过历史病历信息对应的节点和其他知识信息对应的节点构建得到关联结构图。
110.通过语义结构图查询知识结构图中关联的知识节点，可以使得每一次对象识别采用部分知识结构图即可执行，从而减少了信息融合的计算量，提高了对象识别的效率。
111.在一个可选的实施例中，请参见图4，对语义结构图和关联结构图进行信息融合，得到第一融合结果包括：
112.s410.确定语义结构图中的语义节点与关联结构图中的知识节点间的相关程度，得到第一融合权重；
113.s420.基于第一融合权重，对语义结构图中的语义节点进行加权融合处理，得到第一融合结果。
114.在一个可选的实施例中，确定语义结构图中的语义节点与关联结构图中的知识节点间的相关程度，可以得到第一融合权重。第一融合权重可以表示语义结构图中的每个语
义节点对关联结构图中每个知识节点的重要程度。遍历关联结构图中的每个知识节点，将当前遍历到的知识节点中作为当前知识节点，并对当前知识节点执行如下操作：确定语义结构图中每个语义节点与当前知识节点间的相关程度，得到当前知识节点对应的第一融合权重。基于当前知识节点对应的第一融合权重，对语义结构图中的语义节点进行加权融合处理，可以得到当前知识节点对应的语义知识节点。将每个知识节点各自对应的语义知识节点作为第一融合结果。
115.可以通过注意力机制确定语义结构图中的语义节点与关联结构图中的知识节点间的相关程度，并进行加权融合得到第一融合结果。具体公式如下所示：
[0116][0117][0118]
其中，为第一融合权重，为语义结构图中的语义节点，为关联结构图中的知识节点。wd、w8和w9为参数信息。通过模型训练可以确定该参数信息的值。为第一融合结果。
[0119]
q为待识别对象的查询文本表征。在每一次对象识别的过程中，获取当前的待识别对象对应的查询文本表征，将该查询文本表征增加到每一次注意力处理中。对预设的对象查询文本进行向量编码后可以得到查询文本表征。例如在对疾病进行辅助识别的场景中，对“需要确定疾病类型”或者“需要确定治疗方案”等对象查询文本进行向量编码后，即可以得到对应的查询文本表征。
[0120]
中括号表示向量拼接操作。上述公式为注意力机制中的加性模型对应的公式。在通过注意力机制确定语义节点和知识节点间的相关程度时，还可以应用点积模型、缩放点积模型、双线性模型等不同的模型。
[0121]
通过注意力机制，将关联结构图中的知识节点和查询文本表征进行拼接后得到第一拼接信息，确定语义结构图中的语义节点与第一拼接信息间的相关程度，得到第一融合权重，并基于第一融合权重计算得到第一融合结果。
[0122]
在一个可选的实施例中，请参见图5，如图5所示为对语义结构图、关联结构图和影像特征信息进行模态间融合的示意图。语义结构图中包括语义节点a1、语义节点a2和语义节点a3，通过注意力机制，在将知识结构图中的知识节点v与查询文本表征q拼接后，得到第一拼接信息。确定语义节点a1和第一拼接信息间的相关程度，得到语义节点a1对应的第一融合权重。确定语义节点a2和第一拼接信息间的相关程度，得到语义节点a2对应的第一融合权重。确定语义节点a3和第一拼接信息间的相关程度，得到语义节点a3对应的第一融合权重。基于第一融合权重，对语义节点a1、语义节点a2和语义节点a3进行加权求和，可以得到第一融合结果v1。
[0123]
通过语义节点和知识节点间的相关程度确定第一融合权重，并通过第一融合权重对语义节点进行融合，得到第一融合结果，可以使得第一融合结果中具有与语义相关的知识，提高了信息融合的有效性，并可以在后续步骤中与第二融合结果结合确定对象识别结果，提高了对象识别结果的准确性。
[0124]
在一个可选的实施例中，请参见图6，对影像特征信息和关联结构图进行信息融
合，得到第二融合结果包括：
[0125]
s610.确定影像特征信息与关联结构图中的知识节点间的相关程度，得到第二融合权重；
[0126]
s620.基于第二融合权重，对影像特征信息进行加权融合处理，得到第二融合结果。
[0127]
在一个可选的实施例中，确定影像特征信息与关联结构图中的知识节点间的相关程度，可以得到第二融合权重。第二融合权重可以表示影像特征信息对关联结构图中每个知识节点的重要程度。遍历关联结构图中的每个知识节点，将当前遍历到的知识节点中作为当前知识节点，并对当前知识节点执行如下操作：确定每个影像特征信息与当前知识节点间的相关程度，得到当前知识节点对应的第二融合权重。基于当前知识节点对应的第二融合权重，对影像特征信息进行加权融合处理，可以得到当前知识节点对应的影像知识节点。将每个知识节点各自对应的影像知识节点作为第二融合结果。
[0128]
可以通过注意力机制确定影像特征信息与关联结构图中的知识节点间的相关程度，并进行加权融合得到第二融合结果。具体公式如下：
[0129][0130][0131]
其中，为第二融合权重，为影像特征信息，为关联结构图中的知识节点。wd'、w8'和w9'为参数信息。通过模型训练可以确定该参数信息的值。为第二融合结果。q为待识别对象的查询文本表征。
[0132]
中括号表示向量拼接操作。上述公式为注意力机制中的加性模型对应的公式。在通过注意力机制确定影像特征信息和知识节点间的相关程度时，还可以应用点积模型、缩放点积模型、双线性模型等不同的模型。
[0133]
通过注意力机制，将关联结构图中的知识节点和查询文本表征进行拼接后得到第二拼接信息，确定影像特征信息与第二拼接信息间的相关程度，得到第二融合权重，并基于第二融合权重计算得到第二融合结果。
[0134]
在一个可选的实施例中，请参见图5，如图5所示为对语义结构图、关联结构图和影像特征信息进行模态间融合的示意图。影像特征信息中包括影像特征信息b1、影像特征信息b2和影像特征信息b3，通过注意力机制，在将知识结构图中的知识节点v与查询文本表征q拼接后，得到第二拼接信息。确定影像特征信息b1和第一拼接信息间的相关程度，得到影像特征信息b1对应的第二融合权重。确定影像特征信息b2和第二拼接信息间的相关程度，得到影像特征信息b2对应的第二融合权重。确定影像特征信息b3和第二拼接信息间的相关程度，得到影像特征信息b3对应的第二融合权重。基于第二融合权重，对影像特征信息b1、影像特征信息b2和影像特征信息b3进行加权求和，可以得到第二融合结果v2。
[0135]
通过影像特征信息和知识节点间的相关程度确定第二融合权重，并通过第二融合权重对语义节点进行融合，得到第二融合结果，可以使得第二融合结果中具有与影像相关的知识，提高了信息融合的有效性，并可以在后续步骤中与第一融合结果结合确定对象识别结果，提高了对象识别结果的准确性。
[0136]
s250.基于第一融合结果和第二融合结果，确定待识别对象对应的对象识别结果。
[0137]
在一个可选的实施例中，基于第一融合结果和第二融合结果，对知识结构图中的节点进行节点更新，得到目标结构图。从目标结构图中的目标节点中确定待识别对象对应的对象识别结果。在基于语义结构图从知识结构图中确定了关联结构图的情况下，基于第一融合结果和第二融合结果，对关联结构图中的节点进行节点更新，得到目标结构图。在对关联结构图进行信息增强后得到关联图增强信息的情况下，则对关联图增强信息中的节点进行节点更新，得到目标结构图。具体公式如下：
[0138]
其中，t∈{s-f,i-f,o},
[0139][0140]
其中，为每个知识节点各自对应的第一融合结果，为每个知识节点各自对应的第二融合结果。为目标结构图中的目标节点，为关联结构图中的知识节点。q为待识别对象的查询文本表征。we、w
10
和w
11
为参数信息，可以通过模型训练得到。
[0141]
可以将目标结构图输入到预训练的分类器中，得到每个目标节点对应的分类信息，将每个目标节点对应的分类信息中的目标分类信息对应的目标节点作为待识别对象对应的对象识别结果。该分类器可以为二分类器，通过二分类器对目标知识结构图中的每个目标节点进行分类，得到每个目标节点对应的分类信息，该分类信息可以为分类概率值。按照从小到大的顺序，对每个目标节点对应的分类信息进行排序，确定目标分类信息，该目标分类信息可以为分类概率值中的概率最大值，将目标分类信息对应的目标节点作为对象识别结果。
[0142]
在一个可选的实施例中，请参见图7，对语义结构图和关联结构图进行信息融合，得到第一融合结果之前，该方法还包括：
[0143]
s710.对语义结构图、关联结构图和影像特征信息分别进行信息增强，得到语义结构图对应的语义图增强信息、关联结构图对应的关联图增强信息和影像特征信息对应的影像增强信息；
[0144]
对语义结构图和关联结构图进行信息融合，得到第一融合结果包括：
[0145]
s720.对语义图增强信息和关联图增强信息进行信息融合，得到第一融合结果；
[0146]
对影像特征信息和关联结构图进行信息融合，得到第二融合结果包括：
[0147]
s730.对影像增强信息和关联图增强信息进行信息融合，得到第二融合结果。
[0148]
在一个可选的实施例中，可以分别对语义结构图、关联结构图和影像特征信息中与待识别对象相关的信息进行增强，得到语义结构图对应的语义图增强信息、关联结构图对应的关联图增强信息和影像特征信息对应的影像增强信息。可以对语义结构图中的语义节点进行节点更新，以及对关联结构图中的知识节点进行节点更新，从而进行信息增强。
[0149]
在对语义结构图、关联结构图和影像特征信息分别进行信息增强的情况下，基于上述所述的对语义结构图和关联结构图进行信息融合的方法，对语义图增强信息和关联图增强信息进行信息融合，得到第一融合结果。基于上述所述的对影像特征信息和关联结构图进行信息融合的方法，对影像增强信息和关联图增强信息进行信息融合，得到第二融合结果。
[0150]
对语义结构图、关联结构图和影像特征信息分别进行信息增强后，通过增强的信息进行信息融合以及对象识别，可以提高语义结构图、关联结构图和影像特征信息中与待识别对象相关的信息的重要程度，从而提高对象识别的准确性。
[0151]
在一个可选的实施例中，请参见图8，对语义结构图、关联结构图和影像特征信息分别进行信息增强，得到语义结构图对应的语义图增强信息、关联结构图对应的关联图增强信息和影像特征信息对应的影像增强信息包括：
[0152]
s810.确定语义结构图中的语义节点与待识别对象间的第一相关度；
[0153]
s820.基于第一相关度，对语义节点进行节点更新处理，得到语义图增强信息；
[0154]
s830.确定关联结构图中的知识节点与待识别对象间的第二相关度；
[0155]
s840.基于第二相关度，对知识节点进行节点更新处理，得到关联图结构增强信息；
[0156]
s850.确定影像特征信息与待识别对象间的第三相关度；
[0157]
s860.基于第三相关度，对影像特征信息进行更新，得到影像增强信息。
[0158]
在一个可选的实施例中，通过注意力机制，确定语义结构图中的语义节点与待识别对象间的第一相关度。第一相关度越大说明语义节点与待识别对象越相关。通过图卷积操作，基于第一相关度，对语义节点进行节点更新处理，融合语义节点和语义节点的关联语义节点，增强语义节点的节点表征，可以得到语义图增强信息。关联语义节点可以为语义节点的相邻节点。
[0159]
通过注意力机制，确定关联结构图中的知识节点与待识别对象间的第二相关度。第二相关度越大说明知识节点与待识别对象越相关。并通过图卷积操作，基于第二相关度，对知识节点进行节点更新处理，融合知识节点和知识节点的关联知识节点，增强知识节点的节点表征，可以得到知识图增强信息。关联知识节点可以为知识节点的相邻节点。
[0160]
通过注意力机制，确定影像特征信息与待识别对象间的第三相关度。第三相关度越大说明影像特征信息与待识别对象越相关。基于第三相关度，对影像特征信息进行更新，得到影像增强信息。
[0161]
分别计算语义结构图、关联结构图和影像特征信息与待识别对象间的相关度，基于相关度进行信息增强，从而可以通过相关度，提高语义结构图、关联结构图和影像特征信息中与待识别对象相关的信息的重要程度，提高信息增强的有效性。
[0162]
在一个可选的实施例中，请参见图9，第一相关度包括语义节点权重和语义关联权重，确定语义结构图中的语义节点与待识别对象间的第一相关度包括：
[0163]
s910.对每个语义节点进行注意力处理，得到每个语义节点各自对应的语义节点权重；
[0164]
s920.对每个语义节点的关联语义节点进行注意力处理，得到每个语义节点各自对应的语义关联权重；
[0165]
基于第一相关度，对语义节点进行节点更新处理，得到语义图增强信息包括：
[0166]
s930.基于语义关联权重，对关联语义节点进行加权融合处理，得到每个语义节点对应的第一节点更新信息；
[0167]
s940.基于第一节点更新信息和语义节点权重，对每个语义节点进行节点更新处理，得到语义图增强信息。
[0168]
在一个可选的实施例中，对语义结构图中的每个语义节点进行注意力处理，计算得到每个语义节点对应的注意力分数值，将该注意力分数值作为每个语义节点各自对应的语义节点权重。语义节点权重表示每个语义节点对待识别对象的重要程度，具体公式如下：
[0169][0170]
其中，αi为语义节点权重，为语义结构图中的语义节点，q为待识别对象的查询文本表征。wa、w1和w2为参数信息，可以通过模型训练得到。
[0171]
对每个语义节点的语义关联节点进行注意力处理，计算得到每个语义节点的语义关联节点对应的注意力关联分数值，将该注意力关联分数值作为每个语义节点各自对应的语义关联权重。语义关联权重表征每个语义关联节点对待识别对象以及对应的语义节点的重要程度，具体公式如下：
[0172][0173]
其中，β
ni
为语义关联权重，包括语义关联节点和语义关联节点与对应的语义节点相连的边，q'包括待识别对象的查询文本表征和语义关联节点对应的语义节点。wb、w3和w4为参数信息，可以通过模型训练得到。
[0174]
上述公式为注意力机制中的加性模型对应的公式。在通过注意力机制确定第一相关度时，还可以应用点积模型、缩放点积模型、双线性模型等不同的模型。
[0175]
基于语义关联权重，对关联语义节点进行加权融合处理，得到每个语义节点对应的第一节点更新信息。基于语义节点权重，对语义节点进行加权处理。拼接加权处理后语义节点和语义节点对应的第一节点更新信息，并对拼接后的信息进行非线性处理，得到语义更新节点，语义更新节点组成语义图增强信息。具体公式如下：
[0176][0177][0178]
其中，β
ni
为语义关联权重，αi为语义节点权重，mi为第一节点更新信息，包括语义关联节点和语义关联节点与对应的语义节点相连的边，为语义图增强信息中的语义更新节点。为语义结构图中的语义节点。w5为参数信息，可以通过模型训练得到。中括号表示向量拼接操作。
[0179]
在一个可选的实施例中，请参见图10，如图10所示为对语义结构图进行节点更新的示意图。语义结构图中包括语义节点c1，语义节点c2和语义节点c3三个节点，其中语义节点c2和语义节点c3与语义节点c1相邻，为语义节点c1的语义关联节点。语义节点c2和语义节点c1间通过边r1连接，语义节点c3和语义节点c1间通过边r2连接。计算语义节点c1的语义节点权重，并基于查询文本表征q、语义节点c1的特征、语义节点c2的特征以及边r1的特征，计算语义节点c1和语义节点c2间的语义关联权重，基于查询文本表征q、语义节点c1的特征、语义节点c3的特征以及边r2的特征，计算语义节点c1和语义节点c3间的语义关联权重。通过语义关联权重，融合语义节点c2和语义节点c3，得到第一节点更新信息。基于第一节点更新信息和语义节点权重，对语义节点c1进行节点更新。
[0180]
通过注意力计算和图卷积的方式，将每个语义节点的语义关联节点进行融合，并与加权后的每个语义节点进行融合，从而基于节点和边的权重对语义节点进行更新，提高对语义节点进行信息增强的有效性。
[0181]
在一个可选的实施例中，请参见图11，第二相关度包括知识节点权重和知识关联权重，确定关联结构图中的知识节点与待识别对象间的第二相关度包括：
[0182]
s1110.对每个知识节点进行注意力处理，得到每个知识节点各自对应的知识节点权重；
[0183]
s1120.对每个知识节点的关联知识节点进行注意力处理，得到每个知识节点各自对应的知识关联权重；
[0184]
基于第二相关度，对知识节点进行节点更新处理，得到关联图结构增强信息包括：
[0185]
s1130.基于知识关联权重，对关联知识节点进行加权融合处理，得到每个知识节点对应的第二节点更新信息；
[0186]
s1140.基于第二节点更新信息和知识节点权重，对每个知识节点进行更新处理，得到知识图增强信息。
[0187]
在一个可选的实施例中，对关联结构图中的每个知识节点进行注意力处理，计算得到每个知识节点对应的注意力分数值，将该注意力分数值作为每个知识节点各自对应的知识节点权重。知识节点权重表示每个知识节点对待识别对象的重要程度，具体公式如下：
[0188][0189]
其中，α'i为知识节点权重，为关联结构图中的知识节点，q为待识别对象的查询文本表征。wa'、w1'和w2'为参数信息，可以通过模型训练得到。
[0190]
对每个知识节点的知识关联节点进行注意力处理，计算得到每个知识节点的知识关联节点对应的注意力关联分数值，将该注意力关联分数值作为每个知识节点各自对应的知识关联权重。知识关联权重表征每个知识关联节点对待识别对象以及对应的知识节点的重要程度，具体公式如下：
[0191][0192]
其中，β'
ni
为知识关联权重，包括知识关联节点和知识关联节点与对应的知识节点相连的边，q'包括待识别对象的查询文本表征和知识关联节点对应的知识节点。wb'、w3'和w4'为参数信息，可以通过模型训练得到。
[0193]
上述公式为注意力机制中的加性模型对应的公式。在通过注意力机制确定第一相关度时，还可以应用点积模型、缩放点积模型、双线性模型等不同的模型。
[0194]
基于知识关联权重，对关联知识节点进行加权融合处理，得到每个知识节点对应的第二节点更新信息。基于知识节点权重，对知识节点进行加权处理。拼接加权处理后知识节点和知识节点对应的第二节点更新信息，并对拼接后的信息进行非线性处理，得到知识更新节点，知识更新节点组成知识图增强信息。具体公式如下：
[0195][0196]
[0197]
其中，β'
ni
为知识关联权重，α'i为知识节点权重，m'i为第二节点更新信息，包括知识关联节点和知识关联节点与对应的知识节点相连的边，为知识图增强信息中的知识更新节点。为关联结构图中的知识节点。中括号表示向量拼接操作。
[0198]
在一个可选的实施例中，请参见图12，如图12所示为对知识结构图进行节点更新的示意图。关联结构图中包括知识节点d1，知识节点d2和知识节点d3三个节点，其中知识节点d2和知识节点d3与知识节点d1相邻，为知识节点d2的知识关联节点。知识节点d2和知识节点d1间通过边r3连接，知识节点d3和知识节点d1间通过边r4连接。计算知识节点d1的知识节点权重，并基于查询文本表征q、知识节点d1的特征、知识节点d2的特征以及边r3的特征，计算知识节点d1和知识节点d2间的知识关联权重，基于查询文本表征q、知识节点d1的特征、知识节点d3的特征以及边r4的特征，计算知识节点d1和知识节点d3间的知识关联权重。通过知识关联权重，融合知识节点d1和知识节点d3，得到第二节点更新信息。基于第二节点更新信息和知识节点权重，对知识节点d1进行节点更新。
[0199]
通过注意力计算和图卷积的方式，将每个知识节点的知识关联节点进行融合，并与加权后的每个知识节点进行融合，从而基于节点和边的权重对知识节点进行更新，提高对知识节点进行信息增强的有效性。
[0200]
在一个可选的实施例中，请参见图13，确定影像特征信息与待识别对象间的第三相关度包括：
[0201]
s1310.对影像特征信息进行注意力处理，得到第三相关度；
[0202]
基于第三相关度，对影像特征信息进行更新，得到影像增强信息包括：
[0203]
s1320.基于第三相关度，对影像特征信息进行特征更新处理，得到影像增强信息。
[0204]
在一个可选的实施例中，对影像特征信息进行注意力处理，计算得到每个影像特征信息对应的注意力分数值，将该注意力分数值作为每个影像特征信各自对应的第三相关度。第三相关度可以为影像特征权重，第三相关度表示每个影像特征信息对待识别对象的重要程度，具体公式如下：
[0205][0206]
其中，αk为第三相关度，为影像特征信息，q为待识别对象的查询文本表征。wc、w6和w7为参数信息，可以通过模型训练得到。
[0207]
在影像特征信息为多源影像特征信息时，可以将影像特征信息作为相互间没有关联的离散节点，从而可以对影像特征信息进行节点更新，得到影像增强信息。基于第三相关度，对影像特征信息进行加权处理。拼接加权处理后的影像特征信息和待识别对象的查询文本表征，并对拼接后的信息进行非线性处理，得到影像增强信息。具体公式如下：
[0208][0209]
其中，αk为第三相关度，为影像增强信息。为影像特征信息。中括号表示向量拼接操作。q为待识别对象的查询文本表征。
[0210]
通过注意力计算的方式，对加权后的每个影像特征信息进行融合，从而对影像特征信息进行更新，可以提高对影像特征信息进行信息增强的有效性。
[0211]
在一个可选的实施例中，该方法可以应用于对眼科疾病或眼科疾病治疗方案进行辅助确定的场景中。如图14所示，图14为应用上述对象识别方法识别眼科疾病或眼科疾病治疗方案的示意图。在对眼科疾病或眼科疾病治疗方案进行辅助确定的场景，待识别对象为眼科疾病或眼科疾病治疗方案。
[0212]
获取病历数据，将病历数据作为文本数据输入到语义图构建模型的文本特征提取层中进行文本特征提取，将文本数据划分为多个词语并将词语转换为向量表征，得到第一特征信息、第一特征描述信息、以及第一特征信息与第一特征描述信息的关联信息。将第一特征信息、第一特征描述信息和对应的关联信息输入到语义图构建模型的语义图生成层中进行语义图生成，可以得到语义结构图。
[0213]
在对病历数据进行文本特征提取后可以进行识别，若识别到病历数据中包括眼科疾病类型，则待识别对象可以为眼科疾病治疗方案，若识别到病历数据中不包括眼科疾病类型，则待识别对象可以为眼科疾病类型。待识别对象也可以通过用户的配置操作得到。
[0214]
将眼科知识图谱作为知识结构图，在知识结构图中查询与语义结构图关联的候选知识节点，将候选知识节点和候选知识节点对应的边构建为关联结构图。
[0215]
将多源检查影像数据作为影像数据，将影像数据输入到影像特征提取模型中进行特征提取，可以得到影像特征信息。
[0216]
对语义结构图中的每个语义节点进行注意力计算，确定语义节点对应的语义节点权重，对每个语义节点关联的语义关联节点进行注意力计算，确定语义节点对应的语义关联权重。基于语义关联权重，对语义关联节点进行加权融合处理，可以得到每个语义节点对应的第一节点更新信息。基于第一节点更新信息与语义节点权重，对语义节点进行更新，在语义节点中增加相邻语义节点对待识别对象的的重要程度，以及语义节点对待识别对象的的重要程度，从而可以增加语义结构图中与待识别对象强相关的语义节点的权重，得到语义图增强信息。
[0217]
对关联结构图中的每个知识节点进行注意力计算，确定知识节点对应的知识节点权重，对每个知识节点关联的知识关联节点进行注意力计算，确定知识节点对应的知识关联权重。基于知识关联权重，对知识关联节点进行加权融合处理，可以得到每个知识节点对应的第二节点更新信息。基于第二节点更新信息与知识节点权重，对知识节点进行更新，在知识节点中增加相邻知识节点对待识别对象的的重要程度，以及知识节点对待识别对象的的重要程度，从而可以增加关联结构图中与待识别对象强相关的知识节点的权重，得到知识图增强信息。
[0218]
对每个影像特征信息进行注意力计算，确定影像特征信息对应的第三相关度。基于第三相关度，对影像特征信息进行更新，在影像特征信息中增加影像特征信息对待识别对象的重要程度，从而可以增加与待识别对象强相关的影像特征信息的权重，得到影像增强信息。
[0219]
对语义图增强信息和关联图增强信息进行信息融合，得到第一融合结果。可以从关联图增强信息的知识节点中确定当前知识节点，通过注意力机制，确定语义图增强信息中的每个语义节点与关联图增强信息中的当前知识节点间的相关程度，得到当前知识节点对应的第一融合权重，基于第一融合权重，对语义图增强信息中的每个语义节点进行加权融合，也就是对当前知识节点进行节点更新，可以得到当前知识节点对应的语义知识节点。
关联图增强信息中每个知识节点对应的语义知识节点即为第一融合结果。具体公式如下：
[0220][0221][0222]
其中，为第一融合权重，为语义图增强信息中的节点，为关联图增强信息中的节点。wd、w8和w9为参数信息。通过模型训练可以确定该参数信息的值。为第一融合结果。
[0223]
对影像增强信息和关联图增强信息进行信息融合，得到第二融合结果。可以从关联图增强信息的知识节点中确定当前知识节点，通过注意力机制，确定每个影像增强信息与关联图增强信息中的当前知识节点间的相关程度，得到当前知识节点对应的第二融合权重，基于第二融合权重，对每个影像增强信息进行加权融合，也就是对当前知识节点进行节点更新，可以得到当前知识节点对应的影像知识节点。每个影像增强信息对应的影像知识节点即为第二融合结果。具体公式如下：
[0224][0225][0226]
其中，为第二融合权重，为影像增强信息，为关联图增强信息中的节点。wd'、w8'和w9'为参数信息。通过模型训练可以确定该参数信息的值。为第二融合结果。q为待识别对象的查询文本表征。
[0227]
基于第一融合结果和第二融合结果，对关联结构图中的节点进行节点更新，得到目标结构图。具体公式如下：
[0228]
其中，t∈{s-f,i-f,o},
[0229][0230]
其中，为每个知识节点各自对应的第一融合结果，为每个知识节点各自对应的第二融合结果。为目标结构图中的目标节点，为关联图增强信息中的节点。q为待识别对象的查询文本表征。we、w
10
和w
11
为参数信息，可以通过模型训练得到。
[0231]
对目标结构图中的目标节点进行分类，从目标结构图中确定分类概率值中概率最大值对应的目标节点，将概率最大值对应的目标节点作为待识别对象对应的对象识别结果。该对象识别结果即为目标眼科疾病类型或目标眼科疾病治疗方案，从而可以对具有隐匿性的眼科疾病进行早期识别。
[0232]
本实施例提出了一种对象识别方法，该方法包括：对待识别对象对应的文本数据进行语义图构建，得到语义结构图。对待识别对象对应的影像数据进行特征提取，得到影像
特征信息。基于语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果，基于影像特征信息，与预设的知识结构图进行信息融合，得到第二融合结果。基于第一融合结果和第二融合结果，从知识结构图中确定待识别对象对应的对象识别结果。该方法可以结合语义信息与知识信息的融合结果，以及影像信息与知识信息的融合结果两个方面的信息对待识别对象进行识别，可以提高对象识别的准确性和有效性。
[0233]
本技术实施例还提供了一种对象识别装置，请参见图15，该装置包括：
[0234]
语义图构建模块1510，用于对待识别对象对应的文本数据进行语义图构建，得到语义结构图，语义结构图表征待识别对象的第一特征信息，与第一特征描述信息的关联信息；
[0235]
影像特征提取模块1520，用于对待识别对象对应的影像数据进行特征提取，得到影像特征信息；
[0236]
第一信息融合模块1530，用于基于语义结构图，与预设的知识结构图进行信息融合，得到第一融合结果；知识结构图表征多个已识别对象分别对应的第二特征信息，与第二特征描述信息的关联信息；
[0237]
第二信息融合模块1540，用于基于影像特征信息，与知识结构图进行信息融合，得到第二融合结果；
[0238]
对象识别模块1550，用于基于第一融合结果和第二融合结果，从知识结构图中确定待识别对象对应的对象识别结果。
[0239]
在一个可选的实施例中，第一信息融合模块包括：
[0240]
关联结构图确定单元，用于从知识结构图中确定与语义结构图关联的关联结构图；
[0241]
第一融合结果确定单元，用于对语义结构图和关联结构图进行信息融合，得到第一融合结果；
[0242]
第二信息融合单元包括：
[0243]
第二融合结果确定单元，用于对影像特征信息和关联结构图进行信息融合，得到第二融合结果。
[0244]
在一个可选的实施例中，第一融合结果确定单元包括：
[0245]
第一融合权重确定单元，用于确定语义结构图中的语义节点与关联结构图中的知识节点间的相关程度，得到第一融合权重；
[0246]
第一加权融合单元，用于基于第一融合权重，对语义结构图中的语义节点进行加权融合处理，得到第一融合结果。
[0247]
在一个可选的实施例中，第二融合结果确定单元包括：
[0248]
第二融合权重确定单元，用于确定影像特征信息与关联结构图中的知识节点间的相关程度，得到第二融合权重；
[0249]
第二加权融合单元，用于基于第二融合权重，对影像特征信息进行加权融合处理，得到第二融合结果。
[0250]
在一个可选的实施例中，装置还包括：
[0251]
信息增强模块，用于对语义结构图、关联结构图和影像特征信息分别进行信息增强，得到语义结构图对应的语义图增强信息、关联结构图对应的关联图增强信息和影像特
征信息对应的影像增强信息；
[0252]
第一信息融合模块包括：
[0253]
第一增强信息融合单元，用于对语义图增强信息和关联图增强信息进行信息融合，得到第一融合结果；
[0254]
第二信息融合模块包括：
[0255]
第二增强信息融合单元，用于对影像增强信息和关联图增强信息进行信息融合，得到第二融合结果。
[0256]
在一个可选的实施例中，信息增强模块包括：
[0257]
第一相关度确定单元，用于确定语义结构图中的语义节点与待识别对象间的第一相关度；
[0258]
第一节点更新单元，用于基于第一相关度，对语义节点进行节点更新处理，得到语义图增强信息；
[0259]
第二相关度确定单元，用于确定关联结构图中的知识节点与待识别对象间的第二相关度；
[0260]
第二节点更新单元，用于基于第二相关度，对知识节点进行节点更新处理，得到关联图结构增强信息；
[0261]
第三相关度确定单元，用于确定影像特征信息与待识别对象间的第三相关度；
[0262]
影像特征更新单元，用于基于第三相关度，对影像特征信息进行更新，得到影像增强信息。
[0263]
在一个可选的实施例中，第一相关度包括语义节点权重和语义关联权重，第一相关度确定单元包括：
[0264]
语义节点权重确定单元，用于对每个语义节点进行注意力处理，得到每个语义节点各自对应的语义节点权重；
[0265]
语义关联权重确定单元，用于对每个语义节点的关联语义节点进行注意力处理，得到每个语义节点各自对应的语义关联权重；
[0266]
第一节点更新单元包括：
[0267]
第一节点更新信息确定单元，用于基于语义关联权重，对关联语义节点进行加权融合处理，得到每个语义节点对应的第一节点更新信息；
[0268]
语义图增强信息确定单元，用于基于第一节点更新信息和语义节点权重，对每个语义节点进行节点更新处理，得到语义图增强信息。
[0269]
在一个可选的实施例中，第二相关度包括知识节点权重和知识关联权重，第二相关度确定单元包括：：
[0270]
知识节点权重确定单元，用于对每个知识节点进行注意力处理，得到每个知识节点各自对应的知识节点权重；
[0271]
知识关联权重确定单元，用于对每个知识节点的关联知识节点进行注意力处理，得到每个知识节点各自对应的知识关联权重；
[0272]
第二节点更新单元包括：
[0273]
第二节点更新信息确定单元，用于基于知识关联权重，对关联知识节点进行加权融合处理，得到每个知识节点对应的第二节点更新信息；
[0274]
知识图增强信息确定单元，用于基于第二节点更新信息和知识节点权重，对每个知识节点进行更新处理，得到知识图增强信息。
[0275]
在一个可选的实施例中，第三相关度确定单元包括：
[0276]
注意力处理单元，用于对影像特征信息进行注意力处理，得到第三相关度；
[0277]
影像特征更新单元包括：
[0278]
影像增强信息确定单元，用于基于第三相关度，对影像特征信息进行特征更新处理，得到影像增强信息。
[0279]
上述实施例中提供的装置可执行本技术任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的一种对象识别方法。
[0280]
本实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令由处理器加载并执行本实施例上述的一种对象识别方法。
[0281]
本实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述对象识别的各种可选实现方式中提供的方法。
[0282]
本实施例还提供了一种电子设备，该电子设备包括处理器和存储器，其中，存储器存储有计算机程序，计算机程序适于由所述处理器加载并执行本实施例上述的一种对象识别方法。
[0283]
所述设备可以为计算机终端、移动终端或服务器，所述设备还可以参与构成本技术实施例所提供的装置或系统。如图16所示，服务器16可以包括一个或多个(图中采用1602a、1602b，
……
，1602n来示出)处理器1602(处理器1602可以包括但不限于微处理器mcu或可编程逻辑器件fpld等的处理装置)、用于存储数据的存储器1604、以及用于通信功能的传输装置1606。除此以外，还可以包括：输入/输出接口(i/o接口)、网络接口。本领域普通技术人员可以理解，图16所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器16还可包括比图16中所示更多或者更少的组件，或者具有与图16所示不同的配置。
[0284]
应当注意到的是上述一个或多个处理器1602和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到服务器16中的其他元件中的任意一个内。
[0285]
存储器1604可用于存储应用软件的软件程序以及模块，如本技术实施例中所述的方法对应的程序指令/数据存储装置，处理器1602通过运行存储在存储器1604内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1604可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1604可进一步包括相对于处理器1602远程设置的存储器，这些远程存储器可以通过网络连接至服务器16。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0286]
传输装置1606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器16的通信供应商提供的无线网络。在一个实例中，传输装置1606包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。
[0287]
本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
[0288]
本实施例中所示出的结构，仅仅是与本技术方案相关的部分结构，并不构成对本技术方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。
[0289]
基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0290]
本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本技术的范围。
[0291]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。