一种目标识别方法、装置、电子设备及可读存储介质与流程

本申请属于图像，尤其涉及一种目标识别方法、装置、电子设备及可读存储介质。

背景技术：

1、利用传统的目标检测算法或分割算法，例如基于深度学习的方法，进行识别、分割目标。利用深度学习方法识别、分割目标的方式，只能识别训练过程中出现的目标，使得无法识别未知的目标。

技术实现思路

1、本申请实施例提供了一种目标识别方法、装置、电子设备、可读存储介质及计算机程序产品，可以解决无法识别未知的目标的问题。

2、第一方面，本申请实施例提供了一种目标识别方法，包括：

3、获取文本命令和待处理图像；

4、提取所述文本命令中各待处理目标的文本向量；

5、对所述待处理图像进行处理，获得各对象的图像向量，所述图像向量用于表征所述对象的图像信息；

6、根据所述文本向量和所述图像向量，计算所述各待处理目标与所述各对象的相似度；

7、选取目标相似度，所述目标相似度大于预设相似度；

8、根据所述目标相似度，获得所述各待处理目标对应的图像向量。

9、在一个实施例中，获取文本命令之前，还包括：

10、获取用户的语音指令；

11、对所述语音指令进行处理，获得文本命令。

12、在一个实施例中，所述获得所述各待处理图像对应的图像向量之后，还包括：

13、根据所述文本命令和所述各待处理目标对应的图像向量，确定动作序列，所述动作序列包括至少一个动作指令；

14、向智能体发送所述动作序列，所述动作序列用于指示所述智能体执行所述动作指令，以使所述智能体完成所述文本命令。

15、在一个实施例中，所述提取所述文本命令中各待处理目标的文本向量，包括：

16、解析所述文本命令，获得所述各待处理目标的文本信息；

17、对每个所述文本信息进行编码，获得每个所述待处理目标的文本向量。

18、在一个实施例中，所述对所述待处理图像进行处理，获得各对象的图像向量，包括：

19、将所述待处理图像划分成多个图像块，每个所述图像块包括一个对象；

20、利用掩码，提取各图像块中的所述对象，获得所述各对象的物体图像；

21、对每个所述物体图像进行编码，获得每个所述对象的图像向量。

22、在一个实施例中，所述根据所述文本向量和所述图像向量，计算所述各待处理目标与所述各对象的相似度，包括：

23、将各文本向量与各图像向量进行点积运算，获得相似矩阵，所述相似矩阵的元素的值用于表征一个所述文本向量与一个所述图像向量之间的相似度，元素数量与向量数量相同，所述向量数量为所述文本向量的数量与所述图像向量的数量的相乘结果。

24、在一个实施例中，所述根据所述文本命令和所述各待处理目标对应的图像向量，确定动作序列，包括：

25、针对每个所述待处理目标，根据目标元素的所述目标文本向量和目标图像向量，获得所述待处理目标和对应的图像向量，所述目标元素的值大于所述预设相似度；

26、根据所述待处理目标对应的图像向量，确定所述待处理目标在所述待处理图像中的位置；

27、根据所述文本命令和每个所述待处理目标的所述位置，确定所述动作序列。

28、第二方面，本申请实施例提供了一种目标识别装置，包括：

29、获取模块，用于获取文本命令和待处理图像；

30、文本处理模块，用于提取所述文本命令中各待处理目标的文本向量；

31、图像处理模块，用于对所述待处理图像进行处理，获得各对象的图像向量，所述图像向量用于表征所述对象的图像信息；

32、相似度处理模块，用于根据所述文本向量和所述图像向量，计算所述各待处理目标与所述各对象的相似度；

33、还用于选取目标相似度，所述目标相似度大于预设相似度；

34、还用于根据所述目标相似度，获得所述各待处理目标对应的图像向量。

35、第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的方法。

36、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的方法。

37、第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。

38、本申请实施例与现有技术相比存在的有益效果是：

39、本申请实施例包括获取文本命令和待处理图像；提取文本命令中各待处理目标的文本向量；对待处理图像进行处理，获得各对象的图像向量，图像向量用于表征对象的图像信息；根据文本向量和图像向量，计算各待处理目标与各对象的相似度；选取目标相似度，目标相似度大于预设相似度；根据目标相似度，获得各待处理图像对应的图像向量，通过相似度，查找到与文本命令中待处理目标对应的图像向量，以能在图像中识别对应待处理目标的对象，使得图中存在未知对象也能够识别。

40、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

技术特征：

1.一种目标识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取文本命令之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述获得所述各待处理图像对应的图像向量之后，还包括：

4.根据权利要求1所述的方法，其特征在于，所述提取所述文本命令中各待处理目标的文本向量，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行处理，获得各对象的图像向量，包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述文本向量和所述图像向量，计算所述各待处理目标与所述各对象的相似度，包括：

7.根据权利要求3所述的方法，其特征在于，所述根据所述文本命令和所述各待处理目标对应的图像向量，确定动作序列，包括：

8.一种目标识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供了一种目标识别方法、装置、电子设备及可读存储介质。所述方法包括：获取文本命令和待处理图像；提取文本命令中各待处理目标的文本向量；对待处理图像进行处理，获得各对象的图像向量，图像向量用于表征对象的图像信息；根据文本向量和图像向量，计算各待处理目标与各对象的相似度；选取目标相似度，目标相似度大于预设相似度；根据目标相似度，获得各待处理图像对应的图像向量。本申请通过相似度，查找到与文本命令中待处理目标对应的图像向量，以能在图像中识别对应待处理目标的对象，使得图中存在未知对象也能够识别。

技术研发人员：陈加壹,于非,贺颖,孙喜龙,董淳光,赵哲一
受保护的技术使用者：人工智能与数字经济广东省实验室（深圳）
技术研发日：
技术公布日：2024/1/15