畜禽疫病类症图像识别方法、装置以及电子设备

本发明涉及图像识别，尤其涉及一种畜禽疫病类症图像识别方法、装置以及电子设备。

背景技术：

1、目前在畜禽养殖场中，畜禽的个体检测、疫病诊断等主要由专业巡检员在养殖舍内巡检，但这种方式存在工作量大、主观性强、环境恶劣、存在交叉感染风险等缺点。

2、相关技术中，通过分析畜禽的图像数据，人工智能系统能够辅助进行疫病的早期预警；但由于疫病的种类复杂多样且畜禽类患病初期症状表现不明显，故难以全面收集大量数据，使得畜禽疫病异常的图像样本非常稀少，仅仅利用视觉信息不能够很好地获取疫病特征，不能满足实际场景中准确识别畜禽疫病的需求。

3、由此可见，相关技术中的畜禽疫病的图像识别方法，存在由于缺失畜禽疫病异常图像样本导致的识别准确率较低的技术问题。

技术实现思路

1、本发明提供一种畜禽疫病类症图像识别方法、装置以及电子设备，用以解决现有技术中畜禽疫病的图像识别方法，识别准确率较低的缺陷，实现在少量标记数据或零样本的情况下对畜禽疫病图像的高效识别。

2、本发明提供一种畜禽疫病类症图像识别方法，包括如下步骤。

3、获取目标畜禽图像与文本描述，其中，所述文本描述用于表示所述目标畜禽图像的疫病类别；将所述目标畜禽图像与所述文本描述输入至多模态对比语言图像预训练模型，得到所述多模态对比语言图像预训练模型输出的所述目标畜禽图像中的畜禽的目标部位所罹患的候选疫病，其中，包括：通过所述多模态对比语言图像预训练模型的图像编码器，对所述目标畜禽图像进行分割与编码，得到至少一个图像特征表示，其中，所述图像特征表示用于表示所述目标畜禽图像的目标部位的性状；通过所述多模态对比语言图像预训练模型的文本编码器，对所述文本描述进行重构与编码，得到至少一个文本描述特征，其中，所述文本描述特征用于表示所述疫病类别中的候选疫病；通过所述多模态对比语言图像预训练模型，基于所述图像特征表示与所述文本描述特征的相似度进行对齐，得到与所述目标部位对应的所述候选疫病。

4、根据本发明提供的一种畜禽疫病类症图像识别方法，所述对所述目标畜禽图像进行分割与编码，得到至少一个图像特征表示，包括：对所述目标畜禽图像进行实例分割，得到部位区域图像集合；将所述部位区域图像集合中的每个部位区域图像映射到嵌入空间，得到至少一个图像向量表示；对每个所述图像向量表示进行归一化，得到与所述每个部位区域图像分别对应的图像特征表示。

5、根据本发明提供的一种畜禽疫病类症图像识别方法，在所述对所述目标畜禽图像进行实例分割，得到至少一个部位区域图像之后，所述方法还包括：基于所述部位区域图像的物种与部位进行识别，确定所述部位区域图像的分割部位；对所述分割部位进行预设标签分配，得到所述部位区域图像的目标部位标签；基于所述部位区域图像的目标部位标签，确定所述目标畜禽图像的候选疫病的种类范围。

6、根据本发明提供的一种畜禽疫病类症图像识别方法，所述对所述文本描述进行重构与编码，得到至少一个文本描述特征，包括：确定至少一个目标疫病类别；基于与所述目标疫病类别对应的预设的疫病类型特征，对所述文本描述进行重构，得到与所述目标疫病类别对应的描述符集合；将所述描述符集合的每个描述符分别映射到嵌入空间，得到至少一个文本向量表示；对每个所述文本向量表示进行归一化，得到与所述每个描述符分别对应的文本描述特征。

7、根据本发明提供的一种畜禽疫病类症图像识别方法，所述基于所述图像特征表示与所述文本描述特征的相似度进行对齐，得到与所述目标部位对应的所述候选疫病，包括：基于目标评分函数确定所述图像特征表示与目标疫病类别之间的匹配得分，其中，所述目标评分函数包括：相似度均值函数、相似度加权函数、等级赋分函数；将所述匹配得分大于预设得分阈值的目标疫病类别，作为与所述图像特征表示对应的目标部位的候选疫病；其中，在所述目标评分函数为所述相似度均值函数时，所述基于目标评分函数确定所述图像特征表示与目标疫病类别之间的匹配得分，包括：确定所述图像特征表示与至少一个目标疫病类别对应的描述符集合中每个描述符分别对应的文本描述特征之间的相似度；将所述相似度的平均值作为所述图像特征表示与所述目标疫病类别之间的匹配得分。

8、根据本发明提供的一种畜禽疫病类症图像识别方法，在所述获取目标畜禽图像与文本描述之前，所述方法还包括：获取畜禽图像标记样本集合；在所述畜禽图像标记样本集合中的样本数量小于预设的样本数量阈值时，构建所述畜禽图像标记样本集合的视觉缓存，其中，包括：通过多模态对比语言图像预训练模型的视觉编码器提取所述畜禽图像标记样本集合中每个畜禽图像标记样本的视觉嵌入；基于所述视觉嵌入进行水平拼接，得到图像信息矩阵，将所述图像信息矩阵作为视觉缓存的键部分；确定所述畜禽图像标记样本集合中每个畜禽图像标记样本的独热编码，以及所述畜禽图像标记样本集合中每个畜禽图像标记样本的分类标签；基于所述独热编码进行垂直连接，并基于所述分类标签进行水平链接，得到视觉缓存的值部分。

9、本发明还提供一种畜禽疫病类症图像识别装置，包括如下单元：获取单元，用于获取目标畜禽图像与文本描述，其中，所述文本描述用于表示所述目标畜禽图像的疫病类别；识别单元，用于将所述目标畜禽图像与所述文本描述输入至多模态对比语言图像预训练模型，得到所述多模态对比语言图像预训练模型输出的所述目标畜禽图像中的畜禽的目标部位所罹患的候选疫病，其中，包括：分割模块，用于通过所述多模态对比语言图像预训练模型的图像编码器，对所述目标畜禽图像进行分割与编码，得到至少一个图像特征表示，其中，所述图像特征表示用于表示所述目标畜禽图像的目标部位的性状；重构模块，用于通过所述多模态对比语言图像预训练模型的文本编码器，对所述文本描述进行重构与编码，得到至少一个文本描述特征，其中，所述文本描述特征用于表示所述疫病类别中的候选疫病；对齐模块，用于通过所述多模态对比语言图像预训练模型，基于所述图像特征表示与所述文本描述特征的相似度进行对齐，得到与所述目标部位对应的所述候选疫病。

10、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述畜禽疫病类症图像识别方法。

11、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述畜禽疫病类症图像识别方法。

12、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种畜禽疫病类症图像识别方法。

13、本发明提供的畜禽疫病类症图像识别方法、装置以及电子设备，通过获取目标畜禽图像以及用于表示目标畜禽图像疫病类别的文本描述；通过多模态对比语言图像预训练模型的图像编码器对目标畜禽图像进行分割与编码，得到用于表示目标畜禽图像目标部位的图像特征表示，由此，能够从待识别图像中将每一处具有诊断价值的部位区域分割出来，使用区域内图像进行编码，得到目标部位的图像特征表示；由于畜禽疫病的病种属于专业领域的特殊概念，相应的样本在多模态对比语言图像预训练模型的预训练数据中往往是缺失的，这将影响零样本疫病图像识别的性能，本发明利用疫病类别的通用文本描述作为辅助信息重构各类症的文本特征，因此能够提供零样本类症图像识别的基础能力，能够在没有训练样本的条件下识别常见的概念；通过多模态对比语言图像预训练模型，基于图像特征表示与文本描述特征的相似度进行对齐，由此，构建图像模态与文本模态的特征关联，提供零样本类症图像识别的能力；进而解决了相关技术中的畜禽疫病的图像识别方法，存在由于缺失畜禽疫病异常图像样本导致的识别准确率较低的技术问题。