一种基于多模型的物品识别方法、系统、设备及介质与流程

本发明涉及图像识别，具体的，本发明应用于商品识别领域，特别是涉及一种基于多模型的物品识别方法、系统、设备及介质。

背景技术：

1、目前，计算机视觉在物品识别领域被广泛应用，常用的识别方法包括：特征点匹配的方法和模型识别方法。

2、但是，无论是特征点匹配方法，还是模型识别方法，其在区分相似商品的时候还是存在一定的缺陷，具体如下：

3、一、利用图像特征点匹配的方式商品识别时，要提前对需要识别的商品进行拍照，拍照的环境需要是实际识别的环境，并且需要采集多个不同角度的商品图像，然后将采集到的商品图像根据不同商品进行分类保存；当存在商品识别需求时，就将拍摄到的待识别商品图像与售卖的商品在数据库中保存的数据集进行特征点匹配，得到匹配的数值，判断该数值是否高于预先设置的匹配正确阈值；当高于阈值时，说明售卖的商品是正确的，低于阈值说明售卖的商品是错误；但是，相似的商品有可能只是含量信息、某一小区域的颜色，而且不同区域的面积在整个商品图像中所占的比例是非常小的，因此可以提取到的特征点数量是非常有限的，相同区域内的特征点匹配成功的数量已经高于设定的阈值，因此图像特征点匹配的方式很可能无法准确区分出相似的商品。

4、二、利用识别模型进行商品识别时，采集的图像是整幅商品图像，若利用模型提取特征点，可能遇到的问题与利用特征点匹配是一样的，相同区域能够匹配成功的特征点数量已经足够，没法再进一步区分；若是通过模型提取图像向量的方式，图像向量进行相似计算，相似商品的相同区域也能够让图像向量匹配成功；因此，利用识别模型进行商品识别也无法区分出相似的商品。

5、三、在商品识别的实际应用中，需要区分的相似商品并不是很多，尤其是很多相似商品的属性、价格区别不大，通常不会造成太大风险；而正是因为相似商品的特殊性，其数量较少，种类统一性差，导致无法统一识别算法，无法进行精准识别。

技术实现思路

1、本发明的目的在于，提供一种基于多模型的物品识别方法、系统、设备及介质，以解决现有技术中存在的上述所有缺陷或缺陷之一。

2、为实现上述目的，本发明的具体技术方案如下：

3、一方面，本发明提供一种基于多模型的物品识别方法，包括以下步骤：

4、构建样品数据集；

5、基于所述样品数据集进行模型预训练，得到预训练模型；

6、基于所述样品数据集和所述预训练模型构建微调子模型；

7、基于所述预训练模型和所述微调子模型进行相似物品的自适应二次识别。

8、作为一种改进的方案，所述构建样品数据集，包括：

9、采用摄像头从若干角度采集若干待识别商品每个面的图像；

10、根据若干所述待识别商品的信息对采集到的图像进行标注和分类；

11、将标注和分类后的图像存储为所述样品数据集。

12、作为一种改进的方案，所述基于所述样品数据集进行模型预训练，得到预训练模型，包括：

13、采用所述样品数据集对检测模型进行深度学习训练，得到所述预训练模型。

14、作为一种改进的方案，所述基于所述样品数据集和所述预训练模型构建微调子模型，包括：

15、在所述样品数据集中，将相似商品图像进行提取；

16、对提取图像的区别区域进行标注；

17、基于标注后的提取图像，对所述预训练模型进行微调，得到所述微调子模型；

18、将所述微调子模型与所述相似商品图像间进行关联。

19、作为一种改进的方案，所述基于所述预训练模型和所述微调子模型进行相似物品的自适应二次识别，包括：

20、采用所述预训练模型对待识别物品进行识别处理，得到识别信息；

21、基于所述识别信息生成商品相似判断结果；

22、基于所述商品相似判断结果调用所述微调子模型进行商品二次识别。

23、作为一种改进的方案，所述基于所述识别信息生成商品相似判断结果，包括：

24、识别所述识别信息为正确商品、正确相似商品或非正确商品；

25、响应于所述识别信息为正确商品，生成正确商品信息结果；

26、响应于所述识别信息为正确相似商品，生成相似商品结果；

27、响应于所述识别信息为非正确商品，生成出货错误结果。

28、作为一种改进的方案，所述基于所述商品相似判断结果调用所述微调子模型进行商品二次识别，包括：

29、响应于所述商品相似判断结果为所述正确商品信息结果，将所述正确商品信息结果进行返回；

30、响应于所述商品相似判断结果为所述相似商品结果，采用与该相似商品所关联的微调子模型，对该相似商品进行二次识别，并将该微调子模型所输出的识别结果作为该相似商品的正确识别结果进行返回。

31、另一方面，本发明还提供一种基于多模型的物品识别系统，包括：

32、数据集构建模块、模型预训练模块、模型微调模块和自适应识别模块；

33、所述数据集构建模块，用于构建样品数据集；

34、所述模型预训练模块，用于基于所述样品数据集进行模型预训练，得到预训练模型；

35、所述模型微调模块，用于基于所述样品数据集和所述预训练模型构建微调子模型；

36、所述自适应识别模块，用于基于所述预训练模型和所述微调子模型进行相似物品的自适应二次识别。

37、另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多模型的物品识别方法的步骤。

38、另一方面，本发明还提供一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：

39、所述存储器，用于存放计算机程序；

40、所述处理器，用于通过运行所述存储器上所存放的程序来执行所述基于多模型的物品识别方法的步骤。

41、本发明技术方案的有益效果是：

42、本发明所述的基于多模型的物品识别方法，可以实现构建对于每种相似物品的子识别模型，通过子识别模型在识别过程中对相似商品进行二次识别，提升物品识别算法的精准度以及全面性，易于开发和操作，弥补了现有技术的缺陷。

43、本发明所述的基于多模型的物品识别系统，可以通过数据集构建模块、模型预训练模块、模型微调模块和自适应识别模块的相互配合，进而实现构建对于每种相似物品的子识别模型，通过子识别模型在识别过程中对相似商品进行二次识别，提升物品识别算法的精准度以及全面性，易于开发和操作，弥补了现有技术的缺陷。

44、本发明所述的计算机可读存储介质，可以实现引导数据集构建模块、模型预训练模块、模型微调模块和自适应识别模块进行配合，进而实现本发明所述的基于多模型的物品识别方法，且本发明所述的计算机可读存储介质还有效提高所述基于多模型的物品识别方法的可操作性。

45、本发明所述的计算机设备，可以实现存储并执行所述计算机可读存储介质，进而实现本发明所述的基于多模型的物品识别方法。