一种神经网络模型训练样本采集方法、装置、终端及介质与流程

本发明涉及图像识别技术领域，尤其涉及一种神经网络模型训练样本采集方法、装置、终端及介质。

背景技术：

自动售货机是商业自动化的常用设备，不受时间、地点的限制，能节省人力且方便交易，因此多在商场、写字楼以及校园等场所进行设置。随着人工智能技术的发展，市场上不断涌现出各种类型的人工智能产品，基于ai(artificialintelligence，人工智能)技术的ai售货机也应运而生。

ai售货机能够获取到的物品所属类型的样本图像，当待售卖的物品被放置在ai售货机的货架上后，ai售货机可以采集该物品的图像，根据用户购买的物品的图像以及物品所属类型的样本图像，识别用户购买的该物品所属类型，并进行相应费用的收取，实现自动售货。

物品所属类型的样本图像通常是由采集人员手持物品后终端设备采集到的图像，其中采集人员可以为商家或标注人员等。并且为了后续识别的准确性，针对同一类型的物品，通常会采集多张不同角度下的样本图像，此时就需要采集人员面向终端设备的摄像头手持物品进行采集角度的改变。但是人工手持物品采集图像会受采集人员的体力以及专业能力等多种因素的影响，导致采集到的样本图像的质量参差不齐差别较大，影响后续物品的识别。

技术实现要素：

本发明提供了一种神经网络模型训练样本采集方法、装置、终端及介质，用以解决现有技术中人工手持物品导致采集到的样本图像的质量差别大的问题。

本发明提供了一种神经网络模型训练样本采集方法，应用于终端，该方法包括：

针对待采集样本的物品，确定所述物品的三维模型；

将所述三维模型输入到仿真模拟模型中，基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像。

进一步地，所述针对待采集样本的物品，确定所述物品的三维模型包括：

针对待采集样本的物品，根据采集到的所述物品的多张第一图像，确定所述物品的三维模型，其中所述多张第一图像为在多个不同角度下采集到的所述物品的图像。

进一步地，采集所述物品的多张第一图像包括：

控制放置有所述物品的转盘按照设定角度进行旋转，并

在每次控制所述转盘旋转后对所述物品进行图像采集，得到所述物品当前的第一图像。

进一步地，所述第一图像包括第一深度图像和/或第一彩色图像。

进一步地，所述基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像包括：

基于所述仿真模拟模型的仿真模拟环境，针对所述仿真模拟环境中的每种光线机制，模拟在该种光线机制的多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的该种光线机制的每个角度下的样本图像。

进一步地，所述基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像后，所述方法还包括：

针对所述物品的每个样本图像，识别该样本图像的特征信息；

将识别到的所述物品的每个特征信息保存为所述物品的样本特征集合。

本发明提供了一种神经网络模型训练样本采集装置，应用于终端，该装置包括：

确定模块，用于针对待采集样本的物品，确定所述物品的三维模型；

获取模块，用于将所述三维模型输入到仿真模拟模型中，基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像。

进一步地，所述确定模块，具体用于针对待采集样本的物品，根据采集到的所述物品的多张第一图像，确定所述物品的三维模型，其中所述多张第一图像为在多个不同角度下采集到的所述物品的图像。

进一步地，所述确定模块，还用于控制放置有所述物品的转盘按照设定角度进行旋转，并在每次控制所述转盘旋转后对所述物品进行图像采集，得到所述物品当前的第一图像。

进一步地，所述第一图像包括第一深度图像和/或第一彩色图像。

进一步地，所述获取模块，具体用于基于所述仿真模拟模型的仿真模拟环境，针对所述仿真模拟环境中的每种光线机制，模拟在该种光线机制的多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的该种光线机制的每个角度下的样本图像。

进一步地，所述装置还包括：

保存模块，用于针对所述物品的每个样本图像，识别该样本图像的特征信息；将识别到的所述物品的每个特征信息保存为所述物品的样本特征集合。

本发明提供了一种终端，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。

本发明提供了一种计算机可读存储介质，其存储有可由终端执行的计算机程序，当所述程序在所述终端上运行时，使得所述终端执行上述任一项所述方法的步骤。

本发明提供了一种神经网络模型训练样本采集方法、装置、终端及介质，该方法包括：针对待采集样本的物品，确定所述物品的三维模型；将所述三维模型输入到仿真模拟模型中，基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像。本发明中将待采集样本的物品的三维模型，输入到仿真模拟模型，在仿真模拟环境的多个不同角度下模拟采集人员手持物品的操作，避免了人工手持物品进行图像采集时受人工因素影响导致的采集到的样本图像的质量差别大，提高了采集样本图像的质量，并提高了后续物品识别的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种神经网络模型训练样本采集过程的示意图；

图2为本发明实施例提供的一种终端的结构示意图；

图3为本发明实施例提供的一种神经网络模型训练样本采集装置示意图。

具体实施方式

为了提高采集样本图像的质量及后续物品识别的准确度，本发明实施例提供了一种神经网络模型训练样本采集方法、装置、终端及介质。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种神经网络模型训练样本采集过程的示意图，该过程包括以下步骤：

s101：针对待采集样本的物品，确定所述物品的三维模型。

本发明实施例提供的神经网络模型训练样本采集方法应用于终端，该终端可以为用于进行样本采集的设备，也可以为ai售货机。

该终端能够确定待采集样本的物品，以及确定待采集样本的物品的三维模型。

终端确定待采集样本的物品时，可以是如果在图像采集范围内识别到存在物品，则将识别到的存在的该物品确定为待采集样本的物品，可以是终端中预先保存有待采集样本的物品的集合，依次将该集合中的物品作为待采集样本的物品。

如果该终端中设置有图像采集模块，或者是存在与该终端连接的进行数据通信的图像采集装置，基于该图像采集模块或图像采集装置，该终端能够识别在图像采集范围内是否存在物品。为了进一步提高待采集样本的物品确定的准确性，可以在设定区域放置物品，直接将图像采集范围内被放置在该设定区域中物品，确定为待采集样本的物品，如该设定区域可以为用于放置物品的托盘等。

终端确定待采集样本的物品的三维模型时，可以是根据采集到的该物品的图像，构建的该物品的三维模型，可以是在现有的三维模型库中获取等。

s102：将所述三维模型输入到仿真模拟模型中，基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像。

终端中可以预先构建有仿真模拟模型，终端确定物品的三维模型后，将该三维模型输入到仿真模拟模型中。

终端可以基于该仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，具体地，该仿真模拟模型中保存有角度调节机制，终端在该仿真模拟模型的仿真模拟环境中，依据该角度调节机制，确定模拟手持物品的操作的多个不同角度，该多个不同角度为至少两个不同的角度。

在该仿真模拟环境中模拟手持物品的操作可以理解为在该仿真模拟环境中采用模拟手臂模拟人手拿着物品。

终端在仿真模拟环境中基于模拟的每个角度的操作，进行该角度下三维模型的图像采集，得到该物品在模拟的该角度下的样本图像，进而得到该物品多个不同角度的样本图像。

在本发明实施例中不限定仿真模拟模型的构建过程，只要能实现模拟手势物品在不同角度下的图像采集均可。

由于通常情况下不同类型的物品的包装和/或形状存在差异，因此该物品多个不同角度的样本图像，就可以用来表示该物品的多个不同角度的样本图像。为了保证后续物品识别的准确性，可以将该物品的标识信息与该物品的样本图像对应进行保存，该物品的标识信息可以用来表明该物品具体为何种物品，如用来表明物品所属类型。

本发明实施例中将待采集样本的物品的三维模型，输入到仿真模拟模型，在仿真模拟环境的多个不同角度下模拟采集人员手持物品的操作，避免了人工手持物品进行图像采集时受人工因素影响导致的采集到的样本图像的质量差别大，提高了采集样本图像的质量，并提高了后续物品识别的准确度。

实施例2：

在上述实施例的基础上，本发明实施例中，所述针对待采集样本的物品，确定所述物品的三维模型包括：

针对待采集样本的物品，根据采集到的所述物品的多张第一图像，确定所述物品的三维模型，其中所述多张第一图像为在多个不同角度下采集到的所述物品的图像。

由于现有的三维模型库中存在的物品的三维模型有限，而现在厂家生产新产品的速度比较快，物品的更新速度也比较快，因此为了提高后续物品识别的准确性，在本发明实施例中可以根据采集到的物品的图像进行三维模型的构建。

终端针对待采集样本的物品，采集该物品的多张第一图像，该多张第一图像可以为在多个不同角度下的采集到的该物品的第一图像，为了保证三维模型构建的完整性，该多张第一图像中尽可能地包括待采集样本的物品每一面的第一图像，以一盒牛奶为例，该多张第一图像中尽可能地包括六面对应的六张第一图像。

根据采集到的物品的多张第一图像，确定该物品的三维模型时，通常是对每张第一图像进行分析得到每张第一图像的关键点，根据每张第一图像的关键点进行比对，根据关键点相似度高的每两张图像作为相邻图像进行拼接，构建得到该物品的三维模型。

所述第一图像包括第一深度图像和/或第一彩色图像。

如果第一图像包括第一深度图像和第一彩色图像，用于采集的图像采集模块或图像采集装置至少包括深度图像采集功能和彩色图像采集功能，可以是图像采集模块或图像采集装置同时具备深度图像采集功能和彩色图像采集功能，可以是某一图像采集模块或图像采集装置具备深度图像采集功能，另一图像采集模块或图像采集装置具备彩色图像采集功能。

如果第一图像包括第一深度图像和第一彩色图像，根据采集到的物品的多张第一图像，确定物品的三维模型时，可以根据每个第一深度图像中的纹理关键点进行相似度对比和拼接，再将与每个第一深度图像对应的每个第一彩色图像进行整合，得到该物品的三维模型，或者可以先对每个第一彩色图像中的关键点进行相似度对比和拼接，再将与每个第一彩色图像对应的每个第一深度图像进行整合，得到该物品的三维模型。

由于本发明实施例中根据采集到的物品的图像进行三维模型的构建，能够提高后续物品识别的准确性。

实施例3：

在采集物品的多张第一图像时，可以是人工手持物品进行采集，但是为了进一步节省采集人员的工作量，在上述各实施例的基础上，本发明实施例中，采集所述物品的多张第一图像包括：

控制放置有所述物品的转盘按照设定角度进行旋转，并

在每次控制所述转盘旋转后对所述物品进行图像采集，得到所述物品当前的第一图像。

在样本采集过程，还可以设置有转盘，终端可以与转盘连接，并对转盘进行控制，终端可以控制该转盘按照设定角度进行旋转，终端中可以保存有设定角度，该设定角度在此不做限定。

终端可以在每次控制转盘旋转后对该物品进行图像采集，得到该物品在旋转后的当前的第一图像，从而采集到终端的多张第一图像。

终端采集物品的第一图像时，可以是控制该终端中的图像采集装置模块采集物品的第一图像，可以是控制与该终端连接的图像采集装置采集物品的第一图像。

由于终端在每次旋转设定角度后都会获取物品的第一图像，因此旋转的次数与获取到的第一图像的数量可以认为是相同的。

此外，对于同一物品，转盘不能无限制的旋转下去，因此终端中可以保存转盘的旋转停止机制，如可以为当旋转设定次数后，控制转盘停止旋转，可以为当接收到用户的停止指令时，控制转盘停止旋转，可以是当确定物品旋转角度达到设定旋转角度阈值(如该旋转角度阈值为一周360度)后，控制转盘停止旋转等等，在此不做限定。

由于本发明实施例中通过控制转盘旋转，进行不同角度的多张第一图像的采集，避免了人工手持物品进行采集，进一步节省了采集人员的工作量。

实施例4：

在上述各实施例的基础上，本发明实施例中，所述基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像包括：

基于所述仿真模拟模型的仿真模拟环境，针对所述仿真模拟环境中的每种光线机制，模拟在该种光线机制的多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的该种光线机制的每个角度下的样本图像。

为了满足不同场景下图像的识别，仿真模拟模型中还可以保存有多个光线机制，例如该光线机制可以包括是否开灯时对应的光线，不同强度灯光对应的光线，不同强度自然光对应的灯光等等，可以根据实际使用需求进行设置，在此不做限制，具体地，每个灯光调节机制不同。

此外，多个不同的光线机制还可以保存为光线调节机制。

终端针对仿真模拟环境中的每种光线机制，模拟该光线机制的多个不同角度下手持物品的操作，得到在模拟的该光线机制的每个角度下的样本图像，即获取到在模拟的该光线机制的多个不同角度下的样本图像。

本发明实施例中在光线机制和不同角度下进行样本图像的采集，提高了采集样本图像的质量，并提高了后续物品识别的准确度。

实施例5：

在上面各实施例的基础上，本发明实施例中，所述基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像后，所述方法还包括：

针对所述物品的每个样本图像，识别该样本图像的特征信息；

将识别到的所述物品的每个特征信息保存为所述物品的样本特征集合。

终端针对物品的每个样本图像，识别该样本图像的特征信息可以是将该样本图像输入特征识别模型中，该特征识别模型可以为现有成熟的图像识别模型，也可以为在现有图像识别模型基础上改进的模型等。

由于通常情况下不同类型的物品的包装和/或形状存在差异，因此该物品多个不同角度的样本图像，就可以用来表示该物品所属类型的多个不同角度的样本图像，故将识别到的该物品的每个特征信息保存到物品的样本特征集合中，即可以认为是保存为了物品的标识信息对应的样本特征集合。

实施例6：

在上述各实施例的基础上，本发明实施例还提供了一种终端，如图2所示，包括：处理器201、通信接口202、存储器203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信；

所述存储器203中存储有计算机程序，当所述程序被所述处理器201执行时，使得所述处理器201执行如下步骤：

针对待采集样本的物品，确定所述物品的三维模型；

将所述三维模型输入到仿真模拟模型中，基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像。

上述终端提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口202用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(networkprocessor，np)等；还可以是数字指令处理器(digitalsignalprocessing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

实施例7：

在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由终端执行的计算机程序，当所述程序在所述终端上运行时，使得所述终端执行时实现如下步骤：

针对待采集样本的物品，确定所述物品的三维模型；

将所述三维模型输入到仿真模拟模型中，基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像。

上述计算机可读存储介质可以是终端中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(mo)等、光学存储器如cd、dvd、bd、hvd等、以及半导体存储器如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd)等。

图3为本发明实施例提供的一种神经网络模型训练样本采集装置示意图，该装置包括：

确定模块301，用于针对待采集样本的物品，确定所述物品的三维模型；

获取模块302，用于将所述三维模型输入到仿真模拟模型中，基于所述仿真模拟模型的仿真模拟环境，模拟多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的每个角度下的样本图像。

所述确定模块301，具体用于针对待采集样本的物品，根据采集到的所述物品的多张第一图像，确定所述物品的三维模型，其中所述多张第一图像为在多个不同角度下采集到的所述物品的图像。

所述确定模块301，还用于控制放置有所述物品的转盘按照设定角度进行旋转，并在每次控制所述转盘旋转后对所述物品进行图像采集，得到所述物品当前的第一图像。

所述第一图像包括第一深度图像和/或第一彩色图像。

所述获取模块302，具体用于基于所述仿真模拟模型的仿真模拟环境，针对所述仿真模拟环境中的每种光线机制，模拟在该种光线机制的多个不同角度下手持物品的操作，并基于模拟的每个操作获取所述物品在模拟的该种光线机制的每个角度下的样本图像。

所述装置还包括：

保存模块303，用于针对所述物品的每个样本图像，识别该样本图像的特征信息；将识别到的所述物品的每个特征信息保存为所述物品的样本特征集合。

本发明实施例中将待采集样本的物品的三维模型，输入到仿真模拟模型，在仿真模拟环境的多个不同角度下模拟采集人员手持物品的操作，避免了人工手持物品进行图像采集时受人工因素影响导致的采集到的样本图像的质量差别大，提高了采集样本图像的质量，并提高了后续物品识别的准确度。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。