多视角积木零件缺漏件检测方法与流程

本发明涉及积木检测，具体而言，涉及多视角积木零件缺漏件检测方法。

背景技术：

1、拼插积木是一种深受大众喜爱的益智玩具，由于其精细的结构和丰富的变化，深受孩子们和成年人的喜爱，然而，积木零件的种类繁多，数量庞大，很容易出现缺失或遗漏的情况，这对于玩家来说是非常麻烦的问题，可能会导致模型无法完成或者出现错误。

2、现有的生产流程中多采取基于称重与人工计数的方式进行积木套装的质检，这种方法主要由两个功能模块组成：称重模块和人工计数模块，需要支持的硬件设备主要是称重设备和计数设备；称重模块的主要功能是对积木包进行初步筛选，在生产开始前，工作人员会抽取几包样品进行称重，以确定一个标准的积木包重量范围，在生产过程中，所有的积木包都会通过称重设备进行重量检测，若某个积木包的重量不在标准范围内，即认为可能存在缺件或多件的情况，该积木包就会被挑选出来，进行进一步的人工检查；

3、人工计数模块的主要功能是对可能存在问题的积木包进行精确计数，工作人员会打开积木包，一一对积木进行计数，以确保每个积木包中的积木数量准确无误，这种基于称重与人工计数的方式，一方面成本较高，因为人工计数需要大量的人力资源；另一方面，由于人为因素的存在，无法避免计数错误或疏漏，因此无法确保每个积木包都不会出现缺件或多件的情况。

4、此外，这种方法的前提假设是每个积木的重量都是统一且恒定的，然而在实际生产过程中，由于原料、制造工艺等多种因素的影响，每个积木的重量往往会有一定的波动，这就可能导致称重模块的误判；再者，随着积木产品正在朝向个性化和多sku的方向发展，对质检过程提出了更高的要求，在这种情况下，基于称重与人工计数的方法可能无法满足质检的精度和效率需求。因此我们对此做出改进，提出多视角积木零件缺漏件检测方法。

技术实现思路

1、本发明的目的在于：针对目前存在的现有技术中基于称重与人工计数的方法可能无法满足质检的精度和效率需求的问题。

2、为了实现上述发明目的，本发明提供了多视角积木零件缺漏件检测方法，以改善上述问题。

3、本申请具体是这样的：

4、多视角积木零件缺漏件检测方法，包括以下步骤：

5、步骤a、多视角环境标定，采用相机标定法获得多个相机视角下的单应性变换；

6、步骤b、单积木识别与分割，使用redet神经网络，将每个视角下的单个积木用有向包围盒进行标定；

7、步骤c、多视角信息融合，将不同视角下的同一积木的信息进行融合，使用在步骤a中提取到的不同相机下的单应性变换，以进行图片的旋转、拉伸、缩放操作；

8、步骤d、积木形状与颜色识别，将步骤c中经过信息融合后的图片通过redet神经网络进行积木形状和颜色的识别。

9、作为本申请优选的技术方案，步骤a中采用的相机标定法为张正友相机标定法。

10、作为本申请优选的技术方案，步骤a用以实现不同相机视角下的同一积木的一一对应。

11、作为本申请优选的技术方案，步骤b中用以实现redet神经网络每次只专注于对一个零件的分类。

12、作为本申请优选的技术方案，步骤c中，图片的旋转、拉伸、缩放的操作，用以所有视角下拍摄的图片都与其中一个视角的一致。

13、作为本申请优选的技术方案，步骤d在redet神经网络中，将不同视角下图片所编码的向量在隐式空间中以乘法的方式进行融合。

14、作为本申请优选的技术方案，步骤d中，使用轻量级的transformer网络、lightvit以及神经网络进行多视角处理。

15、作为本申请优选的技术方案，在进行步骤a前使用一个积木依次放置在多个不同的位置，在每个位置控制多个相机同时拍摄该积木，根据照片并对比积木确认拍摄角度以及完整性是否满足检测需求，若是则进行步骤a，若否则进行相机角度以及数量的调节。

16、作为本申请优选的技术方案，调整好相机角度以及数量后，选取任意一个相机拍摄的画面为基准面，以该相机拍摄的积木图像为基准帧。

17、作为本申请优选的技术方案，选取任意批次经过检测的积木套装，进行人工检验。

18、与现有技术相比，本发明的有益效果：

19、在本申请的方案中：

20、1.为了解决现有技术中现有技术中基于称重与人工计数的方法可能无法满足质检的精度和效率需求的问题，本申请通过改进质检方法，直接利用视觉识别对积木零件的类型和颜色进行检测，并与实际零件清单进行对比，以实现对积木零件缺漏件的高效检测，具体改进为本发明通过输入多个视角的积木零件图片，并结合这些不同视角的信息，对积木零件的形状和颜色进行辨，这种方式避免了通过称重等间接方法进行筛选的不准确性；

21、2.本发明的方法无需人工参与，可以显著降低企业在质检环节的成本，提高质检效率，降低了误判的可能性，在面临sku频繁更新的情况下，本发明的方法无需承担额外成本，只需将零件清单与新sku的零件清单进行自动对接即可，实现快速适应新产品的质检要求。

技术特征：

1.多视角积木零件缺漏件检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多视角积木零件缺漏件检测方法，其特征在于，步骤a中采用的相机标定法为张正友相机标定法。

3.根据权利要求2所述的多视角积木零件缺漏件检测方法，其特征在于，步骤a用以实现不同相机视角下的同一积木的一一对应。

4.根据权利要求1所述的多视角积木零件缺漏件检测方法，其特征在于，步骤b中用以实现redet神经网络每次只专注于对一个零件的分类。

5.根据权利要求1所述的多视角积木零件缺漏件检测方法，其特征在于，步骤c中，图片的旋转、拉伸、缩放的操作，用以所有视角下拍摄的图片都与其中一个视角的一致。

6.根据权利要求1所述的多视角积木零件缺漏件检测方法，其特征在于，步骤d在redet神经网络中，将不同视角下图片所编码的向量在隐式空间中以乘法的方式进行融合。

7.根据权利要求1所述的多视角积木零件缺漏件检测方法，其特征在于，步骤d中，使用轻量级的transformer网络、light vit以及神经网络进行多视角处理。

8.根据权利要求1所述的多视角积木零件缺漏件检测方法，其特征在于，在进行步骤a前使用一个积木依次放置在多个不同的位置，在每个位置控制多个相机同时拍摄该积木，根据照片并对比积木确认拍摄角度以及完整性是否满足检测需求，若是则进行步骤a，若否则进行相机角度以及数量的调节。

9.根据权利要求8所述的多视角积木零件缺漏件检测方法，其特征在于，调整好相机角度以及数量后，选取任意一个相机拍摄的画面为基准面，以该相机拍摄的积木图像为基准帧。

10.根据权利要求1所述的多视角积木零件缺漏件检测方法，其特征在于，选取任意批次经过检测的积木套装，进行人工检验。

技术总结
本申请提供了多视角积木零件缺漏件检测方法，涉及积木检测技术领域。本申请通过改进质检方法，直接利用视觉识别对积木零件的类型和颜色进行检测，并与实际零件清单进行对比，以实现对积木零件缺漏件的高效检测，具体改进为本发明通过输入多个视角的积木零件图片，并结合这些不同视角的信息，对积木零件的形状和颜色进行辨，这种方式避免了通过称重等间接方法进行筛选的不准确性。

技术研发人员：罗澜,刘恩槐,徐豪,周强,李承,李楚璇
受保护的技术使用者：深圳千帜科技有限公司
技术研发日：
技术公布日：2024/1/15