基于增强现实和人机综合检测的产品质量检查方法及其装置与流程

1.本发明涉及一种基于增强现实和人工检测的智能的产品质量检查方法,尤其涉及一种基于增强现实和人工检测的智能训练模型的产品质量检查方法及其装置,属于工业智能质检领域。


背景技术：

2.工业上对于产品质量检查一般分为人工检查以及机器视觉检测，前者一般被诟病为检查效率低不适应长时间、高质量、高分辨的检查需求，后者通过信息交互以及图像处理手段，将现场拍摄的被测物图像通过与事先保存于数据库的标准图像做对比，从而实现快速高效的检测。但是,标准图像往往和现实拍摄图像在产生质量问题的部位或参数有着区别，因而机器视觉技术中现有技术常见地需要人为设置阈值或容许范围，以将这些差别进行量化而输出满意的结果。
3.而基于机器训练的智能技术提供了很好的解决方法，利用大量的图像识别训练产生模型，其本质是赋予机器类似人的目测经验，从而能够智能地准确地识别出质量问题。
4.然而，随着客户对产品的质量要求的提升，不同的质量问题具有不同的阈值参数，因而在同一种产品上会产生图像处理的需要，以区域分割处理。但事实上仅仅从图像上给予标注各问题区域以及质量参数的报表或函数。难以将现实物理位置和报表或函数进行指示关联。从而不能更直观地、精准地指导质检人员对问题产品易发问题部位，不同种类问题在产品上的空间分布和批次分布、以及问题产生的根源进行溯源，改善生产质量。
5.现实增强技术（ar）似乎能够解决这一问题。现有ar技术主要具备三项功能。一是获取其他模块的信息，在现实世界中进行叠加显示,例如us20200342669a1通过目标物坐标与图像的分析从而及时物件经过移动，也能在ar装置上标注出物理位置上准确指示到相应物件的物件信息。cn112330753a则通过将需要叠加的虚拟物体通过目标网络检测将其投放到真实物理空间上。而过去一些年，哥伦比亚大学团队使用穿戴式ar装置制造了一套激光打印机维修系统，将操作流程和操作对象模拟目标融合，准确地指导维修人员在物理现场进行相应部位的维修操作。
6.二是根据ar装置，尤其穿戴式的ar眼镜上的传感器，主动监测用户的注视点或注视方向，传给用户意图理解模块，从而进一步在现实世界中找到所需要的的控制的目标。cn110442232a使用脑机接口模块采集获得穿戴了ar设备的人员脑电信息；将所述眼动图像信息和4脑电信号联合输入到深度神经网络模型中，预测人员控制意图，生成机器人控制指令，控制所述机器人。也就是说将人的意图转化为机器人的行为。
7.第三种是用于产品的质检，cn111102920a正是利用了上述第一项功能，将通过图像处理和算法分析以及网络训练模型的计算得到裂纹的几何参数投放到ar眼镜，标注对应裂纹位置和标记。cn207408313u利用ar上的视觉传感器形成信息通过与眼镜上配制的相机采集的图像以及标准库中图像比对得到检测结果。其核心本质是一种行走的机器视觉技术，通过人员的走动灵活观察。cn106530403a是将图形在虚拟环境下显示检测结果。
8.由于对人工检测历来的技术偏见，以及机器视觉的过分依赖，使得人们忽略了人的经验，纯粹依靠机器的模型作为人工的代替。ar技术虽然能够在空间灵活度上优于机器视觉，但检测结果也是局限于机器模型，最多利用ar叠加技术将检测结果投放到物理空间上对应的位置。并且现有技术ar眼镜都是让人来佩戴，而实际检测中人成为了检测装置的移动工具的角色，完全忽视了人的目测检测经验。因此，亟需一种能够结合人工目测、机器视觉、以及ar技术的优点，对产品实现更加完善的检测。


技术实现要素：

9.为了克服现有技术对机器的过分依赖，本发明考虑了一种基于增强现实和人机综合检测的智能的产品质量检查方法,将人的目测行为记录到佩戴ar眼镜的机器人的行为模块中，并考虑机器视觉，机器人ar视觉以及人的检测结果进行训练，并结合机器视觉的检测结果得到综合体现人和机器的检测贡献的模型，使得机器检测产品由原先的机器化中掺入人的因素，但又优于人的检测双重特点。本发明的机器人包括任何具有受控制产生相应行为动作的机械结构或者智能运动装置，包括且不限于本领域定义的机器人。
10.为此，本发明提供了一种基于增强现实和人机综合检测的智能训练模型的产品质量检查方法，其特征在于，s1.样品集收集：收集机器视觉检测出的不合格产品以及人工目测不合格的产品，并将所有所述不合格的产品随机分为训练集以及验证集，将训练集随机抽取通过生产线传输；s2.人工检测行为记录与ar视觉的检测：p个质检人员进入各自检测工位，其中至少一部分检测工位布置与机器视觉拍摄装置空间分布至少一部分一致，利用ar设备按照各自规定路线和路线上离散的m个点，在每一点进行眼球移动观察每一个传输过来的训练集产品，其中所述p个质检人员记录每一个训练样品检测的第一结果，s3.机器视觉采集图像：利用机器视觉装置得到第二结果；s4.智能训练模型的建立：利用ar视觉的检测的图像和机器视觉采集图像以及所述第一第二结果得到智能训练模型；s5.建立评价模型：根据智能训练模型得到评价模型；s6.待测样品检测：p个第一机器人利用ar设备按照步骤s1中的所述各自规定路线，所述在m个点中的每一个点根据机器人行为模块控制机器人扫描待测产品，得到第一结果，与机器视觉装置得到的第二结果代入步骤s5中的评价模型得到检测结果。
11.进一步地，步骤s1中所述的机器视觉检测出的不合格样品以及人工目测不合格的产品的两者数量具有预设的比例，所述比例为10:1
‑
1:10，优选地为5:1
‑
1:5，更优选地的3:1
‑
1:3，最优选为2:1。用户可以根据产品的特点以及技术需求而调整比例，以期望获得人和机器的经验贡献比例。为满足质检人员观察需要时长，生产线要求在产品到达预定检测位置时停留，待记录完毕时继续传输,一般停留时间为10
‑
30s。熟练的质检人员能够在停留时长范围内观察到每一方向上的产品问题并完成记录。而正式检测待测产品时停留时间可以为0
‑
3s。
12.进一步地，所述步骤s2中所述的在每一点进行眼球移动观察每一个传输过来的训练集产品，其中所述p个质检人员记录每一个训练样品检测的第一结果,具体包括：s2
‑
1.其中一个质检人员通过ar设备形成意图控制命令，控制第一机器人做与眼
球移动相应的扫描动作，将所述扫描动作记录在所述第一机器人的行为模块中；同时所述p个质检人员进行ar装置视觉信息采集，随眼动方向而改变面朝方位姿态，获得p组第二图像，且每组包括与所有方向上对应的一共n个第二图像；其中每个质检员在每个点上对应到相应组的n个图像按照眼动顺序排列成第二图像矩阵，并记录到一个相应的第一结果矩阵；s2
‑
2.将所述第一结果矩阵发送到ar装置中存储；其中，所述眼球移动方式是可以任意定义，一个实施例是从正视方向开始往正上方移动，接着顺时针往正右、正下、正左方向移动，最后归位到正视方向，或者逆时针往正左、正下、正右方向移动，最后归位到正视方向其中，再或者从正视方向开始往正下或正左方或正右方中的一种方向移动，接着按照顺时或逆时针往相应的方向运动，最后归位到正视方向。其中每个质检人员在每个方向上看到的现场图像为第一图像。可以理解的是，当n=1时，眼动方式是停留在正视方向或其他方向不动；相应地，第一机器人检测待测产品时也不用进行运动扫描，此时生产线停留时间为0s。
13.对应于眼球移动，在记录之前，ar装置能够产生用户意图信息，并将该信息传送给p个第一机器人，在行为模块形成行为集，此时ar装置检测到眼球归位后，将关闭用户意图信息产生功能，完成行为录入。用户可以将所述行为集和所述的各自规定路线组成行为库存储在ar装置中。在录入前，质检人员根据ar装置虚拟界面提示眼移动到相应选项并眨眼进行选择，根据扫描需要而选择行为库中行为集中的一种行为程序文件夹，从而完成第一机器人在每一个点处的扫描运动方式录入存储。在训练集产品检测和待测产品检测时，在每个方向上都进行采集或拍摄一张图片。
14.其中，所述记录的方式是将记录内容在移动终端上完成。具体地，在行为录入完毕后，记录每个方向上的检测结果，在每一个点观察完毕时记录形成第一结果，并通过所述移动终端发送给ar装置。如果记不住可以回看观察。由于行为录入完毕，此时回看观察并不影响行为录入。所述移动终端包括智能手机、ipad，笔记本电脑。
15.进一步地，所述步骤s3中利用机器视觉装置得到第二结果包括：形成q组每组n个第三图像，其中每组的n个图像，按照机器视觉拍摄时间顺序也排列成第三图像矩阵，同样得到一个相应的第二结果矩阵，并将所述q组每组n个第三图像矩阵和所述第二结果矩阵传输给ar设备。
16.具体每一个组的第二和第三图像矩阵排列规则一致，先行再列，而每一行可以从左往右或反之，p组或q组中不同组之间排列规则可以不一致。
17.优选地，前述的第一结果和第二结果包括问题类型d、问题的概率prop和得分s中任一项或其组合。
18.其中，当问题类型为缺陷类型，且当缺陷类型为高维维缺陷时，采用第一模型，为低维缺陷时，采用第二模型。优选地，所述第一模型包括卷积神经网络（cnn）、径向基神经网络（rbf）；所述第二模型包括深度神经网络(dnn)、循环神经网络(rnn)。对于同一缺陷在不同扫描视角拍摄或视觉型号采集时很可能产生颜色、光亮等不同的图像，从而需要进行多角度扫描以避免误判。其中，所述高维维缺陷包括体缺陷、面缺陷，集中分布缺陷，所述低维缺陷包括线缺陷、点缺陷。其中集中分布缺陷是指在产品某一缺陷发生部位具有至少一种高维维缺陷和/或低维缺陷集中分布。所述得分s为1
‑
10范围，[1,3]为严重，(3,6]为中度，(6,9]为轻微，10为无暇。对于机器视觉的得分标准以各类缺陷的几何特征设定的阈值来划
分。
[0019]
进一步地，步骤s4中所述的利用ar视觉的检测的图像和机器视觉采集图像以及所述第一第二结果得到智能训练模型具体包括：s4
‑
1.ar装置将p组中每一组第二图像矩阵按照所在点位置顺序进行融合，形成一张第一检测图像作为输入端，所述第一结果矩阵相应排列形成第一总结果矩阵作为输出端，通过ar装置建立p
×
n个第一智能训练模型f；s4
‑
2.将q组中每一组第三图像矩阵进行融合， 形成一张第二检测图像作为输入端，所述第二结果相应排列形成第二总结果矩阵作为输出端，通过ar装置建立q
×
n个第二智能训练模型g；s4
‑
3.利用验证集对所述第一和第二智能训练模型进行验证，以调整模型的参数；步骤s4
‑
1和s4
‑
2中，设检测图像阵列i=，r为总结果矩阵,r=，通过训练（1）得到f和g，b,c,d,e,b',c',d',e'是矩阵块，代表一个点上的相应图像阵列以及结果矩阵。当n=4时， i=, r=,（2）得到f和g,其中f[]为模型，每一个4
×
4矩阵块代表一个点上的相应图像阵列以及结果矩阵。
[0020]
其中，所述调整之后，重复步骤s4
‑1‑
s4
‑
3的步骤，直至满足预设阈值范围内。所述预设阈值包括问题类型判断是否有误、得分匹配是否在预设值范围内。其中所述预设值为0.1
‑
1%的误差。
[0021]
进一步地，步骤s5中所述的根据智能训练模型得到评价模型具体包括：验证完毕的,,评价模型为公式
（3），其中f,f',f'',f''',g,g',g'',g'''是矩阵块，代表一个点上的相应模型矩阵，a、b为实数，且a+b=1。当p＜q或p＞q时，空缺的点位上以零矩阵块填充。用户可以根据产品的特点以及技术需求而调整常数，其期望获得人和机器的经验贡献，得到符合要求的最优评价模型。a和b调整可以与训练集中两种不合格产品预设的比例相匹配或大致相匹配。特别地，当a=0时即为机器视觉检测，b=0时为人机结合ar检测。
[0022]
n=4时,f=，g=,则评价模型（4）。可以理解的是,上述每一个矩阵块可以是其他阶数方阵或非方阵，根据眼动的方向选择不同而相应具有不同对应的矩阵块。
[0023]
进一步地，步骤s6中具体包括：s6
‑
1.p个第一机器人利用ar设备按照步骤s1中的所述各自规定路线，所述在m个点中的每一个点根据机器人行为模块控制机器人扫描待测产品获得p组第二图像，且每组包括n个第二图像；其中每个第一机器人在每个点上对应到相应组的n个图像，并得到一个相应的第一结果矩阵；s6
‑
2.ar装置将第一结果矩阵和机器视觉装置得到的第二结果矩阵代入步骤s5中的评价模型得到评价结果，存储数据并发送给第二机器人对不合格样品进行分拣或分流。
[0024]
在一个实施例中，p和q为1
‑
4，m为1
‑
3，优选地，p=q=4，m=1或2。可以在生产线两侧质检人员和第一机器人都分为2个组成一组。
[0025]
优选地的实施例中，n为偶数，且步骤s4
‑
1和4
‑
2中所述的融合方式是案采集图像的ar眼动顺序和机器视觉拍摄位置顺序排列图像，拼接成检测图像。
[0026]
本发明的另一个目的提供了一种基于上述方法的基于增强现实和人机综合检测的智能训练模型的产品质量检查装置，其特征在于，包括p个ar装置，p个第一机器人，其中所述p个ar装置中有且只有一个第一ar装置具备眼球跟踪模块，用于跟踪眼球的移动和识别眨眼，产生相应的眼睛动作信号，以及用户意图判断模块，用于根据所述眼睛动作信号形成对p个第一机器人控制信号和ar装置显示的虚拟界面进行操作的命令信号；所述p个ar装置中的每一个都包括视觉信息采集模块，用于采集每一个点的每一个扫描方向下物理现场的被测产品的第二图像，
无线模块，用于接收和发送第一第二结果数据以及图像数据；对于第一ar装置，所述无线模块还将用户意图判断模块产生的控制和操作命令信号发送给p个第一机器人；处理器，用于建模、分析数据、控制其他模块工作或关闭，透明窗，用于真实物理视场观察，以及投影装置，将所述处理器处理的当前所处工作步骤、图像的信息以及第一第二结果给予显示，并显示对应问题类型以及问题发生的物理视场的部位的指示信息；所述p个第一机器人包括ar装置安装架、用户界面、行为模块、以及与所述安装架连接实现安装架扫描动作的扫描装置，所述行为模块与所述扫描装置通信，所述行为模块中事先录入有行为库，通过用户的预先选择而获得相应的行为程序，从而控制扫描装置扫描运动。
[0027]
优先地，所述ar装置为可穿戴式的ar装置，更优先地，所述可穿戴式的ar装置为ar眼镜。所述ar装置也可以人穿戴，进行ar视觉检测。
[0028]
本发明还提供一种计算机可读非暂时性存储介质，其中存储有实现前述基于增强现实和人机综合检测的智能训练模型的产品质量检查方法的程序。
[0029]
本发明的有益效果，在训练集选择中采用一定比例的人工检测和机器视觉检测的样品，在评价模型中采用了机器视觉和人工检测结果和ar视觉检测结果，综合人与机器的检测贡献，使得所建立的模型中都含有人和机器的影响因素，适用于不同产品检测的需求。同时本发明通过机器人穿戴ar装置实现了替代了人工ar检测，实现了由原先的机器化中掺入人的因素，但又优于人的检测双重特点。利用人的观察行为的录入形成的训练好的机器人能够适用于各种场景检测，从而替代人的检测成本。
附图说明
[0030]
图1本发明一种基于增强现实和人工检测的智能训练模型的产品质量检查方法流程图；图2 本发明检测现场的一个实施例示意图，其中p=q=4，m=1或2；图3 本发明第一机器人构造示意图；图4 步骤s2中第一ar眼镜的ar显示和行为录制提示显示示意图；图5 第一机器人对待测产品的扫描时第一ar眼镜信息显示示意图；图6如图2的一个实施例的2
×
2个第二图像矩阵（或第三图像）按照相对于产品传输方向s的空间位置和眼动采集顺序（或mv拍摄装置位置）而排序的规律和检测图像融合过程示意图，其中表示出了一个点上的图像排序规律，其他点位与其一致。
[0031]
其中附图标记，1每一个点，2训练集产品或待测样品，3生产线，4第一机器人，5 ar装置安装架，6 ar眼镜，7视觉信息采集模块，8透明窗，9，用户意图判断模块，10处理器，11投影装置，12无线模块，mv机器视觉装置， c当m=2时的第二个点位置，s产品传输方向，sc，第一机器人用户界面，trac眼球跟踪模块。
具体实施方式
[0032]
以下根据附图1
‑
6对本发明的实施例进行说明。
[0033]
实施例1
如图1一种基于增强现实和人工检测的智能训练模型的产品质量检查方法，方法步骤如下： s1.样品集收集：收集机器视觉检测出的不合格样品以及人工目测不合格的产品，并将所有所述不合格的产品随机分为训练集以及校正集，将训练集随机抽取通过生产线传输；机器视觉检测出的不合格样品以及人工目测不合格的产品的两者数量具有预设的比例为2:1，生产线的停留时间为15s。
[0034]
s2.人工检测行为记录与ar视觉的检测：如图2选择p=4个质检人员在生产线3两侧各分配2个质检人员，进入各自的检测工位，佩戴ar眼镜（如图4）按照各自规定路线和路线上离散的m=1个点，或者m=2时每一侧质检人员至少一名按照图2中双箭头方向移动，在每一点进行眼球移动观察每一个传输过来的训练集产品2，其中4个质检人员通过手机记录每一个训练样品2检测的第一结果，s3.机器视觉采集图像：利用机器视觉装置mv得到第二结果；s4.智能训练模型的建立：利用视觉信息采集模块7（图4）进行ar视觉的检测图像和机器视觉装置mv进行机器视觉采集图像，由第一第二结果得到智能训练模型；s5.建立评价模型：根据智能训练模型得到评价模型；s6.待测样品检测：使用4个第一机器人利用ar眼镜按照步骤s1中的4个质检人员各自规定路线，所述在1个点1中或2两个点1和c中的每一个点，根据机器人行为模块（图3未示出）控制第一机器人6扫描待测产品2，得到第一结果，与机器视觉装置mv得到的第二结果代入步骤s5中的评价模型得到检测结果。
[0035]
实施例2本实施例在实施例1的基础上进行如下扩展：步骤s2中一个质检员在每一点进行眼球移动通过透明窗8观察每一个传输过来的训练集产品时，具体眼球移动是从正视方向开始往正上方移动，接着顺时针往正右、正下、正左方向移动，最后归位到正视方向，通过用户意图判断模块9（图4和5）形成控制第一机器人6的控制命令信号。归位后ar眼镜6中的处理器10控制眼球跟踪模块trac停止工作。于是图3中的第一机器人6的行为模块记录到控制命令信号形成行为程序，以供用户通过用户界面sc编辑成行为库。训练过程中，4个质检人员进行ar眼镜6进行视觉信息采集，按照眼动顺序获得相应的4组第二图像矩阵，且每组包括4个第二图像；即其中每个质检人员在每个点1（或点c）上对应到相应组的4个图像（如图6所示），并记录到一个相应的4
×
4第一结果矩阵（图6），将4组第二图像矩阵和第一结果矩阵无线发送给ar眼镜6的无线模块12 并交由ar眼镜6中的存储设备（图未示）储存。接着s3中训练集产品2传送到利用机器视觉装置mv，通过图像拍摄，按照拍摄装置位置顺序获得相应的4组第三图像矩阵，同样形成4组每组4个第三图像，并得到一个相应的4
×
4第二结果矩阵，并同样将4组第三图像矩阵16个第三图像和所述第二结果矩阵无线传输给ar眼镜6中的存储设备存储。第一结果和第二结果包括缺陷类型面缺陷、线缺陷，无其他缺陷类型，以及得分分别为1分以及5分，而问题概率都为0.5,由ar眼镜中处理器利用预存的网络训练模型的计算得到得到。
[0036]
s4中ar眼镜6将4组中每一组4个第二图像进行按照图6方式对从上、右、下、左四张采集到的第二图像矩阵进行融合，形成一张第一检测图像作为输入端，所述第一结果矩阵
作为输出端，通过ar眼镜处理器10使用径向基神经网络（rbf）和循环神经网络(rnn)分别对面缺陷、线缺陷按照式（4）建立4
×
4第一智能训练模型。
[0037]
而机器视觉装置mv将4组中每一组4个第三图像矩阵进行同样的融合，形成一张第二检测图像作为输入端，所述第二结果矩阵作为输出端，通过ar装置建立分别对面缺陷、线缺陷按照式（4）建立4
×
4个第二智能训练模型。（5），其中检测图像阵列i=,总结果矩阵r=利用验证集对两个模型模型矩阵进行验证，以调整模型的参数，满足预设值为0.5%的误差。
[0038]
验证完毕的，,评价模型为公式（6），其中a= 0.33， b=0.67（机器检测和人工检测比重大致为2:1，与训练集产品比例相匹配）。
[0039]
在正式检测时，如图3和1所示，4个第一机器人利用ar眼镜6按照步骤s1中的所述各自规定路线，所述在1个（或2个点）中的每一个点1（或点c）根据第一机器人4行为模块控制第一机器人4扫描待测产品2获得4组第二图像，且每组包括4个第二图像；其中每个第一机器人在每个点上对应到相应组的4个图像，并得到一个相应的第一结果；ar眼镜6将第一结果和机器视觉装置mv得到的第二结果代入评价模型（6），对于每一种缺陷类型得到评价得分a，根据每种缺陷的平均概率作为加和平均因子得到总评价得分a结果如表1，最后存储数据并发送给第二机器人对不合格产品2进行分拣或分流。
[0040]
表1根据评价模型（6）得到的产品的一个评价结果缺陷类型d概率prop得分s评价得分a面缺陷0.5(ar）,0.49（mv)1.2(ar,mv)1.28线缺陷0.5(ar）,0.6（mv)4.9(ar,mv)4.37其他缺陷01010
ꢀꢀꢀ
总评价得分a：5.45中度实施例3
一种基于实施例2方法的基于增强现实和人工检测的智能训练模型的产品质量检查装置，包括4个ar眼镜，4个第一机器人4，其中所述4个ar眼镜中有且只有一个第一ar眼镜6（参见图4和5）具备眼球跟踪模块trac，用于跟踪眼球的移动和识别眨眼，产生相应的眼睛动作信号，以及用户意图判断模块9，用于根据用于根据所述眼睛动作信号形成对p个第一机器人控制信号和ar装置显示的虚拟界面进行操作的命令信号；所述4个ar眼镜中的每一个都包括视觉信息采集模块，用于采集每一个点的每一个扫描方向下物理现场的被测产品的第二图像，无线模块，用于接收和发送第一第二结果数据以及图像数据；对于第一ar眼镜6，所述无线模块还将用户意图判断模块产生的控制信号发送给4个第一机器人；处理器，用于建模、分析数据、控制其他模块工作或关闭，透明窗，用于质检人员的物理视场观察，以及投影装置，将所述处理器处理的当前所处工作步骤、图像的信息以及第一第二结果给予显示，并显示对应问题类型以及问题发生的物理视场的部位的指示信息；所述4个第一机器人包括ar装置安装架、用户界面、行为模块、以及与所述安装架连接实现安装架扫描动作的扫描装置，所述行为模块与所述扫描装置通信，所述行为模块中事先录入有行为库，通过用户的预先选择而获得相应的行为程序，从而控制扫描装置扫描运动。
[0041]
通过本实施例的方法和装置,可以完成多种产品检测场合的人机综合评价系统。