一种基于目标检测的装配诱导信息生成及显示方法

1.本发明涉及一种基于目标检测的装配诱导信息生成及显示方法，属于计算机辅助智能制造领域，尤其属于装配维修诱导和增强现实应用技术领域。


背景技术：

2.装配和维修是影响装配性能和质量的关键。在飞机、航天器等复杂产品的装配维修多以手工作业、离散装配为主，具有装配操作多、装配过程复杂、装配零件与环节多、装配周期长等特点。另外，大批量个性化定制生产是家电等产品制造的发展趋势，在大批量个性化定制装配中，同一产线上同时生产不同型号的产品，装配人员需要依据产品型号频繁改变装配工艺。因此，在复杂产品的装配维修和大批量个性化定制产品的装配中，操作人员的装配难度增加、需要的装配知识增加，装配维修中时有差错发生。纸质和电子手册广泛应用于产品装配维修指导，但使用纸质和电子手册时装配操作者需边操作设备、边手动查看手册，操作难度大、效率低；并且注意力和手需要在手册和设备之间频繁切换，易受周围环境影响，会造成装配差错等问题。
3.增强现实技术能够将计算机产生的虚拟信息直接叠加在物理场景上显示，但是在基于ar的装配维修中，如何提高人机交互性，如何根据操作者和产品的装配进程，生成操作者急需的可视化诱导信息，并将信息自然高效的推送、显示给操作者是急需解决的问题；另外一方面，在进行ar显示时，如果诱导信息叠加(遮挡)在有用的物理场景上(如装配体上、工具上等)，将会阻碍装配，无法发挥信息诱导的作用。


技术实现要素：

4.为了解决上述现有技术中存在的问题，本发明提出了一种基于目标检测的装配诱导信息生成及显示方法，通过检测装配体上的零部件获取装配进程，生成对应的诱导信息，选择显示画面中的空白区域，将诱导信息叠加在空白区域中进行显示。
5.本发明的技术方案如下：
6.一种基于目标检测的装配诱导信息生成及显示方法，包括以下步骤：
7.定义装配诱导信息，确定各零部件与装配体装配进程之间的关系，并定义装配进程与诱导信息之间的关联关系；
8.实时采集当前装配体的图像，通过零部件检测模型识别当前装配体上的所有已装配的零部件，并读取每个已装配的零部件的位置信息；
9.根据已装配的零部件确认装配进程，并基于装配进程与诱导信息之间的关联关系查询对应的诱导信息；
10.根据每个已装配的零部件的位置信息确认显示设备的显示画面中的空白区域，在空白区域中显示对应的诱导信息。
11.作为优选实施方式，所述确定各零部件与装配体装配进程之间的关系的步骤具体为：
12.确定装配体的所有装配步骤；
13.定义每一装配步骤中装配体上所有需要装配的零部件的名称集合。
14.作为优选实施方式，所述定义装配进程与诱导信息之间的关联关系的步骤具体为：
15.定义每个装配步骤完成后需要产生的诱导信息；
16.所述诱导信息包括文字信息、图片信息、视频信息中的一种或两种以上的组合。
17.作为优选实施方式，所述零部件检测模型经过预训练生成，所述预训练的步骤具体如下：
18.对应装配体装配的每一装配步骤，拍摄若干不同视角的装配体图像；
19.对每一装配体图像中的每一零部件进行标注，将标注好的图像放入训练集中；
20.通过训练集对基于神经网络的目标检测模型进行训练，得到所述零部件检测模型。
21.作为优选实施方式，在读取每个已装配的零部件的位置信息步骤中，所述位置信息具体为每个已装配的零部件的经零部件检测模型输出的锚框顶点在显示画面中的坐标。
22.作为优选实施方式，所述根据每个已装配的零部件的位置信息确认显示设备的显示画面中的空白区域的步骤具体为：
23.将显示画面进行网格化，并对每个网格添加网格属性，所述网格属性包括网格编号、网格尺寸、网格中心点坐标以及占用指数，设定指数阈值，比较占用指数以及指数阈值的大小判断网格是否被锚框占用；
24.计算每一网格的占用指数，根据每一网格的网格尺寸和网格中心点坐标计算网格各个顶点的坐标；根据各锚框顶点在显示画面中的坐标以及网格各个顶点的坐标计算网格的各顶点是否处于任一锚框内，根据处于锚框内顶点确定该网格的占用指数；
25.计算显示画面中未被占用的区域，遍历显示画面中所有未被占用的网格，计算显示画面中面积最大的未被占用网格的连通区域，将该连通区域作为空白区域。
26.作为优选实施方式，以ar增强现实的方式将所述诱导信息叠加在空白区域中进行显示。
27.另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的基于目标检测的装配诱导信息生成及显示方法。
28.再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任一实施例所述的基于目标检测的装配诱导信息生成及显示方法。
29.本发明具有如下有益效果：
30.1、本发明一种基于目标检测的装配诱导信息生成及显示方法，通过检测装配体上的零部件获取装配进程，生成对应的诱导信息，选择显示画面中的空白区域，将诱导信息叠加在空白区域中进行显示，解决现有技术中诱导信息会遮挡画面中的有效场景的缺陷。
31.2、本发明一种基于目标检测的装配诱导信息生成及显示方法，根据识别到的零部件确定装配步骤，并定义每一装配步骤对应的诱导信息，能够高效的将诱导信息推送、显示给操作者。
32.3、本发明一种基于目标检测的装配诱导信息生成及显示方法，根据锚框的位置信息计算所有未被占用的网格，并选取面积最大的未被占用的网格的连通区域作为空白区域，能够动态调整空白区域，具有跟随性，提高诱导信息的显示效果。
附图说明
33.图1为本发明实施例一的方法流程图；
34.图2为本发明实施例中显示画面网格化以及画面中零部件锚框的示例图；
35.图3为本发明实施例中网格被锚框占用的示例图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
38.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
39.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
40.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
41.实施例一：
42.参见图1，一种基于目标检测的装配诱导信息生成及显示方法，包括以下步骤：
43.预训练基于目标检测算法的零部件检测模型；
44.定义装配诱导信息，对应每种装配体，确定装配体中各个零部件与装配体的装配进程之间的关系，人为编写或导入对应该装配体的诱导信息，定义装配进程与诱导信息之间的关联关系；
45.通过图像采集设备实时采集当前装配体的图像，利用零部件检测模型识别对当前装配体的图像进行零部件检测，识别当前装配体上的所有已装配的零部件，并基于零部件检测模型读取每个已装配的零部件的位置信息；
46.根据所有已装配的零部件，查询装配体中各个零部件与装配体的装配进程之间的关系，以确认装配进程；基于装配进程与诱导信息之间的关联关系查询对应的诱导信息；
47.根据每个已装配的零部件的位置信息确认显示设备的显示画面(屏幕)中的空白区域，在空白区域中显示对应的诱导信息；
48.判断当前装配进程是否已结束，若结束则退出，未结束则返回重新识别装配体上当前已装配的零部件。
49.在一种实施例中，所述确定各零部件与装配体装配进程之间的关系的步骤具体
为：
50.确定对应种类装配体的所有装配步骤；例如步骤i、步骤ii、步骤iii；
51.定义每一装配步骤中装配体上所有需要装配的零部件的名称集合，例如装配步骤i(大齿轮、轴承端盖、长轴、轴承端盖)。
52.在一种实施例中，所述定义装配进程与诱导信息之间的关联关系的步骤具体为：
53.定义每个装配步骤完成后需要产生的诱导信息；
54.例如装配步骤i完成后，需要在零部件a和零部件b中装配零部件c。
55.所述诱导信息可以以文字信息、图片信息、视频信息中的任一一种形式呈现；
56.也可以是文字信息+图片信息的组合、图片信息+视频信息的组合、文字信息+视频信息、文字信息+图片信息+视频信息这样的组合方式呈现。
57.在一种实施例中，所述零部件检测模型经过预训练生成，所述预训练的步骤具体如下：
58.对应装配体装配的每一装配步骤，拍摄若干不同视角的装配体图像，在本实施例中，每一个装配阶段，拍摄50张不同视角的装配体图像；
59.对每一装配体图像使用labelimg目标检测标注工具对中每一零部件进行标注，将标注好的装配体图像放入训练集中；
60.通过训练集对基于神经网络的目标检测模型进行训练，本实施例中目标检测模型采用yolov5模型，得到所述零部件检测模型。
61.在一种实施例中，在读取每个已装配的零部件的位置信息步骤中，所述位置信息具体为每个已装配的零部件的经零部件检测模型输出的锚框顶点在显示画面中的坐标。
62.在一种实施例中，所述根据每个已装配的零部件的位置信息确认显示设备的显示画面中的空白区域的步骤具体为：
63.具体参见图2，将显示画面进行网格化，本实施例中，将显示画面划分成若干正方形网格；并对每个网格添加网格属性，所述网格属性包括网格编号、网格尺寸(本实施例中因网格为正方形，因此网格尺寸具体为网格的像素长度l)、网格中心点坐标p(xi，yi)以及占用指数o，本实施例中占有指数包括0和1，当o＝1表示该网格被零部件的锚框占用，o＝0表示该网格没有被零部件的锚框占用；
64.计算每一网格的占用指数，根据每一网格的网格尺寸和网格中心点坐标计算网格各个顶点的坐标，分别为p1(x
i-l，y
i-l)、p2(xi+l，y
i-l)、p3(x
i-l，yi+l)、p4(xi+l，yi+l)；根据各锚框顶点在显示画面中的坐标以及网格各个顶点的坐标计算网格的各顶点是否处于任一锚框内，由于屏幕网格较小(为了提高精度网格划分较密)、目标网格较大，因此为了简化计算，本实施例中只要网格的其中一个顶点在锚框内即认为该屏幕网格被占用，即该网格的占用指数o＝1，否则o＝0。
65.如图3所示，图3中，矩形abcd为一网格，矩形efgh为一零部件的锚框，本实施例中计算网格的顶点在锚框内的方法具体为：对于任何一个屏幕网格顶点c(x，y)，计算g＝(y-ye)(x
h-xe)-(x-xe)(y
h-ye)，当g＞0时c(x，y)位于射线eh的左侧，g＜0时c(x，y)位于射线eh的右侧，如果c(x，y)位于射线eh和射线gf之间并且位于射线fe和射线hg之间，则表示c(x，y)位于锚框efgh内，该屏幕网格的任一顶点只要在锚框efgh内，即设置该屏幕网格的占用指数o＝1。若幕网格的所有顶点都不在任意一个零部件的锚框内，则该屏幕网格的占用指
数o＝0，即未被零部件的锚框占用。
66.计算显示画面中未被占用的区域，遍历显示画面中所有未被占用的网格，从显示画面左上角第1个网格开始，按照4∶3或者16∶9的比例(即显示画面的显示比例，本实施例按照4∶3的比例)分别向显示画面右方和下方扫描，计算以该网格为左上角的未被占用的网格连通区域，将整个显示画面中面积最大(连通区域的总网格数量越多，面积越大)的未被占用的屏幕网格连通区域作为空白区域，在空白区域显示装配诱导信息。
67.在一种实施例中，以ar增强现实的方式将所述诱导信息叠加在空白区域中进行显示。
68.实施例二：
69.本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的基于目标检测的装配诱导信息生成及显示方法。
70.实施例三：
71.本实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任一实施例所述的基于目标检测的装配诱导信息生成及显示方法。
72.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。