一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统与流程

本发明涉及飞机制造智能装配领域，尤其涉及一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统。

背景技术：

在飞机制造中，飞机装配成本和装配工作量约占全机成本与工作量的一半，飞机装配中航空导线插头装配占有较大比重，航空导线插头主要用来连接不同设备之间的电气通信，飞机上航空导线和航空插头种类和数量繁多，每一种航空插头有其独立的安装状态结果。传统的导线插头安装过程中采用手工安装的方法，过程为任取一根导线进行人工识别，然后查找该导线编号对应的航空插头及该航空导线在航空插头上的孔位信息，将导线从航空插头背面安装至航空插头的孔位内中，并对安装完成后的航空插头的孔位装配结果进行检测。该过程繁琐复杂、效率低下，并且容易发生航空导线错装、漏装在航空插头的孔位中，难以适应飞机批量的快速生产需求。

技术实现要素：

本发明提供了一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统。

为了实现上述目的，本发明采用了如下工作流程：

s1、启动工业相机并初始化，在现场场景下捕获航空导线的图像。

s2、判断航空导线在工业相机下的成像质量。

s3、对于成像质量好的航空导线图像，送入导线编号检测识别模块识别复杂工业场景图像下的导线编号内容。

s4、对于工业相机难以拍摄清晰和成像质量差的航空导线，通过语音识别模块识别导线编号内容。

s5、根据识别的导线编号内容，在数据库中检索该航空导线在航空插头上对应的安装孔位，根据检索结果在增强现实眼镜上展示航空插头的型谱图，可视化指导航空导线在航空插头上的安装位置。

s6、重复执行步骤s1-s5完成该航空插头与航空导线的装配操作。

s7、启动增强现实眼镜的相机并初始化，采集该航空插头的插头正面的图像。

s8、将拍摄的航空插头图像送入插头孔位检测模块，检测复杂工业场景图像中的航空插头、插头孔位和防错销钉，根据识别的防错销钉的阵列特征对识别的插头孔位进行多目标排序并编号，判别每个插头孔位中是否安装航空导线，识别航空插头的真实安装状态。

s9、航空插头的真实安装状态匹配数据库中存储的航空插头的安装状态，判别二者是否保持一致，在增强现实眼镜上可视化展示航空插头的安装检验结果。

优选地，所述s3步骤中的导线编号检测识别模块包括：

s31、采集复杂工业场景下的航空导线的图像制作数据集，训练基于实例分割网络的导线编号检测算法，检测图像中航空导线的编号区域，输出导线编号在图像中所对应的预测编号框。

s32、矫正导线编号的预测编号框，预测编号框的面积向外部扩张2-3倍获得扩展编号框，旋转扩展编号框所包围的倾斜导线编号使其平行于水平方向，从航空导线图像中将旋转后的扩展编号框裁剪下来，针对扩展编号框中的导线编号分别进行水平像素投影和竖直像素投影，根据像素投影的区段以及起始波谷细化导线编号在图像中的位置，得到矫正编号框。

s33、对矫正编号框中的导线编号图像进行像素填充策略，在导线编号图像的两侧填充空值的像素边界，将边界填充后的导线编号图像送入基于深度神经网络的导线编号识别算法，输出航空导线的导线编号内容。

优选地，所述s5步骤中的航空插头的型谱图上方显示航空导线的导线编号内容，型谱图中高亮显示该航空导线对应的安装孔位。

优选地，所述s9步骤中的航空插头的安装检验结果包括两种情况，一是航空导线错误装配到航空插头的插头孔位，二是航空导线未安装到航空插头的插头孔位，在航空插头型谱图中高亮显示错装孔位与漏装孔位。

该发明的有益之处是，采用计算机视觉技术和增强现实眼镜辅助航空导线插头的装配过程，通过视觉识别及语音识别技术识别航空导线的编号内容，根据识别的导线编号内容在数据库中搜寻该航空导线对应的航空插头孔位，增强现实眼镜展示该航空插头的型谱图并高亮安装孔位，可视化指引导线插头安装操作，效果直观且提高了装配效率；航空导线插头装配完成后，捕获航空插头的图像进行插头孔位识别与编号，得知航空插头的真实安装状态，增强现实眼镜展示航空插头中的错装孔位与漏装孔位完成航空插头安装检验，保证了航空导线插头装配的准确性与可靠性，提高了使用性能；航空导线编号检测算法输出的预测编号框难免不够准确精细，导线编号校正算法优化了导线编号的定位精度，设计合理，导线编号像素填充策略保证导线编号位于图像中的中间位置，有利于提高导线编号识别算法的准确率。

附图说明

图1为本发明的辅助航空导线插头装配方法与系统的流程图；

图2为本发明的典型航空插头的展示型谱图；

图3为本发明的典型航空导线插头的装配示意图；

图4为本发明的航空导线编号检测识别模块的流程图；

图5为本发明的航空导线编号矫正算法的示意图。

图中，1、插头正面，2、插头孔位，3、防错销钉，4、航空插头，5、航空导线，11、扩展编号框，12、预测编号框，13、矫正编号框，14、像素边界，31、导线编号内容，32、安装孔位，33、错装孔位，34、漏装孔位。

从图2中可看出典型航空插头型谱图的可视化展示形式与内容。

从图3中可看出典型航空导线插头的装配方式与形状结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1：

参照图1，一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，采用了如下工作流程：

s1、启动工业相机并初始化，参考图3，在现场场景下捕获航空导线5的图像。

s2、判断航空导线5在工业相机下的成像质量。

s3、对于成像质量好的航空导线图像，送入导线编号检测识别模块识别复杂工业场景图像下的导线编号内容31。

s4、对于工业相机难以拍摄清晰和成像质量差的航空导线5，通过语音识别模块识别导线编号内容31。

s5、根据识别的导线编号内容31，在数据库中检索该航空导线5在航空插头4上对应的安装孔位32，参考图2，根据检索结果在增强现实眼镜上展示航空插头4的型谱图，可视化指导航空导线5在航空插头4上的安装位置。

s6、重复执行步骤s1-s5完成该航空插头4与航空导线5的装配操作。

s7、启动增强现实眼镜的相机并初始化，采集该航空插头4的插头正面1的图像。

s8、将拍摄的航空插头图像送入插头孔位检测模块，检测复杂工业场景图像中的航空插头4、插头孔位2和防错销钉3，根据识别的防错销钉3的阵列特征对识别的插头孔位2进行多目标排序并编号，判别每个插头孔位2中是否安装航空导线5，识别航空插头4的真实安装状态。

s9、航空插头4的真实安装状态匹配数据库中存储的航空插头4的安装状态，判别二者是否保持一致，在增强现实眼镜上可视化展示航空插头4的安装检验结果。

为解决航空导线5的导线编号识别问题，参考图4，采集复杂工业场景下的航空导线5的图像制作数据集，训练基于实例分割网络的导线编号检测算法，检测图像中航空导线5的编号区域，输出导线编号在图像中所对应的预测编号框12；参考图5，矫正导线编号的预测编号框12，预测编号框12的面积向外部扩张2-3倍获得扩展编号框11，旋转扩展编号框11所包围的倾斜导线编号使其平行于水平方向，从航空导线图像中将旋转后的扩展编号框11裁剪下来，针对扩展编号框11中的导线编号分别进行水平像素投影和竖直像素投影，根据像素投影的区段以及起始波谷细化导线编号在图像中的位置，得到矫正编号框13；参考图4，对矫正编号框13中的导线编号图像进行像素填充策略，在导线编号图像的两侧填充空值的像素边界14，将边界填充后的导线编号图像送入基于深度神经网络的导线编号识别算法，输出航空导线5的导线编号内容31。

为进一步展示导线插头装配操作的可视化效果与航空插头安装校验操作，所述s5步骤中的航空插头4的型谱图上方显示航空导线5的导线编号内容31，型谱图中高亮显示该航空导线5对应的安装孔位32；所述s9步骤中的航空插头4的安装检验结果包括两种情况，一是航空导线5错误装配到航空插头4的插头孔位2，二是航空导线5未安装到航空插头4的插头孔位2，在航空插头型谱图中高亮显示错装孔位33与漏装孔位34，该发明设计合理，值得大范围推广。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。