技术特征：
1.一种基于视觉注意力的航空发动机保险丝绕向识别系统，其特征在于：包括多目立体视觉传感器、基于深度学习的多类保险丝检测算法模块、基于视觉注意力机制的多分支保险丝绕向识别算法模块、多视角保险丝安装绕向识别结果融合算法模块；所述多目立体视觉传感器包括两个以上工业相机，从不同视角采集航空发动机同一部位保险丝多曝光图像；分别融合不同工业相机采集的多曝光图像，获得两张以上多通道图像；进而获得航空发动机不同部位的多通道图像，构建航空发动机保险丝检测训练样本集、航空发动机保险丝绕向识别训练样本集；所述基于深度学习的多类保险丝检测算法模块实现不同视角下两张以上多通道图像中多类保险丝区域检测，并获得保险丝区域的类别和位置信息；所述基于视觉注意力机制的多分支保险丝绕向识别算法模块包括保险丝辫结区域分割分支和保险丝绕向识别分支；对于检测到的不同类别的保险丝区域，保险丝辫结区域分割分支提取保险丝辫结区域的掩膜特征，构成空间注意力；保险丝绕向识别分支对经过空间注意力增强的特征进行识别，获得两张以上多通道图像中保险丝的安装绕向方向；所述多视角保险丝安装绕向识别结果融合算法模块用于：若两张以上多通道图像中存在至少一张图像的保险丝安装绕向方向错误，则判断保险丝存在安装缺陷；若两张以上多通道图像中保险丝安装绕向均正确，则判断保险正确安装；进而输出保险丝安装绕向识别结果，构建航空发动机保险丝安装绕向缺陷图谱。2.根据权利要求1所述的一种基于视觉注意力的航空发动机保险丝绕向识别系统，其特征在于：所述多目立体视觉传感器的实现如下：s110，将两个以上的工业相机构成多目立体视觉传感器，设置多组曝光时间，从不同视角采集航空发动机同一部位的多曝光图像；s120，分别将同一工业相机采集的多曝光图像融合成一张多通道图像，其中多通道图像的通道数与曝光时间的组数一致，每一个通道分别对应一个曝光时间，从而获得航空发动机同一部位的两张以上不同视角下的多通道图像；s130，将多目立体视觉传感器采集航空发动机不同部位的图像，从而获得航空发动机不同部位的多通道图像；s140，根据航空发动机保险丝防松对象的不同，对航空发动机保险丝进行分类，并在多通道图像中标注不同类型保险丝的位置和类别信息，构建航空发动机保险丝检测训练样本集和标签文件；s150，获得航空发动机保险丝绕向识别正样本集和负样本集；分别在航空发动机保险丝绕向识别正样本集和航空发动机保险丝绕向识别负样本集中标注出保险丝辫结的多边形区域，从而构建获得航空发动机保险丝绕向识别训练样本集和标签文件。3.根据权利要求2所述的一种基于视觉注意力机制的航空发动机保险丝绕向识别系统，其特征在于：所述基于深度学习的多类保险丝检测算法模块的实现如下：s210，对所述步骤s140中所构建的航空发动机保险丝检测训练样本集进行数据增强操作，增加航空发动机保险丝检测训练样本集的多样性；s220，基于卷积神经网络构建多类保险丝检测模型，使用经过数据增强后的航空发动机保险丝检测训练样本集对多类保险丝检测模型进行训练；s230，将两张以上多通道图像作为多类保险丝检测模型的输入，获得两张以上多通道
图像中保险丝区域的类别和位置信息，并裁剪保险丝区域图像。4.根据权利要求1所述的一种基于视觉注意力机制的航空发动机保险丝绕向识别系统，其特征在于：所述基于视觉注意力机制的多分支保险丝绕向识别算法模块的实现如下：s310，构建基于视觉注意力机制的多分支保险丝绕向识别模型，包括两个分支：保险丝辫结区域分割分支和保险丝绕向识别分支；s320，保险丝辫结区域分割分支分割出输入保险丝区域图像中的保险丝辫结区域，获得保险丝辫结区域的掩膜特征，与保险丝绕向识别分支提取的输入保险丝区域图像特征进行卷积操作；s330，预测输入保险丝区域的安装绕向；s340，对步骤s150中所构建的航空发动机保险丝绕向识别训练样本集进行数据增强操作，增加航空发动机保险丝绕向识别训练样本集的多样性；s350，采用经过数据增强处理的航空发动机保险丝绕向识别训练样本集对基于视觉注意力机制的多分支保险丝绕向识别模型进行训练；s360，将步骤s230中两张以上多通道图像中检测出的保险丝区域图像作为输入，按照类别不同，分别输入到训练好的、对应类别的基于视觉注意力机制的多分支保险丝绕向识别模型中，从而获得保险丝的安装绕向。5.根据权利要求1所述的一种基于视觉注意力机制的航空发动机保险丝绕向识别系统，其特征在于：所述多视角保险丝安装绕向识别结果融合算法模块的实现如下：s410，针对航空发动机同一部位的两张以上多通道图像，将步骤s230中不同多通道图像中检测出的保险丝区域图像一一对应；s420，根据两张以上多通道图像中检测出的保险丝区域的对应关系，对多视角下保险丝安装识别结果进行融合；根据步骤s360获得保险丝安装绕向，若同一保险丝区域，在至少一个视角下识别的安装绕向为沿着防松对象松动方向安装，则判断该保险丝安装错误，进行保险丝安装缺陷预警；否则，认为该保险丝安装正确。6.一种基于视觉注意力的航空发动机保险丝绕向识别方法，其特征在于，包括如下步骤：（1）设置多组曝光时间，从不同视角采集航空发动机局部多曝光图像，并将同一视角采集的多曝光图像融合成一张多通道图像，其中多通道图像的通道数与曝光时间的组数一致，每一个通道分别对应一个曝光时间，从而获得不同视角下的航空发动机局部多通道图像；（2）根据航空发动机保险丝防松对象的不同，分别将航空发动机保险丝进行分类，并在多通道图像中标注不同类型保险丝的位置和类别信息，构建航空发动机保险丝检测训练样本集和标签文件；（3）获得航空发动机保险丝绕向识别正样本集和负样本集；分别在航空发动机保险丝绕向识别正样本集和航空发动机保险丝绕向识别负样本集中标注出保险丝辫结的多边形区域，从而构建获得航空发动机保险丝绕向识别训练样本集和标签文件；（4）基于卷积神经网络构建多类保险丝检测模型；（5）采用数据增强手段对构建的航空发动机保险丝检测训练样本集进行数据增强，增加航空发动机保险丝检测训练样本集的多样性，并将经过数据增强后的航空发动机保险丝
检测训练样本集对多类保险丝检测模型进行训练；（6）构建基于视觉注意力机制的多分支保险丝绕向识别模型，包括两个分支：保险丝辫结区域分割分支和保险丝绕向识别分支；保险丝辫结区域分割分支分割出输入保险丝区域图像中的保险丝辫结区域，获得保险丝辫结区域的掩膜特征，与保险丝绕向识别分支提取的输入保险丝区域图像特征进行卷积操作，从而预测输入保险丝区域的安装绕向；（7）对构建的航空发动机保险丝绕向识别训练样本集进行数据增强，并将经过数据增强处理的航空发动机保险丝绕向识别训练样本集对基于视觉注意力机制的多分支保险丝绕向识别模型进行训练；（8）对于任意输入的航空发动机局部多通道图像，采用多类保险丝检测模型检测出多通道图像中的不同类型的保险丝区域，并获得保险丝区域的类别及位置信息；根据保险丝的位置信息，裁剪保险丝区域图像；基于保险丝类别信息，将裁剪的保险丝区域图像输入到训练好的、对应类别的基于视觉注意力机制的多分支保险丝绕向识别模型中，从而获得保险丝的安装绕向；（9）若保险丝的安装绕向识别为沿着防松对象松动方向安装，则判断该保险丝安装错误，进行保险丝安装缺陷预警；否则，认为该保险丝安装正确。
技术总结
一种基于视觉注意力机制的航空发动机保险丝绕向识别系统及方法，包括：采用工业相机构建多目立体视觉传感器，从不同视角采集航空发动机同一部位的多曝光图像；融合不同视角下的多曝光图像，获得多通道图像；构建基于深度学习的多类保险丝检测模型，获得保险丝在多通道图像中的位置信息；基于视觉注意力机制的多分支保险丝绕向识别模型，获得多通道图像中保险丝的安装绕向方向；融合不同视角下保险丝绕向识别结果，实现航空发动机保险丝的安装缺陷识别。本发明能够更加准确、快速地实现航空发动机不同类型保险丝安装绕向缺陷的识别，并且对航空发动机局部高反光、遮挡、噪声干扰等具有更强的鲁棒性。有更强的鲁棒性。有更强的鲁棒性。
技术研发人员：孙军华 谢艳霞
受保护的技术使用者：北京航空航天大学
技术研发日：2022.02.10
技术公布日：2022/4/29