基于视觉注意力的航空发动机保险丝绕向识别系统及方法

1.本发明涉及缺陷识别领域，特别涉及一种基于视觉注意力机制的航空发动机保险丝绕向识别系统及方法。
2.

背景技术：

3.航空发动机整机外观缺陷检测是航空发动机质量控制的重要环节。为了保证航空发动机的运行安全，航空发动机整机装配完成之后需要对成千上万个特定零部件的安装状态进行检测，尤其是保险丝的安装绕向。其中，保险丝（如图2）用于防止螺栓、堵头、管路接头、电缆接头、推力拉杆等紧固件因松动掉落而砸伤其他零部件，造成更严重的安全事故。目前，国内航空发动机生产制造企业仍然主要采用人工目视检测的方法来判断保险丝是否沿其防松对象的拧紧方向安装。然而，航空发动机整机结构复杂，保险丝尺寸小，且遍布发动机的四周。采用人工目视检测的方法经济性和时效性都较低，且严重依赖于检查人员的工作质量和专业水平，漏检、误检时有发生，造成了极大的安全隐患。
4.近年来，随着图像处理技术的发展，航空发动机保险丝绕向自动识别方法被相继提出。sun junhua等人在论文“automatic twining direction recognition of lockwire on engine”中提出了一种基于传统目标检测的航空发动机保险丝绕向识别的方法。该方法包括四个部分：
①“
由粗到细”的螺栓区域定位；
②
保险丝候选区域检测；
③
保险丝骨架提取；
④
用两个单位向量分别表示螺栓和保险丝在图像中的位置，通过空间向量右手法则得到保险丝和螺栓的相对位置关系，从而实现保险丝绕向的识别。该方法能够自动识别航空发动机缠绕在六角螺栓单联、双联、多联保险丝安装绕向。但是由于该方法依赖于六角螺栓与保险丝之间的相对位置关系，导致该方法泛化性能差，应用场景受限，无法应用于其他类型保险丝的安装绕向识别。孙军华等人在专利申请号为201911021099.2的发明专利“一种发动机保险丝绕向缺陷图像识别方法与系统”中设计了一种发动机保险丝绕向缺陷自动识别系统，该系统主要包括由粗到细的六角螺栓定位模块、保险丝粗分割模块、保险丝骨架提取模块和保险丝绕向识别模块，能够准确识别三种不同形式以及不同角度下的保险丝缺陷，但是该系统同样仅能应用于六角螺栓防松保险丝的安装绕向识别。郑会龙等人在专利申请号为202010117406.3的发明专利“基于深度学习的航空发动机保险状态检测方法”中提供了一种基于深度学习的航空发动机保险状态检测方法，通过深度学习模型进行特征提取、目标定位和分类、目标轮廓切割、属性特征提取，并根据目标物体的具体属性进行属性特征判断。该方法能够自动识别航空发动机的保险状态，但是该方法设计的深度学习模型并非一个“端到端”的航空发动机保险状态检测网络，需要依赖于额外的属性判断模块实现保险状态判定。此外，由于航空发动机保险丝防松对象的形态千差万别，需要根据不同类型的防松对象分别设计属性判断方法，导致该方法泛化性能低，且当输入的航空发动机保险丝图像质量低下，存在局部高反光、对比度低下、遮挡的情况时，该方法的准确率将会降低。


技术实现要素：

5.为解决上述问题，本发明提供了一种基于视觉注意力机制的航空发动机保险丝绕向识别系统及方法。本发明构建多类保险丝检测模型和基于视觉注意力的多分支保险丝绕向识别模型，融合不同视角下的多曝光图像作为模型的输入，自动获得不同类型保险丝的安装绕向，进而融合多视角保险丝安装绕向识别结果实现保险丝安装绕向缺陷自动识别。本发明提供了一种“端到端”的航空发动机保险丝绕向自动识别方法，无需针对不同类型保险丝自身特征额外设计保险丝安装绕向判定方法，不仅能够实现全类别航空发动机保险丝绕向自动识别，同时在航空发动机保险丝图像存在遮挡、局部高反光、低对比度的情况下，依然能够高效、高准确率地识别航空发动机不同类型保险丝安装绕向。
6.本发明采用如下的技术方案实现：本发明的第一方面提供了一种基于视觉注意力机制的航空发动机保险丝绕向识别系统，包括多目立体视觉传感器、基于深度学习的多类保险丝检测算法模块、基于视觉注意力机制的多分支保险丝绕向识别算法模块、多视角保险丝安装绕向识别结果融合算法模块；所述多目立体视觉传感器包括两个以上工业相机，从不同视角采集航空发动机同一部位保险丝多曝光图像；分别融合不同工业相机采集的多曝光图像，获得两张以上多通道图像；进而获得航空发动机不同部位的多通道图像，构建航空发动机保险丝检测训练样本集、航空发动机保险丝绕向识别训练样本集；所述基于深度学习的多类保险丝检测算法模块实现不同视角下两张以上多通道图像中多类保险丝区域检测，并获得保险丝区域的类别和位置信息；所述基于视觉注意力机制的多分支保险丝绕向识别算法模块包括保险丝辫结区域分割分支和保险丝绕向识别分支；对于检测到的不同类别的保险丝区域，保险丝辫结区域分割分支提取保险丝辫结区域的掩膜特征，构成空间注意力；保险丝绕向识别分支对经过空间注意力增强的特征进行识别，获得两张以上多通道图像中保险丝的安装绕向方向；所述多视角保险丝安装绕向识别结果融合算法模块用于：若两张以上多通道图像中存在至少一张图像的保险丝安装绕向方向错误，则判断保险丝存在安装缺陷；若两张以上多通道图像中保险丝安装绕向均正确，则判断保险正确安装；进而输出保险丝安装绕向识别结果，构建航空发动机保险丝安装绕向缺陷图谱。
7.进一步的，所述多目立体视觉传感器的实现如下：s110，将两个以上的工业相机构成多目立体视觉传感器，设置多组曝光时间，从不同视角采集航空发动机同一部位的多曝光图像；s120，分别将同一工业相机采集的多曝光图像融合成一张多通道图像，其中多通道图像的通道数与曝光时间的组数一致，每一个通道分别对应一个曝光时间，从而获得航空发动机同一部位的两张以上不同视角下的多通道图像；s130，将多目立体视觉传感器采集航空发动机不同部位的图像，从而获得航空发动机不同部位的多通道图像；s140，根据航空发动机保险丝防松对象的不同，对航空发动机保险丝进行分类，并在多通道图像中标注不同类型保险丝的位置和类别信息，构建航空发动机保险丝检测训练样本集和标签文件；
s150，获得航空发动机保险丝绕向识别正样本集和负样本集；分别在航空发动机保险丝绕向识别正样本集和航空发动机保险丝绕向识别负样本集中标注出保险丝辫结的多边形区域，从而构建获得航空发动机保险丝绕向识别训练样本集和标签文件。
8.进一步的，所述基于深度学习的多类保险丝检测算法模块的实现如下：s210，对所述步骤s140中所构建的航空发动机保险丝检测训练样本集进行数据增强操作，增加航空发动机保险丝检测训练样本集的多样性；s220，基于卷积神经网络构建多类保险丝检测模型，使用经过数据增强后的航空发动机保险丝检测训练样本集对多类保险丝检测模型进行训练；s230，将两张以上多通道图像作为多类保险丝检测模型的输入，获得两张以上多通道图像中保险丝区域的类别和位置信息，并裁剪保险丝区域图像。
9.进一步的，所述基于视觉注意力机制的多分支保险丝绕向识别算法模块的实现如下：s310，构建基于视觉注意力机制的多分支保险丝绕向识别模型，包括两个分支：保险丝辫结区域分割分支和保险丝绕向识别分支；s320，保险丝辫结区域分割分支分割出输入保险丝区域图像中的保险丝辫结区域，获得保险丝辫结区域的掩膜特征，与保险丝绕向识别分支提取的输入保险丝区域图像特征进行卷积操作；s330，预测输入保险丝区域的安装绕向；s340，对步骤s150中所构建的航空发动机保险丝绕向识别训练样本集进行数据增强操作，增加航空发动机保险丝绕向识别训练样本集的多样性；s350，采用经过数据增强处理的航空发动机保险丝绕向识别训练样本集对基于视觉注意力机制的多分支保险丝绕向识别模型进行训练；s360，将步骤s230中两张以上多通道图像中检测出的保险丝区域图像作为输入，按照类别不同，分别输入到训练好的、对应类别的基于视觉注意力机制的多分支保险丝绕向识别模型中，从而获得保险丝的安装绕向。
10.进一步的，所述多视角保险丝安装绕向识别结果融合算法模块的实现如下：s410，针对航空发动机同一部位的两张以上多通道图像，将步骤s230中不同多通道图像中检测出的保险丝区域图像一一对应；s420，根据两张以上多通道图像中检测出的保险丝区域的对应关系，对多视角下保险丝安装识别结果进行融合；根据步骤s360获得保险丝安装绕向，若同一保险丝区域，在至少一个视角下识别的安装绕向为沿着防松对象松动方向安装，则判断该保险丝安装错误，进行保险丝安装缺陷预警；否则，认为该保险丝安装正确。
11.本发明的第二方面提供了一种基于视觉注意力的航空发动机保险丝绕向识别方法，包括如下步骤：（1）设置多组曝光时间，从不同视角采集航空发动机局部多曝光图像，并将同一视角采集的多曝光图像融合成一张多通道图像，其中多通道图像的通道数与曝光时间的组数一致，每一个通道分别对应一个曝光时间，从而获得不同视角下的航空发动机局部多通道图像；（2）根据航空发动机保险丝防松对象的不同，分别将航空发动机保险丝进行分类，
并在多通道图像中标注不同类型保险丝的位置和类别信息，构建航空发动机保险丝检测训练样本集和标签文件；（3）获得航空发动机保险丝绕向识别正样本集和负样本集；分别在航空发动机保险丝绕向识别正样本集和航空发动机保险丝绕向识别负样本集中标注出保险丝辫结的多边形区域，从而构建获得航空发动机保险丝绕向识别训练样本集和标签文件。
12.（4）基于卷积神经网络构建多类保险丝检测模型；（5）采用数据增强手段对构建的航空发动机保险丝检测训练样本集进行数据增强，增加航空发动机保险丝检测训练样本集的多样性，并将经过数据增强后的航空发动机保险丝检测训练样本集对多类保险丝检测模型进行训练；（6）构建基于视觉注意力机制的多分支保险丝绕向识别模型，包括两个分支：保险丝辫结区域分割分支和保险丝绕向识别分支；保险丝辫结区域分割分支分割出输入保险丝区域图像中的保险丝辫结区域，获得保险丝辫结区域的掩膜特征，与保险丝绕向识别分支提取的输入保险丝区域图像特征进行卷积操作，从而预测输入保险丝区域的安装绕向；（7）对构建的航空发动机保险丝绕向识别训练样本集进行数据增强，并将经过数据增强处理的航空发动机保险丝绕向识别训练样本集对基于视觉注意力机制的多分支保险丝绕向识别模型进行训练；（8）对于任意输入的航空发动机局部多通道图像，采用多类保险丝检测模型检测出多通道图像中的不同类型的保险丝区域，并获得保险丝区域的类别及位置信息；根据保险丝的位置信息，裁剪保险丝区域图像；基于保险丝类别信息，将裁剪的保险丝区域图像输入到训练好的、对应类别的基于视觉注意力机制的多分支保险丝绕向识别模型中，从而获得保险丝的安装绕向；（9）若保险丝的安装绕向识别为沿着防松对象松动方向安装，则判断该保险丝安装错误，进行保险丝安装缺陷预警；否则，认为该保险丝安装正确。
13.与现有技术相比，本发明有如下有益的技术效果：（1）现有的航空发动机保险丝绕向自动识别方法需要根据保险丝防松对象的具体特征属性设计保险丝安装状态判定方法，泛化性能差，无法适用于不同类型保险丝绕向自动识别。而本发明提供了一种“端到端”的航空发动机保险丝绕向自动识别方法，构建了多类保险丝检测模型和基于视觉注意力的多分支保险丝绕向识别模型，无需针对不同类型保险丝分别设计安装绕向识别方法，能够实现不同类型保险丝安装绕向的自动识别。
14.（2）由于相机视场和动态成像范围的局限性，在遮挡、局部高反光及图像低对比度的情况下，现有的航空发动机保险丝绕向自动识别方法的准确率将会下降。本发明采用两个（或两个以上）工业相机构成多目立体视觉传感器，从不同视角采集航空发动机保险丝多曝光图像，融合不同视角下的多曝光图像作为输入，提高了航空发动机保险丝绕向自动识别方法对遮挡、局部高反光及图像低对比度的鲁棒性。此外，本发明融合多视角保险丝安装绕向识别结果，避免因保险丝局部遮挡导致保险丝安装缺陷漏检等问题，提高了航空发动机保险丝绕向识别方法的可靠性。
附图说明
15.图1为本发明一种基于视觉注意力机制的航空发动机保险丝绕向识别方法及系统
的总体实现流程图；图2为不同类型保险丝图像；其中，（a）螺栓防松保险丝；（b）堵头防松保险丝；（c）管路接头防松保险丝；（d）电缆接头防松保险丝；图3为基于视觉注意力机制的多分支保险丝绕向识别模型；图4为基于视觉注意力机制的多分支保险丝绕向识别算法中保险丝辫结区域分割分支提取的不同类型保险丝辫结区域掩膜图像；其中，（a）螺栓防松保险丝区域图像及其保险丝辫结区域掩膜图像；（b）堵头防松保险丝图像及其保险丝辫结区域掩膜图像；（c）管路接头防松保险丝图像及其保险丝辫结区域掩膜图像；（d）电缆接头防松保险丝图像及其保险丝辫结区域掩膜图像。
16.具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
18.以下结合附图及具体实施实例对本发明再作进一步详细的说明。
19.本发明的第一方面公开了一种基于视觉注意力机制的航空发动机保险丝绕向识别系统，该系统包括多目立体视觉传感器、基于深度学习的多类保险丝检测算法模块、基于视觉注意力机制的多分支保险丝绕向识别算法模块、多视角保险丝安装绕向识别结果融合算法模块；其中：多目立体视觉传感器：包括两个（或两个以上）工业相机，从不同视角采集航空发动机同一部位保险丝多曝光图像；分别融合不同工业相机采集的多曝光图像，获得两张（或两张以上）多通道图像；进而获得航空发动机不同部位的多通道图像，构建航空发动机保险丝检测训练样本集、航空发动机保险丝绕向识别训练样本集；基于深度学习的多类保险丝检测算法模块：实现不同视角下两张（或两张以上）多通道图像中多类保险丝区域检测，并获得保险丝区域的类别和位置信息；基于视觉注意力机制的多分支保险丝绕向识别算法模块：包括保险丝辫结区域分割分支和保险丝绕向识别分支；对于检测到的不同类别的保险丝区域，保险丝辫结区域分割分支提取保险丝辫结区域的掩膜特征，构成空间注意力；保险丝绕向识别分支对经过空间注意力增强的特征进行识别，获得两张（或两张以上）多通道图像中保险丝的安装绕向方向；多视角保险丝安装绕向识别结果融合算法模块：若两张（或两张以上）多通道图像中存在至少一张图像的保险丝安装绕向方向错误，则判断保险丝存在安装缺陷；若三张多通道图像中保险丝安装绕向均正确，则判断保险正确安装；进而输出保险丝安装绕向识别结果，构建航空发动机保险丝安装绕向缺陷图谱。
20.所述多目立体视觉传感器的实现如下：（1）将两个（或两个以上）的工业相机构成多目立体视觉传感器，设置多组曝光时间，从不同视角采集航空发动机同一部位的多曝光图像；
（2）分别将同一工业相机采集的多曝光图像融合成一张多通道图像，其中多通道图像的通道数与曝光时间的组数一致，每一个通道分别对应一个曝光时间，从而获得航空发动机同一部位的两张（或两张以上）不同视角下的多通道图像；（3）将多目立体视觉传感器采集航空发动机不同部位的图像，包括有进气口、压缩机、燃烧室、高压涡轮、低压涡轮、尾喷及航空发动机其他部位图像，从而获得航空发动机不同部位的多通道图像；（4）根据航空发动机保险丝防松对象的不同，分别将航空发动机保险丝分为：螺栓防松保险丝、堵头防松保险丝、管路接头防松保险、电缆接头防松保险、推力拉杆防松保险及其他防松保险，并在多通道图像中标注不同类型保险丝的位置和类别信息，构建航空发动机保险丝检测训练样本集和标签文件；（5）裁剪多通道图像中的保险丝区域，获得航空发动机保险丝绕向识别正样本集；然后将裁剪的不同类别的保险丝区域图像分别进行水平翻转和垂直翻转操作，获得航空发动机保险丝绕向识别负样本集；分别航空发动机保险丝绕向识别正样本集和航空发动机保险丝绕向识别负样本集中标注出保险丝辫结的多边形区域，从而构建获得航空发动机保险丝绕向识别训练样本集和标签文件。
21.所述基于深度学习的多类保险丝检测算法模块的实现如下：（1）对所构建的航空发动机保险丝检测训练样本集进行随机旋转、模糊、缩放、对比度增强、镜像及其他数据增强操作，增加航空发动机保险丝检测训练样本集的多样性；（2）基于卷积神经网络构建多类保险丝检测模型，使用经过数据增强后的航空发动机保险丝检测训练样本集对多类保险丝检测模型进行训练；（3）将两张（或两张以上）多通道图像作为多类保险丝检测模型的输入，获得两张（或两张以上）多通道图像中保险丝区域的类别和位置信息，并裁剪保险丝区域图像。
22.所述基于视觉注意力机制的多分支保险丝绕向识别算法模块的实现如下：（1）构建基于视觉注意力机制的多分支保险丝绕向识别模型（如图3），网络结构由多层卷积层构成，主要包括两个分支：保险丝辫结区域分割分支和保险丝绕向识别分支。其中，网络底层的多卷积层用于提取保险丝区域图像的初级特征，网络顶层的多卷积层用于获得保险丝区域图像的语义信息，融合底层的初级特征和顶层的语义特征以提高保险丝辫结区域分割分支的性能；（2）保险丝辫结区域分割分支采用编码器-解码器结构的网络结构，分割出输入保险丝区域图像中的保险丝辫结区域，获得保险丝辫结区域的掩膜特征（如图4）；（3）将保险丝辫结区域分割分支获得的保险丝辫结区域的掩膜特征，与保险丝绕向识别分支提取的输入保险丝区域图像特征进行卷积操作，增加保险丝辫结区域内的特征权重，构成保险丝绕向识别分支的空间注意力，提取出输入保险丝区域图像的关键特征信息，从而预测输入保险丝区域的安装绕向；（4）对所构建的航空发动机保险丝绕向识别训练样本集进行除镜像之外的随机旋转、模糊、缩放、对比度增强及其他数据增强操作，增加航空发动机保险丝绕向识别训练样本集的多样性；（5）采用经过数据增强处理的航空发动机保险丝绕向识别训练样本集对基于视觉注意力机制的多分支保险丝绕向识别模型进行训练，其中网络的训练损失函数由保险丝辫
结区域分割分支损失函数和保险丝绕向识别分支的损失函数加权融合构成；（6）将两张（或两张以上）多通道图像中检测出的保险丝区域图像作为输入，按照类别不同，分别输入到训练好的、对应类别的基于视觉注意力机制的多分支保险丝绕向识别模型中，从而获得保险丝的安装绕向，包括：沿着防松对象拧紧方向安装、沿着防松对象松动方向安装。
23.所述多视角保险丝安装绕向识别结果融合算法模块的实现如下：（1）针对航空发动机同一部位的两张（或两张以上）多通道图像，将不同多通道图像中检测出的保险丝区域图像一一对应；（2）根据两张（或两张以上）多通道图像中检测出的保险丝区域的对应关系，对多视角下保险丝安装识别结果进行融合；根据获得的保险丝安装绕向，若同一保险丝区域，在至少一个视角下识别的安装绕向为沿着防松对象松动方向安装，则判断该保险丝安装错误，进行保险丝安装缺陷预警；否则，认为该保险丝安装正确。
24.本发明的第二方面公开了一种基于视觉注意力机制的航空发动机保险丝绕向识别方法，步骤如下：（1）设置多组曝光时间，从不同视角采集航空发动机局部多曝光图像，并将同一视角采集的多曝光图像融合成一张多通道图像，其中多通道图像的通道数与曝光时间的组数一致，每一个通道分别对应一个曝光时间，从而获得不同视角下的航空发动机局部多通道图像；（2）根据航空发动机保险丝防松对象的不同，分别将航空发动机保险丝分为：螺栓防松保险丝、堵头防松保险丝、管路接头防松保险丝、电缆接头防松保险丝、推力拉杆防松保险丝及其他防松保险丝，并在多通道图像中标注不同类型保险丝的位置和类别信息，构建航空发动机保险丝检测训练样本集和标签文件；（3）裁剪多通道图像中的保险丝区域，获得航空发动机保险丝绕向识别正样本集；然后将裁剪的不同类别的保险丝区域图像分别进行水平翻转和垂直翻转操作，获得航空发动机保险丝绕向识别负样本集；分别航空发动机保险丝绕向识别正样本集和航空发动机保险丝绕向识别负样本集中标注出保险丝辫结的多边形区域，从而构建获得航空发动机保险丝绕向识别训练样本集和标签文件；（4）基于卷积神经网络构建多类保险丝检测模型；（5）采用随机旋转、模糊、缩放、对比度增强、镜像及其他数据增强手段对构建的航空发动机保险丝检测训练样本集进行数据增强，增加航空发动机保险丝检测训练样本集的多样性，并将经过数据增强后的航空发动机保险丝检测训练样本集对多类保险丝检测模型进行训练；（6）构建基于视觉注意力机制的多分支保险丝绕向识别模型，主要包括两个分支：保险丝辫结区域分割分支和保险丝绕向识别分支；保险丝辫结区域分割分支采用编码器-解码器结构的网络结构，分割出输入保险丝区域图像中的保险丝辫结区域，获得保险丝辫结区域的掩膜特征，构成保险丝绕向识别分支的空间注意力，与保险丝绕向识别分支提取的输入保险丝区域图像特征进行卷积操作，提取出输入保险丝区域图像的关键特征信息，从而预测输入保险丝区域的安装绕向；（7）采用除镜像之外的随机旋转、模糊、缩放、对比度增强及其他数据增强手段对
构建的航空发动机保险丝绕向识别训练样本集进行数据增强，增加航空发动机保险丝绕向识别训练样本集的多样性，并将经过数据增强处理的航空发动机保险丝绕向识别训练样本集对基于视觉注意力机制的多分支保险丝绕向识别模型进行训练，其中网络的训练损失函数由保险丝辫结区域分割分支损失函数和保险丝绕向识别分支的损失函数加权融合构成；（8）对于任意输入的航空发动机局部多通道图像，采用多类保险丝检测模型检测出多通道图像中的不同类型的保险丝区域，并获得保险丝区域的类别及位置信息；根据保险丝的位置信息，裁剪保险丝区域图像；基于保险丝类别信息，将裁剪的保险丝区域图像输入到训练好的、对应类别的基于视觉注意力机制的多分支保险丝绕向识别模型中，从而获得保险丝的安装绕向，包括：沿着防松对象拧紧方向安装、沿着防松对象松动方向安装；（9）若保险丝的安装绕向识别为沿着防松对象松动方向安装，则判断该保险丝安装错误，进行保险丝安装缺陷预警；否则，认为该保险丝安装正确。
25.下面结合具体的实施例，对本发明做进一步的说明。
26.如图1所示，本发明的具体实现包括以下步骤：步骤1：采用三个工业相机构建多目立体视觉传感器，设置9组曝光时间，从3个不同视角采集航空发动机局部多曝光图像，主要包括：航空发动机进气口、压缩机、燃烧室、高压涡轮、低压涡轮、尾喷部位图像。
27.步骤2：分别将同一工业相机采集的9张多曝光图像融合成一张9通道图像，每一个通道分别对应一个曝光时间，从而获得航空发动机同一部位的3张不同视角下的9通道图像；根据航空发动机保险丝防松对象的不同，分别将航空发动机保险丝分为5类：螺栓防松保险丝、堵头防松保险丝、管路接头防松保险、电缆接头防松保险和推力拉杆防松保险，并在多通道图像中标注不同类型保险丝的位置和类别信息，构建航空发动机保险丝检测训练样本集和标签文件；裁剪9通道图像中的保险丝区域，获得航空发动机保险丝绕向识别正样本集；然后将裁剪的不同类别的保险丝区域图像分别进行水平翻转和垂直翻转操作，获得航空发动机保险丝绕向识别负样本集；分别航空发动机保险丝绕向识别正样本集和航空发动机保险丝绕向识别负样本集中标注出保险丝辫结的多边形区域，从而构建获得航空发动机保险丝绕向识别训练样本集和标签文件。
28.步骤3：基于yolov3构建5类保险丝检测模型，并对构建的航空发动机保险丝检测训练样本集以0.5的概率进行随机旋转、模糊、缩放、对比度增强、镜像及其他数据增强，使用经过数据增强后的航空发动机保险丝检测训练样本集对多类保险丝检测模型进行训练。具体过程在文章“joseph redmon, ali farhadi，“yolov3: an incremental improvement”，arxiv， 2018.”中有详细描述。
29.将多目立体视觉传感器实时采集的三张9通道图像作为5类保险丝检测模型的输入，获得3张9通道图像中保险丝区域的类别和位置信息，并裁剪保险丝区域图像。
30.步骤4：构建基于视觉注意力机制的多分支保险丝绕向识别模型，主要包括两个分支：保险丝辫结区域分割分支和保险丝绕向识别分支，网络输入通道数为9通道；保险丝辫结区域分割分支采用编码器-解码器结构的网络模型，其中编码器网络
采用resnet34网络，从而分割出输入保险丝区域图像中的保险丝辫结区域，获得保险丝辫结区域的掩膜特征；resnet34网络的具体实现过程在文章“kaiming he, xiangyu zhang, shaoqing ren, jian sun,
ꢀ“
deep residual learning for image recognition”, arxiv, 2015.”中有详细描述；保险丝绕向识别分支与保险丝辫结区域分割分支共用resnet34网络进行特征提取，将保险丝辫结区域分割分支获得的保险丝辫结区域的掩膜特征，与基于resnet34网络提取的保险丝区域图像特征进行卷积操作，构成保险丝绕向识别分支的空间注意力，提取出输入保险丝区域图像的关键特征信息，从而预测输入保险丝区域的安装绕向；保险丝辫结区域分割分支损失函数采用二分类交叉熵，保险丝绕向识别分支的损失函数采用交叉熵，因此基于视觉注意力机制的多分支保险丝绕向识别网络的训练损失函数loss为：对构建的航空发动机保险丝绕向识别训练样本集以0.5的概率进行随机旋转、模糊、缩放、对比度增强操作，用于训练基于视觉注意力机制的多分支保险丝绕向识别模型；将步骤3中3张9通道图像中裁剪的保险丝区域图像作为输入，按照类别不同，分别输入到训练好的、对应类别的基于视觉注意力机制的多分支保险丝绕向识别模型中，从而获得保险丝的安装绕向，包括：沿着防松对象拧紧方向安装、沿着防松对象松动方向安装；步骤5：针对航空发动机同一部位的3张9通道图像，将步骤3中3张9通道图像中检测出的保险丝区域图像一一对应；根据3张9通道图像中检测出的保险丝区域的对应关系，对多视角下保险丝安装识别结果进行融合；根据步骤4中获得保险丝安装绕向，若同一保险丝区域，在至少一个视角下识别的安装绕向为沿着防松对象松动方向安装，则判断该保险丝安装错误，进行保险丝安装缺陷预警；否则，认为该保险丝安装正确。
31.综上所述，本发明提供了一种基于视觉注意力机制的航空发动机保险丝绕向识别系统及方法，包括：采用工业相机构建多目立体视觉传感器，从不同视角采集航空发动机同一部位的多曝光图像；融合不同视角下的多曝光图像，获得多通道图像；构建基于深度学习的多类保险丝检测模型，获得保险丝在多通道图像中的位置信息；基于视觉注意力机制的多分支保险丝绕向识别模型，获得多通道图像中保险丝的安装绕向方向；融合不同视角下保险丝绕向识别结果，实现航空发动机保险丝的安装缺陷识别。本发明能够更加准确、快速地实现航空发动机不同类型保险丝安装绕向缺陷的识别，并且对航空发动机局部高反光、遮挡、噪声干扰等具有更强的鲁棒性。
32.应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。