面向装配顺序监测的图像多视角语义变化检测网络及方法

1.本发明涉及计算机视觉和智能制造技术领域，特别涉及面向装配顺序监测的图像多视角语义变化检测网络及方法。


背景技术：

2.传统制造业装配过程多以手工、离散作业为主，具有装配操作环节多、操作过程复杂等特点。随着机械产品更新换代周期加快，高度定制化生产模式导致了产品复杂性增加、开发周期缩短以及大量变体出现。这些因素不可避免地影响到机械产品生产中，从而导致产品装配过程出现漏装、错装等问题。因此，从多视角检测每个装配步骤新装配零部件的位置信息是否准确，有助于提高机械产品的生产效率和产品质量，加速机械装配自动化及智能化程度，对机械类产品装配过程智能监测具有重要研究价值。
3.图像变化检测技术旨在对同一区域内不同时间段图像进行数据处理与分析，从而获取图像上变化的区域，在环境监测、城市规划以及灾害监测等方面具有重要的应用价值。近年来，深度学习技术在计算机视觉任务中取得了优异的成果，基于深度学习的图像变化检测网络方法主要分为有监督变化检测网络方法和无监督变化检测网络方法两种。有监督变化检测网络主要通过训练样本进行训练，从而得到一个最优模型，然后利用这个最优模型对新的数据样本映射为相应的输出结果。无监督变化检测网络由于没有标签数据，此类方法大多直接根据数据样本间的相似性对数据进行分类，以此获得变化区域。
4.当前，图像变化检测技术主要针对卫星图像和航拍图像等相同视角的目标进行监测，但是很少应用于机械装配领域，并且检测结果缺乏语义信息。这主要是因为相对于卫星图像，机械装配体零件存在遮挡严重、零件颜色和纹理信息单一等特点，难以对装配过程进行变化检测，同时缺少对应的数据集。


技术实现要素：

5.本发明的目的在于提供面向装配顺序监测的图像多视角语义变化检测网络及方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：
7.面向装配顺序监测的图像多视角语义变化检测网络，包括：特征提取模块、注意力模块和度量模块，还包括：步骤识别模块；
8.所述特征提取模块分别提取输入检测网络的不同视角的双时图像特征信息；
9.所述注意力模块对提取的双时图像特征信息加权处理，加权处理后的双时图像特征信息分别输入步骤识别模块和度量模块；
10.所述步骤识别模块检测变化目标物体的类别，并识别变化零部件当前所处装配阶段，对装配顺序进行监测；
11.所述度量模块判断图像的变化区域，根据步骤识别模块得到的目标类别对变化区域赋值，从而得到语义变化图像。
12.优选的，所述步骤识别模块具有一种使用transformers方法处理全局特征信息的卷积神经网络。
13.优选的，所述特征提取模块具有一种密集连接的特征融合机制，所述特征提取模块将浅层子解码器中节点输出连接到深层子解码器节点，所述特征融合机制工作时，将编码器中的细粒度特征依次传输到深度解码器，最后输出具有相同尺寸的多组特征图。
14.优选的，所述注意力模块具有一种融合上下文特征信息的自注意力机制cot，所述自注意力cot机制步骤为：
15.首先通过3
×
3卷积对输入值进行上下文编码，挖掘相邻键之间的静态上下文特征信息，从而产生静态上下文键key；
16.然后根据query和静态上下文键key之间的相互关系，在静态上下文key的指导下利用两个连续的1
×
1卷积来执行动态注意力矩阵学习，学习到的注意力矩阵用于聚合所有输入值，从而实现动态上下文特征信息表示；
17.最后将静态上下文特征信息和动态上下文特征信息融合并输出。
18.优选的，度量模块先将特征提取模块输出的多组特征图相加，然后利用自注意力cot机制对四组特征图进行加权处理，同时将四组特征图拼接，再次利用自注意力cot机制加权处理得到提取的特征，所述提取的特征用于自动选择和关注不同组之间更为有效的信息量，以生成图像变化区域。
19.基于面向装配顺序监测的图像多视角语义变化检测网络的检测方法，其特征在于，包括以下阶段：建立数据集阶段、训练阶段和测试阶段；
20.所述建立数据集阶段生成训练样本供所述面向装配顺序监测的图像多视角语义变化检测网络学习；
21.所述训练阶段让所述特征提取模块学习训练样本的装配体图像特征信息，并经过注意力模块、步骤识别模块和度量模块处理后，输出训练样本的语义变化图像，判断此语义变化图像是否达到训练要求，经多次训练后最终保存最优模型；
22.所述测试阶段由所述特征提取模块对新输入的装配体图像提取特征，并根据最优模型获得语义变化图像。
23.优选的，所述建立数据集阶段的步骤为：
24.先建立机械与真实场景中装配体尺寸一致的装配体3d模型，将该装配体模型划分为多个装配步骤的3d模型，然后依次将每个装配步骤的3d模型导入并对每个零件进行颜色标记，同时设置坐标系原点并导出为设定的格式文件，再将该文件导入并进行合成图像生成，从不同的角度采集图像，最后提取图像中对应的颜色标签，改设颜色标签中颜色值作为变化语义特征。
25.优选的，所述训练阶段的步骤为：
26.s1：分别将不同视角的前一时刻图像作为基准图像t1和后一时刻图像作为待检测图像t2输入到特征提取模块；
27.s2：特征提取模块分别提取上述双时图像的特征信息，该模块采用密集连接跳跃融合机制提升细粒度特征的浅层信息权重值，使网络具有丰富的特征信息；
28.s3：注意力模块对上述双时图像的特征信息加权处理，充分利用相邻键之间的上下文特征信息来指导动态注意力矩阵学习，从而进一步增强计算机视觉特征表示能力；
29.s4：将加权处理后的特征信息分别输入步骤识别模块和度量模块，步骤识别模块判断当前装配阶段，度量模块根据特征信息获取变化区域，根据当前装配阶段赋值变化区域得到语义变化图像；
30.s5：利用数据集中的训练样本图像不断迭代执行步骤s1至s4，直至达到设定的训练次数，保存训练过程中最优模型。与现有技术相比，本发明具有以下有益效果：
31.1、本发明所述的面向装配顺序监测的图像多视角语义变化检测网络，相较于其他变化检测网络，增加了步骤识别模块，不仅能够检测装配体图像的变化区域，而且能够识别变化零部件当前所处装配阶段，克服了卫星图像监测下机械装配体零件存在遮挡严重、零件颜色和纹理信息单一的难点，便于对机械装配顺序进行监测。
32.2、本发明所述的面向装配顺序监测的图像多视角语义变化检测网络，通过特征提取模块中采用的一种密集连接的特征融合机制，以及注意力模块采用的一种融合上下文特征的自注意力cot机制，增强了计算机视觉特征表示能力，以实现机械产品装配过程智能监测。
33.3、本发明所述的面向装配顺序监测的图像多视角语义变化检测网络通过密集连接的特征融合机制，通过编码器和解码器之间的紧密跳跃连接融合特征信息，能够有效减少神经网络浅层特征信息丢失，保持高分辨率和细粒度特性表示，有效缓解检测结果边缘像素处理不佳以及小目标漏检等问题。
34.4、本发明所述的面向装配顺序监测的图像多视角语义变化检测网络采用的步骤识别模块能有效地将局部信息和全局信息编码在一个张量中，结合了卷积神经网络对空间感应偏差以及数据增强敏感度敏感度较低等优势和transformers的输入向量自适应加权以及全局处理等的优势，有助于用更少的参数和简单的训练样本来学习更好的特征信息。
35.5、本发明所述的面向装配顺序监测的图像多视角语义变化检测方法通过训练阶段中采用密集连接的特征融合机制，提升细粒度特征的浅层信息权重值，使网络具有丰富的特征信息，以及训练阶段中采用融合上下文特征信息的自注意力cot机制能够充分利用输入信息中相邻位置之间的上下文特征信息来指导动态注意力矩阵学习，从而进一步增强计算机视觉特征表示能力，进而提升网络架构的监测性能。
附图说明
36.图1是本发明提供的面向装配顺序监测的图像多视角语义变化检测网络及方法示意图。
37.图2是本发明提供面向装配顺序监测的图像多视角语义变化检测网络及方法的一种密集连接的特征提取模型。
38.图3是本发明提供的面向装配顺序监测的图像多视角语义变化检测网络及方法的一种融合上下文特征信息的自注意力模型。
39.图4是本发明提供的面向装配顺序监测的图像多视角语义变化检测网络及方法的一种装配步骤识别模型。
40.图5是本发明提供的面向装配顺序监测的图像多视角语义变化检测网路及方法的训练流程图。
具体实施方式
41.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本发明旨在提出一种机械装配顺序监测方法，通过检测装配过程的变化，实现监测漏装、错装、装配步骤等。为此，本发明的具体实施方式提供了一种面向装配顺序监测的装配体图像多视角语义变化检测网络；提供了一种密集连接的特征提取模型；提供了一种融合上下文特征信息的自注意力模型；以及一种面向装配顺序监测的装配体图像多视角语义变化检测的训练流程图。
43.参考图1，本发明所示的一种面向装配顺序监测的装配体图像多视角语义变化检测网络包含四个组成部分：特征提取模块、注意力模块、步骤识别模块以及度量模块。该方法以不同视角的双时图像作为输入，双时图像是通过卫星遥感技术下在不同时间获取的同一区域的图像。特征提取模块分别提取双时图像特征信息，注意力模块对提取的双时图像特征信息加权处理，进一步增强计算机视觉特征表示能力；将加权处理后的特征信息分别输入步骤识别模块和度量模块，分别判断当前装配步骤和图像的变化区域，根据装配步骤赋值图像上的变化区域，从而得到语义变化图像。与其他变化检测网络不同，本网络增加了步骤识别模块，可以识别变化区域零件的类型。下面对各模块进一步具体介绍：
44.(1)特征提取模块：
45.特征提取模块结构如图2所示，本发明创新性地设计了一种密集连接的特征融合机制，通过编码器和解码器之间的紧密跳跃连接融合特征信息，能够有效减少神经网络浅层特征信息丢失，保持高分辨率和细粒度特性表示，有效缓解检测结果边缘像素处理不佳以及小目标漏检等问题。该模块将浅层子解码器中节点输出连接到深层子解码器节点，例如，第一次下采样后，将得到的和输出进行特征级联，获得融合特征x
1,0
，将融合特征x
1,0
与上采样得到的x
1,1
、x
1,2
和x
1,3
分别连接，然后再次上采样进行特征融合，设x
i,j
表示节点x
i,j
的输出，x
i,j
公式定义如下：
[0046][0047]
其中函数表示卷积块操作，函数表示用于下采样的2
×
2最大池化操作，函数表示使用转置卷积的上采样。[]表示通道维度上的连接，旨在融合特征信息。当j＝0时，编码器下采样并提取特征；当j》0时，密集跳跃连接机制开始工作，将编码器中的细粒度特征依次传输到深度解码器，最后输出具有相同尺寸的四组特征图。该模块可以保持细粒度特性表示，有效缓解检测结果边缘像素处理不佳以及小目标检测漏检等问题。
[0048]
(2)注意力模块：
[0049]
注意力模块如图3所示，本发明设计了一种融合上下文特征信息的自注意力cot(contextual transformer)机制，transformer是深度学习自注意力神经网络，自注意力
cot机制将transformer中自注意力机制和卷积操作相结合，以捕捉图像中静态和动态的上下文信息。
[0050]
自注意力机制包括源于推荐系统的三种关键的因素：query、key和value，query、key是计算权重的特征向量，value是表示输入特征的向量，其基本原理为：给定一个query，计算query与key的相关性，然后根据query与key的相关性去找到最合适的value。
[0051]
cot机制将上下文的挖掘与自注意力的学习集成到统一的框架中。充分探索邻近的上下文信息以一种高效的方式提升自注意力的学习，进而提升输出特征的表达能力。在这个结构中，key的编码采用了卷积操作进行编码，这样就可以得到邻近间的上下文信息，之后通过两个连续的卷积得到全局的上下文信息，最后通过邻近间上下文信息与全局上下文信息的融合得到输出结果。
[0052]
与传统自注意力机制仅利用孤立的query-key计算注意力矩阵，未能充分利用键之间的丰富上下文特征信息相比，该模块能够充分利用输入信息中相邻位置之间的上下文特征信息来指导动态注意力矩阵学习，从而进一步增强计算机视觉特征表示能力，进而提升网络架构的监测性能。自注意力cot机制首先通过3
×
3卷积对输入值进行上下文编码，挖掘相邻键之间的静态上下文特征信息，从而产生静态上下文键key；然后根据query和静态上下文键key之间的相互关系，在静态上下文key的指导下利用两个连续的1
×
1卷积来执行动态注意力矩阵学习；学习到的注意力矩阵用于聚合所有输入值，从而实现动态上下文特征信息表示；最后将静态上下文特征信息和动态上下文特征信息融合并输出。
[0053]
假设输入信息为特征图x∈rh×w×c，其中h为高度，w为宽度，c为通道数，自注意力cot机制首先在空间上对特征图相邻键使用k
×
k组卷积，对每个键上下文关联加权处理，获得上下文键k1∈rh×w×c,k1反映了相邻键之间的静态上下文特征信息，将k1作为输入特征图x的静态上下文特征信息。然后，以上下文键k1和查询q串联为条件，利用两个连续的1
×
1卷积来执行注意力矩阵学习，注意力矩阵定义如下：
[0054]
a＝[k1,q]w
θwδ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0055]
其中,w
θ
表示有relu激活函数的卷积操作，而w
δ
表示没有激活函数的卷积操作，最后根据注意力矩阵a，通过聚合所有values值计算注意力特征图k2：
[0056][0057]
鉴于注意力特征图k2捕捉输入信息之间的动态交互特征信息，将k2定义为动态上下文特征信息，最后将静态上下文特征信息k1和动态上下文特征信息k2融合输出。
[0058]
cot＝k1+k2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0059]
自注意力cot机制能够同时捕获输入键之间的上述两种空间上下文特征信息，即通过3
×
3卷积得到的静态上下文特征信息和基于上下文自注意力得到的动态上下文特征信息，从而增强视觉表示能力。
[0060]
(3)步骤识别模块：
[0061]
步骤识别模块如图4所示，本发明创新性地在机械类装配过程二分类变化检测的基础上设计了步骤识别模块，该模块能够检测变化目标物体的类别，进而识别变化零部件当前所处装配阶段，实现装配顺序监测。该模块具有一种轻量级mobile vit网络，mobile vit使用transformers方法处理全局特征信息，即将transformers作为卷积提取图像特征信息。步骤识别模块有效地将局部信息和全局信息编码在一个张量中，结合了卷积神经网
络(例如对空间感应偏差以及数据增强有较低敏感度)和transformers(例如输入自适应加权以及全局处理)的优势，有助于用更少的参数和简单的训练样本来学习更好的特征信息。图4中(卷积n
×
n)表示标准n
×
n卷积，mv 2指mobilenetv2网络，
↓
2表示执行下采样处理。
[0062]
(4)度量模块：度量模块能够有效地通过提取的特征自动选择和关注不同组之间更为有效的信息量，以生成图像变化区域。该模块首先将特征提取模块输出的四组特征图相加，然后利用自注意力cot机制对四组特征图加权处理，同时将四组特征图拼接，再次利用自注意力cot机制加权处理，具体过程如下：
[0063]
m1＝cot(x
0,1
+x
0,2
+x
0,3
+x
0,4
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0064]fensemble
＝[x
0,1
,x
0,2
,x
0,3
,x
0,4
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0065]
m2＝cot(f
ensemble
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0066][0067]
其中[]表示特征图拼接，函数repeat
(n)
()表示特征图重复n次在通道维度上连接操作，表示元素乘积，最后通过一个1
×
1卷积获得变化区域
[0068][0069]
其中h()表示一个1
×
1卷积层，生成a
×h×
w的变化区域(“a”这里设定为2，代表变化与不变化)。
[0070]
此外，图像变化检测中不变的样本数据往往多于变化的样本数据。为了削弱变化样本数据信息不平衡的影响，本发明采用混合损失函数(加权交叉熵损失和损失的组合)以优化网络学习过程，具体定义如下：
[0071][0072]
为了描述加权交叉熵损失将变化区域视为一组点，表示为：
[0073][0074]
其中代表中的一个值，h和w代表的高度和宽度。加权交叉熵损失定义为：
[0075][0076]
其中a值为1或0，代表变化与不变化，同时变化区域参与计算损失：
[0077][0078]
其中b代表真实变化标签，最后根据步骤识别模块得到的目标类别对变化区域赋值，获得最终的语义变化图像。
[0079]
使用上述各模块对机械装配体进行多视角语义变化检测具体过程包括：建立数据集阶段、训练阶段和测试阶段。建立数据集阶段生成一定数量的训练样本让网络学习；训练阶段让所述特征提取模块学习训练样本的装配体图像特征信息，并经过注意力模块、步骤识别模块和度量模块处理后，输出训练样本的语义变化图像，判断此语义变化图像是否达到训练要求，经多次训练后最终保存最优模型；测试阶段直接对新输入的装配体图像提取特征，根据训练阶段保存的最优模型获得装配过程语义变化图像。三个阶段的具体流程如
下：
[0080]
建立数据集阶段：
[0081]
建立机械装配体多视角语义变化检测数据集，首先根据真实场景中装配体尺寸通过solidworks建立机械装配体3d模型，将装配体模型按照一定装配步骤进行划分，然后依次将每个装配步骤的3d模型导入3d max软件对每个零件进行颜色标记，同时设置坐标系原点并导出为ive格式文件，再将该文件导入并进行合成图像生成，从不同的角度采集图像，最后提取图像中对应的颜色标签，改设颜色标签中颜色值作为变化语义标签特征。本发明数据集包含不同视角下各装配节点图像以及对应的语义变化标签图像。
[0082]
训练阶段：
[0083]
参考图4，本发明的一种面向装配顺序监测的装配体图像多视角语义变化检测方法具体训练过程如下：
[0084]
s1：分别将不同视角的前一时刻图像t1(基准图像)和后一时刻图像t2(待检测图像)输入到特征提取模块。
[0085]
s2：特征提取模块分别提取上述双时图像的特征信息，该模块采用密集连接跳跃融合机制提升细粒度特征的浅层信息权重值，使网络具有丰富的特征信息。
[0086]
s3：注意力模块对上述双时图像的特征信息加权处理，充分利用相邻键之间的上下文特征信息来指导动态注意力矩阵学习，从而进一步增强计算机视觉特征表示能力。
[0087]
s4：将加权处理后的特征信息分别输入步骤识别模块和度量模块，步骤识别模块判断当前装配阶段，度量模块根据特征信息获取变化区域，根据当前装配阶段赋值变化区域得到语义变化图像。
[0088]
s5：利用数据集中的训练样本图像不断迭代执行步骤s1至s4，直至达到设定的训练次数，保存训练过程中最优模型。
[0089]
测试阶段：
[0090]
测试中，输入两张不同视角装配过程中的新双时图像，利用训练阶段保存的最优模型直接输出装配过程中语义变化图像。
[0091]
为了验证本发明提出的一种面向装配顺序监测的装配体图像多视角语义变化检测方法有效性，将现有的变化检测方法das net(chen j,yuan z,peng j,et al.dasnet:dual attentive fully convolutional siamese networks for change detection in high-resolution satellite images[j].ieee journal of selected topics in applied earth observations and remote sensing,2020,14:1194-1206)、change star(zheng z,ma a,zhang l,et al.change is everywhere:single-temporal supervised object change detection in remote sensing imagery[c]//proceedings of the ieee/cvf international conference on computer vision.2021:15193-15202.)、sscd net(sakurada k,shibuya m,wang w.weakly supervised silhouette-based semantic scene change detection[c]//2020ieee international conference on robotics and automation(icra).ieee,2020:6861-6867.)和siam unet(fang s,li k,shao j,et al.snunet-cd:adensely connected siamese network for change detection of vhr images[j].ieee geoscience and remote sensing letters,2021,19:1-5.)与本发明网络进行对比。数据集使用上述步骤s1建立的语义变化检测数据集，评价指标采用准确率
(pr)、召回率(re)以及均值(f1)。测试结果如表1所示：
[0092]
表1
[0093][0094][0095]
从表1中可以看出本发明提出的方法f1指标达到了96.27％，检测性能优于对比变化检测方法。
[0096]
本发明优势：
[0097]
(1)为实现机械产品装配过程智能监测，本发明提出一种面向装配顺序监测的装配体图像多视角语义变化检测方法，设计了一种密集连接的特征融合机制以及一种融合上下文特征的注意力机制，增强了计算机视觉特征表示能力。
[0098]
(2)本发明在变化检测网络的基础上增加步骤识别模块，不仅能够检测装配体图像的变化区域，而且能够识别变化零部件当前所处装配阶段，可适用于机械装配顺序监测。
[0099]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。