一种基于深度学习的工业印刷品图像配准方法及装置

本发明属于工业印刷品缺陷检测领域，具体涉及一种基于深度学习的工业印刷品图像配准方法及装置。

背景技术：

图像配准是计算视觉领域中一个重要的研究方向，主要目的是对不同条件下(光照度、拍摄角度和拍摄位置等)的两幅或多幅图像进行匹配，实现几何对齐。目前，图像配准可分为传统配准方法和基于深度学习的图像配准方法。传统配准方法有传统刚性配准方法和传统非刚性配准算法两种，其中传统刚性配准算法，例如基于特征的图像配准算法，通过在图像参数空间搜索灰度、边缘以及人工设计的特征，例如sift特征、akaze特征等，然后根据源图间特征的映射关系利用仿射变换实现配准。图像源之间的特征相对稳定，该类配准算法具有一定的尺度和旋转不变性。但由于图像低级特征和人工设计的特征数量有限，很难准确表征图像间的真实形变，无法在源图出现复杂形变的情况下使用；传统非刚性配准算法，例如基于光流场的demons配准算法，通过迭代运算，对源图间的位移场进行优化直至算法收敛，该算法能够获取良好的配准精度，但算法收敛速度慢，配准耗时长，无法满足工业实时性检测的要求。

深度学习图像配准算法在近些年得到了快速的发展，在解决非刚性配准问题上表现出优异的性能。深度学习图像配准算法是通过卷积神经网络提取待配准图像与模板图像之间的形变参数，依据变换参数调整待配准图的形态。按照学习方式的不同，可分为有监督配准算法和无监督配准算法。有监督配准算法依赖大量人工标注的数据样本训练网络，但样本标注难度大，人工标注与真实形变数据也存在差异，直接限制了模型的配准能力。无监督配准算法则无需带有标注的样本训练配准网络，模型的优化通过计算配准图像与模板图的相似度即可实现。

基于深度学习的无监督图像配准算法研究主要集中在医学图像领域，在工业机器视觉领域中的研究却很少。在消费电子行业，说明书和包装盒等印刷品在出厂前要经过严格的筛查，确保外观没有缺陷。纸质印刷品缺陷检测的一般流程是用待测图像与模板图像进行比对，找出其中的差异，进而判断产品是否存在缺陷。差分处理是一种快速提取两张图像差异的方法，差分图中保留的信息仅是差分伪影和缺陷。但纸质印刷品是一种非刚性材料，在外力作用下极容易产生各种形变，即便可通过夹具进行固定，也难以获得与模板图像完全相同的形态，传统配准方法难以有效解决纸质印刷品图像非刚性配准问题，无法从根源上减少缺陷检测产生的误判。

技术实现要素：

本发明为了解决上述工业印刷品缺陷检测中存在的技术问题，提供了一种基于深度学习的工业印刷品图像配准方法及装置，由此解决工业纸质印刷品的图像配准问题。

第一方面，本发明提供一种基于深度学习的工业印刷品图像配准方法，所述方法包括：

s1：采用cmos工业相机对生产线上的印刷品进行图像采集，得到n种印刷品图像；

s2：从n种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；

s3：根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对，将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片；

s4：将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准印刷品图像。

进一步的，所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层，所述编码器包括第一编码层和第二编码层，所述解码器包括第一解码层和第二解码层，所述中间层包括池化层和卷积层，所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准。

进一步的，所述“将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片”具体实现步骤为：

s31、第一编码层接收输入的图像切片对进行特征提取并输出尺度为(w，h，c)的特征图，其中w和h分别表示图像的长和宽，c是通道数，表示图像的深度，采用1×1×1的卷积核对第一编码层输出的特征图进行卷积降维得到尺度为(w，h，1)的第一特征图，第二编码层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(w/2，h/2，c)的特征图，采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为(w/2，h/2，1)的第二特征图；

s32、中间层对第二编码层输出的特征图先进行池化处理再进行卷积运算，得到尺度为(w/4，h/4，c)的中间层输出特征图，第二解码层将所述中间层输出特征图上采样得到尺度为(w/2，h/2，c)的特征图，将所述尺度为(w/2，h/2，c)的特征图与第二编码层输出的特征图进行融合，融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特征图，采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(w/2，h/2，2)的第二图像配准场；

s33、将第二特征图和第二图像配准场经过空间变换层的运算得到尺度为(w/2，h/2，1)的第二配准特征图；

s34、将第二配准特征图上采样至尺度(w,h,1)，将第二解码层的输出特征图上采样至尺度(w,h,c)，然后与第一编码层的输出特征图三者融合，融合后进行卷积运算得到第一解码层的尺度为(w,h,c)的输出特征图；

s35、将第二图像配准场上采样至尺度(w,h,2)，将第一解码层的输出特征图卷积降维至尺度(w,h,2)，然后将两者进行融合，融合后进行卷积降维获得尺度为(w,h,2)的第一图像配准场；

s36、将第一特征图和第一图像配准场经过空间变换层的运算得到尺度为(w，h，1)的第一配准特征图；

s37、将第一配准特征图与第一解码层的输出特征图融合后输入最后层，卷积运算后得到最后层的尺度为(w，h，c/2)输出特征图；

s38、将最后层的输出特征图卷积降维至(w,h,2)，与第一图像配准场进行融合，融合后进行卷积降维获得尺度为(w,h,2)的第三图像配准场；

s39、将待配准图像切片和第三图像配准场经过空间变换层的运算最终得到尺度为(w，h，1)配准图像切片。

进一步的，所述卷积层采用的激活函数为leakyrelu函数。

进一步的，所述配准网络模型采用的目标损失函数为：

其中，y_true表示模板图像切片，y_pred表示配准图像切片，表示配准场的梯度，α表示损失比例系数。

第二方面，本发明提供一种基于深度学习的工业印刷品图像配准装置，所述装置包括：

图像采集单元，用于图像采集，通过采用cmos工业相机对生产线上的印刷品进行图像采集，得到n种印刷品图像；

图像获取单元，用于获取模板图像和待配准图像，从图像采集单元得到的n种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；

图像切片单元，用于对模板图像和待配准图像进行切分，根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对；

图像配准单元，用于根据模板图像切片对待配准图像切片进行配准，将图像切片单元获得的图像切片对输入配准网络模型中进行推理，得到配准图像切片；

图像拼接单元，用于对图像配准单元得到的配准图像切片进行拼接，将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准印刷品图像。

进一步的，所述图像配准单元中的所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层，所述编码器包括第一编码层和第二编码层，所述解码器包括第一解码层和第二解码层，所述中间层包括池化层和卷积层，所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准。

本发明提供的一种基于深度学习的工业印刷品图像配准方法及装置，其有益效果是：

(1)本发明针对工业印刷品易于出现复杂形态变换的特性且传统算法难以解决该类图像非刚性配准的问题，提出在印刷品缺陷检测过程中应用基于深度学习的无监督图像配准算法配准待配准印刷品图像，从图像源头方向减少差分运算产生的伪影，降低缺陷检测算法的检测误判率。

(2)当前配准网络模型(voxelmorph和prdfe配准模型)对存在较大形变的工业印刷品图像的配准效果较差，而且图像中部分拓扑结构会产生配准变形，本发明基于已有配准网络模型进行改进，提出了基于深度学习的工业印刷品图像配准方法及装置。本发明的配准模型骨架为类unet网络，利用空间变换层(spatialtransform)对编码器中不同尺度的特征图进行非刚性配准，配准特征图与解码器中相邻尺度的特征图进行融合，同时相邻尺度配准场也进行融合，综合提升模型对大形变印刷品图像的配准能力。实验表明，本发明对不同类型工业纸质印刷品图像的配准均能获得良好的配准效果，算法泛化能力强，在配准后待测图像中的缺陷等关键信息不会出现丢失，具有高鲁棒性的特点。

(3)工业视觉检测所用到的图像分辨率高(一般图像分辨率为2k及以上)，配准网络模型采用显卡无法对整张图像进行推理，若是提升显卡性能则需要额外的硬件成本的投入，因此本发明提出一种在推理时采用“待测图像切片-切片推理-切片对位拼接”的方式，实现端到端的配准。切片拼接需要每张切片“内缩”一定尺寸，去除切片边缘可能出现的配准变形像素点。通过实验测试证明，该种方式能够灵活的应用显存进行推理配准，并且配准后待测图像看不到拼接错切现象。

附图说明

图1是本发明实施例中提供的基于深度学习的工业印刷品图像配准方法的流程图；

图2是本发明实施例中提供的配准网络模型的流程示意图；

图3为本发明实施例中五种典型的工业印刷品的配准效果对比图，其中图3a为文本说明书1的配准效果对比图；图3b为小标签的配准效果对比图；图3c为图文说明书1的配准效果对比图；图3d为图文说明书2的配准效果对比图；图3e为文本说明书2的配准效果对比图；

图4a为本发明实施例中五种典型工业印刷品的原始dice值以及经过本发明方法(ours)配准后、基于akaze特征的配准算法配准后、vxm模型配准后、prdfe模型配准后的dice值条形图；

图4b为图4a的局部放大图；

图5为本发明实施例中vxm模型、prdfe模型、本发明(ours)配准后印刷品的局部效果放大比对图。

具体实施方式

为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。

如图1所示，本发明提供了一种基于深度学习的工业印刷品图像配准方法，包括：

s1：采用cmos工业相机对生产线上的印刷品进行图像采集，得到n种印刷品图像；

在本发明实施例中，提供的硬件条件为工控机，nvidiartx2080tigpu，2k分辨率的面阵工业相机以及led光源，采用面阵工业相机对生产线上的印刷品进行图像采集，从中选出10种典型的工业印刷品图像，如图文说明书和纯文本说明书等，每种印刷品20张图像。

s2：从n种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；

在本发明实施例中，如图1所示，模板图像为固定图像(fixedimage)，待配准图像为移动图像(movingimage)。

s3：根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对，将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片；

s4：将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准标签图像。

由于本发明涉及的工业缺陷检测都是采用高清工业相机拍摄待测物，所获取的图像分辨率高，尺寸大，原图配准占用显存较高，因此，在本发明实施例中，采用“待测图像切片-切片推理-切片对位拼接”的方式，实现工业印刷品端到端的配准。按照从左到右、从上到下的顺序依次将图像分割成尺寸相同的图像切片对准备进行配准，当显存有限时，模型一次只对一组切片对进行配准，该方式占用现存小但配准速度慢；当显存足够时，将所有切片对同时送入模型进行配准，该方式占用现存大但配准速度快。因此，每次推理输入模型的切片对的数量根据显卡的性能进行设定。

在本发明实施例中，首先按照从左到右、从上到下的顺序依次从图像中裁剪出尺寸相同的切片，相邻切片之间需要保持一定像素区域的重叠；然后根据检测的硬件条件，灵活地选择是一对切片对送入模型进行配准还是多对切片对送入模型进行配准；最后将所有配准好的切片依据裁剪位置的索引进行拼接。由于待测图像相对模板图像存在形变，在同一对切片对中可能会存在明显的结构差异，例如待测图像中的边缘多半个文字，而模板图像中没有，这种情况可能会在切片边缘出现配准变形，影响配准精度。因此，本发明在进行配准推理前，先从模板图像和待配准图像中采用重叠切分的方式分别获取模板图像切片和待配准图像切片，将图像切片按照深度方向进行融合，深度方向融合是将两张单通道的图像切片按照图像通道方向合并成一张双通道的图像切片对。配准后要对每张切片切除相同宽度的边缘，从配准结果中去除切片中可能出现的变形边缘，最后将所有切片拼接完成后，在完整的配准图像中几乎看不到切片的拼接接缝，没有错切现象出现。

在本发明实施例中，所有切片被配准后，舍去切片边缘部分，根据之前的切割索引拼接复原除完整的配准印刷品标签图像。

本发明实施例中采用的配准网络模型以及示意图如图2所示，所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层，其中，所述编码器包括但不限于第一编码层(encodelayer1)和第二编码层(encodelayer2)，所述解码器包括但不限于第一解码层(decodelayer1)和第二解码层(decodelayer2)，所述中间层(midstlayer)包括池化层和卷积层，是编码器与解码器的接通桥梁。所述卷积层采用的激活函数为leakyrelu函数。所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准。第一特征图(featuremap1)表示第一编码层对应尺度的图像特征，第二特征图(featuremap2)表示第二编码层对应尺度的图像特征，第一配准场(registrationfield1)表示与第一特征图(featuremap1)尺度一致的配准场，第二配准场(registrationfield2)表示与第二特征图(featuremap2)尺度一致的配准场，以上网络层均包含卷积运算，详细参数配置列于表1中，spatialtransform层表示空间转换层，该层将根据配准场对待配准图像切片中的像素进行移位，使其向模板图像切片配准。将对应分割好的模板图像切片(fixedpatch)与待配准图像切片(movingpatch)按照深度方向进行融合，输入图2所示的配准网络模型进行训练或推理。

表1实施例中配准网络模型参数配置

配准网络模型中进行训练得到配准图像切片的具体实施步骤为：

s31、第一编码层接收输入的图像切片对进行特征提取并输出尺度为(w，h，c)的特征图，其中w和h分别表示图像的长和宽，c是通道数，表示图像的深度，采用1×1×1的卷积核对第一编码层输出的特征图进行卷积降维得到尺度为(w，h，1)的第一特征图，第二编码层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(w/2，h/2，c)的特征图，采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为(w/2，h/2，1)的第二特征图；

s32、中间层对第二编码层输出的特征图先进行池化处理再进行卷积运算，得到尺度为(w/4，h/4，c)的中间层输出特征图，第二解码层将所述中间层输出特征图上采样得到尺度为(w/2，h/2，c)的特征图，将所述尺度为(w/2，h/2，c)的特征图与第二编码层输出的特征图进行融合，融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特征图，采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(w/2，h/2，2)的第二图像配准场；

s33、将第二特征图和第二图像配准场经过空间变换层的运算得到尺度为(w/2，h/2，1)的第二配准特征图；

s34、将第二配准特征图上采样至尺度(w,h,1)，将第二解码层的输出特征图上采样至尺度(w,h,c)，然后与第一编码层的输出特征图三者融合，融合后进行卷积运算得到第一解码层的尺度为(w,h,c)的输出特征图；

s35、将第二图像配准场上采样至尺度(w,h,2)，将第一解码层的输出特征图卷积降维至尺度(w,h,2)，然后将两者进行融合，融合后进行卷积降维获得尺度为(w,h,2)的第一图像配准场；

s36、将第一特征图和第一图像配准场经过空间变换层的运算得到尺度为(w，h，1)的第一配准特征图；

s37、将第一配准特征图与第一解码层的输出特征图融合后输入最后层，卷积运算后得到最后层的尺度为(w，h，c/2)输出特征图；

s38、将最后层的输出特征图卷积降维至(w,h,2)，与第一图像配准场进行融合，融合后进行卷积降维获得尺度为(w,h,2)的第三图像配准场；

s39、将待配准图像切片和第三图像配准场经过空间变换层的运算最终得到尺度为(w，h，1)配准图像切片。

优选的，所述卷积层采用的激活函数为leakyrelu函数。

本发明实施例中，对不同尺度的特征图通过spatialtransform层进行非刚性配准，综合提升了配准网络模型的配准能力。

所述配准网络模型采用的目标损失函数为：

其中，y_true表示模板图像切片，y_pred表示配准图像切片，表示配准场的梯度，α表示损失比例系数。

在本发明实施例中，选取均方误差损失和梯度二范数损失作为模型损失函数，采用adam算法最小化损失函数。如下所示为损失函数的表达式：

其中，y_true表示模板图像切片，y_pred表示配准图像切片，n表示像素数，r表示配准场。

相应地，本发明提供一种基于深度学习的工业印刷品图像配准装置，用于实现上述基于深度学习的工业印刷品图像配准方法，所述装置包括：图像采集单元，用于图像采集，通过采用cmos工业相机对生产线上的印刷品进行图像采集，得到n种印刷品图像；图像获取单元，用于获取模板图像和待配准图像，从图像采集单元得到的n种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；图像切片单元，用于对模板图像和待配准图像进行切分，根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对；图像配准单元，用于根据模板图像切片对待配准图像切片进行配准，将图像切片单元获得的图像切片对输入配准网络模型中进行推理，得到配准图像切片；图像拼接单元，用于对图像配准单元得到的配准图像切片进行拼接，将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准印刷品图像。

本发明提供一种基于深度学习的工业印刷品图像配准装置，在一个可选的实施方式中，所述图像配准单元中的所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层，所述编码器包括但不限于第一编码层和第二编码层，所述解码器包括但不限于第一解码层和第二解码层，所述中间层包括池化层和卷积层，所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准。

在本发明的一个具体实施例中，选取五种典型的工业印刷品进行配准测试，如表2所示：

表2实施例中印刷品类列表

通过配准前后的印刷品图像很难直观看出配准效果，本发明另一个实施例以配准前后源图之间的dice相似度差值表征配准精度，从配准前后的差分图以及dice相似度指标综合评估配准效果，dice相似度的表达式为式中x与y分别表示不同的图像，dice值越大表示x与y的相似度越高，当dice值等于1时表示对比图完全一样。

本发明实施例中测试所用的各类印刷品的待配准图像相对模板图像均存在不均匀形变，如图3a-图3e中模板图像和待配准图像中方框标记区域表示相对形变程度大，在该区域的原始差分图(raw)中可看到明显的伪影，因此以该区域差分图中伪影“消去”程度定性评估算法的配准效果。ours为本发明基于深度学习的工业印刷品图像配准方法的配准结果示意图，较大形变区域的配准差分图中看不到明显伪影，仅存在一些文字边缘细小的伪影和亮度差异导致的伪影，而且没有产生明显的配准变形。从图4中可以看出，配准后各类印刷品的平均相似度值均在0.999以上，配准图像与模板图像保持高度的形态一致。

为了体现本发明基于多尺度特征图融合变换的配准算法在解决工业印刷品图像问题上的优势，分别与基于akaze特征的传统配准算法、深度学习配准算法vxm和prdfe进行配准精度的比较。图3a-图3e中，akaze算法配准后较大形变区域的差分图中仅有部分残影被“消去”，深度学习配准算法配准后较大形变区域的差分图中无明显残影；图4a中，配准后各类印刷品图像的平均dice相似度值均高于配准前。从测试结果可以看出，配准能够缩小待配准图像与模板图像的差异，但基于akaze特征的配准算法的平均配准精度低于深度学习配准算法，配准能力表现最差。从图4b中可以看出，本发明提出的配准算法对五种标签的平均配准精度优于vxm模型，小标签图像的平均配准精度(0.999708)略低于prdfe模型(0.999713)，其他标签的平均配准精度也优于prdfe模型。此外，在观察配准图像发现，部分存在较大形变的印刷品经过vxm和prdfe模型配准后图中出现了部分配准变形问题，而本发明配准算法配准后没有出现变形，如图5所示。综上所述，本发明提出的基于多尺度特征图融合变换的印刷品图像配准方法能够更好解决工业纸质印刷品配准问题。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。