基于深度学习的印版网点图像检测和分割方法及装置与流程

1.本发明涉及一种基于深度学习的印版网点图像检测和分割方法及装置。


背景技术：

2.印刷品由承印物及油墨构成，油墨以网点的形式规则地分布在承印物上并通过多色油墨叠合呈现不同光谱颜色。印刷的生产过程就是将油墨根据印版预定的图案转移到承印物的过程，可分为印前和实际印刷过程两个环节。印前过程主要完成印版制作，包括图像处理、分色加网、晒制菲林片、制版、打样等；实际印刷过程则利用制作完成的印版在印刷机进行印刷。因此，印刷过程的质量控制主要针对印前和实际印刷的两阶段过程进行调节来实现。
3.在胶印、凹印等主要印刷方式中，图案都是由网点构成，网点是印刷的最小复制单元。根据加网原理的不同，印刷网点可分为调频网点、调幅网点以及混合加网网点；根据形状的差异，又可分为圆形、椭圆、菱形等网点。印刷过程中网点质量是影响印刷品的质量的重要因素之一。控制印刷品质量的过程就是控制印刷网点准确转移复制的过程，保证印刷网点的质量对于印刷生产具有极为重要的意义。
4.为了对印刷品的质量进行准确的检测与分析，需要对不同形状、不同加网类型的印版和印刷品的网点进行准确检测和分割，同时计算印版和印刷品的网点面积率或网点覆盖率，即单位面积内网点所占比率。通过对原稿分色加网后的面积率，即加网面积率；印版及印刷品上的面积率，即印版网点面积率和印刷品网点面积率，这三种网点面积率进行比较，可以对印刷质量进行评价与识别。总之，从彩色印刷图像中获得各单色油墨的网点图像，同时计算印版和印刷品的网点面积率等质量指标，是印刷质量控制的核心；印版和印刷品的网点检测和分割是印刷质量控制的关键环节。
5.目前，印版网点图像的检测和分割需要利用摄像头采集印版网点图像，再将网点图像传输至计算机利用边缘检测或图像分割方法进行提取。但印版网点在转移复制的过程中，受到网点扩大、印刷压力变动、油墨流动等因素的影响，以及受到光散射、图像噪声等因素的干扰，使得网点图像易出现边缘模糊的情况，很难使用光学仪器精确地检测印版网点图像的边缘。因此，已提出了不少针对印版网点图像的检测和分割方法。
6.发明cn112258501a提出了一种印版网点检测和网点面积率计算的方法。具体内容包括：获取待检测印版网点图像，对印版网点图像进行基于阈值的图像分割，获得图像分割结果；基于获得的印版网点图像分割结果，进行图像二值化，获得二值图像；基于获得的二值图像，对印版网点图像进行网点检测，获得目标网点检测结果。该发明所描述的印版网点图像的检测方法采用阈值法对印版图像进行分割，获得印版网点图像分割后结果。但基于阈值的图像分割方法对噪声比较敏感，鲁棒性不高，对于灰度差异不明显以及不同目标灰度值有重叠的印版图像，很难获得合适的阈值，分割效果不佳。
7.发明cn109727232a提出了一种印版网点检测和网点面积率计算的方法。具体内容包括：采集所述印版的网点图像；对所述网点图像进行灰度化处理，以生成灰度图像；利用
大津法将所述灰度图像二值化，以生成二值化图像；对所述二值化图像，按照从左至右、从上至下的顺序进行滤波，以生成滤波后图像；计算所述滤波后图像中表征网点的像素的数量与所述滤波后图像的像素的总数量的比值，以得到所述印版的网点面积率。该发明所描述的印版网点图像检测方法采用大津法将对印版灰度图像进行二值化处理，得到印版二值化图像；同时采用从左至右、从上至下的顺序对所获的二值化图像进行滤波，得到滤波后的印版网点图像分割结果。由于大津法也是基于图像全局阈值的图像分割方法，将图像的灰度分布作为分割图像的依据，对噪声也相当敏感；当印版图像的网点目标和背景大小比例悬殊、类间方差函数可能呈现双峰或者多峰时，分割效果不佳。


技术实现要素：

8.本发明提出了一种基于深度学习的印版网点图像检测和分割方法，针对印刷质量控制中的印版网点面积率质量指标的计算问题，利用深度学习技术，提出了一种新的印版网点图像检测和分割方法、装置及设备。由于传统基于阈值分割的印版网点图像检测方法对噪声敏感、边缘定位和精细边缘的处理困难，导致印版网点图像分割效果不佳。本发明利用深度学习技术，将卷积神经网络（convolutional neural network, cnn）运用在印版网点图像检测中，使得印版网点图像边缘检测的效率和精度得到了巨大提升，能够得到更加精确的印版网点面积率的计算结果。
9.一种基于深度学习的印版网点图像检测和分割方法，包括如下步骤：步骤一、标注图像数据：针对采集到的高分辨率印版网点图像，绘制一定数量的边缘图像样本；步骤二、构建网络模型：利用卷积神经网络构建网络模型，自动学习丰富的层次表示；同时设计损失函数，计算预测值与实际值之间的差距，用于衡量模型预测的结果；步骤三、训练网络模型：利用步骤一标注的图像数据训练步骤二构建的网络模型，直到损失函数收敛，得到针对印版网点图像端到端的深度学习边缘检测模型；步骤四、检测新的图像：使用步骤三训练好的网络模型对待检测的印版网点图像进行边缘检测，得到印版网点图像的边缘概率图；步骤五、修正检测结果：对步骤四得到的边缘概率图，利用非最大抑制方法细化边缘检测结果；再通过数据集尺度最佳方法设置阈值并进行二值化处理，从而得到待检测的印版网点图像最终的检测和分割结果。
10.优选的是，本发明步骤一中的标注图像数据，具体过程为：对采集到的高分辨率印版网点图像进行人工边缘标注；同时，使用数据增强的方法，对网点图像进行旋转、镜像和剪切，扩大数据集规模。
11.优选的是，本发明步骤二中的卷积神经网络基础架构包括：lenet5、alexnet、vggnet、google inceptionnet和resnet中的至少一种。
12.优选的是，本发明步骤三中的训练网络模型的方法包括随机梯度下降法sgd、动量梯度下降momentum、优化器rmsprop 和adam中的至少一种。
13.一种基于深度学习的印版网点图像检测和分割装置，包括：图像数据标注模块，用于针对采集到的高分辨率印版网点图像，绘制一定数量的边缘图像样本；
网络模型构建模块，用于利用卷积神经网络构建网络模型，自动学习丰富的层次表示；同时设计损失函数，计算预测值与实际值之间的差距，从而衡量模型预测的结果；网络模型训练模块，用于利用标注的图像数据训练构建的网络模型，直到损失函数收敛，得到针对印版网点图像端到端的深度学习边缘检测模型；图像检测模块，用于使用训练好的网络模型对待检测的印版网点图像进行边缘检测，得到印版网点图像的边缘概率图；检测结果修正模块，用于对得到的边缘概率图，利用非最大抑制方法细化边缘检测结果；再通过数据集尺度最佳方法设置阈值并进行二值化处理，从而得到待检测的印版网点图像最终的检测和分割结果。
14.本发明将深度学习技术运用在印版网点图像检测中，与现有技术相比存在如下优点：1、与传统印版网点图像检测和分割方法依赖阈值设置不同，本发明提出的方法无须调节参数，可以自动化运行。深度学习网络模型训练完成后，在推理时不用设置任何参数，对模型计算结果数据后处理也可以通过图像特征自动化计算。
15.2、与传统印版网点图像检测和分割方法依赖人工设计特征不同，本发明提出的方法可以从神经网络中自动提取图像特征，算法运行过程中无须任何人工干预。深度学习网络模型具有强大的学习能力和高效的特征表达能力，可以从像素级原始数据逐层提取抽象的语义信息。
16.3、与传统印版网点图像检测和分割方法相比，本发明提出的方法分割效果更好，边界更加准确，解决了传统方法的诸多问题，如连续性，鲁棒性等。实验结果表明，基于深度学习方法的结果评价指标都明显高于传统网点图像边缘检测方法。
17.4、与传统印版网点图像检测和分割方法相比，本发明提出的方法可以大幅度提升印版网点图像检测和分割效率。训练好的深度学习网络模型可以在gpu下运行，其并行计算效率明显高于传统cpu的计算方法。
附图说明
18.图1为本发明申请的印版网点图像检测和分割方法流程示意图。
19.图2为本发明标注图像数据步骤中印版网点图像，以及人工标注的边缘图像的示意图。
20.图3为本发明标注的印版网点图像的采用数据增强技术产生的新的网点标注图像。
21.图4为本发明采用的卷积神经网络结构图。
具体实施方式
22.为了更好地理解本发明的技术方案，针对本发明提出的一种基于深度学习的印版网点图像检测和分割方法及装置中涉及的技术术语，解释如下：1、深度学习（deep learning）：深度学习是机器学习领域中一个新的研究方向，通过学习样本数据的内在规律和表示层次，获得信息，对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图
像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
23.2、网点（printing dot）：网点是印刷行业术语，是表现连续调图像层次与颜色变化的基本单元，是构成印刷图像的基础，它起着传递版面阶调的作用。网点的状态(大小和形状) 和行为特征将影响到最终的印刷品能否正确地还原原稿的阶调和色彩变化。
24.3、边缘检测（edge detection）：边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。
25.4、图像分割（image segmentation）：图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。
26.5、卷积神经网络（convolutional neural network, cnn）：卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
27.6、梯度下降法（gradient descent）：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降是最常采用的方法之一，另一种常用的方法是最小二乘法。
28.7、非最大抑制方法（non-maximum suppression, nms）：非最大抑制是边缘细化技术，可以帮助抑制除局部最大值之外的所有梯度值（通过将它们设置为0），指示具有最强烈的强度值变化的位置。
29.8、数据集尺度最佳方法（optimal dataset scale，ods）：为全局最佳的阈值设置方法，是为一个数据集上的所有图像设置相同的阈值，即选取能够使整个数据集上f-score 最大的阈值应用于所有测试图片。
30.如图1所示，本发明提出了一种基于深度学习的印版网点图像检测和分割方法，包括如下步骤：步骤一：标注图像数据。即针对采集到的高分辨率印版网点图像，绘制一定数量的边缘图像样本。
31.同以往深度学习算法一样，本发明需要使用数据集训练神经网络，使模型趋向于收敛。为此，需对采集到的高分辨率印版网点图像进行人工边缘标注。同时，为了提高算法模型的鲁棒性，可以使用数据增强的方法，对网点图像进行旋转、镜像和剪切等操作，扩大数据集规模，有效避免模型过拟合的情况。
32.步骤二：构建网络模型。为了利用深度学习模型对印版网点图像进行检测和分割，需要利用卷积神经网络，自动学习丰富的层次表示。同时需要设计损失函数，计算预测值与实际值之间的差距，准确的衡量模型预测的好坏。
33.目前，典型的卷积神经网络基础架构包括：lenet5、alexnet、vggnet、google inceptionnet和resnet等。边缘检测算法使用最多的基础网络结构是vggnet。为了提高检测效率，也有很多轻量级神经网络被设计专门用于图像边缘检测。同时，本发明采用交叉熵损失函数计算网络输出值和真实值之间的误差，并考虑采用加权交叉熵损失的方法解决标签分布不平衡。本发明不局限于某一种特定的卷积神经网络结构，也不局限于某一种特定
的交叉熵损失函数。
34.步骤三：训练网络模型。即利用步骤一标注的图像数据训练步骤二构建的网络模型，直到损失函数收敛，从而得到针对印版网点图像端到端的深度学习边缘检测模型。
35.目前，梯度下降是神经网络中使用最为广泛的优化算法，为了弥补朴素梯度下降算法的缺陷，还有很多神经网络模型训练方法被提出，包括随机梯度下降法sgd、动量梯度下降momentum、优化器rmsprop 和adam等。本发明不局限于某一种特定的网络模型训练方法，只需采用其中某种方法对网络模型的损失函数进行优化，保证网络模型收敛即可。
36.步骤四：检测新的图像。即使用步骤三训练好的网络模型对待检测的印版网点图像进行边缘检测，得到印版网点图像的边缘概率图。由于网络模型输出是一个边缘概率图，需要进一步对网络输出结果进行修正。
37.步骤五：修正检测结果。即对步骤四得到的边缘概率图，利用非最大抑制（nms）方法细化边缘检测结果。再通过数据集尺度最佳（optimal dataset scale，ods）方法设置阈值，对nms细化后的边缘结果进行二值化处理，从而得到待检测的印版网点图像最终的检测和分割结果。
实施例
38.步骤一：标注图像数据。为了对网络模型进行训练，本发明共人工标注了250幅印版网点图像，其中200幅用于训练网络模型，50幅用于评估模型边缘检测的分割效果。具体的，将待采集的印版置于显微镜下，调整焦距使成像清晰，利用图像采集系统获取印版的网点微观图像。同时，人工勾绘出印版图像内每个网点的边界，并将成果保存为矢量格式。勾绘的矢量进行栅格化后可以转换为边缘图像，根据原图像和矢量化后的边缘图像制作一定数量的训练样本。图2给出了一个标注图像数据的示意图，其中2a为印版网点图像，2b为人工标注的边缘图像。本发明还采用数据增强技术，对标注的网点图像进行了旋转、镜像和剪切等操作，加入到训练集。图3给出了针对图2标注图像数据的增强结果，其中3a为剪切操作，3b为镜像操作，3c为旋转操作，3d为亮度变化操作。
39.步骤二：构建网络模型。本发明选择vgg 16模型作为特征提取的骨干网络。为了模仿金字塔结构，将两个或三个阶段叠加起来。输出特征图的尺寸（高x宽）随着阶段数的增加而减少，而特征通道数（过滤器的数量）则增加。接下来的一层是扩张卷积的聚合。为了捕捉不同层次的感受野，我们使用不同的扩张大小，并将这些反卷积层串联到一起进行卷积操作生成边缘概率图。图4给出了本发明采用的网络结构图。
40.步骤三：训练网络模型。本发明采用hed算法的预训练权重来初始化印版网点图像的边缘检测模型。设网络模型的训练集为，其中表示n幅原始输入图像，表示输入图像人工标记的二进制边缘标签，故，表示一张图像的像素点个数。
41.设vgg 16模型的所有网络参数值为w，对于每个边界分支(side branches)，定义边界分支的参数值为，则网络模型的损失函数如公式（1）所示：
42.其中表示每个边界分支的损失函数的权值，本发明设置成。
43.表示每个边界分支的损失函数，本发明采用类平衡交叉熵损失函数，如公式（2）表示：
44.其中参数是用于平衡边缘检测的正负样本不均衡的权值，由边缘像素数和非边缘像素数的比值得到。，，表示非边缘像素的个数，表示边缘像素的个数。表示第m个边界分支在第j个像素预测是边缘值的概率值，选择sigmoid函数计算得到。
45.训练网络模型的优化器采用梯度下降方法，如公式（3）所示。
[0046][0047]
其中：是损失函数对参数的偏导数，是学习率，也是每次迭代更新的步长。本发明的学习率从0.001开始，然后使用全局训练轮数逐渐递减的策略进行更新，每10个epochs乘以0.1，直到所述损失函数收敛。
[0048]
步骤四：检测新的图像。本发明使用训练好的边缘检测模型对待分割的印版网点图像进行边缘检测，得到印版网点图像的边缘概率图。当显微镜拍摄的印版网点图像尺寸较大时，可将待分割的印版网点图像分成尺寸较小的图像块分别进行边缘检测，再检测结果拼接形成一个完整的边缘概率图。同时，本发明还采用多尺度方法对检测过程进行优化。具体而言，会以三种不同的尺度[0.5，1.0，1.5]对输入印版网点图像进行缩放，并其输入到网络中；最后将这些输出重新调整为原始大小，并对这三个输出检测结果进行平均，得到最终的边缘概率图。
[0049]
步骤五：修正检测结果。本发明首先使用非最大抑制（nms）方法细化边缘检测结果。再采用数据集尺度最佳（optimal dataset scale，ods）方法设置阈值，即对所有印版网点图像选取一个固定阈值，使得整个标注图像数据集上的f-score值最大。f-score值是精确率（p，precision）和召回率（r，recall）的调和平均数，如公式（4）所示。
[0050]
本发明通过数据集尺度最佳的方法设置阈值，对nms细化后的边缘结果进行二值化处理，大于等于所述阈值的像素变为1，小于所述阈值的像素变为0。最后，将边缘二值化后的轮廓精简为单个像素邻域连接的细线，从而得到最终印版网点图像的检测和分割结果。