一种基于掩码区域卷积神经网络的图像处理方法及其应用

1.本发明涉及图像识别技术领域，更具体的，涉及一种基于掩码区域卷积神经网络的图像处理方法及其应用。


背景技术：

2.肺炎是一种发病率极高的肺部常见疾病，包含有多种致病的因素，如细菌、病毒、寄生虫等。对于医生来说，每天花费大量的时间来观察大量的肺部影像，难免存在视觉疲劳从而出现误诊、漏诊等情况，计算机辅助诊断系统也随着这种情况的出现应运而生。医疗人员的决策由计算机辅助诊断工具补充，它结合了计算机视觉和机器学习方面的放射图像分析来识别和提取的模式。其中典型的cad 系统依次处理输入的数据，提取特征并进行分类。第一步是对胸透图片的数据进行预处理；第二步，利用高斯滤波器、形态运算和边缘检测等多种技术从输入图像中提取特征；第三步，使用合适的分类器，如支持向量机、随机森林算法或神经网络来区分提取的特征。对于x射线的影像特征的分析耗时较长，前期难以观察到病灶隐藏点，使用人工智能ai技术通过深度学习算法处理将视觉影像信息自动抽象成相关特征信息进行端到端的自动识别诊断，和传统的计算机视觉领域图像算法对比丢弃了人工特征提取这一繁琐的过程；能够从数据中自动归纳出具有层次的特征，采用输入映射到输出的方式直接得到检测的结果。通过深度学习算法对x胸片进行肺炎诊断，并确定病灶的位置，在一定程度上可以减少误诊、漏诊等情况，为医疗影像的智能化检测提供了新的思路和方法。
3.针对这一问题，现有基于resnet(残差神经网络)和mask r-cnn(掩码区域卷积神经网络)两个深度学习模型的肺炎图像检测方法，该方法在resnet的基础之上实现了在每次卷积和使用激活函数之后进行批处理归一化，并且在训练的过程中采用余弦退火算法来优化学习率；对于损失函数，结合了iou和二元交叉熵。在mask-rcnn中的特征金字塔网络中采用了自底而上和自顶而下两种提取特征的路径，采用准确率、敏感度、特异度3个医学图像检测常用的评价指标并且利用mask-rcnn进行了病灶区域的定位。
4.然而现有的肺炎图像检测方法难以对多个感兴趣区域进行检测，并且存在检测准确性低的问题，因此如何发明一种能够对多个感兴趣区域进行检测，并且检测准确性高的肺炎图像检测方法，是本技术领域亟需解决。


技术实现要素：

5.本发明为了解决现有的肺炎图像检测方法难以对多个感兴趣区域进行检测和检测准确性低的问题，提供了一种基于掩码区域卷积神经网络的图像处理方法，其具有效率高的特点。
6.为实现上述本发明目的，采用的技术方案如下：
7.一种基于掩码区域卷积神经网络的图像处理方法，具体为：构建并训练掩码区域卷积神经网络，通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标进行定
位；所述的掩码区域卷积神经网络包括用于提取图像特征的基于信道洗牌的密集卷积神经网络、用于融合图像特征生成待检测图像特征图的特征金字塔网络、用于通过待检测图像特征图生成候选区域的区域候选网络、用于通过候选区域生成掩膜的全卷积网络分支、用于通过候选区域获得最终候选区域的全连接层分支。
8.优选的，训练掩码区域卷积神经网络，具体步骤为：
9.s1.得到并预处理训练用的待检测图像，得到待检测图像数据集，将待检测图像数据集随机划分为训练数据集和验证数据集；
10.s2.通过迁移学习预训练基于信道洗牌的密集卷积神经网络；
11.s3.初始化掩码区域卷积神经网络；
12.s4.通过预训练好的基于信道洗牌的密集卷积神经网络模型提取训练数据集中的图像特征，并通过特征金字塔网络融合图像特征得到待检测图像特征图；
13.s5.通过待检测图像特征图迭代训练初始掩码区域卷积神经网络；
14.s6.通过验证数据集调整并验证训练好的掩码区域卷积神经网络。
15.进一步的，待检测图像通过所述基于信道洗牌的密集卷积神经网络提取特征，通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标进行定位，具体步骤为：
16.a1.得到待检测图像的特征；将提取特征输入特征金子塔网络进行特征融合；
17.a2.将特征融合后得到的特征图输入区域候选网络得到区域候选区域网络后分别通过全卷积网络分支得到掩膜，通过全连接层分支得到最终候选区域；
18.a3.结合掩膜和最终候选区域得到待检测图像的待检测图像检测目标定位预测框；通过检测目标定位预测框定位检测目标。
19.更进一步的，初始化掩码区域卷积神经网络，具体为：预设学习率和迭代次数，并采用随机梯度下降通过待检测图像数据集预训练掩码区域卷积神经网络。
20.更进一步的，步骤s4，具体为：
21.s401训练数据集中的图像通过基于信道洗牌的密集卷积神经网络的第一阶段卷积生成特征映射图；
22.s402.在特征映射图中将rgb三个通道中的特征部分进行有序的信息交换，并得到基于信道洗牌的密集卷积神经网络的输出特征；
23.s403.将输出特征图分别经过1
×
1卷积层和上采样处理，并将1x1卷积后的输出特征图与经过上采样的输出特征图进行合并生成对应的融合前的特征图；
24.s404.将输出特征图和融合前的特征图通过金字塔特征网络进行多尺度融合生成待检测图像特征图；
25.s405.将待检测图像特征图进行自适应池化生成最终的待检测图像特征图。
26.更进一步的，步骤s5，具体步骤为：
27.s501.对训练数据集中的图像对应的最终的待检测图像特征图中的每一点采用若干种比例不同的锚点设置预定的锚点；
28.s502.将预定的锚点输入区域候选网络中，并生成候选框；
29.s503.结合待检测图像特征图对候选框进行池化；
30.s504.池化后的候选框通过全连接层分别进行分类和边框回归；
31.s505.对池化后的候选框进行全卷积操作，获得其对应的二值掩码；
32.s506.回到步骤a1进行迭代，直到迭代完成，生成待检测图像检测目标定位预测框并结束训练。
33.更进一步的，步骤s502，具体步骤为：
34.a201.将预定的锚点经过区域候选网络的3x3卷积，将卷积后的锚点是分别通过区域候选网络的两个分支；
35.a202.第一个分支通过softmax激活函数将卷积后的锚点进行二值分类，分为含有检测目标的锚点和不含有检测目标的锚点，并将含有检测目标的锚点称为前景，将不含有检测目标的锚点称为后景；
36.a203.第二个分支通过计算卷积后的锚点的边界框回归偏移量获得其对应的候选区域；
37.a204.综合预设的各个锚点对应的前景、候选区域、边界框回归，获取最终的候选区域。
38.更进一步的，s503，具体步骤为：
39.a301.将最终候选区域和其对应的待检测图像特征图的像素一一对应，并将待检测图像特征图和其特征映射图一一对应；
40.a302.采用双线性插值来计算每个最终候选区域中的四个定期的采样位置输入特征的精确值，并采用最大值或平均值聚合结果，并获得池化后的候选区域。
41.更进一步的，调整并验证训练好的掩码区域卷积神经网络，具体为：
42.s601.将验证数据集输入训练好的掩码区域卷积神经网络，获得训练好的掩码区域卷积神经网络的泛化能力，并调整相应的超参数；
43.s602.将有定位标注待检测图像输入调整好掩码区域卷积神经网络中验证其鲁棒性，若鲁棒性不通过则继续调整其超参数。
44.一种基于所述的基于掩码区域卷积神经网络的图像处理方法的应用，所述的图像处理方法应用于肺炎图像中检测目标的定位检测，所述检测目标为肺炎病灶。
45.本发明的有益效果如下：
46.本发明通过迁移学习构建并预训练基于信道洗牌的密集卷积神经网络模型，并通过预处理后的图像数据集，结合金字塔特征网络训练基于信道洗牌的密集卷积神经网络模型，解决了现有的肺炎图像检测方法难以对多个感兴趣区域进行检测和检测准确性低的问题，且具有效率高的特点。
附图说明
47.图1是掩码区域卷积神经网络模型结构图。
48.图2是基于掩码区域卷积神经网络的训练流程示意图。
49.图3是实施例2中密集卷积神经网络密集块体内示意图。
50.图4是实施例2密集卷积神经网络结构示意图。
51.图5信道洗牌原理图。
52.图6是生成融合前特征示意图。
53.图7是是金字塔特征网络模型示意图。
具体实施方式
54.下面结合附图和具体实施方式对本发明做详细描述。
55.实施例1
56.如图1所示，一种基于掩码区域卷积神经网络的图像处理方法，具体为：构建并训练掩码区域卷积神经网络，通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标进行定位；所述的掩码区域卷积神经网络包括用于提取图像特征的基于信道洗牌的密集卷积神经网络、用于融合图像特征生成待检测图像特征图的特征金字塔网络、用于通过待检测图像特征图生成候选区域的区域候选网络、用于通过候选区域生成掩膜的全卷积网络分支、用于通过候选区域获得最终候选区域的全连接层分支。
57.如图2所示，在一个具体实施例中，训练掩码区域卷积神经网络，具体步骤为：
58.s1.得到并预处理训练用待检测图像，得到待检测图像数据集，将待检测图像数据集随机划分为训练用数据集和验证数据集；
59.s2.通过迁移学习预训练基于信道洗牌的密集卷积神经网络；
60.s3.初始化掩码区域卷积神经网络；
61.s4.通过预训练好的基于信道洗牌的密集卷积神经网络模型提取训练数据集中的图像特征，并通过特征金字塔网络融合图像特征得到待检测图像特征图；
62.s5.通过待检测图像特征图迭代训练初始掩码区域卷积神经网络；
63.s6.通过验证数据集调整并验证训练好的掩码区域卷积神经网络。
64.实施例2
65.如图1所示，一种基于掩码区域卷积神经网络的图像处理方法，具体为：构建并训练掩码区域卷积神经网络，1.通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标进行定位；所述的掩码区域卷积神经网络包括用于提取图像特征的基于信道洗牌的密集卷积神经网络、用于融合图像特征生成待检测图像特征图的特征金字塔网络、用于通过待检测图像特征图生成候选区域的区域候选网络、用于通过候选区域生成掩膜的全卷积网络分支、用于通过候选区域获得最终候选区域的全连接层分支。
66.如图2所示，在一个具体实施例中，训练掩码区域卷积神经网络，具体步骤为：
67.s1.得到并预处理训练用待检测图像，得到待检测图像数据集，将待检测图像数据集随机划分为训练用数据集和验证数据集；本实施例中，预处理方法包括：包括翻转90度、45度等、缩放、剪切、平移等操作，本实施例经过预处理增加数据的多样性，提高模型的鲁棒性，包括坐标空间移动以及分批增加、降低亮度和对比度，也包括高斯模糊。将分辨率控制在512px x 512px中进行，提高运算效率。
68.s2.通过迁移学习预训练基于信道洗牌的密集卷积神经网络；
69.s3.初始化掩码区域卷积神经网络；
70.s4.通过预训练好的基于信道洗牌的密集卷积神经网络模型提取训练数据集中的图像特征，并通过特征金字塔网络融合图像特征得到待检测图像特征图；
71.s5.通过待检测图像特征图迭代训练初始掩码区域卷积神经网络；
72.s6.通过验证数据集调整并验证训练好的掩码区域卷积神经网络。
73.在一个具体实施例中，待检测图像通过所述基于信道洗牌的密集卷积神经网络提取特征，通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标进行定位，具体
步骤为：
74.a1.得到待检测图像的特征；将提取特征输入特征金子塔网络进行特征融合；
75.a2.将特征融合后得到的特征图输入区域候选网络得到区域候选区域网络后分别通过全卷积网络分支得到掩膜，通过全连接层分支得到最终候选区域；
76.a3.结合掩膜和最终候选区域得到待检测图像的待检测图像检测目标定位预测框；通过检测目标定位预测框定位检测目标。在一个具体实施例中，通过迁移学习预训练基于信道洗牌的密集卷积神经网络模型，具体为：通过外部训练数据集训练基于信道洗牌的密集卷积神经网络，并获得基于信道洗牌的密集卷积神经网络的初始参数。本实施例中，所述的外部训练数据集为coco数据集，所述的基础网络参数包括网络的层数、网络中的各项权重以及使用的激活函数，保留基于信道洗牌的密集卷积神经网络参数作为我们训练模型的初始参数。
77.如图3所示，卷积神经网络具有只需做简单的提取目标预处理，特征提取能力强且不需要人工干预，有很好的通用性，易于应用于图像目标检测定位的特点。卷积神经网络包含输入层，隐藏层，输出层；卷积神经网络的隐藏层包括常见的卷积层，池化层，全连接层，此外还有残差模块。本发明采用基于信道洗牌的密集卷积神经网络模型，基于信道洗牌的密集卷积神经网络模型为densenet169。
78.如图4所示，基于信道洗牌的密集卷积神经网络模型左手拿个包括3个密集块。
79.在一个具体实施例中，初始化掩码区域卷积神经网络，具体为：预设学习率和迭代次数，并采用随机梯度下降通过待检测图像数据集预训练掩码区域卷积神经网络。本实施例中，初始化学习率为0.00105进行训练，并采用20个epoch。
80.实施例3
81.如图1所示，一种基于掩码区域卷积神经网络的图像处理方法，具体为：构建并训练掩码区域卷积神经网络，通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标进行定位；所述的掩码区域卷积神经网络包括用于提取图像特征的基于信道洗牌的密集卷积神经网络、用于融合图像特征生成待检测图像特征图的特征金字塔网络、用于通过待检测图像特征图生成候选区域的区域候选网络、用于通过候选区域生成掩膜的全卷积网络分支、用于通过候选区域获得最终候选区域的全连接层分支。
82.如图2所示，在一个具体实施例中，训练掩码区域卷积神经网络，具体步骤为：
83.s1.得到并预处理训练用待检测图像，得到待检测图像数据集，将待检测图像数据集随机划分为训练用数据集和验证数据集；本实施例中，预处理方法包括：包括翻转90度、45度等、缩放、剪切、平移等操作，本实施例经过预处理增加数据的多样性，提高模型的鲁棒性，包括坐标空间移动以及分批增加、降低亮度和对比度，也包括高斯模糊。将分辨率控制在512px x 512px中进行，提高运算效率。
84.s2.通过迁移学习预训练基于信道洗牌的密集卷积神经网络；
85.s3.初始化掩码区域卷积神经网络；
86.s4.通过预训练好的基于信道洗牌的密集卷积神经网络模型提取训练数据集中的图像特征，并通过特征金字塔网络融合图像特征得到待检测图像特征图；
87.s5.通过待检测图像特征图迭代训练初始掩码区域卷积神经网络；
88.s6.通过验证数据集调整并验证训练好的掩码区域卷积神经网络。
89.在一个具体实施例中，待检测图像通过所述基于信道洗牌的密集卷积神经网络提取特征，通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标进行定位，具体步骤为：
90.a1.得到待检测图像的特征；将提取特征输入特征金子塔网络进行特征融合；
91.a2.将特征融合后得到的特征图输入区域候选网络得到区域候选区域网络后分别通过全卷积网络分支得到掩膜，通过全连接层分支得到最终候选区域；
92.a3.结合掩膜和最终候选区域得到待检测图像的待检测图像病灶定位预测框；通过病灶定位预测框定位检测目标。
93.在一个具体实施例中，通过迁移学习预训练基于信道洗牌的密集卷积神经网络模型，具体为：通过外部训练数据集训练基于信道洗牌的密集卷积神经网络，并获得基于信道洗牌的密集卷积神经网络的初始参数。
94.如图3所示，卷积神经网络具有只需做简单的提取目标预处理，特征提取能力强且不需要人工干预，有很好的通用性，易于应用于图像目标检测定位的特点。卷积神经网络包含输入层，隐藏层，输出层；卷积神经网络的隐藏层包括常见的卷积层，池化层，全连接层，此外还有残差模块。
95.如图4所示，基于信道洗牌的密集卷积神经网络模型左手拿个包括3个密集块。
96.如图5所示，在一个具体实施例中，信道洗牌原理如图，图5(a)表示一个普通的分组卷积。可以看出，每组分组卷积之间不存在信息交换，图5(b)是 mobilenetv1的深度可分离卷积，可以看出信息交换是有顺序的。图5(c)为信道洗牌后的图，可以看到每组之间还有其他组的信息。将密集卷积神经网络中的卷积模式改为信道洗牌卷积模式，得到改进的网络基于信道洗牌卷积的密集卷积神经网络。信道洗牌卷积中的卷积方法与密集卷积神经网络的卷积不同，在密集卷积神经网络的卷积中,卷积的一组卷积核负责一组特征图,在信道洗牌卷积网络中,一个卷积核负责一个功能图,这可以极大地减少参数的数量,但这也将导致同一组数据之间的信息丢失。但洗牌操作可以解决组内信息不交流的问题，也可以解决组和组之间的卷积问题即小组之间没有沟通信息的缺陷。
97.在一个具体实施例中，初始化掩码区域卷积神经网络，具体为：预设学习率和迭代次数，并采用随机梯度下降通过待检测图像数据集预训练掩码区域卷积神经网络。
98.在一个具体实施例中，步骤s4，具体为：
99.s401训练数据集中的图像通过基于信道洗牌的密集卷积神经网络的第一阶段卷积生成特征映射图；
100.s402.在特征映射图中将rgb三个通道中的特征部分进行有序的信息交换，并得到基于信道洗牌的密集卷积神经网络的输出特征；
101.s403.如图6所示，将输出特征图分别经过1
×
1卷积层和上采样处理，并将1x1卷积后的输出特征图与经过上采样的输出特征图进行合并生成对应的融合前的特征图；
102.s404.如图7所示，将输出特征图和融合前的特征图通过金字塔特征网络进行多尺度融合生成待检测图像特征图；本实施例中，将基于信道洗牌的密集卷积神经网络的输出特征表示为{c2、c3、c4、c5}，融合前的特征记为{p2、p3、p4、 p5}，经过金字塔多尺度特征融合记为{n2、n3、n4、n5}待检测图像特征图，将 c2所获得的特征信息直接传入特征图p5和特征图n5获得高分辨率的局部信息，并将p5和c2特征图进行融合(通道数量减少以及将c2特
征图分辨率降低为和 p5同样的分辨率)以及n5和c2特征图进行融合分别进行上采样生成p4和n4。将金字塔网络融合生成的特征图进行自适应池化生成最后的特征图映射。
103.s405.将待检测图像特征图进行自适应池化生成最终的待检测图像特征图。
104.在一个具体实施例中，步骤s5，具体步骤为：
105.s501.对训练数据集中的图像对应的最终的待检测图像特征图中的每一点采用若干种比例不同的锚点设置预定的锚点；
106.s502.将预定的锚点输入区域候选网络中，并生成候选框；
107.s503.结合待检测图像特征图对候选框进行池化；
108.s504.池化后的候选框通过全连接层分别进行分类和边框回归；
109.s505.对池化后的候选框进行全卷积操作，获得其对应的二值掩码；
110.s506.回到步骤a1进行迭代，直到迭代完成，生成待检测图像病灶定位预测框并结束训练。
111.在一个具体实施例中，步骤s502，具体步骤为：
112.a201.将预定的锚点经过区域候选网络的3x3卷积，将卷积后的锚点是分别通过区域候选网络的两个分支；
113.a202.第一个分支通过softmax激活函数将卷积后的锚点进行二值分类，分为含有检测目标的锚点和不含有检测目标的锚点，并将含有检测目标的锚点称为前景，将不含有检测目标的锚点称为后景；
114.a203.第二个分支通过计算卷积后的锚点的边界框回归偏移量获得其对应的候选区域；
115.a204.综合预设的各个锚点对应的前景、候选区域、边界框回归，获取最终的候选区域。
116.本实施例中，计算卷积后的锚点的边界框回归偏移量即通过回归偏移量的函数：l＝lcls+lbox+lmask修正生成检测目标的边界框，回归偏移量的函数即为多任务损失函数；二值掩膜即二进制mask，即当像素属于目标的所有位置上时标识为1，其它位置标识为0。
117.在一个具体实施例中，s503，具体步骤为：
118.a301.将最终候选区域和其对应的待检测图像特征图的像素一一对应，并将待检测图像特征图和其特征映射图一一对应；
119.a302.采用双线性插值来计算每个最终候选区域中的四个定期的采样位置输入特征的精确值，并采用最大值或平均值聚合结果，并获得池化后的候选区域。
120.在一个具体实施例中，调整并验证训练好的掩码区域卷积神经网络，具体为：
121.s601.将验证数据集输入训练好的掩码区域卷积神经网络，获得训练好的掩码区域卷积神经网络的泛化能力，并调整相应的超参数；
122.s602.将有定位标注待检测图像输入调整好掩码区域卷积神经网络中验证其鲁棒性，若鲁棒性不通过则继续调整其超参数。
123.本发明通过迁移学习构建并预训练基于信道洗牌的密集卷积神经网络模型，并通过预处理后的图像数据集，结合金字塔特征网络训练基于信道洗牌的密集卷积神经网络模型，解决了现有的肺炎图像检测方法难以对多个感兴趣区域进行检测和检测准确性低的问题，且具有效率高的特点。
124.实施例4
125.一种基于所述的基于掩码区域卷积神经网络的图像处理方法的应用，所述的图像处理方法应用于肺炎图像中检测目标的定位检测，所述检测目标为肺炎病灶。
126.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。