基于自监督密集卷积神经网络的肝脏肿瘤识别方法

1.本发明属于医学图像识别技术领域，具体涉及基于自监督密集卷积神经网络的肝脏肿瘤识别方法。


背景技术：

2.肝癌(hepatocellular carcinoma,hcc)是世界上死亡率和发病率最高的恶性肿瘤之一，虽然手术切除是治疗肝癌的首选治疗方法，但临床中hcc早期症状通常不明显，绝大多数发现时已处于中晚期，或者由于伴有较重肝硬化、肝功能异常等条件限制，使临床发现的hcc能够获得手术切除机会的不足25％。对于不具备手术切除条件的病人，经肝动脉化疗栓塞术(transarterial chemoembolization,tace))是主要的选择。tace治疗hcc的理论基础是正常肝组织的血供70％
‑
75％来自门静脉，仅25％
‑
30％来自肝动脉。而hcc的血供95％
‑
99％来自肝动脉，结扎或栓塞肝动脉后，肿瘤血供减少90％，而正常肝组织血流量只减少35％
‑
40％，不影响正常肝组织血供。肿瘤组织对于缺血、缺氧敏感性较高，并且由于肿瘤血管多较正常血管增粗，而且血流缓慢，具有虹吸现象，可以使化疗药物和栓塞剂较多地滞留在肝癌血管组织内。为判断药物对癌细胞的治疗效果，需要对医学图像进行病灶区域识别以进行前后对比。
3.目前，b超、ct、mri是临床诊断肝癌的主要手段。多层螺旋ct和mri多期增强扫描在诊断肝癌方面的临床应用更为突出，尤其是mri多期增强扫描在诊断直径<3cm的肝癌方面更能发挥优势。通过mri检查可以发现肝脏病灶区域，前后对比获得tace治疗对病灶的影响，决定下一步的治疗方案，但是这都需要人工识别mri图像上的病灶区域，这种方式比较耗费时间和精力，并且对于同一个医生而言，对于相同的mri图像可能也会给出不同的结果，这对后续医学分析是不利的。
4.鉴于人工分割的不利性，迫切需要一种智能化的图像识别方法以代替人工识别。深度学习在医学图像领域发挥了重要的作用，在医学图像领域，图像分割一般定义为对感兴趣区域的边缘或内部像素点进行识别，以方便对器官、组织或病变区域的形态参数进行定量测量。基于卷积神经网络技术的u
‑
net是目前医学领域著名的神经网络框架，该框架结合了相同数量的上采样层与下采样层，可以实现将整幅图图像在一次正向处理过程中直接生成分割图像，同时保证了高分辨率信息的保存，深度学习在医学图像领域存在训练样本数据不足的问题，因为人工标记大量的数据，并要求相当高的准确率是难以实现的。


技术实现要素：

5.针对现有技术中存在的问题，本发明提供一种基于自监督密集卷积神经网络的肝脏肿瘤识别方法，使用了自监督学习强化学习，能够学习未标记数据的有用表示，提高模型对肝脏mri图像病灶识别的准确率。
6.本发明是通过以下技术方案来实现：
7.一种基于自监督密集卷积神经网络的肝脏肿瘤识别方法，包括以下步骤：
8.步骤1、根据患者的磁共振图像，从多个交叉方向进行切片得到切片数据集{a}；
9.步骤2、对切片数据集{a}进行预处理，对切片数据集中的部分图片进行病灶标注，得到有标注数据集{x}和无标注数据集{y}；
10.步骤3、构建densenet网络并训练，densenet网络包括依次连接的特征提取模块、全连接层和softmax函数，将切片数据集{a}中的每个图片分割为多个图块，并对每个图块进行序号标注，将分割后的图块打乱顺序输入至densenet网络对其进行训练，densenet网络输出每个图块在原始图像中的位置信息；
11.步骤4、构建密集卷积神经网络，包括编码模块和解码模块，将训练好的densenet网络作为编码模块用于特征提取，解码模块为up
‑
sampling模块和denseblock模块的三次堆叠，up
‑
sampling模块和denseblock模块与解码模块的特征提取部分密集连接，并在最后的denseblock模块上连接卷积层和softmax函数；
12.步骤5、将有标注数据集{x}中的每个图像分割为多个图块后作为密集卷积神经网络的输入，对密集卷积神经网络进行训练，编码模块对图块进行整体分类，含有病灶像素的图块进行解码模块的计算，经过softmax函数进行像素级别的二分类判断实现对图像的语义分割，得到该块图像的语义分割结果，不含有标注的病灶像素的图块不进行解码计算直接输出该块图像，解码模块最终将多块图像的输出结果按分割顺序还原，得到标注有病灶位置区域的原始图像。
13.优选的，步骤1中采用两个交叉方向进行切片，并且两个方向相互垂直。
14.优选的，步骤2中对切片数据集{a}进行预处理为图像标准化处理处理，图像标准化处理方法如下：
[0015][0016][0017][0018]
其中，表示未标准化处理前的切片数据集的所有图像数据矩阵，下标i和j表示图像数据矩阵的行和列，下标k表示不同的图像，i和j表示矩阵在行和列的像素个数，k表示图像的总数量，maxp表示所有像素的最大值，minp表示所有像素的最小值，p
i,j,k
表示标准化处理后的切片数据集的所有图像数据矩阵。
[0019]
优选的，步骤3中所述特征提取模块包括卷积层、多个交替连接的denseblock模块和transition模块，卷积层与第一个denseblock模块连接，最后一个denseblock模块上再连接一个卷积层。
[0020]
优选的，步骤3中密集卷积网络采用sgd梯度下降优化算法，使用交叉熵函数计算损失函数，训练过程中采用自适应更新网络学习率的策略。
[0021]
优选的，所述损失函数的计算方法如下：
[0022][0023]
其中，m为图像分割后的数量，label
i,j
表示图像块j所属类别i，predict
i,j
表示图
像块j属于类别i的预测概率。
[0024]
优选的，所述密集卷积神经网络使用sgd梯度下降优化算法，使用交叉熵函数计算损失函数，训练过程中采用自适应更新网络学习率的策略，自监督学习网络的损失函数包括整体判断的分类损失函数l1和像素判断的损失函数l2，训练时监测两者的变化。
[0025]
优选的，所整体判断的分类损失函数l1的计算式如下：
[0026]
l1＝
‑
[label
·
log(predict)+(1
‑
label)
·
log(1
‑
predict)]
[0027]
其中，predict是预测图像存在病灶区域标注的概率，label是样本标签；
[0028]
每一图块的像素判断的损失函数l2方法为单个像素点的损失函数求和，其公式如下：
[0029][0030]
其中，n表示图像的总像素点个数，predict
i
是模型预测图像第i个像素点属于癌细胞的概率，label
i
是第i个像素点的样本标签。
[0031]
与现有技术相比，本发明具有以下有益的技术效果：
[0032]
本发明提供一种基于自监督密集卷积神经网络的肝脏肿瘤识别方法，将患者的医学图像从两个交叉方向进行多次切片，以常规医学切片方向为主方向，再选择与主方向垂直的一个方向为辅方向，从主方向和辅方向这两个垂直方向制作切片，相比于单一方向切片可能存在局部癌细胞在该方向较小而被忽略的问题，从两个方向协同定位癌细胞位置，其次，神经网络训练使用的数据集不仅包括含有标记的病灶区域的mri图像，还包括大量未被标记的mri图像，相比传统仅使用已标注的图像进行神经网络的学习训练，该方法无需过多依赖医学知识、专家经验以及历史数据。引入了自监督的学习方法，为所有mri图像设置了一个“拼图”的上游训练任务，使神经网络能够学习大量未标记数据的有用表示，可有效提高肝癌识别任务的准确度。自监督学习网络编码模块和解码模块都引用了densenet的思想，同时将编码部分和解码部分的特征图进行了密集连结，能够融合多尺寸的特征，提高图片识别的效果，最后，在编码区的结尾设置了全连接层和softmax激活函数用以判断该部分图像是否包括癌细胞，只有判断存在癌细胞的部分参与解码区域的计算，可以有效减少计算量，提高计算效率。
附图说明
[0033]
图1是本发明一种基于自监督的密集卷积神经网络的肝脏肿瘤识别方法的流程示意框架图；
[0034]
图2是本发明的识别方法中构建的密集卷积神经网络的结构示意框图；
[0035]
图3是网络中密集卷积块denseblock的结构示意图；
[0036]
图4是denseblock中卷积块的结构示意图；
[0037]
图5是网络中过渡块transition的结构示意图；
具体实施方式
[0038]
下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
[0039]
参阅图1，一种基于自监督密集卷积神经网络的肝脏肿瘤识别方法，包括以下步骤：
[0040]
步骤1、根据患者的磁共振图像，从两个交叉方向进行切片得到肝脏切片数据集{a}；
[0041]
具体的，使用肝脏核磁共振成像(mri)技术获取医学图像。从两个交叉方向进行切片制作，假定以常规医学切片方向为主方向切m张，从与主方向垂直的方向选择一个方向为辅方向切n张，共计可从一个病人获得m+n张切片，这里m和n假定取10，获取多个病人的mri切片图像得到所需要的肝脏切片数据集{a}。
[0042]
步骤2、对肝脏切片数据集{a}进行预处理，然后对肝脏切片数据集{a}中的部分图片请资深医学专家进行癌细胞标注，使切片数据集{a}分为有癌细胞标注的数据集{x}和无标注的数据集{y}。
[0043]
具体的，对脏切片数据集{a}中的数据进行标准化处理，由于mri图像为灰度图像，图像只有一个通道，图像标准化处理方法如下：
[0044][0045][0046][0047]
其中，表示未标准化处理前的脏切片数据集{a}的所有图像数据矩阵，下标i和j表示图像数据矩阵的行和列，下标k表示不同的图像，i和j表示矩阵在行和列的像素个数，k表示图像的总数量，maxp表示所有像素的最大值，minp表示所有像素的最小值，p
i,j,k
表示标准化处理后的脏切片数据集{a}的所有图像数据矩阵。
[0048]
对数据集{x}的标注图像也采用上述方法进行标准化处理。
[0049]
步骤3、构建densenet网络并训练，densenet网络包括依次连接的特征提取模块、全连接层和softmax函数，将切片数据集{a}中的每个图片分割为多个图块，将分割后的图块打乱顺序输入至densenet网络对其进行训练，densenet网络输出每个图块在整张图像中的位置信息。
[0050]
具体的，为肝脏切片数据集{a}构建自监督学习的上游学习任务，搭建神经网络完成该任务，本发明设置了一个“拼图”任务作为自监督学习的上游任务。将切片数据集{a}按照训练集：验证集＝4进行划分。对于肝脏切片数据集{a}中的每一张图片，对其进行横向纵向分割，假设横向纵向各分割3次，那么这张图片被分为9块，从图片的左上角到右下角，这9块分别以数字1～9进行标注，这种标签是自监督学习设置的人为标签，该标签使用1x9的矩阵表示，比如数字3即在矩阵的第一位为1，其余位填充0，如下为label(3)的表示。
[0051]
label(1)＝[1,0,0,0,0,0,0,0,0]
[0052]
参见图2，densenet网络的结构为：首先是一个3x3的卷积层，然后是denseblock模块和transition模块的三次堆叠，再接一个3x3的卷积层，上述网络层为特征提取网络，在特征提取网络后接全连接层fc1和softmax函数进行分类预测。
[0053]
如图3所示，denseblock模块的网络密集连接方式，包含n个卷积块，对于第n个卷积块其输入input
n
计算如下：
[0054][0055]
其中，x0表示原始输入，x
i
表示第i个卷积块的输出，i为1～n
‑
1。
[0056]
参见图4，卷积块的结构是1x1和3x3的卷积，在卷积之前引入了batchnorm层和激活函数relu层以改善数据分布规律，加速网络收敛速度，解决梯度爆炸的问题。
[0057]
其中，1x1的卷积输出通道深度为48,3x3的卷积输出通道深度为12。
[0058]
denseblock中卷积块的个数可自由设置，本发明中denseblock_1～3中卷积块个数均为16。
[0059]
参见图5，transition模块batchnorm层、relu层、1x1卷积层和2x2的平均池化层组成，用于将图片的尺寸下采样缩小一半。
[0060]
densenet网络的训练方法如下，将一张图像输入，切割为9块并被添加人为标签1～9，然后将9块图片的顺序随机打乱输入上述构建的densenet网络进行学习训练，densenet网络的输出将给出每一图块的预测值，举例说明如下，实际标签为8的图像块，densenet网络预测正确时，输出的数值为8，预测错误将为其他数值。
[0061]
densenet网络训练采用sgd梯度下降优化算法，使用交叉熵函数计算损失函数，训练过程中采用自适应更新网络学习率的策略，当训练误差多次迭代不出现明显更新时，降低学习率。
[0062]“拼图任务”相当于九分类的学习任务，对于一张mri图像输入，其损失函数计算如下式：
[0063][0064]
其中，m为图像分割后的数量，此处m＝9，n为类别个数，n＝9，label
i,j
表示图像块j所属类别i，predict
i,j
表示网络预测的图像块j属于类别i的概率。
[0065]
该densenet网络作为自监督学习上游任务，即“拼图”任务训练完毕后，得到了训练好的densenet网络，该网络的特征提取部分将用于肝癌识别的特征提取部分。
[0066]
步骤4、构建密集卷积神经网络，包括编码模块和解码模块，编码部分为特征提取网络，将训练好的densenet网络作为编码模块用于特征提取。
[0067]
解码模块为up
‑
sampling模块和denseblock模块的三次堆叠，解码的末尾连接1x1卷积层和softmax函数对图片进行语义分割。
[0068]
densenet网络的全连接层和softmax函数对图片进行整体的判断，
[0069]
在编码模块的末尾连接一个全连接层fc2和softmax函数对图片进行整体的判断，同时将编码部分的denseblock_1～3与解码部分的denseblock_4～6进行密集连接，denseblock_1～3的输出被缩放到相同尺寸输入denseblock_4～6。这种编码模块与解码模块的网络密集连接方式起到了补充信息的作用，在高层补充了语义的信息，在底层细化了分割的轮廓，可以提高最终的图像语义分割效果。
[0070]
解码模块的up
‑
sampling层是上采样层，作用是将图片的尺寸放大，通道数减少，在经过最后一层up
‑
sampling层后，图片的尺寸与输入时是一致的，denseblock_4～6中的卷积块个数均为6。
[0071]
步骤5、将有癌细胞标注的数据集{x}按照比例分为训练集和验证集，并将有癌细胞标注的数据集{x}中每个图片分割为多个图块，将训练集的图块作为密集卷积神经网络的输入，对密集卷积神经网络进行训练。
[0072]
具体的，使用有肝癌标注的数据集{x}进行自监督学习的下游任务训练。将数据集{x}按训练集：验证集＝4进行划分，并将训练集中的每张图像别分割为9块，将分割后每块图像作为编码模块的输入，在编码部分的末尾对每个图像块进行一个整体分类，该块图像存在被标注的癌细胞像素，判断为1，若不存在，则判断为0，被判断为1的图像进行后续解码模块的计算，经过softmax函数进行像素级别的二分类判断实现对图像的语义分割，得到该块图像的语义分割结果，被判断为0的图像块不进行解码部分的计算，直接输出该块图像，解码模块最终将9块图像的输出结果按分割顺序还原，得到整张原始图像的语义分割结果，该图像结果标注了肝癌细胞的位置区域，也及时说得到整张mri图像的肝脏癌细胞识别结果。
[0073]
在网络训练过程中使用sgd梯度下降优化算法，使用交叉熵函数计算损失函数，网络训练过程中采用自适应更新网络学习率的策略，当训练误差多次迭代不出现明显更新时，降低学习率。本网络的损失函数包括两部分：整体判断的分类损失函数l1和像素判断的损失函数l2，训练时监测两者的变化。
[0074]
整体分类是二分类问题，对于图像分割后的每一份图像的损失函数计算式如下：
[0075]
l1＝
‑
[label
·
log(predict)+(1
‑
label)
·
log(1
‑
predict)]
[0076]
其中，predict是模型预测图像存在癌细胞标注的概率，label是样本标签，如果图像包含癌细胞，取值为1，否则取值为0。
[0077]
像素判断对于每一个像素点都相当于二分类问题，因此每一小份图像的损失函数计算式为单个像素点的损失函数求和，其公式如下：
[0078][0079]
其中，n表示图像的总像素点个数，predict
i
是模型预测图像第i个像素点属于癌细胞的概率，label
i
是第i个像素点的样本标签，如果像素点属于癌细胞，取值为1，否则取值为0。
[0080]
密集卷积神经网络训练完毕得到用于肝脏肿瘤识别的神经网络模型，使用该密集卷积神经网络对未标注的mri图像进行肝脏癌细胞区域自动识别划分，划分结果可用于医学软件后处理。
[0081]
自监督学习是一种全监督学习模式，其利用数据样本本身的特征，预先设置一个训练任务，使神经网络可以学习到未标记数据的有用表示，然后再去完成目标任务训练，可以有效强化学习。
[0082]
综上所述，本发明提出了一种基于自监督的密集卷积神经网络用于肝脏肿瘤识别，设置了一个“拼图”任务作为自监督的上游训练任务，从大量未经医学标注的图像中学习有用表示，用于下游目标任务的学习训练，以达到自动扩充训练数据样本，减少对专家经验和历史数据的依赖，提升肝脏病灶区域识别准确率的目的。
[0083]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书
的保护范围之内。