胸腹图像识别模型的训练方法及设备与流程

1.本发明涉及数字化医疗技术领域，具体涉及一种胸腹图像识别模型的训练方法及设备。


背景技术：

2.随着现代计算机技术的高速发展，数字化诊疗在医学领域发挥着越来越重要的作用。为了非侵入式地观察患者身体内部实际情况，各式各样的医学影像成像技术在临床中开始被广泛使用。不同模态的医学影像，具有不同的成像特点，如计算机断层扫描（computed tomography，ct）影像可以用来诊断肌肉和骨组织有关失常，不同时期的核磁共振成像（magnetic resonance imaging，mri）影像能提供软组织有关的信息。直接观察相应影像进行诊断要求医生具备相关专业知识以及丰富的经验，而全自动多模态医疗影像分割是从医疗影像勾勒出医生的感兴趣目标如细胞、组织、血管和器官等，因此医学影像分割可在一定程度上减轻医生工作量，降低观察医学影像所需经验，辅助医生更好地进行诊断，为后续的手术规划以及手术导航等做准备，并在一定程度上能提升后续的手术成功率。
3.然而，训练一个精度高的全监督深度神经网络往往需要大量带标注的数据。与此同时，分割任务可以视为给待分割影像中每个像素或体素指定标签的过程。相比于分类、检测、关键点定位等任务，逐像素的分割标注往往需要耗费标注人员更多的时间与精力；在此基础上，不同于二维自然图像标注，ct、mri 等模态的医学影像是三维影像，在蕴含更加丰富的信息的同时，成像设备拍摄时噪音和干扰比较大，不同组织器官的边界模糊，如胸腹ct、mri 等各种模态的医学影像，对其中某些特定目标的标注极度依赖专业人员，标注时间长且十分费力，标注成本十分高昂，有标注的胸腹医学影像数据也往往更加稀少。因此，训练一个精度高的全监督深度网络在医学领域很难实现。


技术实现要素：

4.有鉴于此，本发明提供一种胸腹图像识别模型的训练方法，包括：获取训练数据，包括有标签的胸腹图像和无标签的胸腹图像，所述标签是针对所述胸腹图像中的感兴趣目标的标注信息，所述感兴趣目标为组织器官或者病灶；利用神经网络模型对所述胸腹图像进行识别，所述神经网络模型包括教师网络和学生网络，所述教师网络和所述学生网络分别对所述无标签的胸腹图像进行识别，分别输出用于表征所述感兴趣目标的第一识别结果；所述学生网络还对所述有标签的胸腹图像进行识别，输出用于表征所述感兴趣目标的第二识别结果；所述教师网络还对多个加入扰动数据的所述胸腹图像进行识别，输出用于表征所述感兴趣目标的第三识别结果，并根据多个所述第三识别结果计算不确定性数据；基于所述不确定性数据和所述教师网络输出的第一识别结果，确定所述感兴趣目标的边界体素，在所述第一识别结果中提取至少部分所述边界体素的特征数据，进而计算边界对比损失，根据所述教师网络和所述学生网络输出的第一识别结果以及所述不确定
性数据计算一致性损失，根据所述第二识别结果和所述标签的差异计算有监督损失；根据边界对比损失、一致性损失和有监督损失计算整体损失，并基于所述整体损失更新所述神经网络模型的参数。
5.可选地，所述教师网络和所述学生网络分别包括一个编码器和两个解码器，所述两个解码器并行输出所述第一识别结果、所述第二识别结果和所述第三识别结果；在计算所述对比损失和所述一致性损失时，所述教师网络和所述学生网络的两个解码器被配置为交叉对应。
6.可选地，所述教师网络的所述参数利用所述学生网络的所述参数计算得到：其中，是所述教师网络在第t个训练时刻的所述参数，是所述教师网络在第个训练时刻的所述参数，是所述学生网络在t个训练时刻的所述参数，是控制移动平均的程度系数。
7.可选地，所述第一识别结果、所述第二识别结果和所述第三识别结果分别包括针对所述感兴趣目标的分割结果、每个体素到感兴趣目标边缘的距离以及高层特征数据。
8.可选地，所述不确定性数据包括分割结果不确定性数据和距离不确定性数据。
9.可选地，确定所述感兴趣目标的边界体素，在所述第一识别结果中提取至少部分所述边界体素的特征数据，具体包括：利用所述分割结果不确定性数据和预设不确定性阈值对所述教师网络输出的第一识别结果中的分割结果所指示的感兴趣目标的边界体素进行筛选，得到高置信度的边界体素集合；对所述高置信度的边界体素集合中进一步选取部分边界体素；分别所述学生网络和所述教师网络输出的高层特征数据中提取所述部分边界体素的高层特征数据。
10.可选地，计算边界对比损失，具体包括：从所述学生网络输出的高层特征数据中提取部分背景体素的高层特征数据；利用所述部分边界体素的高层特征数据和所述部分背景体素的高层特征数据计算所述边界对比损失。
11.可选地，根据所述教师网络和所述学生网络输出的第一识别结果以及所述不确定性数据计算一致性损失，具体包括：根据所述教师网络和所述学生网络输出的分割结果计算分割损失；根据所述教师网络和所述学生网络输出的每个体素到感兴趣目标边缘的距离计
算距离损失；利用分割结果不确定性数据、距离不确定性数据、分割损失和距离损失计算一致性损失。
12.可选地，整体损失计算方式为，其中为所述整体损失，为预设系数。
13.相应地，本发明提供一种胸腹图像识别模型的训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述胸腹图像识别模型的训练方法。
14.根据本发明实施例提供的胸腹图像识别模型的训练方法及设备，本方案减轻了教师网络和学生网络耦合的问题，可以获得更好的潜在特征表示以及获得更好的伪标签，同时保证了模型在输入微小扰动时输出的一致性；本分案的边界对比机制，针对胸腹图像中的感兴趣目标边界容易识别错误的问题，在高维特征空间上着重对边界点特征进行采样，引入特征级对比损失，区分感兴趣目标和背景，从而在特征级别施加形状约束并保证模型区分不同类别并聚簇的对比性；本方案还使用了不确定估计运算，将不确定性数据用于计算一致性损失和边界对比损失，能够保证模型更加鲁棒地进行学习。采用本方案时用户只需要获得少量有标注的胸腹图像数据，结合无标注数据即可训练得到具有较高识别准确性的神经网络模型，在实现半监督训练的同时，使训练出的模型具有较高的识别准确性。
附图说明
15.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例中的识别模型的训练过程示意图；图2为本发明实施例中一种优选的教师网络和学生网络的结构示意图；图3为本发明实施例中采集正样本的过程示意图。
具体实施方式
17.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
19.本发明实施例提供一种胸腹图像识别模型的训练方法，本技术所述识别模型是指
基于神经网络结果的模型，模型包括一个教师网络和一个学生网络。这两个网络的结构可以是完全相同的，比如分别包括编码器和解码器。
20.本方案所使用的训练数据，包括有标签的胸腹图像和无标签的胸腹图像，标签是针对胸腹图像中的感兴趣目标的标注信息。
21.感兴趣目标可以是组织器官或者病灶，具体根据临床需求选择具有相应标注的胸腹图像。有标签的胸腹图像，即预先由人工对图像进行观察并确定其中的某种感兴趣目标（具体可以是肺叶、心房、血管、肿瘤或其它病灶等等），然后使用标注工具在图像中标记其范围。
22.胸腹图像具体可以是mri（magnetic resonance imaging，磁共振成像）或者ct（computed tomography，计算机断层扫描）图像，也可以是超声图像。从这类图像中识别出组织器官或者病灶的一个主要目的是进行手术规划，比如制定针对病灶的穿刺路径，避开血管或其它重要器官。
23.在一个实施例中，为了扩充训练数据的数量，对原始的胸腹图像进行了数据增强以产生更多的样本。比如对原始的胸腹图像进行明暗度调整、旋转和水平翻转180度等操作来增广数据。
24.然后，将扩增后的胸腹图像集按照4比1比例随机分割分别获得训练集和测试集；并对训练集按照1比4划分为有标注训练数据集和无标注训练数据集。
25.完整的胸腹图像尺寸较大，考虑到运算成本和硬件成本的问题，实际训练时还需要对完整图像进行采样后输入神经网络模型。比如可以对多个胸腹ct图像采样得到4个长、宽和深度分别为128、128和96大小的训练数据块，其中两个为有标注数据，剩余2个为无标注数据，将有标注数据和无标注数据加入强变换（色彩变换以及剪切等）后作为学生网络的输入，将训练数据块加入微小高斯随机噪声作为教师网络的输入。
26.如图1所示，训练过程中神经网络模型对胸腹图像进行识别，其中教师网络和学生网络分别对无标签的胸腹图像进行识别，分别输出用于表征感兴趣目标的第一识别结果；学生网络还对有标签的胸腹图像进行识别，输出用于表征感兴趣目标的第二识别结果；教师网络还对多个加入扰动数据的胸腹图像进行识别，输出用于表征感兴趣目标的第三识别结果，并根据多个第三识别结果计算不确定性数据；基于不确定性数据和教师网络输出的第一识别结果，确定感兴趣目标的边界体素，在第一识别结果中提取至少部分边界体素的特征数据，进而计算边界对比损失，根据教师网络和学生网络输出的第一识别结果以及不确定性数据计算一致性损失，根据第二识别结果和标签的差异计算有监督损失。
27.根据边界对比损失、一致性损失和有监督损失计算整体损失，并基于整体损失更新神经网络模型的参数。在具体实施例中，整体损失计算方式为，其中为所述整体损失，为预设系数。
28.基于整体损失，使用随机梯度下降更新学生网络参数，并使用更新后的学生网络参数以某种方式更新教师网络参数，其初始学习率为10-3，学习率每隔2000次迭代次数变为1/10。
29.关于教师网络的参数与学生网络的参数的关系，具体可以采用移动平均的方式进
行计算：，其中是教师网络在第t个训练时刻的参数，是教师网络在第个训练时刻的参数，是学生网络在t个训练时刻的参数，是控制移动平均的程度系数。
30.需要说明的是，上述整体损失的计算方式和教师网络的参数与学生网络的参数关系，只是具体实施过程中所选用的方式，并不表示该计算方式是唯一可选的。
31.如图2所示，在优选实施例中，教师网络和学生网络分别包括一个编码器和两个解码器，两个解码器并行输出第一识别结果、第二识别结果和第三识别结果。在计算对比损失和一致性损失时，教师网络和学生网络的两个解码器被配置为交叉对应。也就是在无标注数据上，教师网络的输出以一种交替的方式监督学生网络，即第一个解码器（解码器）的输出监督学生网络第二个解码器（解码器），第二个解码器（解码器）的输出监督学生网络第一个解码器（解码器）。
32.进一步地，本实施例的教师网络和学生网络被配置为执行三种识别任务，即输出针对感兴趣目标的分割结果、每个体素到感兴趣目标边缘的距离以及高层特征数据，因此每个解码器都有三种输出结果。其中高层特征数据也称为特征图（feature map），是一种高维特征向量（n维矩阵），是神经网络中处于较高的层对图像提取的特征是指体素到感兴趣目标边界的距离（欧氏距离）,举例来说，位于感兴趣目标以外的体素其为正、位于感兴趣目标以内的体素其为负、感兴趣目标边界体素的为0。关于感兴趣目标的分割结果，也可称之为分割图，具体是图像的每个体素属于感兴趣目标的概率，数值范围为0到1。为了保证网络的低熵性质，即网络输出比较确定的结果，最终输出的分割结果是在原始的概率分布基础上经过了一个锐化函数后得到的：其中表示最终的分割结果，为原始的概率，为设定值。
33.相应地，在计算不确定性数据时要计算分割任务的不确定性数据和任务的不确定性数据。具体地，本实施例使用蒙特卡洛随机丢失并让某些神经单元不参与运算，对教师网络输入加入细微扰动的数据并进行计算，重复此计算过程
퐾
次，从而得到一系列分割任务和预测任务的输出结果，并使用分割结果的熵作为分割不确定性，使用sdf预测结果的方差近似sdf预测不确定性：
计算出的不确定性数据用于对相应的损失函数进行加权。
34.关于上述边界对比，结合图3所示，本发明提供一种优选实施方式，具体包括如下操作：利用分割结果不确定性数据和预设不确定性阈值对教师网络输出的第一识别结果中的分割结果所指示的感兴趣目标的边界体素进行筛选，得到高置信度的边界体素集合，从而提高边界采样策略的鲁棒性。
35.紧接着，由于三维胸腹图像中边缘点往往很多，为了限制最终采样的边缘点的数量，在本实施例中会生成一个随机遮罩，只从上一步得到的高置信度边缘点（体素）中选取一小部分参与后续计算，即对高置信度的边界体素集合中进一步选取部分边界体素，由此节省计算设备的gpu显存。
36.将最终选取的边界体素称为锚点，进而可以得到锚点点集对应的坐标。然后，从学生网络的高层特征输出中采样得到对应的锚点特征向量集合，并从对应教师网络高层特征输出中采样得到正样本特征集合。即分别学生网络和教师网络输出的高层特征数据中提取上述部分边界体素的高层特征数据，进而计算边界对比损失。
37.本实施例计算边界对比损失时还需要获得负样本的特征参与计算。具体地，从学生网络输出的高层特征数据中提取部分背景体素的高层特征数据，所谓背景是指感兴趣目标以外的区域，可以采用随机采样的方式选取背景体素，并获得相应的高层特征数据。
38.然后利用上述部分边界体素的高层特征数据和部分背景体素的高层特征数据计算边界对比损失。具体采用了特征级对比损失infonce:其中，代表特征级边界对比损失，是从学生网络输出的特征图上对前景边界采样得到的锚点的特征向量（高层特征数据），代表教师网络特征图中与锚点对应的特征向量（高层特征数据），表示从学生网络特征图上更具伪标签随机采样背景体素得到的负特征向量（高层特征数据）。
39.关于本方案中的一致性损失，其用于衡量教师网络和学生网络针对同一个无标注胸腹图像执行相同识别任务时输出结果的一致性。由于本方案的两个网络执行了两个任务，即预测分割结果和预测每个体素到感兴趣目标边缘的距离，所以要分别计算这两个任
务的一致性，同时还要使用上述分割结果不确定性数据、距离不确定性数据参与计算。所以计算一致性损失具体包括：根据教师网络和学生网络输出的分割结果计算分割损失；根据教师网络和学生网络输出的每个体素到感兴趣目标边缘的距离计算距离损失；利用分割结果不确定性数据、距离不确定性数据、分割损失和距离损失计算一致性损失，在具体实施例中采用如下方式计算：；其中
“”
表示两矩阵数据相乘与取平均的复合运算，和采用均方误差损失计算方式得到。
40.根据上述各实施例对神经网络模型训练完成后，即可使用其中的教师网络对待识别的胸腹图像进行识别，需要说明的是，如果采用图2所示的网络结构，则可以将两个解码器的输出结果进行平均，得到最终的识别结果。
41.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
42.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
43.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
44.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
45.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对
于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。