一种基于3D断层扫描图数据集的深度学习模型训练方法与流程

本发明涉及信息技术领域，主要涉及信息的筛选和标定，尤其涉及一种采集并标注断层扫描图数据进行数据集建立的方法。

背景技术：

粒子植入全称为“放射性粒子植入治疗技术”，是一种将放射源植入肿瘤内部，让其摧毁肿瘤的治疗手段。粒子植入治疗技术涉及放射源，其核心是放射粒子。现在临床运用的是一种被称为碘125的同位素物质，每个碘125粒子就像一个小太阳，其中心附近的射线最强，可最大限度降低对正常组织的损伤。放射性粒子植入治疗技术主要依靠立体定向系统将放射性粒子准确植入瘤体内，通过微型放射源发出持续、短距离的放射线，使肿瘤组织遭受最大限度的杀伤，而正常组织不损伤或只有微小损伤。专家认为，相比其他肿瘤治疗技术，放射性粒子植入治疗技术本身技术含量并不高、难度并不大。但由于直接植入人体内，而且是放射源，所以要严格把握适应症。

一般在粒子植入时，首先需要对患者的肿瘤区域进行扫描，可通过核磁共振或者ct等设备进行扫描，得到该患者的肿瘤区域图像。然后根据图像进行手动或者电脑靶区绘制，根据绘制好的靶区图进行粒子布局，然后确认粒子深度和粒子数量，同时确认针道位置，再通过该信息制作植入针模板。手术时，将患者固定在ct床上，并植入针模板固定在患者靠近肿瘤的皮肤位置，再将植入针按照预先设计步骤进行穿刺，同时实时通过ct扫描查看植入针位置，再通过设置在植入针上的刻度提供深度参考。当植入针到达指定深度时，开始注入粒子，然后向外拉出植入针，并当达到指定深度后再次注入粒子，直到该植入针上的所有粒子都已注入即可拉出植入针。

鉴于粒子植入治疗技术的特点，通过对患者身体的肿瘤所在区域进行识别和划分，建立起肿瘤区的虚拟模型，便于确定粒子植入的方向、位置以及植入量。当下主要通过拍摄断层扫描图后进行人工描绘的方式来确定肿瘤的形态、位置、大小及与邻近器官、血管的关系，因此即使已经诊断出存在肿瘤，但是需要额外付出很长的时间，才能确定肿瘤的实际参数，进而确定诊治方案，如此将大大延长患者进行诊治的时间，缩小了患者获得痊愈的机会，也增加了患者的痛苦。

因此现有的技术方案对肿瘤的识别判断和确诊效率低下，不能快速实现自动识别，不利于患者的康复，需要对现有的技术方案进行调整优化，提出更为合理的技术方案，解决现有技术中存在的技术问题。

技术实现要素：

本发明提供了一种基于3d断层扫描图数据集的深度学习模型训练方法，旨利用经过标注的断层扫描图建立的数据集，对卷积神经网络模型进行训练，得到训练好的深度学习的卷积神经网络模型，使得当模型接收到新的断层扫描图数据时，能够快速、准确地识别出该断层扫描图上的靶区信息。

为了实现上述效果，本发明所采用的技术方案为：

一种基于3d断层扫描图数据集的深度学习模型训练方法，包括数据集的建立和模型的训练两个步骤，具体地说，按照下列步骤进行：

数据集的建立包括如下步骤：

s01：获取目标部位的若干张断面扫描图；

s02：对获得的断面扫描图进行预处理和标注，将断面扫描图目标组织和非目标组织进行标记以进行区分，如此获得多个标注样本；

s03：将标注样本进行存储，得到数据集；

按照上述步骤得到的数据集，应用于模型训练，模型的训练包括如下步骤：

s04：建立3d卷积神经网络模型；

s05：将标注样本中的信息输入至3d卷积神经模型中进行训练；

s06：所有的标注样本数据均输入至3d卷积神经模型中训练完毕后，输出训练好的3d卷积神经深度学习模型。

进一步的，对上述技术方案中公开的卷积神经网络进行优化，作为一种可行的选择，所述的3d卷积神经网络模型主要采用u-net分割网络与res-net残差网络结合的方式构建。

再进一步，对卷积神经网络模型的工作原理进行解释说明，作为一种可行的选择，所述的卷积神经网络模型包括用于存储特征信息的浅层网络和深层网络，所述浅层网络中存储的特征信息用于补充至深层网络。

进一步的，对上述技术方案中公开的标注步骤进行说明，上述步骤s02中的标注方式为：针对人体目标部位的断层扫描图的目标组织和非目标组织进行标注，区分目标组织和非目标组织。

再进一步，作为可行的选择，所述标注的形式包括轮廓标记和点位标记。

进一步的，上述技术方案中公开的标注直接对断层扫描图上的信息进行标记，所述标注的内容包括坐标信息，所述的坐标信息基于标注所在断层扫描图上的坐标系生成，且用于标记目标组织在断层扫描图上的相对位置。

进一步的，当标记断层扫描图上的坐标时，采用的坐标系为三维笛卡尔坐标系，所述的坐标系为三维笛卡尔坐标系，利用三维笛卡尔坐标系来表示每张断层扫描图上的目标组织和非目标组织的相对位置。

进一步的，标注的内容除开坐标信息，还应对该坐标下的组织进行辨别，因此所述的标注内容还包括识别信息，所述的识别信息用于将当前位置的组织标记为目标组织或非目标组织。

再一步的，对上述技术方案中的识别信息进行优化，所述的识别信息与坐标信息相匹配，当前位置对应组织的识别信息被赋予当前位置对应组织的坐标信息之后。

进一步的，对上述技术方案中的识别信息进行说明，作为一种可行的选择，所述的识别信息通过是与否的方式进行标记，当识别信息与目标组织的坐标信息匹配时，识别信息为“是”；当识别信息与非目标组织的坐标信息匹配时，识别信息为“否”。

与现有技术相比，本发明的有益效果为：

1.本发明通应用于粒子植入中，训练模型后能够实现迅速对断层扫描图的信息识别和获取，快速发现断层扫描图上的便于提高粒子植入的精准度和效率。

2.本发明将经过识别标注的断层扫描图作为标注样本，建立数据集应用于粒子植入中，提高了粒子植入前期准备工作的效率，也便于提高粒子植入的精度。

3.本发明通过对断层扫描图上的目标组织和非目标组织进行标注，将断层扫描图上的目标组织和非目标组织进行直观的区分，便于直接读取识别各个组织，提高了对断层扫描图信息的识别和获取效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅表示出了本发明的部分实施例，因此不应看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1是实施例1中训练深度学习模型的示意图；

图2是实施例2中断面扫描图自动分割的示意图；

图3是实施例2中预处理的示意图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

实施例1

本实施例公开了一种基于3d断层扫描图数据集的深度学习模型训练方法,旨在利用断层扫描图整合数据后建立的数据集，对临床中获取的断层扫描图进行处理，并获得便于后期进行三维模型的建立和模型的学习训练。

如图1所示，训练3d深度学习模型包括建立数据集和训练3d深度学习模型的步骤。

其中建立数据集包括如下步骤：

s01：通过医院和网络获取目标部位的若干张断面扫描图；

s02：对获得的断面扫描图进行预处理和标注，将断面扫描图目标组织和非目标组织进行标记以进行区分，如此获得多个标注样本；

s03：将标注样本进行存储，得到数据集。

训练3d深度学习模型还需要下述训练步骤：

s04：建立3d卷积神经网络模型；

s05：将标注样本中的信息输入至3d卷积神经模型中进行训练；

s06：所有的标注样本数据均输入至3d卷积神经模型中训练完毕后，输出训练好的3d卷积神经深度学习模型。

在上述训练过程中，标注样本数据是指单张断层扫描图上的标注信息，在3d卷积神经模型中进行训练时提供断层扫描图上的三维坐标信息和识别信息。

具体的，卷积神经网络模型主要采用u-net分割网络与res-net残差网络结合的方式构建。所述的卷积神经网络模型包括用于存储特征信息的浅层网络和深层网络，所述浅层网络中存储的特征信息用于补充至深层网络，其中模型的浅层网络主要保存了断层扫描图中像素的坐标信息，深层网络主要保存了断层扫描图中像素的识别信息，利用u-net网络融合res-net网络的模型搭建方式可以将浅层网络的信息补充给深层网络，保证了图像像素分割的定位精确性以及分类准确性；同时，res-net网络结构改变了网络模型学习的目标，由学习模型的输出变为学习输入和输出的差别，这降低了网络模型的学习难度，利于模型更快的收敛。

本实施例中提供一种具体的方法，在进行3d卷积神经网络模型训练之前，将标注信息中的三维数据切为像素256*256*256(或128*128*128、64*64*64)的3d立方块数据用于训练。因为三维数据包含切片层与层之间的信息，利用三维数据进行3d卷积神经网络训练，可以提高结果的精确性。

此外，本实施例中以256*256*256三维立方块单元为例，3d卷积神经网络模型设计的总体层数达160层，具体为：对256*256*256立方块单元进行卷积+bn+maxpool，以提取特征得到特征图，中间结合使用残差网络(res-net)添加残差块；提取特征缩小特征图到16*16*16，通道增加到64；再使用反卷积结合残差方法将特征图放大到256*256*256，在反卷积放大特征图的过程中，使用u-net网络中的cat方法合并之前同位置的特征图，最后得到分割出的目标图。

经过上述处理步骤得到的所述3d深度学习模型，能够还原出目标部位内部的目标组织和非目标组织的原本形态、位置信息以及相互关系，帮助理解目标部位的目标组织当前状态，在进行实际的诊断分析过程中帮助人们了解和分析病情。

追溯上述建立数据集和训练3d深度学习模型的步骤，两次涉及获取断层扫描图，上述步骤s01中，断层扫描图从网络获取，将大数据中存在的若干目标区域的断层扫描图作为处理的素材，最终将这些素材处理后作为样本使用。上述步骤s04中，用于模型建立的断层扫描图的扫描位置穿过目标部位的目标组织和非目标组织，目标组织和非目标组织的断面轮廓或断面位置均被断层扫描图记录。获取断层扫描图的方式包括但不限于b超、ct(computedtomography，电子计算机断层扫描)、ect(emissioncomputedtomography，发射型计算机断层扫描)、mri(magneticresonanceimaging，磁共振成像)等影像技术，通过对人体对应部位进行连续扫描和成像，获得若干张人体对应部位的断层扫描图，每张断层扫描图记录其穿过部位的横截面影像，用以表达人体该位置的内部组织的相对位置关系。

同时，在上述步骤s02中，具体的标注过程通过此种方式实现：针对人体目标部位的断层扫描图的目标组织和非目标组织进行标注，尤其是对目标组织进行区别标注。

上述标注过程中，标注的形式包括轮廓标记和点位标记。所述的轮廓标记通过勾勒描线或描点连线的方式在断层扫描图上选定封闭的区域，该封闭的区域即为目标组织；所述的点位标记通过描点的方式在断层扫描图上标记出选定的点位，该选定点位所在处即为目标组织。

具体的，本实施例中目标部位选定为肺部，目标组织为肺部的肿瘤组织和肺部的血管组织，因此对肿瘤组织和血管组织均进行标注，且对肿瘤组织采用轮廓标记的形式，对血管组织采用点位标记的形式。则在完成标注后，所述的轮廓即为目标部位的肿瘤在该断面扫描图位置处的断面轮廓，所述的点位即为目标部位内部的血管在该断面扫描图位置处的断面点位；所述的目标部位处肺部轮廓区域即为目标区域，肺部轮廓以外的区域即为非目标区域。

上述标注过程中，标注的内容包括坐标信息和识别信息，所述的坐标信息基于标注所在断层扫描图上的坐标系生成，且用于标记目标组织在断层扫描图上的相对位置。一般情况下，所述的断层扫描图上采用二维笛卡尔坐标系确定坐标信息，并利用坐标信息x(x，y)表示目标组织和非目标组织的位置；同时采用y(a)表示识别信息并将识别信息赋予目标组织和非目标组织对应的坐标信息之后。识别信息中采用“是”与“否”进行标记，当识别信息与目标组织的坐标信息匹配时，识别信息为“是”；当识别信息与非目标组织的坐标信息匹配时，识别信息为“否”。本实施例中，a＝1则表示为“是”；a＝0则表示为“否”。

以上标注的过程实现单张断层扫描图上的二维坐标标注，当存在按序排布的多张断层扫描图时，利用三维笛卡尔坐标系来表示每张断层扫描图上的目标组织和非目标组织的位置，即采用x(x，y，z)来表示目标组织和非目标组织的位置；同时识别信息按照相同的方式匹配至坐标信息之后。

实施例2

本实施例在上述实施例的基础上进行应用，利用输出的深度学习模型实现进行断面扫描图的分割，具体地说，本实施例公开了一种基于病灶断层扫描图进行自动分割的方法,旨在利用断层扫描图整合数据后建立的数据集，对临床中获取的断层扫描图进行处理，通过掩膜消除非目标区域和噪音区域，将目标区域中的图像进行针对性的提取使用。

如图2所示，具体的，对扫描图实现分割需要在网络模型中实现，前期建立网络模型的步骤包括：

s01：通过医院和网络获取目标部位的若干张断面扫描图；

s02：对获得的断面扫描图进行预处理和标注，将断面扫描图目标组织和非目标组织进行标记以进行区分，如此获得多个标注样本；

在该步骤中，具体的标注方法为：由经验丰富的医生在目标区域的断层扫描图上标注目标部位的断面轮廓或端面位置。标注该目标区域上目标部位的断面轮廓或断面位置目的在于提高其断面轮廓的识别显著性，同时便于后续掩膜制作，从断层扫描图中分离病灶靶区和正常组织区域。

具体的标注过程通过此种方式实现：针对人体目标部位的断层扫描图的目标组织和非目标组织进行标注，尤其是对目标组织进行区别标注。

上述标注过程中，标注的形式包括轮廓标记和点位标记。所述的轮廓标记通过勾勒描线或描点连线的方式在断层扫描图上选定封闭的区域，该封闭的区域即为目标组织；所述的点位标记通过描点的方式在断层扫描图上标记出选定的点位，该选定点位所在处即为目标组织。

上述标注过程中，标注的内容包括坐标信息和识别信息，所述的坐标信息基于标注所在断层扫描图上的坐标系生成，且用于标记目标组织在断层扫描图上的相对位置。一般情况下，所述的断层扫描图上采用二维笛卡尔坐标系确定坐标信息，并利用坐标信息x(x，y)表示目标组织和非目标组织的位置；同时采用y(a)表示识别信息并将识别信息赋予目标组织和非目标组织对应的坐标信息之后。识别信息中采用“是”与“否”进行标记，当识别信息与目标组织的坐标信息匹配时，识别信息为“是”；当识别信息与非目标组织的坐标信息匹配时，识别信息为“否”。本实施例中，a＝1则表示为“是”；a＝0则表示为“否”。

s03：将标注样本进行存储，得到数据集；

s04：建立卷积神经网络模型；

s05：将标注样本中的信息输入至卷积神经模型中进行训练；

s06：所有的标注样本数据均输入至卷积神经模型中训练完毕后，输出训练好的卷积神经深度学习模型。

s07：对需要分割的断层扫描图进行预处理，在断层扫描图上进行区域划分，将断层扫描图划分出目标区域和非目标区域，使得目标区域和非目标区域可通过视觉进行区分，如图3所示，预处理过程具体通过如下方式实现：

s071：标准化图像的像素值，并对像素值做概率密度分布；

s072：根据像素值的分布找到不同区域组织之间的分界，区分目标区域和非目标区域；

具体的，该步骤采用k-means算法对像素值进行聚类，聚类的类别为2，找到目标组织和非目标组织的像素分界点，并对高于临界点的值赋值为0，低于临界点的值赋值为1。

s073：使目标区域连接为整体，制作断层扫描图掩膜；

具体的，该步骤通过形态学处理中的腐蚀处理和膨胀处理，使目标区域尽可能连在一起，并尽可能的消除目标区域中的特定色值部分，以完成目标区域的掩膜的制作。

s074：将原始三维数据点乘对应的目标区域的图像掩膜信息即可得到只有目标区域图像的数据。

在上述预处理过程中，采用一种更为确切的区域划分方式，可以确定的是，目标部位中目标区域的断面轮廓为封闭的图形，该断面轮廓内部即为同种组织，同种组织在断层扫描图上的成像色值应该相同或近似，而断面轮廓的外部应为异于断面轮廓内部的组织，其成像色值与断面轮廓内部组织的成像色值不同，二者以断面轮廓为界呈现明显不同的色值。因此，通过色值识别记录将断层扫描图上的断面轮廓内外的不同颜色色值进行区分和标记，将色值与目标组织的色值相差在一定范围内的区域识别为目标组织，将其余色值的区域识别为非目标组织。

实际情况中存在目标组织将非目标组织的血管或其他组织包围的情况，在这种情况下，断面扫描图穿过该非目标组织时的成像将出现目标组织的断面轮廓中间存在非目标组织的色值区域，该色值区域内的组织为被目标组织包围的非目标组织。

对断层扫描图上的点进行坐标定义，并将每个点的坐标值与其在步骤s02中的标注相匹配结合。

该标注过程包括平面坐标的标注和三维坐标的标注。其中，在单张断层扫描图上进行平面坐标的标注，每张断层扫描图的尺寸和像素值均调整为标准值，并建立相同的平面坐标系，利用(x，y)坐标对每张断层扫描图上的点进行对应标注，因此位于一条垂直于断层扫描图的直线上的所有点的(x，y)坐标值相同。同时，多张断层扫描图沿该条垂直于断层扫描图平面的直线均匀间隔分布，并按该直线方向建立z轴，对每张断层扫描图上的点赋予三维坐标系的z轴坐标值，位于同一断面扫描图上的点的z轴坐标均相同。

将若干张断层扫描图按照上述方案进行标记后，导入至训练好的模型中，供模型读取、识别和存储，将所有的目标组织对应的色值和所有非目标组织对应的色值进行收集整理，得出目标组织对应的色值区间和非目标组织对应的色值区间，以此作为评定目标组织和非目标组织的标准。

为了便于区分，提高不同组织对应区域的对比度，在本实施例中采用灰度值区分断层扫描图上的目标区域和非目标区域。具体的，采用rgb色值标记灰度值，并将断层扫描图上某一点处的灰度值标记为(a，a，a)，且预设的目标组织的灰度值最低值为(k，k，k)，当识别得断层扫描图上某一点的灰度值数据a≤k时，将该点标记为目标组织对应点；当识别得断层扫描图上某一点的灰度值数据a＞k时，将该点标记为非目标组织对应点。

s08：将经过预处理的断层扫描图数据信息输入至训练好的卷积神经深度学习模型中，并输出分割好的立方块数据。

以上即为本发明列举的几种实施方式，但本发明不局限于上述可选的实施方式，在不相矛盾的情况下，上述技术特征可进行任意组合得到新的技术方案，且本领域技术人员可根据上述方式相互任意组合得到其他多种实施方式，任何人在本发明的启示下都可得出其他各种形式的实施方式。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。