基于transform注意力机制的肺结节检测方法及装置

1.本发明涉及医学图像处理技术领域，更具体地说，涉及一种基于transform注意力机制的肺结节检测方法及装置。


背景技术：

2.肺癌是癌症死亡的主要原因，因此早期发现和治疗至关重要。判断肺部是否存在肺结节是判定癌症的一项有力指标。目前，可以借助胸部薄层(thin－section，ct)图像，判断是否存在肺结节，这大大增加了医生的工作量。为减轻医生的负担，实现对ct图像中肺结节的自动识别已成为非常关键的技术，目前的肺结节检测技术中，基于卷积神经网络(convolutionalneuralnetwork，cnn)识别ct图像中的肺结节，但是由于肺结节的变化多样，有各种大小，各种形状，并且ct图像中存在很多容易跟肺结节混淆的物体，导致检测灵敏度不高且检测的结果中的假阳性较高。


技术实现要素：

3.本发明的目的在于提出一种基于transform注意力机制的肺结节检测方法及装置，以解决现有技术中肺部图像的肺结节自动识别的灵敏度不高，检测结果不准确的问题。
4.本发明的上述技术目的是通过以下技术方案得以实现的：
5.在第一方面，本技术实施例提供了一种基于transform注意力机制的肺结节检测方法，所述方法包括以下步骤：
6.获取3d肺部图像，对所述3d肺部图像进行预处理；
7.构建transformer自注意力机制的肺结节检测模型；
8.输入所述3d肺部图像至训练和测试后的所述肺结节检测模型；
9.利用所述肺结节检测模型对所述3d肺部图像进行结节检测，输出肺结节候选区域；
10.消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。
11.在其中一些实施例中，所述构建transformer自注意力机制的肺结节检测模型之前，还包括：
12.获取原始数据集，并对所述原始数据集进行预处理；
13.利用预处理后的原始数据集对肺结节检测模型进行训练和测试。
14.在其中一些实施例中，所述预处理包括：数据清洗、图像翻转、颜色变换、去均值、归一化、标准化中的至少一种。
15.在其中一些实施例中，所述对所述3d肺部图像进行预处理，包括：
16.对所述3d肺部图像进行灰度化处理，得到灰度图像。
17.在其中一些实施例中，所述利用所述肺结节检测模型对所述3d肺部图像进行结节检测，输出肺结节候选区域，包括：
18.对所述灰度图像进行堆叠，其中，将连续层叠的m层所述灰度图像按照预设策略堆
叠生成一层紧凑图像；m的取值为正整数；
19.将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径；
20.将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，得到肺结节候选区域并输出。
21.在其中一些实施例中，所述消除所述肺结节候选区域的非结节区域，得到肺结节检测结果，包括：
22.提取所述肺结节候选区域中候选结节的3d特征；
23.以候选结节的中心为球心，产生有序均匀视点；
24.确定对所述候选结节中心且与视线垂直的平面上的图像作为所述视点的2d再生图像；
25.对每个所述2d再生图像，使用基于区域的活动轮廓模型对所述候选结节进行分割；
26.计算各分割区域图像的2d特征；
27.使用所述2d特征和所述3d特征对候选结节进行分类，区分候选结节为肺结节或假阳性结节；
28.消除假阳性结节区域，输出肺结节检测结果。
29.在第二方面，本技术实施例提供了一种基于transform注意力机制的肺结节检测装置，包括：
30.图像处理模块，用于获取3d肺部图像，对所述3d肺部图像进行预处理；
31.模型构建模块，用于构建transformer自注意力机制的肺结节检测模型；
32.图像检测模块，用于输入所述3d肺部图像至训练和测试后的所述肺结节检测模型；
33.结节检测模块，用于利用所述肺结节检测模型对所述3d肺部图像进行结节检测，输出肺结节候选区域；
34.结果生成模块，消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。
35.在第三方面，本技术实施例提供了一种计算机设备，包括存储器以及一个或多个处理器；
36.所述存储器，用于存储一个或多个程序；
37.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于transform注意力机制的肺结节检测方法。
38.在第四方面，本技术实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于transform注意力机制的肺结节检测方法。
39.本发明的有益效果是：本发明获取3d肺部图像，对所述3d肺部图像进行预处理；构建transformer自注意力机制的肺结节检测模型；输入所述3d肺部图像至训练和测试后的所述肺结节检测模型；利用所述肺结节检测模型对所述3d肺部图像进行结节检测，输出肺结节候选区域；消除所述肺结节候选区域的非结节区域，得到肺结节检测结果；实现对肺部
图像的肺结节自动检测，灵敏度高，准确性强，效率高。
附图说明
40.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
41.图1是一种基于transform注意力机制的肺结节检测方法的步骤示意图；
42.图2是一种基于transform注意力机制的肺结节检测方法的步骤400的具体示意图；
43.图3是一种基于transform注意力机制的肺结节检测装置的结构示意图；
44.图4是一种基于transform注意力机制的肺结节检测方法的计算机设备示意图。
具体实施方式
45.下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
46.请参照图1，示出了本发明的一种基于transform注意力机制的肺结节检测方法，所述方法包括以下步骤：
47.100、获取3d肺部图像，对所述3d肺部图像进行预处理；
48.具体的，对所述3d肺部图像进行灰度化处理，得到灰度图像。可以理解的是，对图像进行灰度处理的方式有多种，本技术实施例对此不做限定。
49.200、构建transformer自注意力机制的肺结节检测模型；
50.其中，构建transformer自注意力机制的肺结节检测模型之前，先获取原始数据集，并对所述原始数据集进行预处理；利用预处理后的原始数据集对肺结节检测模型进行训练和测试。
51.可选的，对原始数据集进行预处理包括：数据清洗、图像翻转、颜色变换、去均值、归一化、标准化中的至少一种。
52.具体的，基于2dfasterr
‑
cnn网络的候选生成器和基于3dcnn网络的fpr模型，生成肺结节检测模型。将预处理后的所述原始数据集分为图像训练集和图像测试集；利用所述图像训练集的第一部分图像对所述肺结节检测模型进行训练；将所述图像测试集输入到训练后的肺结节检测模型中，得到所述图像测试集的预测分类结果；利用自主学习算法根据所述预测分类结果得到所述图像测试集中满足预设条件的图像，并对其进行实际分类；利用所述满足预设条件的图像及其对应的实际分类结果以及所述图像训练集的所述第一部分图像对上一次训练后的肺结节检测模型进行再次训练；利用所述图像训练集的第二部分图像对再次训练后的肺结节检测模型进行测试，以确认所述肺结节检测模型的预测分类结果满足预设精度。
53.300、输入所述3d肺部图像至训练和测试后的所述肺结节检测模型。
54.400、利用所述肺结节检测模型对所述3d肺部图像进行结节检测，输出肺结节候选区域，请参照图2：
55.401、对所述灰度图像进行堆叠，其中，将连续层叠的m层所述灰度图像按照预设策
略堆叠生成一层紧凑图像；m的取值为正整数。
56.402、将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径。
57.一般，模型中提取的区域以矩形边框标识。其中，肺结节的位置可以通过标识肺结节所在区域的矩形边框的对角两个像素点的坐标表示。实施中，实际肺结节所在区域以正方形标识，每条边的长度相等，通常也称为直径。因此，实际肺结节的标注包括肺结节的位置和直径。
58.其中，背景区域、肺结节候选区域和假阳性候选区域是按照预测的肺结节候选区域的矩形，与标识实际肺结节的正方形的重合度来分类的。
59.403、将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，得到肺结节候选区域并输出。
60.将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域，输入fpr模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
61.其中，对比时，如果肺结候选区域的矩形与实际肺结节的正方形的重合度高于阈值，则将该候选区域分类为肺结节候选区域，低于阈值，则将该候选区域分类为假阳性候选区域。
62.其中，肺结节的位置中心可以是标识肺结节所在区域的矩形边框的中心。
63.其中，回归平移矢量是指找到模型的一套参数，使其能够准确预测出分类输出的肺结节的位置中心移动向实际肺结节的位置中心移动的向量。
64.基于此，本实施例中，肺结节检测模型至少包括基于2dfasterr－cnn网络的候选生成器和基于3dcnn网络的fpr模型，其中，利用候选生成器对由连续层面的ct灰度图像堆叠生成的紧凑图像进行背景、肺结节候选区域和假阳性候选区域三向分类，然后利用fpr模型对肺结节候选区域进行分类，得到肺结节和假阳性，由于候选生成器将假阳性单独分为一类，减少了输入到fpr模型中的假阳性的数量，从而减少了fpr模型得到的肺结节中的假阳性的数量，从而提高了检测的灵敏度。又由于还通过fpr模型回归出平移矢量，据此，检测时可以将预测的肺结节的位置向实际肺结节的位置移动，使得检测结果跟实际肺结节更加匹配，提高了检测灵敏度，进一步减少了假阳性的数量。另外，由于候选生成器是基于2dfasterr－cnn网络，且输入的是浓缩了多层ct灰度图像的信息的紧凑图像，不仅利于提高灵敏度，而且同时可以保证计算效率。
65.500、消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。
66.具体的，提取所述肺结节候选区域中候选结节的3d特征；以候选结节的中心为球心，产生有序均匀视点；确定对所述候选结节中心且与视线垂直的平面上的图像作为所述视点的2d再生图像；对每个所述2d再生图像，使用基于区域的活动轮廓模型对所述候选结节进行分割；计算各分割区域图像的2d特征；使用所述2d特征和所述3d特征对候选结节进行分类，区分候选结节为肺结节或假阳性结节；消除假阳性结节区域，输出肺结节检测结
果。
67.请参照图:3，本技术实施例提供了一种基于transform注意力机制的肺结节检测装置，包括：图像处理模块101、模型构建模块102、图像检测模块103、结节检测模块104和结果生成模块105。
68.所述图像处理模块用于获取3d肺部图像，对所述3d肺部图像进行预处理；所述模型构建模块用于构建transformer自注意力机制的肺结节检测模型；所述图像检测模块用于输入所述3d肺部图像至训练和测试后的所述肺结节检测模型；所述结节检测模块用于利用所述肺结节检测模型对所述3d肺部图像进行结节检测，输出肺结节候选区域；所述结果生成模块消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。
69.上述，通过获取3d肺部图像，对所述3d肺部图像进行预处理；构建transformer自注意力机制的肺结节检测模型；输入所述3d肺部图像至训练和测试后的所述肺结节检测模型；利用所述肺结节检测模型对所述3d肺部图像进行结节检测，输出肺结节候选区域；消除所述肺结节候选区域的非结节区域，得到肺结节检测结果；实现对肺部图像的肺结节自动检测，灵敏度高，准确性强，效率高。
70.本技术实施例还提供了一种计算机设备，该计算机设备可集成本技术实施例提供的基于transform注意力机制的肺结节检测装置。图4是本技术实施例提供的一种计算机设备的结构示意图。参考图4，该计算机设备包括：输入装置43、输出装置44、存储器42以及一个或多个处理器41；所述存储器42，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如上述实施例提供的基于transform注意力机制的肺结节检测方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接，图4中以通过总线连接为例。
71.处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于transform注意力机制的肺结节检测方法。
72.上述提供的计算机设备可用于执行上述实施例提供的基于transform注意力机制的肺结节检测方法，具备相应的功能和有益效果。
73.本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于transform注意力机制的肺结节检测方法，该基于transform注意力机制的肺结节检测方法包括：使用电子扫描镜对红细胞涂片进行扫描，得到扫描图像；对所述待检测图像进行图像预处理处理，得到待检测的细胞图像；将所述待检测的细胞图像输入到训练后的细胞检测模型中，得到所述待检测的细胞图像对应的分类结果；根据分类结果计算所述待检测的细胞图像中红细胞聚集指数，从而判断心脑血管病的几率。
74.存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd
‑
rom、软盘或磁带装置；计算机装置存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机装置中，或者可以位于不同的第二计算机装置中，第二计算机装置通过网络(诸如因特网)连接到第一计
算机装置。第二计算机装置可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机装置中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
75.当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于transform注意力机制的肺结节检测方法，还可以执行本技术任意实施例所提供的基于transform注意力机制的肺结节检测方法中的相关操作。
76.上述实施例中提供的基于transform注意力机制的肺结节检测装置、存储介质及计算机设备可执行本技术任意实施例所提供的基于transform注意力机制的肺结节检测方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的基于transform注意力机制的肺结节检测方法。
77.上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。