一种基于中心点回归的肺结节检测方法和检测装置与流程

本发明涉及图像识别技术领域，具体涉及一种基于中心点回归的肺结节检测方法和检测装置。

背景技术：

肺结节是肺部直径小于3cm局灶性、类圆形、密度增高的实性或半实性组织，具有形成肺癌的可能性，因此基于ct(computedtomography)的自动化肺结节检测方法进行有效的早期肺癌筛查非常必要。现有技术中的肺结节检测方法通常采用3d或者2d卷积神经网络，基于anchor-based模型获得结节位置的候选区域，在这些候选区域的基础上进行一次或者多次的位置回归并判断候选区域为结节的可能性。由于在模型训练过程中会在结节影像附近产生大量冗余的候选区域，使得模型不能很好地对结节区域进行特征学习，同时在推理过程中需要额外的后处理操作来消除这些冗余的候选区域。而直接利用anchor-free模型进行肺结节检测不能获得必须的稳定结果。

技术实现要素：

鉴于上述问题，本发明实施例提供一种基于中心点回归的肺结节检测方法和检测装置，解决现有肺结节检测准确性和时效性较差的技术问题。

本发明实施例的基于中心点回归的肺结节检测方法，包括：

通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；

根据所述卷积神经网络输出的特征预测数据形成损失函数；

通过所述损失函数对卷积神经网络进行监督训练，将所述卷积神经网络迭代优化为肺结节特征提取网络。

本发明一实施例中，还包括：

向所述肺结节特征提取网络输入肺结节影像测试样本进行推理，获取所述肺结节位置和肺结节大小映射在所述肺结节影像测试样本上。

本发明一实施例中，所述关键中心点置信度热力图的形成包括：

利用全卷积神经网络提取所述肺结节影像训练样本中各像素的图像特征；

提取肺结节的图像特征并进行下采样，形成所述关键中心点置信度热力图；

将所述肺结节影像训练样本中标记的肺结节中心点映射至所述关键中心点置信度热力图；

通过高斯核将所述肺结节影像训练样本中标记的肺结节区域分布在所述关键中心点置信度热力图中。

本发明一实施例中，所述根据所述卷积神经网络输出的特征预测数据形成损失函数包括：

根据所述关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；

根据所述预测位置相对所述肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；

形成所述肺结节中心点所处肺结节的预测尺寸相对所述肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；

根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。

本发明一实施例中，所述关键中心点置信度热力图的形成包括：

所有肺结节输出一个关键中心点置信度热力图；和/或

根据肺结节的尺度输出不同的关键中心点置信度热力图；

形成肺结节特征金字塔网络。

本发明实施例的基于中心点回归的肺结节检测装置，包括：

存储器，用于存储上述的基于中心点回归的肺结节检测方法处理过程对应的程序代码；

处理器，用于执行所述程序代码。

本发明实施例的基于中心点回归的肺结节检测装置，包括：

预测输出模块，用于通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；

损失函数形成模块，用于据所述卷积神经网络输出的特征预测数据形成损失函数；

网络生成模块，用于通过所述损失函数对卷积神经网络进行监督训练，将所述卷积神经网络迭代优化为肺结节特征提取网络。

本发明一实施例中，还包括：

肺结节检测模块，用于向所述肺结节特征提取网络输入肺结节影像测试样本进行推理，获取所述肺结节位置和肺结节大小映射在所述肺结节影像测试样本上。

本发明一实施例中，所述热力图形成模块包括：

特征提取单元，用于利用全卷积神经网络提取所述肺结节影像训练样本中各像素的图像特征；

特征图化单元，用于提取肺结节的图像特征并进行下采样，形成所述关键中心点置信度热力图；

中心映射单元，用于将所述肺结节影像训练样本中标记的肺结节中心点映射至所述关键中心点置信度热力图；

高斯分布单元，用于通过高斯核将所述肺结节影像训练样本中标记的肺结节区域分布在所述关键中心点置信度热力图中。

本发明一实施例中，所述损失函数形成模块包括：

中心损失优化单元，用于根据所述关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；

偏移损失优化单元，用于根据所述预测位置相对所述肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；

尺寸损失优化单元，用于形成所述肺结节中心点所处肺结节的预测尺寸相对所述肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；

过程损失优化单元，用于根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。

本发明实施例的基于中心点回归的肺结节检测方法和检测装置根据所述监督训练将所述卷积神经网络迭代优化为肺结节特征提取网络。网络的输出利用了肺结节在影像上表现为类圆形的特点，从而在训练过程中可以很好地关注结节区域的图像特征，避免出现大量结节候选区域的负样本参与，加快了模型训练的速度。此外在检测推理的过程中无需额外的后处理操作加快了推理的速度。

附图说明

图1所示为本发明一实施例基于中心点回归的肺结节检测方法的流程示意图。

图2所示为本发明一实施例基于中心点回归的肺结节检测方法中关键中心点置信度热力图形成过程示意图。

图3所示为本发明一实施例基于中心点回归的肺结节检测方法中损失函数形成过程示意图。

图4所示为本发明一实施例基于中心点回归的肺结节检测装置的架构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一实施例基于中心点回归的肺结节检测方法如图1所示。在图1中，本实施例包括：

步骤100：通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小。

本领域技术人员可以理解，肺结节影像为包括一个或多个肺结节，经过预处理后形成的具有统一坐标空间和灰度识别空间的肺部医学图像。卷积神经网络可以进行图像特征提取。卷积神经网络需要利用训练样本进行必要的针对性训练以输出正确分类的图像特征，对图像特征进行人工标记形成包含真实特征标签的训练样本可以对卷积神经网络进行监督训练，可以提高卷积神经网络在特征提取过程中的训练速度和性能。

在本发明一实施例中，肺结节影像具有纹理特征、尺寸特征可以形成肺结节的图像特征标签，肺结节影像存在类圆形的图像特征，可以基于肺结节的图像特征获取肺结节相关的形状描述。

关键中心点置信度热力图用于分类显示肺结节影像训练样本中每种图像特征的分布，所有图像特征可以存在于一个热力图中，也可以每个热力图显示一种图像特征的分布。热力图使得肺部医学影像中像素的图像特征按类别在相应位置分类显示。

本发明一实施例中，关键中心点置信度热力图主要是展现所处区域为肺结节的概率。

步骤200：根据卷积神经网络输出的特征预测数据形成损失函数。

本领域技术人员可以理解，卷积神经网络输出的像素的图像特征预测数据存在预测误差。而且训练过程存在的下采样处理导致的信息损失会提高预测误差，信息损失包括但不限于对象尺寸表达信息损失或对象位置表达信息损失等。

通过图像特征的真实标签(groundtruth)和预测数据差异合理设计的损失函数通过反向传播在卷积神经网络训练的迭代过程中逐渐优化网络参数权重消除预测数据误差，使预测值逼近真实状态，使卷积神经网络输出趋于真实图像特征。

步骤300：通过损失函数对卷积神经网络进行监督训练，将卷积神经网络迭代优化为肺结节特征提取网络。

本领域技术人员可以理解，通过肺结节影像训练样本中结节位置以及大小的真实标签可以对卷积神经网络进行有监督的训练，利用较全面的特征真实标签可以完成密集监督训练。通过损失函数可以获得肺结节影像训练样本中肺结节的真实标签与卷积神经网络训练过程中输出的预测结果的量化差异。通过损失函数在反向传播形成训练迭代，直至卷积神经网络参数权重优化后的输出标签接近肺结节的特征真实标签形成肺结节特征提取网络，实现准确提取肺结节的位置，同时通过中心位置范围内特征进行尺度回归获得肺结节的具体大小。

本发明实施例的基于中心点回归的肺结节检测方法通过对卷积神经网络进行肺结节图像特征的训练输出以基于中心点回归的肺结节位置和尺寸。基于肺结节中心点使得肺结节特征提取网络可以很好地关注结节区域的图像特征，避免出现大量结节候选区域的负样本参与，加快了模型训练的速度。在肺结节特征提取网络确定结节中心点的过程中形成肺结节中心点的精确定位和结节大小的量化，避免了在检测推理的过程中增加额外的后处理操作加快了推理的速度。

如图1所示，在本发明一实施例中，还包括：

步骤400：向肺结节特征提取网络输入肺结节影像测试样本进行推理，获取肺结节位置和肺结节大小映射在肺结节影像测试样本上。

肺结节位置是指在肺结节影像测试样本中肺结节中心的像素坐标，肺结节大小是指肺结节轮廓框选窗口的长宽像素尺寸。

本发明实施例的基于中心点回归的肺结节检测方法利用训练成型的肺结节特征提取网络进行肺结节检测，利用中心点位置和轮廓框选窗口标记肺结节，获取肺结节位置和尺寸供诊断人员作进一步诊断，可以有效减低诊断误差。

本发明一实施例基于中心点回归的肺结节检测方法中关键中心点置信度热力图形成过程如图2所示。在图2中，关键中心点置信度热力图形成包括：

步骤110：利用全卷积神经网络提取肺结节影像训练样本中各像素的图像特征。

本领域技术人员可以理解，全卷积神经网络可以根据实际的使用场景或者计算能力进行配置。本发明实施例中可以利用的骨干网络包括但不限于resnet-18、dla-34或hourglass-104骨干网络。利用全卷积神经网络可以获得肺结节影像训练样本中各像素的特征类别。

步骤120：提取肺结节的图像特征并进行下采样，形成关键中心点置信度热力图。

通过下采样可以获得与肺结节影像训练样本成比例缩小的关键中心点置信度热力图，既避免了由于数据量过大造成处理性能下降又可以兼顾肺结节尺寸的较大差异。进行下采样后形成的关键中心点置信度热力图，可以表示为：其中w和h分别为肺结节影像训练样本的像素宽度和像素高度，r为肺结节影像训练样本卷积处理中的下采样步长，c为图像特征的类别数。

关键中心点置信度热力图中的每一个像素对应的是经全卷积神经网络特征提取后预测的符合确定图像特征的概率值。

当仅需要呈现肺结节单一特征时，关键中心点置信度热力图可以表示为：在形成的关键中心点置信度热力图中仅显示像素为肺结节图像特征的概率值。

步骤130：将肺结节影像训练样本中标记的肺结节中心点映射至关键中心点置信度热力图。

肺结节影像训练样本中包括真实特征标签(即groundtruthpoint)，利用真实特征标签中的肺结节标签可以获得肺结节的真实关键点(即keypoint)，肺结节标签对应肺结节特征，具有明确肺结节框选窗口的位置坐标。在肺结节影像训练样本中的肺结节中心点与在关键中心点置信度热力图中的位置映射关系可以表示为：其中p为肺结节中心点在肺结节影像训练样本中的位置坐标，通常可以由设定的选框窗口对角位置坐标转换形成，为肺结节中心点在关键中心点置信度热力图中的位置坐标，r为输出关键中心点置信度热力图的下采样步长。

步骤140：通过高斯核将肺结节影像训练样本中标记的肺结节区域分布在关键中心点置信度热力图中。

分布的具体过程可以表示为：其中为肺结节中心点在关键中心点置信度热力图中的横坐标和纵坐标，x、y分别为肺结节的真实关键点(即肺结节的真实标签)在关键中心点置信度热力图中的横坐标和纵坐标，σp是根据获得的肺结节大小自适应调整的标准差，yxy为确定坐标像素经高斯核模糊的预测值。每个yxy的范围在0至1之间，当为1时说明yxy为肺结节中心点。

在本发明一实施例中，当两个肺结节中心点的高斯核分布存在重叠时，重叠部分取其中的最大值。

本发明实施例基于中心点回归的肺结节检测方法直接利用卷积神经网络提取肺结节影像训练样本中的图像特征，并根据图像特征形成关键中心点置信度热力图表达像素点属于肺结节的图像特征预测值。由于将影像训练样本中肺结节中心区域以高斯核分布的形式作为关键中心点置信度热力图的训练标签，有利于网络在训练过程中形成样本专注机制，保持优化过程的模型的注意力始终位于肺结节，很好地关注肺结节区域的组织图像特征，缓解了训练时结节正负样本过于悬殊的问题。

本发明一实施例基于中心点回归的肺结节检测方法中损失函数形成过程形成过程如图3所示。在图3中，损失函数形成包括：

步骤210：根据关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数。

肺结节中心点的真实位置即肺结节中心点的真实标签在关键中心点置信度热力图中的坐标位置，肺结节中心点的预测位置与真实位置的分布差异表明了若干肺结节中心点的预测位置与真实位置的宏观误差。

中心点置信度损失函数lk采用focalloss函数为主体，表示为：

其中α，β为focalloss函数超参数，yxy为真实关键点的值，真实关键点的预测值，n为图像中真实关键点的个数，起到了归一化的作用。

利用中心点置信度损失函数lk在训练迭代过程中排除肺结节中心点预测的周围负样本影响。

步骤220：根据预测位置相对肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数。

受下采样影响，肺结节中心点在关键中心点置信度热力图像中必然存在偏移。位置偏移损失函数loff采用l1loss函数为主体，表示为：

其中为肺结节中心标签的预测偏移量。

通过位置偏移损失函数loff补偿因下采样形成关键中心点置信度热力图像中的肺结节中心点重新映射回肺结节影像训练样本的精度误差。

步骤230：形成肺结节中心点所处肺结节的预测尺寸相对肺结节影像训练样本中肺结节大小的尺寸偏差损失函数。

肺结节尺寸的图形特征根据肺结节中心点迭代回归。尺寸偏差损失函数lsize采用l1loss函数为主体，表示为：

其中s为关键中心点对应目标尺寸回归后的长宽值，为预测的肺结节中心点。

步骤240：根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。

训练过程损失函数ldet表示为：

ldet＝lk+λsizelsize+λoffloff

其中λsize和λoff为不同损失函数的权重系数。

本发明实施例基于中心点回归的肺结节检测方法形成中心误差、位置误差和尺寸误差的损失函数对训练过程中与真实样本标签的差异造成的误差进行反向传播时的训练迭代优化，逐渐形成卷积神经网络的优化参数。

在本发明一实施例中，卷积神经网络可以选择2d全卷积神经网络，肺结节影像训练样本或测试样本可以采用2d层图像，输出的关键中心点置信度热力图预测单个层面的肺结节中心点位置信息。

在本发明一实施例中，卷积神经网络可以选择3d全卷积神经网络，肺结节影像训练样本或测试样本可以采用切取ct图像局部区域构成的3d图像，输出的关键中心点置信度热力图预测3d空间中肺结节中心点位置信息。

在本发明一实施例中，为每个肺结节输出对应的关键中心点置信度热力图。

在本发明一实施例中，为相同尺度的肺结节输出一个关键中心点置信度热力图。

在本发明一实施例中，为所有肺结节输出一个关键中心点置信度热力图。

结合上述不同尺度肺结节的关键中心点置信度热力图，形成肺结节特征金字塔网络用于提高预测效率。

本发明实施例基于中心点回归的肺结节检测装置，包括：

存储器，用于存储上述实施例基于中心点回归的肺结节检测方法处理过程对应的程序代码；

处理器，用于执行上述实施例基于中心点回归的肺结节检测方法处理过程对应的程序代码。

处理器可以采用dsp(digitalsignalprocessor)数字信号处理器、fpga(field-programmablegatearray)现场可编程门阵列、mcu(microcontrollerunit)系统板、soc(systemonachip)系统板或包括i/o的plc(programmablelogiccontroller)最小系统。

本发明一实施例基于中心点回归的肺结节检测装置如图4所示。在图4中，本实施例包括：

预测输出模块10，用于通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；

损失函数形成模块20，用于根据卷积神经网络输出的特征预测数据形成损失函数；

网络生成模块30，用于通过损失函数对卷积神经网络进行监督训练，将卷积神经网络迭代优化为肺结节特征提取网络。

如图4所示，在本发明一实施例中，还包括：

肺结节检测模块40，用于向肺结节特征提取网络输入肺结节影像测试样本进行推理，获取肺结节位置和肺结节大小映射在肺结节影像测试样本上。

如图4所示，在本发明一实施例中，热力图形成模块10包括：

特征提取单元11，用于利用全卷积神经网络提取肺结节影像训练样本中各像素的图像特征；

特征图化单元12，提取肺结节的图像特征并进行下采样，形成关键中心点置信度热力图；

中心映射单元13，用于将肺结节影像训练样本中标记的肺结节中心点映射至关键中心点置信度热力图；

高斯分布单元14，用于通过高斯核将肺结节影像训练样本中标记的肺结节区域分布在关键中心点置信度热力图中。

如图4所示，在本发明一实施例中，损失函数形成模块20包括：

中心损失优化单元21，用于根据关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；

偏移损失优化单元22，用于根据预测位置相对肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；

尺寸损失优化单元23，用于形成肺结节中心点所处肺结节的预测尺寸相对肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；

过程损失优化单元24，用于根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。