一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法
【专利摘要】本发明涉及一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法，包括：(1)勾画并存储肺结节的位置以及疑似肺结节的位置，标注并存储肺结节的医学征象以及疑似肺结节的医学征象；(2)检验步骤(1)存储信息是否正确；(3)步骤(1)勾画的肺结节的位置以及疑似肺结节的位置为ROI区域，分别进行平移、缩放、旋转、复合旋转以及平移、缩放、旋转、复合旋转中两种或以上的组合操作，将得到的所有操作结果作为样品集；(4)将样本集中的部分样本输入卷积神经网络分类器，输出正确的肺结节所在的ROI区域以及正确的疑似肺结节所在的ROI区域。采用本方法获取的数据集，检测准确率提高5％以上，假阳性降低0.4％以上。
【专利说明】
一种基于卷积分类器的自动检测并勾画肺结节所在位置的 方法
技术领域
[0001] 本发明涉及一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法，属于 基于计算机视觉的肺结节检测，医学图像检索等领域。
【背景技术】
[0002] 肺癌因其极高的发病率和死亡率而被认为是威胁人类健康的头号杀手。肺癌的早 期在医学影像学方面的表现通常为孤立性肺结节。为了给医生客观地提供可疑肺结节标 记，引入了肺部CAD系统，辅助医生进行诊断，计算机诊断系统对肺部CT图像进行自动诊断 分析后，提示医生CT图像中的可疑肺结节，从而克服医生在诊断中的一些主观因素，提高肺 癌的发现率。
[0003]在传统的基于CT图像的肺结节计算机辅助检测技术中，主要有基于模板匹配的方 法，对于基于模板匹配的检测方法，如果模板少，检测就不准确，灵敏度低；如果模板增加， 运算就变得复杂，耗时长，而且基于模板匹配方法的检测效果的假阳性高。另一种是采用了 线性分类器和支持向量机的检测方法，基于线性分类器的检测方法，因为线性分类器本身 结构简单，所以其检测准确率低。并且这种方法采用边缘检测或区域生长方法提取R0I区 域，用传统的方法提取R0I区域，出现错误的几率大，一旦出现错误，用训练出的分类器去检 测图像也会出现大量错误，假阳性率就会变大。基于支持向量机检测方法，选择合适的核函 数数以及软边缘参数是训练SVM的重要因素，一般来讲，核函数越复杂，模型越偏向于拟合 过度。在参数C方面，它可以看作是Lasso算法中的lambda的倒数，C越大模型越偏向于拟合 过度，反之则拟合不足，如果核函数复杂计算量不仅大而且复杂。所以这种方法想在现实中 实施起来很困难。
[0004] 中国专利文献CN 104700118A工开了基于卷积神经网络的肺结节良恶性预测方 法，包括:从肺结节坐标中获取多尺度肺结节图像块;根据所述多尺度肺结节图像块构造所 述多尺度肺结节图像块对应的各个卷积神经网络;根据损失函数利用所述多尺度肺结节图 像块训练所述卷积神经网络;利用训练的卷积神经网络提取肺结节的低维特征;利用所述 低维特征训练非线性分类器，并预测未知肺结节图像块。但是，该专利训练样本数太小，达 不到期望的效果，直接影响测试的准确性;并且该专利并未提及如何提取从CT图片得到肺 结节块；
[0005] 现有技术中，训练深度卷积网络需要海量的训练样本，如果通过软件技术获取，获 得的图像的正确性是让人质疑的，训练样本的正确性直接影响分类结果的准确性。如果全 部样本都是通过人工获取，准确性得到保证，可这是一件耗时耗力的事。
[0006] 基于CT图像的肺结节检测技术得到越来越多的关注，基于分类器的方法更受研究 人员和医生的青睐。
【发明内容】
[0007] 针对现有技术的不足，本发明提供了一种基于卷积分类器的自动检测并勾画肺结 节所在位置的方法。
[0008] 本发明引入新的检测算法，提出的方法采用了基于卷积神经网络算法的处理方 式，这样就避免了逐个像素处理，通过专业医生勾画肺结节所在区域，通过缩放，旋转，复合 旋转等几何操作扩大样本数，建立所需数据库，在保证训练样本准确性的基础上提高了算 法的运行速度以及灵敏度，节省了人力物力，更具鲁棒性。
[0009] 术语解释：
[0010]正样本、负样本:正样本是指属于某一类别的样本，负样本是指不属于某一类别的 样本;比如，在做字母A的图像识别时，字母A的样本就属于正样本，不是字母A的样本就属于 负样本。
[0011] 本发明的技术方案为：
[0012] -种基于卷积分类器的自动检测并勾画肺结节所在位置的方法，具体步骤包括：
[0013] (1)在CT拍摄的像素强度标准化输入的肺部医学图像上，勾画并存储肺结节的位 置以及疑似肺结节的位置，标注并存储所述肺结节的医学征象以及所述疑似肺结节的医学 征象，所述医学征象包括：良性、恶性、实性、毛玻璃状、边缘锐利、边缘毛糙、边缘分叶状、边 缘光滑、强化明显、强化不明显、直径大于1.5cm、直径小于1.5cm;
[0014] (2)检验步骤（1)所述肺结节所在位置及其医学征象、所述疑似肺结节所在位置及 其医学征象是否正确;如果检验正确，进入步骤(3)，否则，返回步骤(1);
[0015] 标注的信息直接用于后续的训练及测试环节，被标记的肺结节还是后续样本扩建 的基础，因此人工标记信息的准确性对整个实验结果的正确性起至关重要的作用。
[0016] (3)步骤（1)勾画的肺结节的位置以及疑似肺结节的位置为R0I区域，对所述R0I区 域分别进行平移、缩放、旋转、复合旋转以及平移、缩放、旋转、复合旋转中两种或以上的组 合操作，将得到的所有操作结果作为样品集；
[0017] 人工提取肺结节是很耗时耗力的一件事，通过平移、缩放、旋转、复合旋转变换扩 充样本数，不仅减少省时省力，并且用这种方式得到的样本集去训练分类器，可以增强分类 器对平移，旋转，缩放的鲁棒性。
[0018] (4)将样本集中的部分样本输入卷积神经网络分类器，输出正确的肺结节所在的 R0I区域以及正确的疑似肺结节所在的R0I区域。
[0019] 传统的方法通过分割技术获得肺结节块，肺结节的正确性直接影响分类器的准确 性，本文通过专业医生勾画肺结节，保证了肺结节的正确性，通过对肺结节块进行平移，缩 放，旋转操作扩充了样本集，用扩充后的样本集训练分类器，让分类器更具鲁棒性。采用本 方法获取的数据集，检测准确率提高5%以上，假阳性降低0.4%以上。
[0020] 根据本发明优选的，在步骤（1)之前，统一 CT拍摄的像素强度标准化输入的肺部医 学图像的分辨率为256*256--768*768。解决各CT图像间分辨率不同的问题。
[0021] 根据本发明优选的，所述步骤(2)中，通过编写⑶I，显示肺结节所在位置及其医学 征象、疑似肺结节所在位置及其医学征象，并检验与步骤(1)所述肺结节所在位置及其医学 征象、所述疑似肺结节所在位置及其医学征象是否一致；如果检验一致，进入步骤(3)，否 贝1J，返回步骤(1)。
[0022] 根据本发明优选的，步骤(3)中，所述旋转包括二维旋转，将p点绕坐标原点旋转转 动Θ得到新的点P'的重定位过程中，P点是所述图像中的任一像素点，求取新的点P'的坐标 的过程如下：
[0023] x = rcosa (I)
[0024] y = rsina ( Π )
[0025] xJ =rcos(a+0) =xcosB-ysinB (ΠΙ)
[0026] yJ =rsin(a+0) =xsinB+ycosB (IV)
[0027] [·Τ cos.J (V)
[0028] 式（1)-( V)中，（x，y)是点p的坐标，（x'，y'）是点p'的坐标，r指原点到p点的坐标， a指op与X轴的夹角，〇指原点； COS0 sin^ 0
[0029] 逆时针旋转Θ角的矩阵为：-_s.in.0 co_s:〃 〇。 0 Q 1_
[0030] 根据本发明优选的，步骤(3)中，所述缩放包括缩小和放大，缩小又称为下采样或 降采样，放大又称为上采样或图像插值，图像插值包括二次线性插值，二次线性插值公式如 下：
[0031] (Sx-〇)/(Sw-〇)=(Dx-〇)/(Dw-〇) (VI)
[0032] Sx = Dx*Sw/Dw (VH)
[0033] (Sy-〇)/(Sh-〇) = (Dy-〇)/(Dh-〇) (VI)
[0034] Sy = Dy*Sh/Dh (IX)
[0035] 式(VO-ΟΧ)中，（Sx，Sy)为ROI区域中的一个像素点，（Dx，Dy)为(Sx，Sy)在缩放后 的R0I区域中对应的点，R0I区域的宽为Sw，高为％，缩放后的R0I区域的宽为Dw，高为Dh。
[0036] 根据上述公式对提取的肺结节块进行缩放。
[0037] 根据本发明优选的，步骤(3)中，所述复合旋转是指进行多次旋转，两次连续的旋 转相当于将两次的旋转角度相加，第一次旋转9:角，第二次旋转θ 2，根据式(X )进行变换： cos(02 + Θχ) sin 辑+6?) 0
[0038] i?(6? + 6>z) = i?(6?2)*) = ^sini^ + <9,) cos(<9;+6>,) 0 (X) _ 0 〇 1-
[0039] 式(VI)中，ΘΑ第一次旋转的角度，02为第二次旋转的角度，R%)代表旋转0:后的 结果，R(02)代表旋转θ 2后的结果，1?(01+02)代表旋转01+02后的结果。
[0040] 根据本发明优选的，所述步骤(4)中，改变卷积神经网络分类器的重要参数多次训 练分类器，得到最优分类器，将样本集中的部分样本输入卷积神经网络分类器，输出正确的 肺结节所在的R〇 I区域以及正确的疑似肺结节所在的R〇 I区域。
[0041] 本发明的有益效果为：
[0042] 1、本发明所述方法可应用于静态图像，不需要很长的视频序列即可提取出肺部CT 图像中的肺结节。并且，本发明所述方法很容易扩展到视频序列。由于视频序列由多幅图像 组成，本方法可扩展到视频序列中，并且不受视频序列中镜头摇晃，镜头缩放，镜头平移等 多种镜头运动的影响。人工提取一部分训练样本，对这部分样本进行平移，缩放扩充样本数 目，构建所需数据库。
[0043] 2、本发明所述方法简洁易行。在判断肺部CT图像是否包含了肺结节并标记其位 置，本发明提出的方法采用基于卷积神经网络算法的处理方式，这样就避免了逐个像素处 理，从而提高了算法的运行速度以及灵敏度。
[0044] 3、本发明生成离线检测系统中，选用了具备多类医学征象的肺部CT图像，因此该 发明适用于多种医学征象的肺结节检测。
【附图说明】
[0045] 图1为本发明所述基于卷积分类器的自动检测并勾画肺结节所在位置的方法流程 示意图；
[0046] 图2为实施例中勾画肺结节的位置并标注其医学征象的GUI示意图；
[0047] 图3为实施例中检验存储信息的GUI示意图；
[0048] 图4(a)为实施例中包含肺结节图像示意图；
[0049] 图4(b)为实施例中不包含肺结节图像示意图；
[0050] 图4(c)为实施例中提取的肺结节块的图像示意图一；
[0051] 图4(d)为实施例中提取的肺结节块的图像示意图二；
[0052]图5为二次线性插值原理图；
[0053]图6为二维旋转原理图。
【具体实施方式】
[0054] 下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
[0055] 实施例
[0056] -种基于卷积分类器的自动检测并勾画肺结节所在位置的方法，具体步骤包括：
[0057] (1)在CT拍摄的像素强度标准化输入的肺部医学图像上，勾画并存储肺结节的位 置，标注并存储所述肺结节的医学征象，勾画肺结节的位置并标注其医学征象的GUI示意图 如图2所示。图2中，箭头1是指医生勾画的肺结节的位置，箭头2是指医生勾画的肺结节的医 学征象:实性、恶性、边缘锐利、强化明显、直径小于1.5cm。参照图2用机器语言编写实现所 需功能的⑶I。
[0058] (2)通过MATLAB编写⑶I，如图3所示，图3中，箭头1是指医生勾画的肺结节存储信 息存放的表格，箭头2是指步骤（1)中勾画的肺结节，箭头3是指勾画的肺结节的医学征象： 恶性、毛玻璃状、边缘光滑、直径1.5cm，箭头4指的是该CT图像存贮的位置;显示肺结节所在 位置及其医学征象、疑似肺结节所在位置及其医学征象，并检验与步骤(1)所述肺结节所在 位置及其医学征象是否一致;如果检验一致，进入步骤(3)，否则，返回步骤(1)。
[0059] 检验步骤（1)的存储信息是否正确，如果检验正确，进入步骤(3)，否则，返回步骤 (1);参照图3用机器语言编写实现所需功能的GUI。
[0060] 标注的信息直接用于后续的训练及测试环节，被标记的肺结节还是后续样本扩建 的基础，因此人工标记信息的准确性对整个实验结果的正确性起至关重要的作用。
[0061] (3)步骤（1)勾画的肺结节的位置为R0I区域，对所述R0I区域分别进行二维旋转， 将P点绕坐标原点旋转转动Θ得到新的点P '的重定位过程中，如图6所示，p点是所述图像中 的任一像素点，求取新的点P'的坐标的过程如下：
[0062] x = rcosa (I)
[0063] y = rsina ( Π )
[0064] xJ =rcos(a+0) =xcosB-ysinB (ΠΙ)
[0065] y' =rsin(a+0) =xsinB+ycosB (IV) _6] [X，),["]{-sin"-」（V)
[0067]式（1)-( V)中，（x，y)是点p的坐标，（x'，y'）是点p'的坐标，r指原点到p点的坐标， a指op与X轴的夹角，〇指原点；
[0068]对所述R0I区域分别进行二次线性插值，如图5所示，二次线性插值公式如下：
[0069] (Sx-〇)/(Sw-〇)=(Dx-〇)/(Dw-〇) (VI)
[0070] Sx = Dx*Sw/Dw (VH)
[0071] (Sy-〇)/(Sh-〇) = (Dy-〇)/(Dh-〇) (VI)
[0072] Sy = Dy*Sh/Dh (IX)
[0073] 式(VO-ΟΧ)中，（Sx，Sy)为ROI区域中的一个像素点，（Dx，Dy)为(Sx，Sy)在缩放后 的R0I区域中对应的点，R0I区域的宽为Sw，高为％，缩放后的R0I区域的宽为Dw，高为Dh。
[0074] 根据上述公式对提取的肺结节进行缩放。
[0075]对所述R0I区域分别进行复合旋转，第一次旋转0:角，第二次旋转θ2,根据式（X)进 行变换： cos(^, + ?χ) sin(/9:十 0) 0
[0076] R{0X + Θη)：=： R{0^) ^ Ε(Θι) = ~ sin(^ + ^) cos(^ + Θχ) 0 (X) 0 0 1 - -
[0077] 式(VI)中，ΘΑ第一次旋转的角度，02为第二次旋转的角度，R%)代表旋转0:后的 结果，R(02)代表旋转θ 2后的结果，1?(01+02)代表旋转01+02后的结果。
[0078] 通过上述操作，将得到的所有操作结果作为样品集；
[0079] 人工提取肺结节是很耗时耗力的一件事，通过平移、缩放、旋转、复合旋转变换扩 充样本数，不仅减少省时省力，并且用这种方式得到的样本集去训练分类器，可以增强分类 器对平移，旋转，缩放的鲁棒性。
[0080] (4)改变卷积神经网络分类器的重要参数多次训练分类器，得到最优分类器，对于 大小统一的图像输入，构建5层卷积神经网络，每个卷积神经网络都有卷积层和max-pool ing ， 第一层卷积是5*5 大小的卷积核96 个 ，其余的四 层都是3 X 3 的卷积核256 个， max-pooling都是2*2的核，连接全连接层。卷积神经网络分类器的重要参数的设置通过交叉验 证获得。
[0081] (5)将样本集中的部分样本输入最优分类器，输出正确的肺结节所在的R0I区域所 在的R0I区域。本实施例提取出肺结节图像示意图如图4(a)所示;本实施例提取出不包含肺 结节图像示意图如图4(b)所示;本实施例提取出肺结节块的图像示意图一如图4(c)所示； 本实施例提取出肺结节图像示意图二如图4(d)所示。
[0082] 上述基于卷积分类器的自动检测并勾画肺结节所在位置的方法流程示意图如图1 所示。
[0083]传统的方法通过分割技术获得肺结节块，肺结节的正确性直接影响分类器的准确 性，本文通过专业医生勾画肺结节，保证了肺结节的正确性，通过对肺结节块进行平移，缩 放，旋转操作扩充了样本集，用扩充后的样本集训练分类器，让分类器更具鲁棒性。采用本 方法获取的数据集，检测准确率提高5%，假阳性降低0.4%。
【主权项】
1. 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法，其特征在于，具体 步骤包括： (1) 在CT拍摄的像素强度标准化输入的肺部医学图像上，勾画并存储肺结节的位置W 及疑似肺结节的位置，标注并存储所述肺结节的医学征象W及所述疑似肺结节的医学征 象，所述医学征象包括：良性、恶性、实性、毛玻璃状、边缘锐利、边缘毛糖、边缘分叶状、边缘 光滑、强化明显、强化不明显、直径大于1.5畑1、直径小于1.5cm; (2) 检验步骤（1)所述肺结节所在位置及其医学征象、所述疑似肺结节所在位置及其医 学征象是否正确;如果检验正确，进入步骤(3)，否则，返回步骤(1); (3) 步骤(1)勾画的肺结节的位置W及疑似肺结节的位置为ROI区域，对所述ROI区域分 别进行平移、缩放、旋转、复合旋转W及平移、缩放、旋转、复合旋转中两种或W上的组合操 作，将得到的所有操作结果作为样品集； (4) 将样本集中的部分样本输入卷积神经网络分类器，输出正确的肺结节所在的ROI区 域W及正确的疑似肺结节所在的ROI区域。2. 根据权利要求1所述的一种基于卷积分类器的自动检测并勾画肺结节所在位置的方 法，其特征在于，在步骤（1)之前，统一 CT拍摄的像素强度标准化输入的肺部医学图像的分 辨率为 256*256--768*768。3. 根据权利要求1所述的一种基于卷积分类器的自动检测并勾画肺结节所在位置的方 法，其特征在于，通过编写GUI，显示肺结节所在位置及其医学征象、疑似肺结节所在位置及 其医学征象，并检验与步骤(1)所述肺结节所在位置及其医学征象、所述疑似肺结节所在位 置及其医学征象是否一致;如果检验一致，进入步骤(3)，否则，返回步骤(1)。4. 根据权利要求1所述的一种基于卷积分类器的自动检测并勾画肺结节所在位置的方 法，其特征在于，步骤(3)中，所述旋转包括二维旋转，将P点绕坐标原点旋转转动Θ得到新的 点P'的重定位过程中，P点是所述图像中的任一像素点，求取新的点P'的坐标的过程如下： x = r cosa (I) y = r sina (II) x'=r cos(a+白）=x cos白一y sin白 （III) y'=r sin(a+白）=x sin白+y cos白 （IV) 1 「eos 轉 sin Θ - CO弓沒」\ V ) 式(l)-(v)中，（X，y)是点P的坐标，（X'，y'）是点P'的坐标，r指原点到P点的坐标，a指op 与X轴的夹角，ο指原点。5. 根据权利要求1所述的一种基于卷积分类器的自动检测并勾画肺结节所在位置的方 法，其特征在于，步骤(3)中，所述缩放包括缩小和放大，缩小又称为下采样或降采样，放大 又称为上采样或图像插值，图像插值包括二次线性插值，二次线性插值公式如下： (Sx-〇)/(Sw-〇) =化 x-〇)/(Dw-〇) (VI) Sx = D 巧 Sw/Dw (VII) (Sy-0)/(Sh-0)=化y-0)/(Dh-0) (VIII) Sy = Dy*Sh/Dh (IX) 式(VI)-(IX)中，（Sx，Sy)为ROI区域中的一个像素点，（Dx，Dy)为（Sx，Sy)在缩放后的 ROI区域中对应的点，ROI区域的宽为Sw，高为化，缩放后的ROI区域的宽为Dw，高为化。6. 根据权利要求1所述的一种基于卷积分类器的自动检测并勾画肺结节所在位置的方 法，其特征在于，步骤(3)中，所述复合旋转是指进行多次旋转，两次连续的旋转相当于将两 次的旋转角度相加，第一次旋转θι角，第二次旋转02，根据式(X )进行变换：式(VI)中，θι为第一次旋转的角度，θ2为第二次旋转的角度，R( θι)代表旋转θι后的结果， R(92)代表旋转02后的结果，Κ(θι+θ2)代表旋转θι+θ2后的结果。7. 根据权利要求1-6任一所述的一种基于卷积分类器的自动检测并勾画肺结节所在位 置的方法，其特征在于，所述步骤(4)中，改变卷积神经网络分类器的重要参数多次训练分 类器，得到最优分类器，将样本集中的部分样本输入卷积神经网络分类器，输出正确的肺结 节所在的R0I区域W及正确的疑似肺结节所在的R0I区域。
【文档编号】G06T3/60GK106097340SQ201610411560
【公开日】2016年11月9日
【申请日】2016年6月12日 公开号201610411560.5, CN 106097340 A, CN 106097340A, CN 201610411560, CN-A-106097340, CN106097340 A, CN106097340A, CN201610411560, CN201610411560.5
【发明人】宋尚玲, 李夏, 杨阳, 刘云霞, 江立玉, 贾红英
【申请人】山东大学