肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其处理设备的制作方法

专利名称：肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其处理设备的制作方法
技术领域：
本发明涉及的是一种肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其处理设备，属于计算机应用技术领域。
背景技术：
目前常用诊断方法(如影像学诊断、肿瘤标志物检测等)多难做到早期病理定性诊断。临床通常采用的痰检、纤支镜检及经皮穿刺肺活检等病理学定性诊断其确诊率分别只有40％、60％、80％左右。经皮肺穿刺细胞病理学诊断，目前虽被认为是中心型或周围型肺部球形病灶早期诊断均较实用的方法之一，但因肺必须随呼吸移动难以准确定位穿刺，实行肺癌早期诊断。通常，对取检标本细胞学涂片或病理切片的图像信息往往只能凭借病理专家的肉眼进行观察和评判，因而缺乏统一、客观的诊断评价指标。无法快速、客观、准确地提供检验和诊断结果。发明内容本发明的目的在于针对上述存在的缺陷，提出一种借助计算机对肺癌早期细胞涂片彩色图像信息进行智能化处理的方法，完成对肺癌细胞和非癌细胞的判别诊断，进而能运用人工神经网络完成鳞癌、腺癌、小细胞癌等不同病理类型的肺癌细胞的识别诊断。
本发明的技术解决方案肺癌早期细胞涂片彩色图像信息的计算机智能化处理的设备，其特征是设备包括有显微镜、彩色摄像头、彩色图像采集卡、微型计算机，其中显微镜与彩色摄像头相接，彩色摄像头将彩色视频信号输入给彩色图像采集卡，输入的彩色视频信号经彩色图像采集卡的数字解码器、模/数转换器、比例缩放、裁减、色空变换处理，转化为RGB真彩色图像，通过PCI总线传到微型计算机内存实时处理。
肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法，其步骤依次分为一、图像采集，用摄像头和图像采集卡采集原始肺癌早期细胞涂片彩色图像；二、对彩色图像的灰度变换，灰度变换公式，灰度H＝0.71R+0.25G+0.05B，对彩色图像进行灰度变换，生成一幅待处理的灰度图像，式中的R为红色分量，G为绿色分量，B为蓝色分量；三、灰度图像分割采用基于图像灰度梯度的直方图阈值分割方法，得到效果满意的二值化图像；四、形态识别选择肺癌细胞与正常细胞形态上的主要差异以及三类不同肺癌细胞在形态上的差异，采用基于区域边界的八链码表示法来提取形态特征，利用形态特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行形态识别；五、色度识别选择肺癌细胞与正常细胞的染色差异以及三种不同肺癌细胞的染色差异，选定红色分量R，绿色分量G，蓝色分量B，蓝色分量比例C＝蓝色分量B/(红色分量R+绿色分量G+蓝色分量B)，色调H，光照强度I，饱和度S作为彩色特征集，利用色度特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行色度识别；六、智能化处理，分规则判别或BP神经网络判别，其中1.规则判别1)间接规则判别间接规则条件Pi∷＝Th1≤Vi＜Th2，式中Vi为图像特征参数，[Th1，Th2]为该特征参数的阈值区间，2)直接规则判别直接规则判别的条件Pi∷＝Af1≤Si＜Af2，式中Si为描述性条件，[Af1，Af2]为该条件的模糊隶属度函数的阈值区间；根据上述规则判别可得出肺癌类别的判别结果。
2.BP神经网络判别对每幅肺癌涂片彩色图像，通过图像预处理和分割模块提取图像特征值后，直接将其输入BP神经网络，根据输出节点值得到神经网络对肺癌类别的判别结果。
本发明的优点能对肺癌细胞涂片的彩色图像进行自动识别，能对腺癌、鳞癌和小细胞癌等主要肺癌类型进行诊断，其综合诊断准确率已达到病理专家对肺癌细胞的诊断水准；具有对肺癌细胞涂片进行图像采集、图像预处理、图像分割的功能；对分割出来的细胞区域，利用形态和色度特征进行图像识别和诊断，标示出有癌细胞区域；提供有效的知识表示方法、高效的非精确推理机制和知识获取等功能，可以根据图像处理得出的数据和人工输入的数据进行推理，得出诊断结果；根据图像处理得出的数据，利用多个神经网络进行处理，可以快速精确地诊断出主要肺癌类型，其诊断过程能可视化地与用户进行交互。


附图1是本发明的设备结构方块图附图2是图像信息处理方法的流程图附图3是采集的原始肺癌早期细胞涂片彩色图像示意图附图4是经灰度变换后的灰度图像示意图附图5是采用自适应阈值分割算法生成的二值图像示意图附图6是基于形态和色度特征的判别结果示意图附图7是规则判别结果示意图附图8是BP神经网络示意图附图9是BP神经网络的判别结果示意中的1是显微镜、2是摄像头、3是图像采集卡、4是计算机、5是显示器。
具体实施例方式
实施例，对照附图1，设备包括有显微镜、彩色摄像头(选用JVCTK-C1380/TK-C1381系列彩色视频摄像头，其高性能的1/2英寸CCD像素精度为470,000(有效像素精度440,000)，可提供水平扫描频率为470线的视频信号)、图像采集卡(选用DH-VRT-CG200彩色图像采集卡，输入的彩色视频信号，经该采集卡的数字解码器、模/数转换器、比例缩放、裁减、色空变换等处理，通过PCI总线传到VGA卡实时显示或传到计算机内存实时处理，图像传输速度可达40MB/S。该图像采集卡提供标准PAL、NTSC制彩色/黑白视频信号输入，支持RGB图像格式的显示和存储，支持的图像采集最大分辨率为PAL——768×576×24bit；NTSC——640×480×24bit)和586微型计算机，其中彩色摄像头一端与显微镜相连接，它实时地获取肺癌穿刺标本涂片的视频信号，彩色摄像头的另一端与图像采集卡输入端相接，视频信号经图像采集卡处理后转化为RGB真彩色图像，图像采集卡的输出端与微型计算机的输入端相接。
对照附图2，对肺癌早期细胞涂片彩色图像信息进行处理的方法，其步骤依次分为一、图像采集利用上述的摄像头和图像采集卡采集原始肺癌早期细胞涂片彩色图像，如附图3所示。
二、彩色图像的灰度转换利用灰度转换的公式，灰度H＝0.71R+0.25G+0.05B，经灰度变换后的灰度图像如附图4所示。
三、灰度图像分割采用基于图像灰度梯度的直方图阈值分割方法。
1.灰度梯度直方图阈值化方法灰度梯度直方图统计可看作灰度直方图统计的梯度加权，和灰度直方图相比，灰度梯度直方图的形状有明显的改善。
设∩为大小为M×N的图像，i代表灰度级，则灰度直方图统计可表示为Hi=Σx,y∈∩hi(x,y)/ΣiΣx,y∈∩hi(x,y)hi(x,y)=1f(x,y)=i0f(x,y)≠i]]>式中f(x，y)为像素点(x，y)的灰度值。
灰度梯度直方图统计可表示为Gi=Σx,y∈∩Wi(x,y)hi(x,y)/ΣiΣx,y∈∩Wi(x,y)hi(x,y)]]>式中Wi(x,y)=gx+gyf(x,y)=i0f(x,y)≠i]]>gx＝|f(x+1，y)-f(x-1，y)|，表示像素点(x，y)在x轴方向的灰度梯度；gy＝|f(x，y+1)-f(x，y-1)|，表示像素点(x，y)在y轴方向的灰度梯度。
在灰度梯度直方图区间(t-δ，t+δ)范围内，类内距离可表示为D(t)=Σi∈c(i-u)2P(i|c)u=Σi∈ci*P(i|c)]]>式中，u为I在其取值范围c(t-δ，t+δ)区间内的均值，P(i|c)为属于c类的灰度级I出现的概率。
迭代变量t=u+δρ1-ρ2ρ1+ρ2]]>式中ρ1=ρ(t+δ),ρ2=ρ(t-δ)]]>迭代式为tk+1＝uk+δk(ρ1k-ρ2k)/(ρ1k+ρ2k)求取最佳阈值的方法如下
第一步令gxmax＝gymax＝L/12(L为图像的最大灰度级)，根据Gi=Σx,y∈∩Wi(x,y)hi(x,y)/ΣiΣx,y∈∩Wi(x,y)hi(x,y)]]>求出原图像的灰度梯度直方图，然后将256级灰度压缩为64级。
第二步初值tn＝L/3，tc＝2L/3，作为当前t值tk，δ＝L/12，进行迭代，直到满足|tk+1-tk|≤1此时的tk+1值为所求的最佳阈值。
2.二值化图像形态滤波方法(a)二值膨胀滤波将目标A内所有像素a同结构化函数B内的所有像素b进行矢量加AB＝{t∈Z2t＝a+b，a∈A，b∈B}其中，矢量t是图像空间Z2内的一个元素。
(b)二值腐蚀滤波利用目标A的补集同结构化函数B进行二值膨胀，求取所得结果的补集AΘB＝(AcB)c其中，Ac和Bc分别为A和B的补集。
(c)二值闭滤波将目标A同结构化函数B进行二值膨胀，其所得结果再同结构化函数B进Close(A，B)＝(AB)ΘB行二值腐蚀形态闭滤波将减少目标边界上向内的小凸起和目标内的小洞。
(d)二值开滤波将目标A同结构化函数B进行二值腐蚀，其所得结果再同结构化函数B进行二值膨胀
Open(A，B)＝(AΘB)B形态开滤波将减少目标轮廓上向外的小凸起和小而窄的缝隙。
经过上述图像分割方法处理后，即可得出标出细胞区域所在位置和形状的二值图像，如附图5所示。
四、形态识别肺癌细胞与正常细胞形态上的主要差异，如表-1所示，以及三类不同肺癌细胞在形态上的差异如表-2所示表-1 肺癌细胞与正常细胞的形态差异

表-2 三种不同肺癌细胞的形态差异


用八链码对二值图像进行边缘跟踪得到一系列细胞区域的几何形状特征，具体方法如下1.细胞区域的周长L=ne+2*no]]>式中ne表示八链码中偶数码的数目，no表示八链码中奇数码的数目。
2.细胞区域的宽度和高度方向码ai在X轴上的分量为aix，在Y轴上的分量为aiy，aix与aiy的取值如表-3所示。
表-3 aix与aiy的取值

x0与y0是起始点的坐标，

3.细胞区域的面积S=Σi=1naix(yi-1+12aiy)]]>式中，yi＝yi-1+ai。
4.细胞区域的似圆度

似圆度用于描述细胞区域与圆形的偏离程度。在相同面积的条件下，细胞区域边界光滑且为圆形，则周长最短，其似圆度C为1；细胞区域的形状越偏离圆形，则C值越小。
5.细胞区域的矩形度R=SW*H]]>矩形度用于描述细胞区域与矩形的偏离程度，细胞区域为矩形时，R取最大值1。
6.细胞区域的伸长度E=min{W,H}max{W,H}]]>细胞区域越呈细长形，E越小，当细胞区域为圆形时，E＝1。
五、色度识别肺癌细胞与正常细胞色度上的主要差异，如表-4所示，以及三类不同肺癌细胞在色度上的差异如表-5所示表-4 肺癌细胞与正常细胞的染色差异

表-5 三种不同肺癌细胞的染色差异

选定红色分量R，绿色分量G，蓝色分量B，蓝色分量比例C＝蓝色分量B/(红色分量R+绿色分量G+蓝色分量B)，色调H，光照强度I，饱和度S作为彩色特征集，利用色度特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行色度识别；基于形态识别和色度识别的结果如附图6所示。
六、智能化处理1.规则判别1)间接规则判别间接规则条件Pi∷＝Th1≤Vi＜Th2，式中Vi为图像特征参数，[Th1，Th2]为该特征参数的阈值区间，间接规则的实例如下Rule 011若(2250＜＝面积＜4500)和(0.5＜色圆度)则细胞形状异常 可信度(0.4)Rule 012若(绿色分量＜90)和(蓝色分量比重＞0.55)和(0.4＜饱和度＜0.65)则细胞染色偏蓝 可信度(0.3)2)直接规则判别直接规则判别的条件Pi∷＝Af1≤Si＜Af2，式中Si为描述性条件，[Af1，Af2]为该条件的模糊隶属度函数的阈值区间；直接规则的实例如下Rule 023若0.3＜＝细胞核形状异常＜0.7 则该细胞是癌细胞可信度(0.45)Rule 024若0.6＜＝细胞核染色太深 则 该细胞是癌细胞可信度(0.25)规则判别的结果如附图7所示。
2.BP神经网络判别(1)三层BP神经网络三层BP网络是一个典型的前馈型层次网络，它被分为输入层LA、隐蔽层LB、和输出层LC。同层节点间无关联，异层神经元间前向连接。其中，LA层含14个节点，对应于14个输入特征6个形态特征和6个色度特征，以及2个有用特征整幅图像的红色分量平均值和细胞区域的灰度平均值；LC层含5个输出节点鳞癌、腺癌、小细胞癌、核异型和无癌；LB层节点数u根据实际需要设置为11个。如附图8所示。
LA层节点ai到LB层节点br间的连接权为Wir，LB层节点br到LC层节点cj间的连接权为Vrj，Tr为LB层节点的阈值，θj为LC层节点的阈值，则LB层中节点的输出函数为br=f(Σi=1mWij·ai+Tr)(r=1,...,u)]]>LC层中节点的输出函数为cj=f(Σr=1uVrj·br+θj)(j=1,...,n)]]>其中，f(·)为s型函数，即f(x)＝(1+e-x)-1。
(2)BP神经网络判别步骤(1)给Wir，Tr，Vrj，θj随机赋一个较小的值；(2)进行下列操作①将特征值输入LA层节点，据LA层节点激活值ai，依次正向计算br=f(Σi=1mWij·ai+Tr)cj=f(Σr=1uVrj·br+θj)]]>
②计算LC层节点输出cj与期望输出值Cj(k)的误差dj=cj·(1-cj)·(cj(k)-cj)]]>③向LB层节点反向分配误差er=br·(1-br)·(Σj=1nVrj·dj)]]>④调整LB层与LC层节点间连接权Vrj及LC层节点阈值θjVrj＝Vrj+α·br·djθj＝θj+α·dj(0＜α＜1)⑤调整LA层与LB层节点间连接权Wir及LB层节点阈值TrWir＝Wir+β·ai·erTr＝Tr+β·er(0＜β＜1)选定α＝0.6，β＝0.6，重复上述步骤(2)BP神经网络判别步骤，直至对于j＝1，...，n，k＝1，...，p，最终误差dj≤0.018。
对每幅肺癌涂片彩色图像，通过图像分割模块提取出LA输入层的14个特征值后，直接将其输入训练好的BP神经网络，根据输出节点值立即可以得到判别结果，如附图9所示。
权利要求
1.肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法，其步骤依次分为一、图像采集，用摄像头和图像采集卡采集原始肺癌早期细胞涂片彩色图像；二、对彩色图像的灰度变换，灰度变换公式，灰度H＝0.71R+0.25G+0.05B，对彩色图像进行灰度变换，生成一幅待处理的灰度图像，式中的R为红色分量，G为绿色分量，B为蓝色分量；三、灰度图像分割采用基于图像灰度梯度的直方图阈值分割方法，得到效果满意的二值化图像；四、形态识别选择肺癌细胞与正常细胞形态上的主要差异以及三类不同肺癌细胞在形态上的差异，采用基于区域边界的八链码表示法来提取形态特征，利用形态特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行形态识别；五、色度识别选择肺癌细胞与正常细胞的染色差异以及三种不同肺癌细胞的染色差异，选定红色分量R，绿色分量G，蓝色分量B，蓝色分量比例C＝蓝色分量B/(红色分量R+绿色分量G+蓝色分量B)，色调H，光照强度I，饱和度S作为彩色特征集，利用色度特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行色度识别；六、智能化处理，分规则判别或BP神经网络判别，其中1.规则判别1)间接规则判别间接规则条件Pi::＝Th1≤Vi＜Th2，式中Vi为图像特征参数，[Th1，Th2]为该特征参数的阈值区间，2)直接规则判别直接规则判别的条件Pi::＝Af1≤Si＜Af2，式中Si为描述性条件，[Af1，Af2]为该条件的模糊隶属度函数的阈值区间，根据上述规则可得出肺癌类别的判别结果；2.BP神经网络判别对每幅肺癌涂片彩色图像，通过图像预处理和分割模块提取图像特征值后，直接将其输入BP神经网络，根据输出节点值得到神经网络对肺癌类别的判别结果。
2.肺癌早期细胞涂片彩色图像信息的计算机智能化处理的设备，其特征是设备包括有显微镜(1)、彩色摄像头(2)、彩色图像采集卡(3)、微型计算机(4)，其中显微镜(1)与彩色摄像头(2)相接，彩色摄像头(2)将彩色视频信号输入给彩色图像采集卡(3)，输入的彩色视频信号经彩色图像采集卡(3)的数字解码器、模/数转换器、比例缩放、裁减、色空变换处理，转化为RGB真彩色图像，通过PCI总线传到微型计算机(4)内存实时处理。
全文摘要
本发明涉及的是一种肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其处理设备，设备包括有显微镜、彩色摄像头、彩色图像采集卡、微型计算机，处理的方法，其步骤依次分为图像采集，对彩色图像的灰度变换，灰度图像分割，形态识别，色度识别，智能化处理。本发明的优点能对细胞涂片的彩色图像进行自动识别，能对腺癌、鳞癌和小细胞癌等主要肺癌类型进行判别，其综合判别准确率已达到病理专家对肺癌细胞的诊断水准；具有对肺癌细胞涂片进行图像采集、图像预处理、图像分割的功能；对分割出来的细胞区域，利用形态和色度特征进行图像识别，标示出有癌细胞区域；根据图像处理得出的数据，利用规则判别或神经网络判别，可以快速精确地判别出主要肺癌类型。
文档编号G06N3/04GK1746901SQ20051009442
公开日2006年3月15日 申请日期2005年9月19日 优先权日2005年9月19日
发明者陈世福, 叶玉坤, 杨育彬 申请人:南京大学, 叶玉坤, 曾志江