一种消除内窥镜图像光照不均的方法及系统的制作方法
【专利摘要】本发明涉及内窥镜图像处理【技术领域】，提供了一种消除内窥镜图像光照不均的方法，包括：获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值；计算图像的色偏值；计算特征点集合Q；用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值；将用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值所得到的图像矩阵替换原始图像，返回获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值的步骤进行下次迭代。本发明还提供了一种消除内窥镜图像光照不均的系统。本发明能够消除光照不均对内窥镜图像带来的影响。
【专利说明】—种消除内窥镜图像光照不均的方法及系统
【技术领域】
[0001]本发明涉及内窥镜图像处理【技术领域】，特别是涉及一种消除内窥镜图像光照不均的方法及系统。
【背景技术】
[0002]医学内窥镜已广泛应用于微创外科手术中，由体外经过人体自然腔道送入体内，对体内疾病进行检查，可以直接观察到脏器内腔病变，确定其部位、范围，并可进行照相、活检或刷片，大大提高了疾病的诊断准确率，特别是癌症的诊断准确率。内窥镜照明光由光纤束导入，为会聚光照明，以照明光最强点为中心，径向逐渐减弱，光照不均勻，从而导致内窥镜图像的亮度不均匀和局部对比度低这一问题。
[0003]目前，解决该问题的方法主要是采用均值滤波迭代修正算法来消除内窥镜图像光照不均的现象。该迭代修正算法是在对图像进行均值滤波的基础上，计算原始图像与滤波后的图像的偏差图像，再根据偏差对原始图像进行修正，偏差较大时(取一个经验阈值)，对应的像素点用均值滤波后的值替换，并以修正后的图像作为下次的输入图像进行迭代，从而在逐步迭代的过程中消除光照不均的影响。但是，在迭代过程中，因为所选滑动窗口(即滤波模板)的大小没有一定的标准，从而会影响最终的滤波结果，即鲁棒性不好；并且，当选取的滑动窗口不恰当时，该迭代算法将完全失效。
【发明内容】
[0004]本发明要解决的技术问题是提供一种消除内窥镜图像光照不均的方法和系统，使内窥镜图像光照不均的现象得到良好的抑制。
[0005]为解决上述技术问题，本发明提供了一种消除内窥镜图像光照不均的方法，包括:
[0006]获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值；
[0007]计算图像的色偏值；
[0008]计算特征点集合Q ；
[0009]用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值；
[0010]将用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值所得到的图像矩阵替换原始图像，返回获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值的步骤进行下次迭代。
[0011]进一步地，所述方法还包括:当前后两次迭代中，局部包络均值的变化小于预设的阈值时，结束。
[0012]优选地，所述获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值的步骤包括:
[0013]计算输入的原始图像的局部极大值点和局部极小值点；[0014]利用三次样条插值拟合得到图像的上包络曲面和下包络曲面；
[0015]按照下式计算图像的局部包络均值:
[0016]EnvR(x, y) = (EnuR (χ, y) +EndR (χ, y)) /2
[0017]Envc (χ, y) = (Enuc (χ, y) +Endc (χ, y)) /2 l≤x≤M, l≤y≤N
[0018]ΕηνΒ(χ, y) = (EnuB (χ, y) +EndB (χ, y)) /2
[0019]其中，{EnuR(χ,y) > Enuc(χ, y)、EnuB(x, y)}是图像的上包络曲面，{EndR(x, y)、Endc(x, y) >EndB(x, y)}是图像的下包络曲面，{EnvR (x, y) > Envc (x, y) > EnνΒ (χ, y)}是图像在点(x，y)的局部包络均值，M和N分别为图像的宽度和高度。
[0020]优选地，所述计算图像的色偏值的步骤具体为:
[0021]按照下式计算图像的色偏值:
[0022]DevE(x, y) = fE(x, y) -EnvR(x, y)
[0023]Devc (x, y) = fG(x, y) -Envc (χ, y) l≤x≤M, l≤y≤N
[0024]DeνΒ (χ, y) = fB(x, y) -EnνΒ (x, y)
[0025]其中，{fK(x，y)、fc(x，y)、fB(x，y)}是图像在点(x，y)的原始颜色分量值，{DevK(x,y) > Devc (x, y) > DevB (x, y)}是图像在点(x, y)的色偏值。
[0026]优选地,所述特征点集合Q是指满足下式的特征点的集合:
[0027]Tmin k ( Devk (X，y) ( Ts min k or Ts max k ( Devk (x, y) ( Tmax k k = R，G，B
[0028]其中，Tmaxk是{Devk (x, y), k = R, G, B}中的最大值，Tmink 是{Devk (x, y), k = R, G,B}中的最小值，Tsmink = l/6Tmink> Tsmaxk = l/6Tmaxk。
[0029]优选地，所述局部极大值点和局部极小值点分别为输入的原始图像的点(X，y)在其3 X 3邻域内的极大值点和极小值点。
[0030]本发明还提供了一种消除内窥镜图像光照不均的系统，包括:
[0031]局部包络均值计算单元，用于获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值；
[0032]色偏值计算单元，用于计算图像的色偏值；
[0033]特征点集合Q计算单元，用于计算特征点集合Q ;
[0034]局部包络均值替换单元，用于将特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值；
[0035]图像替换单元，用于将局部包络均值替换单元处理后得到的图像矩阵替换原始图像。
[0036]进一步地，所述系统还包括:局部包络均值变化判断单元，用于判断当前后两次迭代中，局部包络均值的变化小于预设的阈值时，结束迭代过程。
[0037]优选地，所述局部包络均值计算单元包括:
[0038]局部极值点计算模块，用于计算输入的原始图像的局部极大值点和局部极小值
占.[0039]包络曲面拟合模块，用于利用三次样条插值拟合得到图像的上包络曲面和下包络曲面；
[0040]局部包络均值计算模块，用于按照下式计算图像的局部包络均值:
[0041]EnvR(x, y) = (EnuR (χ, y) +EndR (χ, y)) /2[0043]ΕηνΒ(χ, y) = (EnuB (χ, y) +EndB (χ, y)) /2
[0044]其中，{EnuR(χ, y) > Enuc (χ, y)、EnuB(x, y)}是图像的上包络曲面，{EndR (x, y)、Endc(x, y) >EndB(x, y)}是图像的下包络曲面，{EnvR (x, y) > Envc (x, y) > EnνΒ (χ, y)}是图像在点(x，y)的局部包络均值，M和N分别为图像的宽度和高度。
[0045]优选地，所述色偏值计算单元根据局部包络均值计算单元计算出的局部包络均值，按照下式计算图像的色偏值:
[0049]其中，{fK(x，y)、fc(x，y)、fB(x，y)}是图像在点(x，y)的原始颜色分量值，{DevK(x,y) > Devc (x, y) > DevB (x, y)}是图像在点(x, y)的色偏值。
[0050]优选地,所述特征点集合Q是指满足下式的特征点的集合:
[0053]优选地，所述局部极大值点和局部极小值点分别为输入的原始图像的点(X，y)在其3 X 3邻域内的极大值点和极小值点。
[0054]本发明的有益效果在于:通过计算内窥镜图像的色偏值对原始图像进行修正，并以修正后的图像作为下次输入图像进行迭代，在修正图像的过程中采用特征点集合Q来代替现有方法中的滑动窗口，克服了因为滑动窗口的大小没有一定的标准所带来的影响，从而消除光照不均对内窥镜图像带来的影响。
【专利附图】
【附图说明】
[0055]图1为本发明实施例1消除内窥镜图像光照不均的方法流程图；
[0056]图2为本发明实施例2消除内窥镜图像光照不均的方法流程图；
[0057]图3为本发明实施例3消除内窥镜图像光照不均的方法流程图；
[0058]图4为本发明实施例4消除内窥镜图像光照不均的系统的结构框图；
[0059]图5为本发明实施例5消除内窥镜图像光照不均的系统的结构框图；
[0060]图6为本发明实施例6消除内窥镜图像光照不均的系统的结构框图。
【具体实施方式】
[0061]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0062]本发明实施例提供了一种消除内窥镜图像光照不均的方法，包括:
[0063]获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值；
[0064]计算图像的色偏值；[0065]计算特征点集合Q ；
[0066]用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值；
[0067]将用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值所得到的图像矩阵替换原始图像，返回获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值的步骤进行下次迭代。
[0068]本发明通过计算内窥镜图像的色偏值对原始图像进行修正，并以修正后的图像作为下次输入图像进行迭代，在修正图像的过程中采用特征点集合Q来代替现有方法中的滑动窗口，克服了因为滑动窗口的大小没有一定的标准所带来的影响，从而消除光照不均对内窥镜图像带来的影响。
[0069]实施例1:
[0070]请参阅图1，为本发明一种消除内窥镜图像光照不均的方法实施例，该方法包括以下步骤:
[0071]步骤SlOl:获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值。
[0072]其中，输入原始图像的局部极值点包括局部极大值点和局部极小值点，其获取方式有多种，可根据需要得到的图像效果的不同采用不同的获取方式，本实施例不做限制。例如，选取3X3、5X 5或者7X7方窗，优选地，可采用选取输入原始图像的点(x，y)在其3X3邻域内的极大值点和极小值点作为局部极大值点和局部极小值点的方式。图像的上、下包络曲面可通过三次样条插值拟合的方式得到，具体的计算函数此处不予列出，有库函数可以直接采用，本领域技术人员知晓其计算过程。根据图像的上、下包络曲面来计算图像的局部包络均值。在本发明所提供的所有实施例中，均是按照图像的RGB三原色进行相关值的计算。
[0073]步骤S102:计算图像的色偏值。
[0074]其中，图像中各个像素点的原始颜色分量值与其局部包络均值的差值即为图像的色偏值，反映了该点各颜色分量值与局部平均灰度的偏离程度。
[0075]步骤S103:计算特征点集合Q。
[0076]其中，特征点集合Q可根据需要得到的图像效果的不同采取不同的定义。一般来说，在色偏值中选取一个最大值和一个最小值，并根据经验选取一个最大阈值和最小阈值，色偏值在最小值?最小阈值，或者最大阈值?最大值范围内的点选入特征点集合Q。
[0077]步骤S104:用特征点集合Q中每个点的局部包络均值替换该点的原始颜色分量值。
[0078]其中，特征点集合Q中的点的原始颜色分量值与局部包络均值的差在预设的范围内，也即两者间相差较大，需要用该点的局部包络均值替换其原始颜色分量值。
[0079]步骤S105:用步骤S104所得到的图像矩阵替换原始图像。
[0080]在步骤S105之后，返回步骤SlOl进行下次迭代。
[0081]其中，步骤S105用步骤S104所得到的图像矩阵替换原始图像后，步骤SlOl中输入的原始图像即为步骤S105中替换后的图像，从而在逐步迭代的过程中消除光照不均的影响。
[0082]本实施例通过计算内窥镜图像的色偏值对原始图像进行修正，并以修正后的图像作为下次输入图像进行迭代，在修正图像的过程中采用特征点集合Q来代替现有方法中的滑动窗口，克服了因为滑动窗口的大小没有一定的标准所带来的影响，从而消除光照不均对内窥镜图像带来的影响。
[0083]实施例2:
[0084]请参阅图2所示，为本发明一种消除内窥镜图像光照不均的方法的较佳实施例，该方法从步骤S201~S205与实施例1中的步骤SlOl~S105相同，此处不再详细描述，只对该方法在实施例1基础上所增加的步骤进行描述。
[0085]本实施例中，在步骤S205之后，还包括步骤S206:判断前后两次迭代中，局部包络均值的变化是否小于预设的阈值，如果是，则结束，否则返回步骤S201。
[0086]当前后两次迭代中，局部包络均值的变化不小于预设的阈值时，说明还未达到收敛条件，需要对图像继续进行增强处理。经过多次迭代后，当前后两次迭代中局部包络均值的变化小于预设的阈值，说明已不需要对图像进行增强处理，则结束迭代过程。其中，阈值可以根据具体的计算情况进行预设，此处不做限制。
[0087]实施例3:
[0088]请参阅图3所示，为本发明一种消除内窥镜图像光照不均的方法的较佳实施例，该方法包括以下步骤:
[0089]步骤S301:计算输入的原始图像的局部极大值点和局部极小值点。
[0090]其中，本实施例选取输入原始图像的点(x，y)在其3X3邻域内的极大值点和极小值点作为局部极大值点和局部极小值点。
[0091]步骤S302:利用三次样条插值拟合得到图像的上包络曲面和下包络曲面。
[0092]其中，具体的计算函数此处不予列出，有库函数可以直接采用，本领域技术人员知晓其计算过程。
[0093]步骤S303:根据图像的上包络曲面和下包络曲面，按照公式(I)计算图像的局部包络均值:
[0094]EnvR(x, y) = (EnuR (χ, y) +EndR (χ, y)) /2
[0095]Envc (χ, y) = (Enuc (χ, y) +Endc (χ, y)) /2 l≤x≤M, l≤y≤N (I)
[0096]ΕηνΒ(χ, y) = (EnuB (χ, y) +EndB (χ, y)) /2
[0097]公式(I)中，{EnuR(χ,y) > Enuc (χ, y) > EnuB (χ, y)}是图像的上包络曲面，{EndR(x,y) > Endc(x, y) > EndB (x, y)}是图像的下包络曲面，{EnvR (x, y) > Envc(x, y) > EnvB (x, y)}是图像在点(x，y)的局部包络均值，M和N分别为图像的宽度和高度。
[0098]步骤S304:按照公式(2)计算图像的色偏值:
[0099]DevE(x, y) = fE(x, y) -EnvR(x, y)
[0100]Devc (x, y) = fG(x, y) -Envc (χ, y) l≤x≤M, l≤y≤N (2)
[0101]DeνΒ (χ, y) = fB(x, y) -EnνΒ (x, y)
[0102]公式(2)中，{fK(X，y)、fe(X，y)、fB(X，y)}是图像在点(x，y)的原始颜色分量值，{DevE (x, y) > Devc (x, y) > DevB (x, y)}是图像在点(x, y)的色偏值。
[0103]从公式(2)可知，图像中各个像素点的原始颜色分量值与其局部包络均值的差值即为图像的色偏值，反映了该点各颜色分量值与局部平均灰度的偏离程度。
[0104]步骤S305:计算满足公式(3)的特征点的集合Q:[0105]Tmink ( Devk (x, y) ( Ts min k or Ts max k ( Devk (x, y) ( Tmax k k = R，G，B (3)
[0106]公式(3)中，Tmaxk是{Devk (x, y), k = R, G, B}中的最大值，Tmink 是{Devk (x, y),k = R，G，B}中的最小值，{Tsmink、Tsmaxk, k = R，G，B}是最小阈值和最大阈值，可以根据图像中灰度值的方差来确定，根据内窥镜图像的处理经验，我们确定Tsmink = l/6Tmink、Tsmaxk =l/6Tmaxk，其中Tmink为负值。最大阈值与最小阈值和色偏值的最大值和最小值之间的倍数关系，当处理内窥镜图像以外的其他图像时，需要根据经验选取最合适的倍数，此处不一一列举。只需要R、G、B三原色中某一项的色偏值满足公式(3)的点即可以列入特征点集合Q。
[0107]步骤S306:用特征点集合Q中每个点的局部包络均值替换该点的原始颜色分量值。
[0108]其中，特征点集合Q中的点的原始颜色分量值与局部包络均值的差在预设的范围内，也即两者间相差较大，需要用该点的局部包络均值替换其原始颜色分量值。
[0109]步骤S307:用步骤S306所得到的图像矩阵替换原始图像。
[0110]其中，步骤S307用步骤S306得到的图像矩阵替换原始图像后，步骤S301中输入的原始图像即为步骤S307中替换后的图像，从而在逐步迭代的过程中消除光照不均的影响。
[0111]步骤S308:判断前后两次迭代中，局部包络均值的变化是否小于预设的阈值，如果是，则结束，否则返回步骤S301。
[0112]当前后两次迭代中，局部包络均值的变化不小于预设的阈值时，说明还未达到收敛条件，需要对图像继续进行增强处理。经过多次迭代后，当前后两次迭代中局部包络均值的变化小于预设的阈值，说明已不需要对图像进行增强处理，则结束迭代过程。其中，阈值可以根据具体的计算情况进行预设，此处不做限制。
[0113]本实施例的方法不仅可用于内窥镜图像的处理，还可以用于自然图像的处理。表I是本实施例的方法与现有技术的均值滤波迭代修正算法的实验结果对比，经过本发明实施例的方法处理过的图像，信噪比与现有技术的方法处理过的图像信噪比相比较有一定的提高，噪点减少，图像质量得到增强，能够很好的消除内窥镜图像光照不均的现象。
[0114]表I本实施例与现有技术处理过的图像信噪比对比
[0115]
【权利要求】
1.一种消除内窥镜图像光照不均的方法，其特征在于，包括: 获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值； 计算图像的色偏值； 计算特征点集合Q ； 用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值； 将用特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值所得到的图像矩阵替换原始图像，返回获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值的步骤进行下次迭代。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括: 当前后两次迭代中，局部包络均值的变化小于预设的阈值时，结束。
3.根据权利要求1或2所述的方法，其特征在于，所述获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值的步骤包括: 计算输入的原始图像的局部极大值点和局部极小值点； 利用三次样条插值拟合得到图像的上包络曲面和下包络曲面； 按照下式计算图像的局部包络均值:
EnvR(x, y) = (EnuR (x, y) +EndR (x, y)) /2 Envc (x，y) = (Enuc (x, y) +Endc (x，y))/2
l≤x≤M, l≤y≤N EnvB (x, y) = (EnuB (x, y) +EndB (x, y))/2
其中，{EnuR(x, y) > Enuc (x, y) > EnuB (x, y)}是图像的上包络曲面，{EndR(x, y) >EndG(x,y) >EndB(x, y)}是图像的下包络曲面，{EnvR(x, y) > Envc (χ, y) > EnνΒ (χ, y)}是图像在点(χ,y)的局部包络均值，M和N分别为图像的宽度和高度。
4.根据权利要求3所述的方法，其特征在于，所述计算图像的色偏值的步骤具体为: 按照下式计算图像的色偏值:
DevK(x, y) = fE (x, y) -EnvE (x, y)
Devc (x, y) = fG (χ, y) -Envc (χ, y) 1 ≤ χ ≤ Μ, 1 ≤ y ≤ N
DeνΒ (χ, y) = fB (χ, y) -EnνΒ (χ, y) 其中，{fR(x，y)、fc(x，y)、fB(x，y)}是图像在点(x，y)的原始颜色分量值，{DevK(x,y)、Devc (x, y)、DevB(x, y)}是图像在点(x, y)的色偏值。
5.根据权利要求4所述的方法，其特征在于，所述特征点集合Q是指满足下式的特征点的集合:
Tmin k ( Devk (X，y) ( Ts min k or Ts max k ( Devk (x, y) ( Tmax k k = R，G，B其中，Tmaxk 是{Devk (x, y), k = R, G, B}中的最大值，Tmink 是{Devk (x, y), k = R, G, B}中的最小值，Tsmink = l/6Tmink、Tsmaxk = l/6Tmaxk。
6.根据权利要求5所述的方法，其特征在于，所述局部极大值点和局部极小值点分别为输入的原始图像的点(x，y)在其3X3邻域内的极大值点和极小值点。
7.一种消除内窥镜图像光照不均的系统，其特征在于，包括: 局部包络均值计算单元，用于获取输入的原始图像的局部极值点，拟合出图像的上、下包络曲面，计算图像的局部包络均值；色偏值计算单元，用于计算图像的色偏值； 特征点集合Q计算单元，用于计算特征点集合Q ； 局部包络均值替换单元，用于将特征点集合Q中每个点的局部包络均值替换所述点的原始颜色分量值； 图像替换单元，用于将局部包络均值替换单元处理后得到的图像矩阵替换原始图像。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括:局部包络均值变化判断单元，用于判断当前后两次迭代中，局部包络均值的变化小于预设的阈值时，结束迭代过程。
9.根据权利要求7或8所述的系统，其特征在于，所述局部包络均值计算单元包括: 局部极值点计算模块，用于计算输入的原始图像的局部极大值点和局部极小值点； 包络曲面拟合模块，用于利用三次样条插值拟合得到图像的上包络曲面和下包络曲面； 局部包络均值计算模块，用于按照下式计算图像的局部包络均值:
10.根据权利要求9所述的系统，其特征在于，所述色偏值计算单元根据局部包络均值计算单元计算出的局部包络均值，按照下式计算图像的色偏值:
11.根据权利要求10所述的系统，其特征在于，所述特征点集合Q是指满足下式的特征点的集合:
Tmin k ( Devk (X，y) ( Ts min k or Ts max k ( Devk (x, y) ( Tmax k k = R，G，B其中，Tmaxk 是{Devk (x, y), k = R, G, B}中的最大值，Tmink 是{Devk (x, y), k = R, G, B}中的最小值，Tsmink = l/6Tmink、Tsmaxk = l/6Tmaxk。
12.根据权利要求11所述的系统，其特征在于，所述局部极大值点和局部极小值点分别为输入的原始图像的点(x，y)在其3X3邻域内的极大值点和极小值点。
【文档编号】G06T5/00GK103455977SQ201210180976
【公开日】2013年12月18日 申请日期:2012年6月4日 优先权日:2012年6月4日
【发明者】李凌, 辜嘉, 余燕, 李志成, 张永亮 申请人:中国科学院深圳先进技术研究院