专利名称：生成多尺度对比度增强的图像的方法
技术领域：
本发明涉及用于增强由数字信号表示的图像的图像质量的方法。
背景技术：
通常，由数字信号表示的图像(诸如医学图像)在显示或者硬拷贝记录期间或者 之前须经图像处理。灰度值像素到适合用于再现或者显示的值的转换可以包括多尺度图像处理方法 (也被称为多分辨率图像处理方法)，图像的对比度借助于该方法而被增强。根据这种多尺度图像处理方法，通过应用以下步骤来处理由像素值的阵列表示的 图像。首先，原始图像被分解为多个尺度下的细节图像的序列以及偶尔的残留图像。接着， 通过将至少一个转换函数应用于这些像素值来修正细节图像的像素值。最后，通过将重构 算法应用于残留图像以及被修正的细节图像来计算被处理的图像。存在对转换函数的性能的限制。如果转换函数过度地非线性，则图像中的灰度值 转变可能在一定程度上被扭曲，使得外观变得不自然。扭曲在显著的灰度级过渡的附近更 加明显，其可能导致阶跃边缘处的过冲(overshoot)以及面向强阶跃边缘的低变化的区域 中的均勻性(homogeneity)的损失。产生假象的风险对于CT图像变得更加显著，因为它们 具有更急剧的灰度级过渡，例如在软组织与造影剂的交界处。在CT图像上使用多尺度技术 时必须十分小心。产生对比度增强的图像而同时保持边缘过渡的形状的多尺度对比度增强算法已 经在2006年12月11日提交的共同待批的欧洲专利申请06 125 766. 3中被描述。在该方 法的一个实施例中，以一个或者多个尺度创建图像的至少一个近似图像的转换差图像。接 着，非线性地修正转换差图像。然后，特定尺度下的至少一个增强的中心差图像通过合并该 尺度下的或者更小尺度下的被修正的转换差图像来计算。从图像获得的空间局部化现象可 以被用于创建增强的中心差图像。最后，通过将重构算法应用于增强的中心差图像来计算 增强的图像。本专利申请也公开了另一个实施例，其中数字信号被分解成多尺度表示，该多尺 度表示包括至少两个以多个尺度表示细节的细节图像以及近似图像，细节图像得自于近似 图像。转换差图像从至少一个近似图像计算得到。接着，非线性地修正转换差图像。然后， 放大图像以至少一个尺度被计算为两幅图像之比，其中通过合并相同或者更小尺度下的被 修正的转换差图像来计算第一图像并且通过合并相同或者更小尺度的未被增强的转换差 图像来创建第二图像。接下去，根据至少一个尺度下的放大图像，以该尺度修正细节图像来 计算增强的多尺度细节表示。最后，通过将重构算法应用于增强的多尺度细节表示计算来 计算增强的图像表示。一般而言，各向同性的滤波器被用在分解和重构过程中并且全方向的增强被应用 于细节图像中的系数。各向同性的设计概念在其中图像统计是平稳的(stationary)那些 情况下是合理的，意思是图像中的每个小块(patch)都通过与图像的每个其它小块相同的
3随机过程而被生成。然而，如果审视图像的如下区域即其中边缘或者线或者均勻区域可能 是可见的，则清楚的是基本过程不是平稳的并且从小块到小块变化。本发明的目的是克服现有技术的限制。这种限制是没有能力促进对图像特征选择性的检测和增强，例如染色体图像，其 中对于指定的DNA分析想要以特定尺度并且在某一方向和位置上增强染色体带。
发明内容
通过具有权利要求1所提出的特定的特征的方法来实现上述方面。用于本发明的 优选实施例的特定的特征在从属权利要求中被提出。在本发明的上下文中，特定的术语定义如下多尺度分解机制图像的多尺度(或者多分辨率)分解是以灰度值图像的多个尺度计算图像的细节 图像的过程。多尺度分解机制一般涉及用于计算细节图像的滤波器组。众所周知的技术举 例来说有拉普拉斯金字塔(Laplacian pyramid)、伯特金字塔(Burt Pyramid)、拉普拉斯 堆(Laplacian stack)、小波分解、QMF滤波器组...。近似图像近似图像是以相同或者更大的尺度，或者以相同或者更低的分辨率表示原始灰度 值图像的灰度值图像。特定尺度下的近似图像与其中该尺度下的所有细节已被省略的原 始灰度值图像等同(Mallat S. G.，“多分辨率信号分解理论小波表示〃，IEEE模式识 别及机器智能学报，1989 年 7 月，卷 11，第 7 期(“A Theory for Multisolution Signal Decomposition :The Wavelet Representation" , IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol. 11, no. 7, July 1989))。细节图像细节图像被定义为表示某一尺度下的近似图像与更小尺度下的近似图像之间的 差的像素图。转换算子转换算子是生成细节像素值的按像素的修正的算子，该修正作为创建灰度值图像 的对比度增强的形式的中间步骤。举例来说，这样的算子已经在欧洲专利EP 527 525中被 描述。由转换函数定义修正并且可以例如将修正以查找表或者乘法放大的方式实现。转换差图像尺度s下的转换差图像是尺度s下的近似图像的每个像素中的基本对比度 (elementary contrast)的量度。可以通过求该尺度s下的近似图像与经转换的形式之间 的差来计算它们。对基本对比度的其它计算是可能的，例如像素与相邻像素的比可以被用 于下列情况在处理步骤之前是指数变换并且在所述处理步骤之后是对数变换。中心差图像通过将合并算子(例如求和)应用于转换差图像来计算中心差图像。合并算子可 以是转换差图像中对应的像素值的线性或者非线性函数。方向图特定尺度下的方向图是对典型地与显著的图像结构相关联的突出的或者局部主 导的方位的图像内的每个像素的表示。
方向图的可能的表示是向量图、极坐标表示(每个像素中的优选方位的角度和幅 度)、笛卡尔坐标表示(每个像素中的优选方位的水平和垂直分量)。(在更简单的表示中， 只有角度被定义并且提取由方位向量的幅度构成)。计算方向图的许多实现已经被描述，从诸如第η阶计量坐标(the n-th order gauge coordinate)、等照度线(在图像中连接相等强度的点的线)的方位的复杂机制到诸 如水平和垂直梯度图像的合并的更简单明了的实现。方向图也可以从细节图像而被计算出。例子是通过边缘小波生成的细节信息，其 中细节信息以不同尺度表示边缘的局部化。基于被增强并且被合并到中心差的转换差图像的多尺度图像处理产生如下的可 能性调整对存在于数字图像中的方位的增强。各向异性的多尺度图像处理基于如上描述的方向图，该方向图定义在特定尺度上 每个像素的所关心的优选的局部方位。可以从近似图像以及从细节图像来计算出方向。另外，实现各向异性的多尺度图像增强的两个方法被描述转换差图像的可控制 的增强以及增强的转换差图像的各向异性的加权。两种实现可以独立于彼此而被应用或者 一起被应用以从转换差图像来产生增强的中心差。本发明一般地被实现为计算机程序产品，当其在计算机上运行时，所述计算机程 序产品适用于执行权利要求中的任意一项权利要求所述的方法并且被存储在计算机可读 介质上。本发明的方法可以被应用于增强诸如乳房造影(mammographic)图像、通过计算 断层照相得到的图像等医学图像的图像质量。本发明的另外的优点和实施例从以下的描述及附图将变得显而易见。
图1示出多分辨率图像处理方案，其中从相同尺度下的近似图像来计算出中心差 图像，图2是图1的高阶(advanced)增强功能块的细节图，图3和5示出根据本发明的多分辨率图像处理方法的不同实现，图4示出图3所示的多分辨率图像处理方法的图像增强步骤，图6示出图5所示的多分辨率图像处理方法的图像增强步骤，图7示出通过使转换差的增强依赖于它们的方向来对增强的中心差进行的计算，图8示出通过使其权重是依赖于方向的来对增强的中心差进行的计算，图9是关于在上述附图中所使用的符号的图例。
具体实施例方式这种对比度增强算法适用于所有多尺度细节表示方法，通过应用求反变换可以根 据该方法来计算原始图像。其对于可以被计算为转换差图像的加权和的可逆多尺度细节表示是适用的。转换差图像的加权因子和转换偏置可以这样的方式从所述多尺度分解中被扣除
5(deduct)转换差图像的最终的加权和与细节像素值一致或者是细节像素值的近似。对于这些多尺度细节表示，可以通过在加权和被计算之前将转换算子应用于中心 差来增强对比度。为计算转换差图像的加权和，相同尺度(或者分辨率水平)下的近似图像或者更 小尺度(或者更精细的分辨率水平)下的近似图像可以被使用。现有技术状况的多尺度对比度增强算法将图像分解为多尺度表示，该多尺度表示 包括以多个尺度表示细节的细节图像以及残留图像。一些重要的多尺度分解是小波分解、拉普拉斯_高斯(或者LoG分解)、高斯差分 (或者DoG)分解以及伯特金字塔。通过应用随后是子采样步骤的高通及低通滤波器级联来计算小波分解。高通滤波器从特定尺度的近似图像中提取细节信息。在伯特金字塔分解中，通过减去尺度k+Ι下的近似图像的上采样(upsampled)形 式从尺度k下的近似图像中提取细节信息。在如EP 527525中所公开的一个现有技术状况的方法中，通过在细节图像中的像 素值的转换来创建图像的对比度增强的形式，该转换之后是多尺度重构。多尺度分解的所有上述实现具有共同的特性。通过合并移动邻域中的像素值可以 从近似图像计算出细节图像中的每个像素值。在上述情况中，合并函数是加权和。对于小波分解，尺度k下的细节图像中的像素值被计算为dk+1 =丨(hd*gk)gk+1 =丨(ld*&)其中hd是高通滤波器，Ik是低通滤波器，*是 卷积算子并且丨是子采样(subsampling)算子(即不考虑每个第二行和列(every second row and column))。对于小波重构，尺度k下的增强的近似图像被计算为hk = lr*U hk+1)+hr*( f(dk+1))其中hr是高通滤波器，Ir是低通滤波器并且 是上采样算子(即在任两行和列(any two rows and columns)之间插入具有0值的像素)。对于伯特分解，尺度k下的细节图像中的像素值被计算为dk = gk-4g* ( gk+1)或者dk = gk-4g* ( ( I (g*gk)))或者dk = (l_4g*( ( I g)))*gk其中g是高斯低通滤波器并且1是恒等算子。对于伯特重构，尺度k下的增强的近似图像被计算为hk = 4g*( hk+1)+f(dk)其中f (χ)是转换算子。作为加权和的多尺度细节像素值假如在伯特多尺度分解中具有系数Wu的5X5高斯滤波器被使用，其中k =-2，. . . 2并且1 = -2，. . . 2，则子采样算子去除每个第二行和列并且上采样算子在任两行和列之间插入具有值0的像素。
在近似图像gk+1中处于位置i，j的像素被计算为
2 2
gk+x (i, ·/) = Σ Σ wS.^ (2/ + s,2j + i
s=-21=-2
在上采样的图像Uk中处于位置i，j的像素被计算为
^k(Uj) =
￡￡ W^ ο·+5,7+0若i和j是偶数
-It=-I
0其它
在上采样的、经平滑的图像guk中处于位置i，j的像素被计算为
guk(},j) =
2 2
Σ Σ ^,Lt^S^ + ^ + mJ + t + n)若 i和 j 都是偶数
m={-2,0,2} ={-2,0,2} “
--It--I
2 2
Σ Σ ￡￡ < 力十讲’若i是奇数而j是偶数
m={-14} ={-2,0,2}- 。‘
=-2r=-2
2 2
Σ Σ+ + t + 若i是偶数而j是奇数
{-2,0,2} ={-1,1}s=-2t=-2
1 2
Σ Σ若i和j都是奇数
m={-l,]} ={-1,1}s=-2t^-2J最后，在细节图像dk中处于位置i，j的像素被计算为
2 2
sAh.η-4Σ ^,ΣΣ^ Ο+ ^Ζ+Η")若 i和j都是偶数
dk(i’j) =
=-2ι=~2
2 2
& —\L· ,L·t$，gk ……+…〉若i是偶数，j是奇数 & )) - 4I, LLw^ +s+m' “7·+f 一若 i 和 j都是奇数项gl (ri, rj) -gl (ri+m, rj+n)被称为转换差。其表示了近似图像中的中心像素和相邻像素之间的像素值的差。它是局部对比度 的量度。转换差的加权和被称为中心差Ck (i，j)。权重可以被选择以使中心差图像与多尺度细节图像一致或者它们是多尺度细节 图像的极相近的近似。以与上述相似的方式，可以被证明的是其它多尺度分解方法中的细节图像也可 以被表示为转换差图像的合并。转换操作在像EP 527 525中所公开的现有技术状况的方法中，通过将转换算子f (χ)应用 于细节图像dk来获得对比度增强，或者，等同地为
/Λf{dk (i, j)) = f g{ (π, rj) - Σ Σ v-,ngi ("· + m, rJ + n)
\m ηJ这样的转换算子的例子是S形函数(sigmoid function)。这样的转换算子的另一 个例子是像在EP 525 527中所公开的对比度增强函数。转换算子的形状取决于对增强的 特定需求，其意图是与高值细节像素相比更多地放大低值细节像素。转换步骤可能在被重构的、对比度增强的图像中引起边缘过渡的形状的变形 (deformation)。原因是转换函数的非线性。一般而言，下列各项适用于非线性函数f (x+y) ^ f (χ) +f (y)
/ / YjX1 ^ΣΛΧ')
V i y i现有技术状况的算法首先将细节图像dk中的像素值计算为加权和并且此后应用 转换步骤。通过将细节图像dk中的像素值重写为转换差的加权和，有可能在求和之前而不是 之后应用转换步骤。现在通过将转换步骤应用于转换差来得到对比度增强fidk ('·’ j)) = Σ Σ vmj(Si {ri, rj) - g, (η + m, rj + 》
m η以此方式，边缘过渡的形状在对比度被增强的、重构的图像中更好地被保持。如果对于每个尺度k，从全分辨率图像gQ计算出该尺度下的细节图像，并且增强被 应用于中心差，则边缘过渡的形状在重构之后最佳地被保持。本发明的不同实现在图1、3和5中被示出。对应的增强步骤在图2、4和6中被示
出ο图1示出如何从相同尺度的近似图像计算出中心差图像。图2示出利用从相同或者更粗糙尺度的近似图像获得的方向图的受控的增强块。功能块Ak这些滤波块可以被用于增强近似图像(典型地为水平和垂直梯度图像)或者从近 似图像计算出某些特性。这些特性可以被用于计算方向图。
在特定的实施例中，近似图像在方向图从其被计算出之前被增强。举例来说，这可 以通过对近似图像进行额外的平滑以减少噪声及不相关的小的图像结构对方向图计算的 影响来执行。同样地，其它特性可以从近似图像计算出。方向图生成器0 M特定尺度的方向图是每个像素的表示，该像素位于显著的图像结构的突出的或者 局部主导的方位的图像内。方向图的可能表示已经在上文中被描述。各向异性增强各向异性增强通过下列方式执行(1)转换差图像的受控的增强，由此使控制取 决于方向图的内容，或者⑵通过增强的转换差图像的各向异性的加权(系数Wj)。两种实 现可以独立于彼此被应用或者可以一起被应用以从转换差图像创建出增强的中心差。转换 差图像的可控制的增强每个增强的中心差被计算为增强的转换差的合并。转换差是近似图像中，中心像素与在其局部邻域中的像素的像素值的差。通过使 用这两个像素相对于(w.r. t.)彼此的空间方向，可以将增强用于根据所关心的预先定义 的方向或多或少地修正转换差。例子(参见图7-3D图像中的不同的层表示不同的值)假定噪声边缘存在于图像内的所关心的区域中。为了合并边缘的增强而同时减小噪声的影响，可以增强具有与边缘方向垂直的方 向的转换差并且衰减平行于边缘的转换差。后一种转换差表示不想要的噪声图像结构，而第一种表示在边缘上的局部对比 度。具有在这两者之间的方向的转换差将经历中间的增强。从近似图像gk_m开始，通过合并图像gk_m的水平和垂直梯度来计算方向图Μ。为了 减小噪声对梯度计算的影响，使用例如中值滤波器对近似图像gk_m进行滤波，产生被滤波的 图像Ak(gk_m)。使用水平和垂直方位上的核(kernel) {1，-1}来计算图像内的垂直和(en) 水平的一阶梯度。如果方向图M表示例如显著的图像结构的局部方位(或者垂直于局部方 位)，则图被计算为垂直梯度和水平梯度之比的反正切函数^(/，力匀如-‘^狀-旦“^^^^^，·7·-1))’々^^^·7· + 1)))"!
L hor _ grad(Ak (gk_m (i -1, ), Ak (gk_m (i + l, j)))该方向图M被用作LUT算子的控制输入。LUT算子具有两个输入，转换差以及方向图，并且生成增强的转换差作为输出。这 种可控制的LUT算子LUT(dk，M(i，j))的例子是转换算子f(dk)与附加的依赖于方向的放 大函数Απιρ(θ)的合并，其中θ是方向图M(i，j)的函数。转换算子f(dk)的例子是S形函数以及像在EP 525 527中所公开的对比度增强 函数。转换算子的形状取决于增强的特定的要求，其意图是与高值转换差相比更多地放大 低值转换差。依赖于方向的放大函数典型地返回沿优选方位的最大放大因子、用于垂直于优选方位的最小放大因子以及用于中间方向的逐渐变化的放大因子。这种依赖于方向的放大函数的例子是与常数放大因子b相乘的余弦函数。作为该 函数的输入，可以求由方向图M(i，j)规定的所关心的局部方位和处于位置(m，n)(相对于 所关心的中心像素)的转换差的方向之间的差Amp ( θ ) = bcos ( θ )其中θ = M (i，j)-angle (dk(i+m，j+n)并且 angle (dk(i+m，j+n) = tan-1 (n/m)可控制的LUT算子的更高阶的实现是多维度的查找表。LUT算子的结果是增强的转换差以及转换差沿由M(i，j)所规定的方位的附加的 增强(在图7中由增强的转换差em,n的表示的高度来指示)。接着使用各向同性的权重wm,n合并增强的转换差来计算处于位置i，j的增强的中心差。使用相同的权重，通过合并相同或者更小尺度下的未被增强的转换差图像来创建
第二图像。接下来，通过根据至少一个尺度下的放大图像，以该尺度修正细节图像来计算增 强的多尺度细节表示。最后，通过将重构算法应用于增强的多尺度细节表示来计算增强的图像表示。增强的转换差图像的各向异性加权为从处于每个位置(X，y)的转换差图像计算出中心差，求转换差的加权和。在 2006年12月11日提交的欧洲专利申请06 125 766. 3中，权重是各向同性的并且没有定义 优先的方位。通过依据它们相对于中心权重的空间方向来改变权重，可以在总的和中改变 沿预先定义的方向的转换差的重要性。例子(参见图8-3D图像中的不同的层表示不同的值)假定噪声边缘存在于图像内的所关心的区域中。如果在减小噪声的同时希望得到该边缘的增强，则可以将相对较高的权重应用于 具有与边缘方向垂直的方向的增强的转换差，并且将相对较低的权重应用于平行于边缘的 增强的转换差。后一种转换差表示不想要的噪声图像结构，而第一种表示在边缘上的局部 对比度。具有在这两者之间的方向的增强的转换差将以中间的权重被考虑在内。根据近似图像方向图M的计算在第一实施例中详细地被解释。而不是将方 向图M用作LUT算子的控制输入，方向图M也可以被用作控制参数来产生各向异性的权重
wIIi, η °在该实施例中，LUT算子仅取决于未被增强的转换差，例如如上文所规定的转换算 子 f(dk)。对于图像内的每个位置i，j，各向同性的权重wm,n就它们相对于如方向图M(i，j) 规定的所关心的局部方位的方向而被修正。作为修正算子，放大函数的机制如在第一实施 例中所解释的那样被使用。各向同性的权重wm, n被乘以依赖于方向的放大函数，其典型地 返回沿优选方位的最大乘法因子、用于垂直于优选方位的方向的最小乘法因子以及用于中 间的方向的逐渐变化的乘法因子(在图8中用权重wm,n的表示的高度来指示)。这种依赖于方向的放大函数的例子是余弦函数。作为该函数的输入，可以求由方
10向图M(i，j)规定的所关心的局部方位和处于位置(m，η)(相对于中心位置(0，0))的权重 的方向之间的差Amp ( θ ) = cos( θ )其中θ = M(i, j)-angle (wk(m, n)并且 angle (wk (m, n) = tarT1 (n/m)此外，各向异性的权重被归一化使得权重的和等于1。在最后一个步骤中，通过使用各向异性的权重合并增强的转换差来计算中心差。 这导致沿由方向图M(i，j)规定的所关心的局部方位被定向的增强的转换差有相对较高的权重。图7和8所示的增强方法的合并也是可能的。
1权利要求
一种用于增强由数字信号表示的图像的对比度的方法，其中a.所述数字信号被分解成多尺度表示，所述多尺度表示包括至少两个表示多个尺度下的细节的细节图像以及近似图像，所述细节图像得自于所述近似图像，在表示所述图像的灰度值的尺度下的近似图像中该尺度下的所有细节已被省略，b.通过按像素将尺度s下的近似图像的值与所述近似图像的经转换的形式的值相减来计算转换差图像，c.所述转换差图像的值非线性地被修正，d.放大图像以至少一个尺度被计算为两幅图像之比，其中通过合并相同或者更小尺度下的所述经修正的转换差图像来计算第一图像，并且通过合并相同或者更小尺度下的未被增强的转换差图像来创建第二图像，所述未被增强的差图像与所述细节图像不同，e.通过根据至少一个尺度的放大图像，以该尺度修正细节图像来计算增强的多尺度细节表示，f.通过将对所述多尺度分解求反的重构算法应用于所述增强的多尺度细节表示来计算增强的图像表示，其中所述转换差图像的值的所述非线性修正由方向图的值控制，所述方向图为特定尺度上的每个像素包括所关心的局部方位。
2.根据权利要求1所述的方法，其改进在于被应用于被合并以形成放大图像的图像的 权重由方向图的值控制，所述方向图为尺度上的每个像素包括所关心的局部方位。
3.根据权利要求1或者2所述的方法，其中从经滤波的近似图像推导出所述方向图。
4.根据权利要求1或者2所述的方法，其中特定尺度下的转换差图像从相同尺度下的 近似图像计算出。
5.根据权利要求1或者2所述的方法，其改进在于所有所述转换差图像从所述原始图 像计算出。
6.根据权利要求1或者2所述的方法，其中尺度k下的转换图像从尺度m下的近似图 像被计算出，其中m表示尺度1和尺度k-Ι之间的尺度。
7.根据权利要求1或者2所述的方法，其中所述中心差图像与所述多尺度细节图像一 致或者是所述多尺度细节图像的极相近的近似。
8.根据前述权利要求中任意一项权利要求所述的方法，其中所述图像是乳房造影图像。
9.根据前述权利要求中任意一项权利要求所述的方法，其中所述图像是CT图像。
10.一种计算机程序产品，当其在计算机上运行时，所述计算机程序产品适于执行前述 权利要求中任意一项权利要求所述的方法。
11.一种计算机可读介质，所述计算机可读介质包括计算机可执行的程序代码，所述计 算机可执行的程序代码适于执行前述权利要求中任意一项权利要求所述的步骤。
全文摘要
数字图像信号被分解成包括细节图像和近似图像的多尺度表示。通过将尺度s下的近似图像与该近似图像的经转换的形式相减来计算转换差图像。所述转换差图像的值非线性地被修正。放大图像以至少一个尺度被计算为第一图像和第二图像之比，通过合并相同或者更小尺度下的被修正的转换差图像来计算所述第一图像，通过合并相同或者更小尺度下的未被增强的转换差图像来创建所述第二图像。接下去，通过根据至少一个尺度的放大图像，以该尺度修改细节图像来计算增强的多尺度细节表示。通过将重构算法应用于所述增强的多尺度细节表示来计算增强的图像表示。所述转换差图像的值的非线性修正由方向图的值控制，所述方向图为特定尺度上的每个像素包括所关心的局部方位。
文档编号G06T5/20GK101939763SQ200880126810
公开日2011年1月5日 申请日期2008年12月10日 优先权日2007年12月10日
发明者P·武伊尔斯特克, T·伯滕斯 申请人:爱克发医疗保健公司