一种基于多尺度形态学双边滤波分解和对比度压缩的mri与pet图像融合方法
【专利摘要】本发明一种基于多尺度形态学双边滤波和对比度压缩的MRI与PET图像融合方法：对PET彩色图像插值运算，使分辨率与MRI图像相同，对R、G、B三通道IHS变换，得I、H、S三通道；对PET图像的I通道和MRI图像多尺度形态学双边滤波分解，得亮特征图像、暗特征图像和基频图像；对MRI图像分解得到的亮特征和暗特征图像对比度压缩、调整灰度范围，使之与I通道分解得到亮特征和暗特征图像灰度范围相同；将对比度压缩后MRI亮特征和暗特征图像与I通道分解得到的亮特征和暗特征图像进行最大值运算，得矫正后亮特征和暗特征图像，矫正后亮特征图像减去矫正后暗特征图像，加上PET图像分解得到的基频图像得到融合亮度图FI；将FI、H和S三通道进行IHS逆变换，得到融合后彩色图像。
【专利说明】
一种基于多尺度形态学双边滤波分解和对比度压缩的MR I与 PET图像融合方法 (一)
技术领域
[0001 ]本发明涉及一种基于多尺度形态学双边滤波分解和对比度压缩的MRI与PET图像 融合方法，属于数字图像处理领域，主要涉及数学形态学和图像融合技术。MRI和PET融合得 到的图像，既包含MRI图像提供的组织结构解剖信息，又包含PET图像提供的组织结构代谢 强度信息，因此更有利于病情的诊断和病灶的定位，具有广阔的运用前景。 (二)
【背景技术】
[0002] MRI图像(核磁共振成像)和PET图像(正电子发射型计算机断层成像)融合，是将高 分辨率的具有组织解剖信息而不具有功能信息的MRI图像，与低分辨率的具有组织功能信 息而不具有组织解剖信息的PET图像融合成一张图像，使该图像同时具有高分辨率的组织 解剖信息和功能信息。由于PET是彩色图像，将MRI结构信息注入PET图像时会引起颜色畸 变，因此如何在保持PET图像颜色高保真度的同时，将尽可能多的MRI结构信息融合到PET图 像中，是MRI与PET图像融合的难点和关键。研究者提出了很多方法进行MRI与PET图像的融 合。基于IHS和PCA的融合方法(参见文献:何长涛刘全喜等基于HIS和PCA的多模医学图像融 合，能源工程，2010,7:280-285. (He C，Liu Q,Li H，et al.Multimodal medical image fusion based on IHS and PCA[J] .Procedia Engineering,2010,7:280-285·))先米用 IHS变换求取PET的亮度图像I，然后用PCA方法将其和MRI分解成两个主成分分量，根据MRI 图像和亮度图像I的空域频率融合两主成分分量得到融合后的亮度图像，然后经过IHS逆变 换得到融合后的图像。由于该方法采用空域频率全局指标来融合图像，没有对光谱畸变进 行处理，因此融合后的图像虽然具有较高的结构信息，但图像整体亮度改变较大，颜色畸变 严重。基于小波变换的融合方法(参见文献:哈利巴布等采用小波变换的MRI-PET多模医学 图像融合，通讯及其运用，（Haribabu，Maruturi，CH Hima Bindu，and K.Satya Prasad." Multimodal Medical Image Fusion of MRI-PET Using Wavelet Transform."Advances in Mobile NetworkjCommunication and its Applications(MNCAPPS), 2012International Conference on · IEEE，2012 ·))首先对PET图像进行IHS变换得到其亮 度图像，然后分别对亮度图像和MRI图像进行一层离散小波分解，基频采用均值融合的方 法，其他高频采用基于空域频率权重的融合方法。由于PET的亮度图像和MRI之间的相关性 较低，采用低频均值融合的方法会导致融合图像亮度与PET的亮度图像相差较大，产生较大 的颜色畸变。基于混合智能的融合方法(参见文献:卡维莎切拉木图基于混合智能的医学图 像融合，运用软计算，2014,20:83-94. (Kavitha C T，Chellamuthu C.Medical image fusion based on hybrid intelligence[J].Applied Soft Computing,2014,20:83-94.))先通过蚁群算法检测待融合图像的边缘，然后将边缘增强后的图像输入到脉冲耦合 神经网络得到对应图像的融合权重图，然后在像素级上选择融合权重较大的输入图像作为 融合图像。由于该方法根据MRI像素边沿信息来替换PET图像中对应位置的像素值，因此融 合图像中会产生较大的颜色畸变，同时融合图像中不能有效的包含MRI中的区域信息。数学 形态学是图像处理的重要工具之一(参见文献:塞拉.图像分析与数学形态学，科学出版社， 纽约，1982 · (J. Serra，Image analysis and mathematical morphology ,Academic Press, New York, 1982.))，由MRI图像的成像原理可知，MRI结构信息主要体现为图像中的亮特征 和暗特征，在数学形态学的各种运算符中，高帽变换可以用于提取图像中的亮区域和暗区 域。不过，由于数学形态学运算可能会严重平滑图像的细节，因此会导致提取的亮特征和暗 特征发生畸变。
[0003] 形态学双边滤波具有一些优良的特性(参见文献:安古洛形态学双边滤波，应用数 学学会图像科学杂志，2013,6(3) :1790-1822. (Angulo J.Morphological bilateral filtering[J] .SIAM Journal on Imaging Sciences,2013,6(3) :1790-1822.))能够在滤 除噪声的同时保留图像中大的边缘，因此采用多尺度形态学双边滤波能有效的提取图像中 不同尺度的亮特征和暗特征。 (三)
【发明内容】
[0004] 1、目的:MRI与PET融合得到的图像，既包含MRI图像提供的组织结构解剖信息，又 包含PET图像提供的组织结构代谢强度信息，因此更有利于病情的诊断和病灶的定位，具有 广阔的运用前景。但是现阶段的融合方法很难做到在保持高光谱保真度的情况下，获得高 分辨率的融合图像。
[0005] 为了解决上述问题并弥补传统方法的不足，本发明提供了一种基于多尺度形态学 双边滤波分解和对比度压缩的MRI与PET图像融合方法，通过多尺度形态学双边滤波分解提 取MRI和PET亮度图像的亮特征、暗特征和基频图像，根据PET亮特征和暗特征图像压缩MRI 的亮特征和暗特征图像的对比度和灰度范围，并与PET图像分解得到的基频图像相加得到 融合亮度图像，这样能够在尽可能少的改变PET亮度图像灰度的同时，将MRI图像中尽可能 多的视觉结构信息注入到融合图像中，从而获得高分辨率高光谱保真度的融合图像。
[0006] 2、技术方案:本发明的主要原理为:首先对PET彩色图像进行插值运算，使其分辨 率与MRI图像相同，并对其R、G、B三通道进行IHS变换，得到I、H、S三通道;然后分别对PET图 像的I通道和MRI图像进行多尺度形态学双边滤波分解，得到对应的亮特征图像、暗特征图 像和基频图像;随后分别对MRI图像分解得到的亮特征图像和暗特征图像进行对比度压缩、 并调整其灰度范围，使之分别与I通道分解得到的亮特征和暗特征图像的灰度范围相同；其 次将对比度压缩后的MRI亮特征和暗特征图像分别与I通道分解得到的亮特征和暗特征图 像进行最大值运算，得到矫正后的亮特征图像和暗特征图像，并用矫正后的亮特征图像减 去矫正后的暗特征图像，并加上PET分解得到的基频图像得到融合亮度图FI;最后将FI、H和 S三通道进行IHS逆变换，得到融合后的彩色图像。
[0007] 本发明的一种基于多尺度形态学双边滤波分解和对比度压缩的MRI与PET图像融 合方法，其步骤为：
[0008] 步骤一:采用双立方插值的方法对PET图像的R、G、B三通道分别进行插值，使其分 辨率和MRI图像的相同，然后对其进行I HS变换、得到I、H、S三通道，其中I表示图像的亮度、H 代表图像光谱的波长、S代表光谱的纯度。
[0009] 步骤二:分别对MRI图像和PET的亮度图像I进行多尺度形态学双边滤波分解。设分 解的层数为n，待分解的图像为fo则第i层分解为：
[0010] A i!=max(Wi-i*G(di-1))
[0011] A i2=max(Bi-i*G(di-1))
[0012] di<di-i
[0013] <=./；-
[0014] ffi = fi-fi-i
[0015] Bi = fi-i-fi
[0016] 其中，
[0017] 11^1分别为第1层分解得到的亮特征图像、暗特征图像和基频图像，11- 1、81一1、 fH为第i-1层分解得到的亮特征图像、暗特征图像和基频图像;Bd,△是自适应各向同性扁平 结构元素，定义如下
[0018]
[0019] 其中d为结构尺度因子，△为灰度尺度因子；△ u、△ 12为第i次分解的结构尺度因 子，(!^与心分别为第i-Ι和i次分解的灰度尺度因子;Gd1)标准差为dH的高斯函数，*为 卷积运算符，定义如下
[0020]
[0021] 其中（x，y)、(m，n)分别为卷积前后图像的像素坐标，M、N为被卷积图像的行列像素 数;max()和min()分别为取最大值和最小值函数；〇、·、Θ和!分别为数学形态学开运算、 闭运算、膨胀和腐蚀运算符，定义如下
[0022]
[0023]
[0024]
[0025]
[0026] 其中（x，y)是图像像素坐标，（u，v)为结构元素中的像素坐标。
[0027] 对干笛一层；魅.我们取
[0028]
[0029]
[0030]
[0031]
[0032]
[0033]其中，M、N为图像fo的像素尺寸。
[0034]按照上述方法对输入图像进行η层分解，得到η组亮特征图像、暗特征图像和基频 图像，分别为f I、f 2……f η，W1、W2……Wn，B1、B2……B n。设形态学双边滤波分解得到的亮特征、 暗特征和基频图像分别为W、B和Base，则其取值如下
[0035]
[0036]
[0037]
[0038] 令fQ为MRI图像，对其进行多尺度形态学双边滤波分解，得到对应的亮特征图像 MW、暗特征图像MB;然后令fo为PET的亮度图像I，对其进行多尺度形态学双边滤波分解，得 到对应的亮特征图像PW、暗特征图像PB和基频图像PBas e。
[0039] 步骤三:对提取的MRI亮特征图像和暗特征图像分别进行对比度压缩，设待压缩的 图像为f，则采用下面的压缩函数对f进行压缩
[0040]
[0041] 分别为图像f的行数和列数；式中T和R是输入参 数，分别是图像对比度的压缩率和压缩曲线在对数坐标轴下的拐点斜率;参数S、r和p通过 联立下列各式求得
[0042；
[0043；
[0044；
[0045；
[0046；
[0047；
[0048；
[0049；
[0050；
[0051；
[0052] 令f分别为MRI图像的亮特征丽和暗特征MB，得到对比度压缩后的亮特征CMW和暗 特征CMB。
[0053] 步骤四：分别用PET分解得到的亮特征图像PW和暗特征图像PB与MRI对比度压缩后 的亮特征图像CMff和暗特征图像CMB进行最大值运算，得到新的亮特征图像NCMff和暗特征图 像 NCMB
[0054]
[0055]
[0056] 其中，（x，y)为图像的像素坐标，如果将灰度图像看作二维标量函数，则O1是函数 CMff和PW支撑集的交集，则O2是函数CMB和PB支撑集的交集。
[0057]步骤五:按下式得到融合亮度图像FI
[0058] FI=Pbase+NCMff-NCMB
[0059] 其中Pbase为PET的亮度图像I经过多尺度形态学双边滤波分解后得到的基频图 像。
[0060] 用FI代替PET图像经过IHS变换得到的亮度图像I，并与色调分量H和饱和度分量S 一起通过IHS逆变换得到融合后的彩色图像F，从而达到融合高分辨率灰度MRI图像和低分 辨率彩色PET图像，得到高分辨率彩色图像的目的。
[0061 ] 3、优点及功效:通过多尺度形态学双边滤波分解，能够有效的获得MRI和PET图像 的亮特征、暗特征和基频图像，由于MRI基频图像中只包含大尺度的结构，因此只需要将MRI 的亮特征和暗特征融合到PET中。通过压缩MRI的亮特征图像和暗特征图像的对比度能够在 有效保留MRI视觉结构信息的同时，压缩其动态范围，减少对PET光谱信息的影响。同时MRI 亮特征图像和暗特征图像与PET亮特征图像和暗特征图像之间的最大值运算，能够保证得 到的亮特征图像和暗特征图像同时包含PET和MRI的结构信息，又避免产生冗余信息，能够 进一步减少对PET光谱信息的影响。因此，本发明能够在保证融合图像光谱保真度同时，向 融合图像中注入更多的结构信息，获得高光谱保真度高分辨率的融合图像。该发明可广泛 应用于MRI和PET图像的融合，具有广阔的市场前景与应用价值。 (四）
【附图说明】
[0062]图1为本发明一种基于多尺度形态学双边滤波分解和对比度压缩的MRI与PET图像 融合方法的总体原理框图。
[0063]图2为多尺度形态学双边滤波分解原理框图。 (五)
【具体实施方式】
[0064]为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步 描述。
[0065]本发明的原理框图如图1所示，具体实施步骤如下：
[0066]步骤一:对PET图像进行预处理，并将其从RGB颜色空间转换到IHS颜色空间。
[0067]首先采用双立方插值的方法对PET图像的R、G、B三通道分别进行插值，使其分辨率 和MRI图像的，然后对其进行I HS变换、得到I、H、S三通道，其中I表示图像的亮度、H代表图像 光谱的波长、S代表光谱的纯度。
[0068] 步骤二:分别对MRI图像和PET图像的亮度图像I进行多尺度形态学双边滤波分解， 其原理框图如图2所示。
[0069] 设分解的层数为n，输入的图像的为fo,则多尺度形态学双边滤波分解就是，按照 结构尺度d逐渐增大、灰度尺度△逐渐减小的次序对输入图像进行形态学双边开运算和闭 运算，其中结构尺度和灰度尺度体现在形态学结构元素的大小和形状上。经过形态学双边 开运算和闭运算之后，原始图像中的结构尺度和灰度尺度小于给定值的亮特征和暗特征会 被消去，因此可以通过原始图像和滤波后的图像之间的差值作为该尺度下的图像亮特征和 暗特征。具体方法如下：
[0070]
[0071]
[0072]
[0073]
[0074]
[0075]
[0076]
[0077]
[0078]
[0079]
[0080]
[0081]
[0082]
[0083]
[0084]
[0085]
[0086]
[0087]
[0088]
[0089]
[0090]
[0091]
[0092]
[0093]
[0094]
[0095]
[0096]
[0097]
[0098]
[0099]
[0100]
[01 01 ] f ο是尺寸为M、N的输入图像;Bd, △是自适应各向同性扁平结构元素，其中d为结构元 素的最大直径，A为最大绝对灰度差；（x，y)是图像像素坐标，（u，v)为结构元素中的像素坐 标;G(C^ 1)是标准差为dH的高斯函数，*为卷积运算符，定义如下
[0102]
[0103]其中(m，n)为卷积后图像的像素坐标;W1 Anf1*别为第i层分解得到的亮特征图 像、暗特征图像和基频图像，W、B、Base分别为经过多尺度双边形态学分解后得到的亮特征 图像、暗特征图像和基频图像;〇、·、.《和Θ分别是数学形态学开、闭、膨胀和腐蚀运算符；
[0104] 令fo为MRI图像，对其进行多尺度形态学双边分解，分解的层数η设为6,则得到对 应的亮特征图像Mff、暗特征图像MB和基频图像;然后令fo为PET亮度图像I，对其进行多尺度 双边形态学分解，分解的层数η设为4,则得到对应的亮特征图像PW、暗特征图像PB和基频图 像PBase。
[0105] 步骤三:对提取的MRI亮特征图像和暗特征图像分别进行对比度压缩。
[0106] 由于通过多尺度形态学双边滤波分解得到亮特征和暗特征图像的灰度范围较大， 直接注入到PET图像中会导致严重的颜色畸变，因此需要压缩亮特征图像和暗特征图像的 灰度范围。传统的线性灰度变换，并没有考虑人眼视觉感知的特点，灰度经过压缩后，会导 致局部细节的丢失。本发明根据人眼对亮度信息不明感而对对比度信息敏感的特性，对图 像对比度进行压缩，在压缩特征图像灰度范围的同时，保留图像中尽可能多的视觉结构信 息。具体方法如下：
[0107] 设待压缩的图像为f，则采用下面的压缩函数对f进行压缩
[0108]
[0109] 丨分别为图像f的行数和列数；式中T和R是输入参 数，分别是图像对比度的压缩率和压缩曲线在对数坐标轴下的拐点斜率;参数S、r和p通过 联立下列各式求得
[0110]
[0111]
[0112]
[0113]
[0114]
[0115]
[0116]
[0117]
[0118]
[0119]
[0120] 令对比度的压缩率T = 0.5,压缩曲线在对数坐标轴下的拐点斜率R=I，然后取f分 别为MRI图像的亮特征MW和暗特征MB，对其对比度进行压缩，得到对比度压缩后的亮特征 CMff和暗特征CMB，
[0121] 步骤四：分别用PET分解得到的亮特征图像PW和暗特征图像PB与MRI对比度压缩后 的亮特征图像CMff和暗特征图像CMB进行最大值运算，得到新的亮特征图像NCMff和暗特征图 像 NCMff
[0122]
[0123]
[0124] 其中，（x，y)为图像的像素坐标，如果将灰度图像看作二维标量函数，则O1是函数 NCMW和PW支撑集的交集，则O 2是函数NCMB和PB支撑集的交集。步骤五:按下式得到融合后的 亮度图像FI
[0125] FI=Pbase+NCMff-NCMB
[0126] 其中Pbase为PET的亮度图像I经过多尺度双边形态学分解后得到的基频图像。
[0127] 用FI代替PET图像经过IHS变换得到的亮度图像I，并与色调分量H和饱和度分量S 一起通过IHS逆变换得到融合后的彩色图像F。从而达到融合高分辨率灰度MRI图像和低分 辨率彩色PET图像，得到高分辨率彩色图像的目的。
【主权项】
1. 一种基于多尺度形态学双边滤波分解和对比度压缩的MRI与PET图像融合方法，其特 征在以下五个步骤： 步骤一:采用双立方插值的方法对PET图像的R、G、B三通道分别进行插值，使其分辨率 和MRI图像的相同，然后对其进行IHS变换、得到I、H、S三通道，其中I表示图像的亮度、Η代表 图像光谱的波长、S代表光谱的纯度； 步骤二:分别对MRI图像和PET的亮度图像I进行多尺度形态学双边滤波分解;设分解的 层数为n，待分解的图像为fo则第i层分解为： Δ ii=max(Wi-i*G(di-1)) A i2=max(Bi-i*G(di-1)) di<di-l ffi = fi-fi-l Bi = fi-i-fi 其中， 11^1分别为第1层分解得到的亮特征图像、暗特征图像和基频图像，11- 1』1-141-1为 第i-1层分解得到的亮特征图像、暗特征图像和基频图像;Bd,△是自适应各向同性扁平结构 元素，定义如下其中d为结构尺度因子，△为灰度尺度因子；△ u、△ 12为第i次分解的结构尺度因子，dH 与di分别为第i-1和i次分解的灰度尺度因子;G(di-i)标准差为di-i的高斯函数，*为卷积运 算符，定义如下其中（1，7)、(!11，11)分别为卷积前后图像的像素坐标，1^为被卷积图像的行列像素数； max()和min()分别为取最大值和最小值函数;〇、·和!分别为数学形态学开运算、闭运 算、膨胀和腐蚀运算符，定义如下其中(X，y)是图像像素坐标，（u，v)为结构元素中的像素坐标； 对于第一层分解，我们取ffl = fl-f〇 Bi = f〇-fi 其中，M、N为图像fo的尺寸； 按照上述方法对输入图像进行n层分解，得到n组亮特征图像、暗特征图像和基频图像， 分别为f 1、f 2……f η，W!、W2……Wn，、B2……Bn;设形态学双边滤波分解得到的亮特征、暗特 征和基频图像分别为W、B和Bas e，则其取值如下B&SG - fη 令fo为MRI图像，对其进行多尺度形态学双边滤波分解，得到对应的亮特征图像MW、暗特 征图像MB;然后令fo为PET的亮度图像I，对其进行多尺度形态学双边滤波分解，得到对应的 亮特征图像PW、暗特征图像PB和基频图像PBas e; 步骤三:对提取的MRI亮特征图像和暗特征图像分别进行对比度压缩，设待压缩的图像 为f，则采用下面的压缩函数对f进行压缩M、N分别为图像f的行数和列数;式中T和R是输入参数，分 别是图像对比度的压缩率和压缩曲线在对数坐标轴下的拐点斜率;参数S、r和p通过联立下 列各式求得令f分别为MRI图像的亮特征MW和暗特征MB，得到对比度压缩后的亮特征CMW和暗特征 CMB；步骤四：分别用PET分解得到的亮特征图像PW和暗特征图像PB与MRI对比度压缩后的亮 特征图像CMW和暗特征图像CMB进行最大值运算，得到新的亮特征图像NCMW和暗特征图像 NCMB其中，（x，y)为图像的像素坐标，如果将灰度图像看作二维标量函数，则〇ι是函数CMW和 PW支撑集的交集，则02是函数CMB和PB支撑集的交集； 步骤五:按下式得到融合亮度图像FI FI = Pbase+NCMff-NCMB 其中Pbase为PET的亮度图像I经过多尺度形态学双边滤波分解后得到的基频图像； 用FI代替PET图像经过IHS变换得到的亮度图像I，并与色调分量Η和饱和度分量S-起 通过IHS逆变换得到融合后的彩色图像F，从而达到融合高分辨率灰度MRI图像和低分辨率 彩色PET图像，得到高分辨率彩色图像的目的。
【文档编号】G06T5/50GK106056565SQ201610374485
【公开日】2016年10月26日
【申请日】2016年5月31日
【发明人】白相志, 郭胜
【申请人】北京航空航天大学