一种SICM扫描图像分辨率增强的方法

一种sicm扫描图像分辨率增强的方法
技术领域
1.本技术涉及微纳成像技术领域，具体为一种扫描离子电导显微镜(英文全称：scanning ion conductance microscopy，简称：sicm)扫描图像分辨率增强的方法。


背景技术：

2.微纳成像技术一直以来都是科学研究的热点，在微纳结构检测与表征中，采用合适的检测方法和仪器仪表是关键。随着生命科学等领域研究的深入，传统的光学显微镜和电子显微镜已不能满足某些特定情况下的观测需要，扫描离子电导显微镜(scanning ion conductance microscopy，sicm)作为一种新兴的扫描探针显微镜(scanning probe microscopy，spm)技术，能够实现对导体、半导体和非导体进行三维形貌成像。相比其它spm显微镜技术，sicm最大的优势是能够实现非接触无应力活体生物样本扫描成像，进而开展对生物样本在生理条件下实时动态研究。但是，sicm普遍存在成像时间分辨率不高(速度较慢)的问题。
3.针对前述问题，国内外学者进行了广泛研究，2014年，korchev团队发明了一种双压电陶瓷的探头结构来加快探针提升速度，从而加快扫描速率，然而这一改进增加了探头复杂度和设备成本。2017年，庄健团队发明预扫描模式，当探针接近测量点时增加水平移动，通过离子电流变化预测表面地形，减少探针退回高度，从而缩短扫描路径。2019年，schaffer团队采用毫米级压电陶瓷扩大测量范围，测量范围达到25
×
25mm2，提高了扫描速度，却在一定程度上增加了设备成本。值得注意的是，当探针扫描速度加快后，离子电流受到噪声干扰也会加重，进而造成扫描图像噪声增多，导致成像质量下降。在扫描图像噪声处理方面，2017年，王小东联合形貌图像频谱和sobel边缘检测构建了一种频率定位陷波滤波器，用于去除spm的周期噪声，但是图像处理后边缘出现了模糊。2022年，陈妍等提出一种小波变换和双边滤波结合的sicm图像降噪算法，但是图像去噪后边缘保存并不完整，且图像分辨率并未提升。
4.因此，亟需一种新的方法，以解决上述问题。


技术实现要素：

5.本技术的发明目的在于，提供一种提高sicm扫描图像分辨率的方法。采用本发明，能够得到样本分辨率增强三维形貌图，具有较高的应用价值和较好的应用效果。
6.为了实现上述目的，本技术采用如下技术方案：
7.一种提高sicm扫描图像分辨率的方法，包括如下步骤：
8.s1、采用sicm成像系统对样品进行成像扫描，基于sicm的扫描结果进行三维成像，得到样品初始三维形貌；
9.s2、将初始三维形貌高度对应转化为0-255灰度值，得到扫描图像二维灰度图；
10.s3、采用中值滤波对步骤s2的扫描图像二维灰度图去除噪声，得到第三中间图像；
11.s4、利用canny边缘检测提取步骤s3得到的第三中间图像轮廓边缘，并对第三中间
图像进行像素扩大，得到第四中间图像；
12.s5、采用插值填充方式，对步骤s4的第四中间图像进行缺失像素填充，得到分辨率增强的二维扫描灰度图像，记为第五中间图像；
13.s6、将第五中间图像0-255灰度转换为高度，得到分辨率增强后样本三维形貌。
14.所述步骤s2中，将初始三维形貌高度对应转化为0-255灰度值的操作如下：
15.从步骤s1的样品初始三维形貌的矩阵中找出高度的最大值，令该高度的最大值的灰度值为255，计算出高度换算比例；利用计算出的高度换算比例，计算得出剩余各点的灰度值，得到一个新的0-255的灰度矩阵，完成将初始三维形貌高度转化为灰度值的操作，并得到扫描图像二维灰度图。
16.所述步骤s4中，对步骤s4的第四中间图像而言，采用新边缘导向插值算法进行边缘缺失像素填充，采用双线性插值法进行非边缘缺失像素填充，得到分辨率增强的二维扫描灰度图像，记为第五中间图像。
17.以步骤s4中的提取边缘作为区分基础，以第四中间图像为处理对象，对非边缘缺失像素进行双线性插值填充，边缘缺失像素进行新边缘导向插值算法填充，得到分辨率增强的二维扫描灰度图像。
18.采用双线性插值法进行非边缘缺失像素填充的操作如下：
19.以步骤s4的第四中间图像为对象，针对其中的非边缘部分，用图像中已知的相邻像素计算出待求点像素，先在x方向进行插值；而后，利用x方向插值结果在y方向进行插值。
20.针对前述问题，本技术提供一种提高sicm扫描图像分辨率的方法。在此，以一个实例进行说明，其包括以下步骤。
21.s1、样本扫描成像以及三维形貌呈现
22.采用图1的sicm成像系统，采集样本50个图像数据，图像大小为24
×
24，分辨率为1μm，并在matlab r2018b中呈现三维形貌。
23.s2、三维形貌转二维灰度图
24.将样本三维形貌高度对应转化为0-255灰度值，得到扫描图像二维灰度图。具体而言，从s1图像三维形貌的矩阵中找出高度的最大值，令其灰度值为255，然后计算出比例，最后用比例计算得出剩余各点的灰度值，得到一个新的0-255的灰度矩阵，从而将三维形貌转化为二维灰度图。
25.s3、灰度图去噪
26.对扫描图像进行预处理，采用中值滤波去除噪声，避免后续边缘检测出现“伪边缘”。
27.s4、边缘检测与像素扩大
28.利用canny边缘检测提取步骤s3得到的第三中间图像轮廓边缘，并对第三中间图像进行像素扩大，得到第四中间图像。
29.边缘检测是图像分割、目标区域识别、区域形状提取等图像领域十分重要的基础，也是图像识别中提取图像特征的一个重要属性。
30.实施例的测试结果表明，采用sobel算子、roberts算子、prewitt算子、canny算子和log算子等对第三中间图像轮廓边缘进行提取时，均利用了边缘处梯度最大这个性质进行边缘判定，而本技术采用的canny边缘检测提取效果最好。因此，利用canny边缘检测提取
图像轮廓边缘，并对去噪图进行像素扩大。
31.s5、插值填充缺失像素
32.优选地，以步骤s4中的提取边缘作为区分基础，对去噪后扩大图像缺失像素予以填充(即对第四中间图像的缺失像素予以填充)，对非边缘缺失像素进行双线性插值填充，边缘缺失像素进行新边缘导向插值(全称：new edge directed interpolation，简称：nedi)算法填充，得到分辨率增强的二维扫描灰度图像。
33.本技术采用边缘做nedi、非边缘做传统双线性插值的处理办法，既极大地降低了计算量，降低了运算时间，又能保证边缘清晰度，最后达到增强扫描图像分辨率的目的。具体而言，nedi算法考虑到同一形状高低分辨率图像插值系数的联系，故处理后图像平顺，更重要的是边缘不会出现传统插值导致模糊的情况，因此对扩大后图像缺失像素采用nedi填充。nedi算法由于涉及图像矩阵求逆运算，故运算量较大，直接导致图像插值时运算时间较长。而采用本技术的方法，则能大幅提高处理效率，缩短运算时间。
34.nedi是一种利用图像放大前后，对应像素点区域的局部协方差具有几何对偶性这个原理来计算缺失像素的插值算法。
35.nedi的计算式如下式(1)所示：
[0036][0037]
式中：i—第四中间图像，i—第三中间图像的横坐标，j—第三中间图像的纵坐标。a—待插值点的4个邻近像素点相对中心点的x方向的偏移量，b—待插值点的4个邻近像素点相对中心点的y方向的偏移量，α
2a+b
—第四中间图像在点(i+a,j+b)处的插值系数。
[0038]
插值系数α计算式如下式(2)所示：
[0039][0040]
式中：—选出的m
×
m大小窗口像素构成的列向量(元素顺序为从左到右)，m为设置的非0常数，本发明中，m＝5。t为矩阵转置符号。c—4
×
m2矩阵。
[0041]
将各α带入式(1)，即可求得边缘处缺失像素值。
[0042]
双线性插值法是顺序两次插值，用图像中已知的相邻像素可以计算出待求点像素，先在x方向进行插值，然后利用x方向插值结果在y方向进行插值。
[0043]
s6：分辨率增强后三维形貌还原
[0044]
将s5最后得到的二维灰度图0-255灰度转换为高度，最终得到分辨率增强后样本三维形貌。
附图说明
[0045]
本发明将通过例子并参照附图的方式说明，其中：
[0046]
图1是sicm系统组成图。
[0047]
图2是实施例1中几种典型滤波算法效果对比图。图2(a)为样本三维形貌图，图2(b)是高斯滤波后形貌图，图2(c)是均值滤波后形貌图，图2(d)是中值滤波后得到的效果图，图2(e)是小波滤波后形貌图。
[0048]
图3是实施例1中不同边缘检测算子边缘提取效果对比图。
[0049]
图4是采用本发明对大鼠嗜碱性细胞白血病细胞扫描图像处理过程图。
具体实施方式
[0050]
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0051]
本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0052]
本实施例提供一种提高sicm扫描图像分辨率的方法，其操作步骤如下。
[0053]
s1、采用图1的sicm成像系统，采集样本50个图像数据，图像大小为24
×
24，分辨率为1μm，并在matlab r2018b中呈现三维形貌。
[0054]
s2、将样本三维形貌高度对应转化为0-255灰度值，得到扫描图像二维灰度图。步骤s2中，将初始三维形貌高度对应转化为0-255灰度值的操作如下：从步骤s1的样品初始三维形貌的矩阵中找出高度的最大值，令该高度的最大值的灰度值为255，计算出高度换算比例；利用计算出的高度换算比例，计算得出剩余各点的灰度值，得到一个新的0-255的灰度矩阵，完成将初始三维形貌高度转化为灰度值的操作，并得到扫描图像二维灰度图。
[0055]
s3、灰度图去噪
[0056]
对步骤s2的扫描图像二维灰度图进行预处理，采用中值滤波去除噪声，避免后续边缘检测出现“伪边缘”。
[0057]
本实施例以三维形貌图为基础，采用多种去噪算法进行比较，以验证步骤s3中采用中值滤波去除扫描图像二维灰度图噪声的可行性。
[0058]
图2(a)是样本三维形貌图；从图中可以看出：表面整体比较光滑，但还是存在一些尖锐噪声，导致噪声处形貌被掩盖。图2(b)是采用高斯滤波后得到的形貌图，去噪后噪声有微弱减少，但样本轮廓边缘出现新的凹陷。图2(c)是采用均值滤波后得到的形貌图，去噪后虽然噪声完全消失；但是样本形貌四周边沿出现“边坡”形态，可见去噪算法对形貌产生了破坏。图2(d)是采用中值滤波后得到的效果，原本噪声被完全去除，并且形貌保持完好。图2(e)是采用小波滤波后得到的形貌图，从处理前后对比发现，噪声只有微弱减少，去噪效果差，同时形貌表面出现新的凹陷。样本三维形貌图表面整体比较光滑，但还是存在一些尖锐噪声，导致噪声处形貌被掩盖；高斯滤波后形貌图，去噪后噪声有微弱减少，样本轮廓边缘出现新的凹陷；均值滤波后形貌图，去噪后虽然噪声完全消失，但是样本形貌四周边沿出现“边坡”形态，可见去噪算法对形貌产生了破坏；中值滤波后得到的效果，原本噪声被完全去除，并且形貌保持完好；小波滤波后形貌图，从处理前后对比发现，噪声只有微弱减少，去噪效果差，同时形貌表面出现新的凹陷。
[0059]
为了更加客观地对比各滤波算法效果，计算了各算法下的图像峰值信噪比，计算结果如下表1所示。
[0060]
表1各算法下图像峰值信噪比
[0061]
算法样本形貌高斯滤波均值滤波中值滤波小波滤波峰值信噪比/db29.317630.535133.489337.176931.8092
[0062]
从表1可知，原始样本形貌峰值信噪比为29.3176，高斯滤波、均值滤波、中值滤波、
小波滤波后分别为30.5351、33.4893、37.1769和31.8092。从计算结果可知，高斯滤波和小波滤波后峰值信噪比分别增加了约1.2db和2.5db，去噪效果微弱，均值滤波后峰值信噪比增加了4.1db，去噪效果较好，而经中值滤波后，图像峰值信噪比提升了7db，因此去噪效果最佳。
[0063]
同时，图2给出了前述几种典型去噪算法处理扫描图像后的效果图。
[0064]
基于上述分析，能够知道：在步骤s3、灰度图去噪中，采用中值滤波去除噪声，效果最佳。
[0065]
s4、利用canny边缘检测提取步骤s3得到的第三中间图像轮廓边缘，并对第三中间图像进行像素扩大，得到第四中间图像。
[0066]
为了验证本技术方案的效果，分别采用不同边缘检测算子对去噪图像进行边缘检测，检测效果如图3所示。
[0067]
图3(a)是原始去噪图像，具有连续的边缘轮廓。各算法检测中出现的缺陷如图中白色方框标识。其中，图3(c)采用roberts算子检测出的边缘轮廓很不完整，轮廓像素不连续，没有构成一个封闭轮廓，检测效果最差。图3(d)采用prewitt算子对边缘轮廓进行检测，虽然大致能检测出边缘整体轮廓，但边缘像素点有较多缺失，检测效果差。图3(b)采用sobel算子、图3(f)采用log算子分别对边缘轮廓进行检测，两者检测效果虽然好于图3(d)采用prewitt算子对边缘轮廓进行检测，但边缘像素仍有少量缺失，检测效果依然无法达到要求。而图3(e)中本技术采用的canny算子对边缘轮廓进行检测，不仅能检测出完整边缘轮廓，并且没有缺失像素，检测效果优于其它算子。
[0068]
可见，本技术采用canny算子作为去噪图像边缘检测算法，效果最佳。
[0069]
在利用canny算子完成边缘提取后，本技术进一步采用插值法填充缺失像素，实现分辨率增强。
[0070]
s5、插值填充缺失像素
[0071]
以步骤s4检测出的轮廓边缘作为区分，对去噪扩大后图像(即第四中间图像)非边缘部分缺失像素进行双线性插值处理，对图像边缘部分进行nedi处理，得到分辨率增强的二维扫描灰度图像，记为第五中间图像。
[0072]
s6：分辨率增强后三维形貌还原
[0073]
将s5得到的第五中间图像0-255灰度转换为高度，最终得到分辨率增强后样本三维形貌。
[0074]
本发明方法在扫描细胞图像上的运用如下，处理过程如图4所示。
[0075]
利用sicm系统得到大鼠嗜碱性白血病细胞的扫描图像，还原出的三维形貌图中存在较多噪声，导致所在位置处样本的形貌高度不是真实值，影响对细胞的分析。为此，采用前述方法，将图像进行灰度处理，得到灰度图，再使用中值滤波算法去噪，得到去噪图。为了单独对边缘做nedi处理，对去噪图做边缘检测。进一步，将去噪图扩大2倍作为待插值图像；插值过程如下：利用canny算子检测出的边缘作为区别处理的条件，对非边缘做双线性插值，先在x方向做插值，利用其结果进而在y方向插值，得到效果图。然后，对边缘进行nedi处理，完成边缘像素填充，从而完成整个插值过程，得到一个分辨率增强的二维扫描图像。最后，将图像三维化，得到样本分辨率增强三维形貌图。处理结果显示，除边缘外，缺失像素得以填充，并且像素相容性较好。
[0076]
通过图4能够看出，采用本技术的方法处理后，扫描图像具有如下优点：
[0077]
(1)扫描图像噪声完全滤除，原噪声处真实高度得以恢复；
[0078]
(2)在高速扫描、不降低扫描速度前提下，扫描图像分辨率得以增强，等效于提高了成像效率；
[0079]
(3)细胞图像形貌细节显示更加具体，边缘区分度有所提高。
[0080]
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。