一种用于多眼底图像拼接的方法

本发明涉及一种眼底图像拼接方法，属于医学图像处理。

背景技术：

1、眼睛是人的视觉器官，在眼科的临床诊断和治疗中，眼底图像具有重要的参考价值。目前，对于数学眼底图像的获取，通常是借助眼底血管造影术和专业数码相机以及专门的摄取设备来获取高分辨率的眼底图像。临床上，眼底指的是由视网膜、脉络膜、巩膜和视神经球内段所组成的眼球壁以及与之联系密切的玻璃体的总称。眼底视网膜血管是人体唯一可以非创伤性直接观察的血管，包含了人体内的三大血管：动脉、静脉、毛细血管。人体的健康好坏都可以通过血管反映出来。因此，眼底检查不仅是检查玻璃状体、视网膜、脉络膜、视神经疾病时的重要手段，也是某些颅脑、心血管、血液、内分泌等全身病时的重要手段，其检查对某些全身病的诊断，预先有一定的参考价值。

2、由于眼底照相机的局限，所获得的图像只能是眼底的局部图像，这就使得在临床的诊断和治疗中，眼科医生经常需要对同一患者不同时间拍摄的两幅或者多幅眼底视网膜图像进行比较分析，但由于成像角度和成像环境的不同，仅靠医生肉眼观察比较准确率不高且效率低。解决这个问题有两个途径，一个是增大设备成像的视野范围，但这通常需要较昂贵的费用，对大部分医院来说不现实。另一个途径是对多幅眼底图像进行拼接以满足临床对扩大视野、疾病跟踪以及辅助诊断等应用需求。因此，眼底视网膜图像拼接是眼底视网膜病变检测的重要环节，对提高眼科医生疾病诊断的准确性具有重要的意义。

3、眼底视网膜图像拼接技术主要包括图像配准和图像融合两部分。其中眼底图像配准又主要分为两类：基于灰度信息的图像配准和基于特征的图像配准。从实践中可以发现，基于灰度的配准方法只能容忍拍摄眼底时的线性光照变化以及刚体变换，而基于特征的配准方法则需要依赖于血管或交叉特征提取的精度。如何提高视网膜眼底图像配准算法的精度和速度，拓展算法的适用性和解决因两幅视网膜眼底图像重叠区域小或信噪比低导致无法配准的问题一直是视网膜眼底图像配准算法研究的重点。在眼底图像融合方面，眼底图像融合的主要目的是完成图像间平滑过渡的同时保留眼底图像信息。目前，如何更好地对多幅眼底图像进行融合处理一直是眼底图像融合的重点和难点。

4、在现有的surf特征点配准算法中不能兼顾匹配对数量和正确率，因此对于一些重叠区域少或信噪比低的图像中常出现因为匹配对数量过少而导致无法配准的问题，或者因为误匹配点对过多导致匹配参数求解有误的问题。目前图像融合算法的研究都集中在两幅图像，融合时只考虑了在两幅图像的重叠区域进行融合。但当进行三幅及以上的图像拼接时，移动图像除了和参考图像重叠还可能和其它的移动图像重叠产生新的拼接缝，只针对移动图像和参考图像的重叠区域进行处理具有一定的局限性。

技术实现思路

1、本发明的目的在于针对现有方法具有一定的局限性的问题，提供一种眼底图像拼接方法，包含图像配准和图像融合两部分。

2、一种眼底图像拼接方法，其特征在于，包括如下步骤：

3、步骤s1：读取采集到的多张眼底图像，由多张所述眼底图像中选取一张眼底图像作为图像配准的最佳基准图，将所有眼底图像采用u-net算法处理为眼底血管图；

4、步骤s2：提取surf特征点，对上述特征点进行暴力匹配得到粗匹配点，估计粗匹配点中正确匹配对的数量，并利用正确匹配特征点对间连线的特点获得最终匹配对；

5、步骤s3：选取中央视场的眼底图像作为参考图像，其他视场的眼底图像作为移动图像，采用ransac算法计算变换模型参数，将移动图像进行空间变换到参考图像的坐标系下完成多幅眼底图像配准；

6、步骤s4：对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张配准影像图进行加权融合，得到最终的眼底图像拼接图。

7、进一步地，所述步骤s1中，由多张眼底图像中选取一张眼底图像作为图像配准的最佳基准图，包括如下步骤：

8、步骤s11：获取每一张所述眼底图像的图像中心点，并使用目标检测模型定位出每一张所述眼底图像的视盘中心点；

9、步骤s12：计算每一张所述眼底图像中，所述视盘中心点与所述图像中心点的欧氏距离关系；

10、步骤s13：根据每一张所述眼底图像的所述欧氏距离关系确定所述最佳基准图。

11、进一步地，所述步骤s1中，采用基于u-net图像分割模型的血管提取算法，将所有眼底图像处理为眼底血管图，包括如下步骤：

12、步骤s14：采用限制对比度自适应直方图增强法对所有眼底图像进行增强处理；

13、步骤s15：使用u-net图像语义分割网络训练带有血管标注的眼底图像得到相应的所述u-net图像分割模型，并使用所述u-net图像分割模型对所有眼底图像增强图进行血管分割，得到血管分割后的所述眼底血管增强图；

14、进一步地，所述步骤s2中，利用hessian矩阵提取surf特征点，其具体方法如下：

15、将图像i中像素点p(x，y)的尺度为σ的hessian矩阵h(p，σ)定义为：

16、

17、式(1)中lxx(p，σ)为高斯二阶偏导数在点p处与图像i的卷积；lxy(p，σ)为高斯二阶偏导数在点p处与图像i的卷积；lyx(p，σ)为高斯二阶偏导数在点p处与图像i的卷积；lyy(p，σ)为高斯二阶偏导数在点p处与图像i的卷积；

18、若该点hessian矩阵行列式的值符号为正，则判定为候选特征点。

19、进一步地，所述步骤s3中，获得最终匹配对的具体方法如下：

20、步骤s31：在移动图像中找到与参考图像的特征点描述符合欧氏距离最近的特征点作为粗匹配点；

21、步骤s32：对参考图像中所有特征点的最近邻与次近邻欧氏距离比值进行从小到大的排序；

22、步骤s33：选取最近邻与次近邻欧氏距离比值最小的前十个特征点匹配对作为最优匹配对，计算这些匹配对间连线对应的斜率和距离并求出它们距离和斜率的均值，记为udistance，uslope；

23、步骤s34：估计出粗匹配结果中正确匹配对的数量ng；

24、步骤s35：计算粗匹配对中所有匹配对间连线的距离distance和斜率slope；

25、步骤s36：将马氏距离最小的前ng个匹配对作为最终匹配对。

26、进一步地，所述步骤s4中，对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张所述配准影像图进行加权融合，得到最终的眼底图像拼接图，包括如下步骤：

27、根据公式：

28、

29、f(iref，isense，x，y)＝wref(x，y)·iref(x，y)+wsense(x，y)·isense(x，y)#(3)

30、

31、

32、对所述配准影像图进行加权融合，得到所述眼底图像拼接图；

33、其中，iref表征多张所述配准影像图中待加权融合的第一配准影像图；isense表征多张所述配准影像图中待加权融合的第二配准影像图；imerge表征加权融合后的所述眼底图像拼接图；dref(x，y)表征点(x，y)到所述第一配准影像图的轮廓的最短欧氏距离；dsense(x，y)表征点(x，y)到所述第二配准影像图的轮廓的最短欧氏距离；wref表征第一加权系数，wsense表征第二加权系数，且wref+wsense＝1。

34、本发明的优点是：

35、本发明用于多眼底图像拼接的方法及系统，包含图像配准和图像融合两部分；在眼底图像配准中提出了一种改进的surf特征点匹配法，该算法提高了估计正确匹配对数量的准确性，并将它与正确匹配点对连线的特点相结合以克服原有算法的问题；同时还结合基于距离矩阵的像素值加权融合算法进行多张配准影像图的加权融合，使得最终得到的眼底图像拼接图在边界处、重叠区域更加自然流畅，从而有效提高了眼底图像拼接图的质量，最终有效解决了传统的眼底图像拼接方法具有一定的局限性的问题。