一种融合位置反馈的实时显微图像拼接方法

本发明属于图像对准与拼接，具体涉及一种融合位置反馈的实时显微图像拼接方法。

背景技术：

1、图像拼接在运动检测和跟踪、增强现实、分辨率增强、视频压缩和图像稳定等机器视觉领域有很大的应用。图像拼接分为四个步骤：图像匹配、重投影、缝合和融合。图像匹配是指描绘相同场景的几张图片的几何对应关系。一组图片可以是不同时间、不同位置拍摄的，或者由多个传感器同时拍摄多张图像。重投影指通过图像的几何变换，把一系列图片转换到一个共同的坐标系下。缝合指通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像。融合过程中，几何和光度偏移通常导致对象的不连续，并在两个图像之间的边界附近产生可见的接缝。因此，为了减小接缝的出现，需要在缝合时或缝合之后使用混合算法。

2、图像匹配不仅是图像拼接的重要一步，也是图像拼接的基础。对于相同的目标，但来自不同的传感器、不同的角度和不同的时间产生的多源图像进行匹配，通过观察各对图像之间的对应关系来计算最佳几何变换。这一过程通过预估的几何变换把多源图像排列在一个共同的参考系中。如果多源图像对应点排列在一起，则图像匹配成功。目前较为成熟的方法有基于空间域图像拼接算法以及基于底层特征的拼接算法，其中，基于空间域图像拼接算法有基于归一化互相关的拼接和基于互信息的图像拼接；基于底层特征的拼接方法有基于harris角点检测器的拼接和基于fast角点检测器的拼接等。

3、重投影过程普遍采取的计算方式是利用随机样本一致算法ransac获得待拼接图片的单应矩阵。根据单应矩阵对待拼接图片进行透视变换，即可将拼接图片映射到同一坐标系中。

4、图形融合是图像拼接的最后一步，在重叠区域融合像素颜色，以避免接缝。最简单的可用形式是使用羽化，它使用加权平均颜色值融合重叠的像素。此外还有基于图像金字塔融合和基于梯度融合的方法。

5、在显微样本图像采集过程中，由于显微镜本身的成像原理，其视场范围极其有限。在水质检测、医学分析等领域需要获得样本的完整信息，对于要求不高的应用可以靠技术人员手动操作载物台，并人工整合图像信息。这种方法并不能直接得到全视野的图像，可靠性与可重复性也较低。为了解决上述问题就需要利用图像拼接等方法获得更大的有效视场范围。

6、但是现有的显微图像拼接方法均涉及图像非整数像素平移及非整数缩放，这将导致拼接后的图像失真并且加大图像融合的难度，因此提出一种新的显微图像拼接方法是十分必要的。

技术实现思路

1、本发明的目的是为解决采用现有的显微图像拼接方法获得的拼接图像存在失真且拼接图像时融合的难度大的问题，而提出了一种融合位置反馈的实时显微图像拼接方法。

2、本发明为解决上述技术问题所采取的技术方案是：

3、一种融合位置反馈的实时显微图像拼接方法，所述方法具体包括以下步骤：

4、步骤一、将载物台置为零位后，利用载物台上的显微镜采集当前观察范围内的图像a，并按照预先设定的扫描轨迹移动载物台的位置后，再利用显微镜采集图像b；

5、步骤二、获得图像a和图像b中相匹配的特征点对，并根据获得的特征点对计算单应矩阵h；再对单应矩阵h进行归一化，使得归一化的单应矩阵中第3行第3列的元素的值为1；

6、步骤三、判断归一化的单应矩阵中第1行第3列的元素的值以及第2行第3列的元素的值是否为整数；

7、若归一化的单应矩阵中第1行第3列的元素的值或第2行第3列的元素的值不为整数，则将小数部分作为轨迹点误差，再根据轨迹点误差和控制器来控制载物台的移动，以重新采集图像b；再返回执行步骤二；

8、否则，归一化的单应矩阵中第1行第3列的元素的值以及第2行第3列的元素的值均为整数，则直接利用计算出的单应矩阵h执行步骤四；

9、步骤四、根据单应矩阵h，将图像a和图像b拼接起来获得拼接图；

10、步骤五、将步骤四中获得的拼接图作为更新后的图像a，再按照预先设定的扫描轨迹继续移动载物台的位置，并再次利用显微镜采集图像，将新采集的图像作为新的图像b，并返回执行步骤二；

11、直至按照预先设定的扫描轨迹扫描完成，获得完整样品图像。

12、进一步地，所述预先设定的扫描轨迹为z形轨迹。

13、进一步地，所述步骤二中，获得图像a和图像b中相匹配的特征点对，并根据获得的特征点对计算单应矩阵h；具体过程为：

14、步骤1、分别对图像a和图像b进行surf特征提取；

15、步骤2、对于图像a中的任意一个特征点s，分别计算特征点s与图像b中每个特征点的距离，再对计算出的距离进行升序排列，选取出最短的距离在图像b中所对应的特征点l，则在图像b中，选取出的特征点l即为图像a中特征点s的最佳匹配；同理，分别获得图像a中的每个特征点在图像b中的最佳匹配；

16、并对图像b中的特征点进行处理，分别得到图像b中的每个特征点在图像a中的最佳匹配；

17、若图像a中的特征点s在图像b中的最佳匹配为特征点l，且图像b中的特征点l在图像a中的最佳匹配为特征点s，则特征点s与特征点l为匹配特征点对，即获得图像a和图像b的全部匹配特征点对；

18、步骤3、根据步骤2中获得的全部匹配特征点对计算单应矩阵h。

19、进一步地，所述分别计算特征点s与图像b中每个特征点的距离，所述距离为欧氏距离或汉明距离。

20、进一步地，所述步骤3中，根据步骤2中获得的全部匹配特征点对计算单应矩阵h；具体过程为：

21、采用ransac方法对步骤2中获得的全部匹配特征点对进行处理，得到单应矩阵h，单应矩阵h使反向投影错误率j最小，反向投影错误率j为：

22、

23、其中，(xi,yi)是第i个匹配特征点对中所包含的图像b中特征点的坐标，(x′i,y′i)是第i个匹配特征点对中所包含的图像a中特征点的坐标，n是匹配特征点对的总个数；

24、

25、其中，h11、h12、h13、h21、h22、h23、h31、h32和h33均为单应矩阵h中的元素。

26、进一步地，所述步骤四的具体过程为：

27、步骤四一、初步确定拼接图的尺度，并根据初步确定的尺度构建新的图像；

28、步骤四二、忽略单应矩阵h中表示图像平移的因子，即令单应矩阵h中的h13＝0,h23＝0，得到单应矩阵h′，再根据矩阵h′，图像a和图像b向构建的新图像做投影变换；

29、步骤四三、根据单应矩阵h中的元素h13和h23的值，计算投影变换后图像a和投影变换后图像b在构建的新图像中的位置，获得拼接图。

30、进一步地，所述步骤四三的具体过程为：

31、

32、

33、

34、

35、其中，rsf为将图像a投影到构建的新图像中时，图像a需要沿构建的新图像的左上角平移的像素行数，csf为将图像a投影到构建的新图像中时，图像a需要沿构建的新图像的左上角平移的像素列数，rdf为将图像b投影到构建的新图像中时，图像b需要沿构建的新图像的左上角平移的像素行数，cdf为将图像b投影到构建的新图像中时，图像b需要沿构建的新图像的左上角平移的像素列数。

36、进一步地，所述步骤四中获得的拼接图的尺寸为：

37、

38、

39、其中，r和c分别为获得的拼接图的行数和列数，rs和cs分别为图像a的行数和列数，rd和cd为图像b的行数和列数。

40、更进一步地，所述控制器为pi控制器。

41、本发明的有益效果是：

42、1、本发明利用z形轨迹对显微镜下的样本进行扫描，再利用图像拼接算法，能得到完整的样品图像。

43、2、本发明利用载物台的位置反馈和基于图像的位置估计，实时修正载物台位置，保证近似整数像素平移，从而降低图像融合难度，避免出现图像接缝和图像失真。

44、3、本发明的图像拼接方法采用基于surf特征的拼接方法，具有良好的实时性和准确性。