用于处理全景拼接图像的方法和设备与流程

1.本技术涉及图像处理，特别地涉及处理全景拼接图像中的图像贴片以提升全景拼接图像的图像质量的方法、设备和计算机可读存储介质，以及使用该全景拼接图像处理方法的系统。


背景技术：

2.在诸如实验样本观测的场景中，当使用显微镜观测样本时，无论是直接目镜观测还是通过显微镜的相机成像，视场范围往往很有限而无法直接观测或者获取到整个样品的全局形貌图片，这对于样本整体分析和实验记录带来很多限制。
3.近年来，基于软件的图像拼接方法逐渐获得应用。在获得显微镜的样本的全景图像拼接时，利用显微镜相机实时采集图像，同时手动控制承载样品的显微镜载物台在平面上(xy轴上)移动，将每次位移过后采集的新图像与上一次采集的图像进行计算机图像拼接和逐步叠加以最终形成样本的全景拼接图像(也可以简称为全景图像，panorama image)。每次由相机采集的样本图像被称为图像贴片(image tile)，这些图像贴片通过拼接和叠加最终形成涵盖整个样本范围的样本全景图像。常见的显微镜全景图像往往由数十张甚至几百张单个图像贴片经计算机软件拼接合成。图1中示出超过100张具有白色背景的显微镜图片贴片在黑色画布上拼接合成的样本全景图像的示例。合成的全景图像可以用于诸如病理切片分析，材料形貌科学研究，生物样本宏观形貌分析等的诸多应用中。
4.对于具有手动控制的载物台的显微镜，其计算机图像拼接通常基于重叠区域的特征或像素点进行匹配来完成图像的计算机拼接。如图2所示，全景拼接图像使用所采集的多个单独的图像贴片a、b、c等逐个拼接完成。在人工移动载物台的同时，显微镜的相机实时获取相机视野内的局部样本图像(即图像贴片)a-c等。例如，初始图像贴片为a，随着载物台的平面移动紧接着获取新的图像贴片b。将新的图像贴片b与a进行拼接，使得两个图像贴片中表示相同样本区域的像素对齐或重合。图像贴片a与b两者作为相邻的图像贴片，需要存在部分覆盖和重叠区域而不仅仅是二者的边缘对接。然后，相机在载物台再次移动后获取图像贴片c，将图像贴片c与b进行图像拼接。随着载物台的不断移动直至显微镜的相机视野覆盖到样本的所有区域，将获取的全部图像贴片进行计算机图像拼接操作而最终形成包含样本整体图像的较大的全景拼接图像。
5.但是，现有的全景拼接图像中，特别是使用手动载物台的显微镜的全景拼接图像中存在肉眼可见或者放大后可见的拼接痕迹。这种拼接痕迹对全景拼接图像的整体图像质量带来明显的负面影响，造成实验分析结果的不准确性。图3中示出几种常见的全景图像经放大的拼接痕迹。如箭头所示，图3(a)中的301和302和图3(b)中的303存在明显的垂直拼接线痕迹，图3(b)中的304存在明显的水平拼接线痕迹，图3(c)中的305和306存在明显的伪影和纹理错位。拼接痕迹使得图像贴片在拼接和重叠中产生拼接区域的不完全匹配。
6.这是由于手动控制的载物台在平面移动过程中的移动速度的不均匀性，使得由相机采集的局部样本图像在每一个图像贴片中存在不同方向的微小拉伸或形变(即，畸变)。
例如，手动载物台在相机采集局部样本图像的时刻或采集时段内的快速移动或不均匀移动可能造成相机拍摄图像的拉伸、形变或拖影。在该采集时刻或采集时段内的载物台的不均匀移动可以包括变速移动和平面转动。使用计算机进行图像拼接时也可能带来微小位置误差。手动载物台的移动造成的图像贴片中的畸变和图像拼接操作中的微小误差经过对大量图像贴片的多次拼接操作的叠加累积后，将会出现在图像放大状态下可见，甚至肉眼可见的拼接痕迹。拼接痕迹例如包括拼接线痕迹和伪影等，如上文所提及的，图3(a)中的301和302和图3(b)中的303属于垂直拼接线痕迹，图3(b)中的304属于水平拼接线痕迹，图3(c)中的305和306属于伪影和纹理错位。
7.拼接区域中的不完全匹配现象对全景拼接图像的整体图像质量存在显著的负面影响，进而影响实验中的样本图像分析而导致错误的分析结果。对于使用全景图像功能的某些生物和材料科学应用(例如，组织学分析和多层分析)，通常需要对全景拼接图像进行放大甚至测量，诸如伪影的拼接痕迹将对观察和测量数据的准确性有害。
8.上文中提及的拼接痕迹并非在每个图像贴片中或图像贴片的边缘存在，而是分散在整个全景拼接图像的某些位置，这些位置取决于手动载物台相对于相机的移动速度的变化位置和时刻及计算机图像拼接操作的误差累积。相比电动载物台和电动控制相机的情况，拼接痕迹现象广泛存在于针对手动载物台的显微镜的不同计算机图像拼接方案中。因此，对于手动载物台的显微镜用户来说，提升全景拼接图像的图像质量显得尤为重要。
9.对于采用电动载物台的显微镜，或者具有精确位置控制的相机的显微镜，载物台和相机中的至少一个的平面移动(xy轴位移)可控，使得在相机拍摄局部样本图像时的图像贴片的图像精度和相对位置变化数据可以精确控制。这种精确位置控制结合精确的图像采集可以实现基于位置信息的图像贴片的图像拼接，可以结合精确位置信息进行图像拼接以减少上述拼接痕迹的产生，能够达到相对较理想的全景图像拼接效果。常见的基于位置信息的电动设备例如包括全自动切片扫描仪。然而，具有电动载物台的显微镜或全自动切片扫描仪相比具有手动载物台的显微镜增加了额外的精确位置控制部件和相应的控制软件等，导致价格昂贵而普及率并不高。在此还需要理解的问题是，对于电动载物台和电动控制相机的结合精确位置控制的方案中，也可能存在相机采集图像切片时刻的畸变和图像拼接操作的误差累积。综上所述，存在对计算机图像拼接方案的改进需求，或者说存在对现有计算机图像拼接方案生成的全景拼接图像进行进一步优化的需求，即存在使用诸如手动载物台的显微镜以较低的成本获取高质量的全局拼接图像的需求。


技术实现要素：

10.本技术的实施例提出解决上文中提及的至少一个问题的处理全景拼接图像以提升全景拼接图像的图像质量的方法、设备和计算机可读存储介质。
11.根据本技术的一方面，提出一种用于处理全景拼接图像的方法，包括：获取生成原始全景拼接图像的多个图像贴片；从所述多个图像贴片中选择基准图像贴片，以递归地在所述基准图像贴片以及与所述基准图像贴片图像相邻的相邻图像贴片之间进行图像拼接；以及基于图像拼接后的所述多个图像贴片生成新的全景拼接图像。
12.根据本技术的另一方面，提出一种用于处理全景拼接图像的设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器设置为执行所述可执行
指令以执行如上所述的方法。
13.根据本技术的又一方面，提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括可执行指令，当该可执行指令被处理器执行时，执行如上所述的方法。
14.根据本技术的再一方面，提出一种用于生成全景拼接图像的系统，包括：图像获取单元，被配置用于获取全景拼接图像；以及根据如上所述的用于处理全景拼接图像的设备。
15.根据本技术的再又一方面，提出一种显微镜系统，包括：具有手动载物台的显微镜；以及如上所述的用于生成全景拼接图像的系统。
16.通过采用本技术的用于全景拼接图像的优化方案，通过在所获取的全景拼接图像中的图像贴片中选择基准图像贴片来递归地进行基准图像贴片与其相邻的相邻图像贴片之间的重新图像拼接操作，从参考位置的基准图像贴片扩散到整个全景拼接图像的图像贴片来重新实施软件图像拼接，消除原有全景图像的拼接痕迹或者将这些拼接痕迹移位到全景拼接图像的边缘以外，减少甚至消除拼接痕迹对图像的负面影响，以较低的成本实现结合精确位置控制的全景拼接图像的方案相类似甚至更优的全景图像质量。
17.本技术的方案不仅适用于具有手动载物台的显微镜系统(此时获得节约成本和提高全景图像质量的双重优点)，也可以适用于具有电动载物台的显微镜系统(此时进一步获得提高全景图像质量的改进效果)。
18.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术的内容。
附图说明
19.通过参照附图详细描述其示例性实施例，本技术的上述和其它特征及优点将变得更加明显。
20.图1为使用通过显微镜的相机所采集的图像贴片拼接的全景拼接图像的示例；
21.图2为采用多个图像贴片进行拼接和叠加的操作示意图；
22.图3为原始全景拼接图像中存在的拼接痕迹的示意图；
23.图4为根据本技术的一个实施例的以初始参考位置的图像贴片为基准图像贴片进行基准图像贴片与其相邻图像贴片之间的重新图像拼接操作，以及递归地向四周辐射调整以使用新的基准图像贴片重复进行重新图像拼接操作的示意图；
24.图5为根据本技术的一个实施例的原始全景拼接图像与经过处理与优化后的新的全景拼接图像中的拼接痕迹的变化对比；
25.图6为根据本技术的一个实施例的自动运行用于处理全景拼接图像的方法的软件的实时显示界面；
26.图7为根据本技术的一个实施例的运行用于处理全景拼接图像的方法的软件的显示界面的附加功能；
27.图8为根据本技术的一个实施例的用于处理全景拼接图像的方法的示例性流程图；
28.图9为根据本技术的一个实施例的用于处理全景拼接图像的电子设备的示意框图。
具体实施方式
29.现在将参考附图更全面地描述示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本技术的内容变得全面和完整，并将示例性实施例的构思全面地传达给本领域的技术人员。在图中，为了清晰，可能会夸大部分元件的尺寸或加以变形。在图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
30.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、元件等。在其它情况下，不详细示出或描述公知结构、方法或者操作以避免模糊本技术的各方面。
31.在本技术的实施例中，虽然以具有手动载物台的显微镜的全景拼接图像过程来介绍用于处理全景拼接图像的方法、设备和计算机存储介质，但是该方法、设备和相关的系统不仅可用于采用相机获取具有手动载物台的显微镜的全景拼接图像的图像质量优化，还可以用于在全景图像扫描、数码全切片图像扫描等领域中，用于提升显微镜拼接图像和其它类型拼接图像的拼接图像(特别是全景拼接图像)的质量以及降低拼接痕迹的软件算法和图像拼接处理过程。
32.下文中介绍的用于处理全景拼接图像的方法、设备和系统，提供了一种全局调整构成全景拼接图像的图像贴片从而显著提升全景拼接图像质量的方案，其中对每一个图像贴片进行特定逻辑的全局位置优化来显著降低拼接痕迹。该方案是一个递归过程，从构成原始全景拼接图像的多个图像贴片中不断地选择基准图像贴片，在该基准图像贴片以及与该基准图像贴片图像相邻的相邻图像贴片之间进行重新图像拼接操作，然后重复地选择新的基准图像贴片进行上述图像拼接操作。在整个全景拼接图像上来看，重新图像拼接操作从位于初始参考位置的基准图像贴片向周围不断辐射地递归进行，最终达到全景拼接图像的所有边缘。
33.全景拼接图像的处理方案结合图4中所示的图像贴片位置布局进行详细说明。
34.首先根据现有技术获取由显微镜的相机采集的图像贴片生成的原始全景拼接图像，该原始全景拼接图像仍然保留生成该拼接图像的所有图像贴片。图4中示出了这些图像贴片中的一部分，例如原始图像401至436。由于本技术是针对现有技术获取由显微镜的相机采集的图像贴片生成的原始全景拼接图像进行的一种再次优化拼接操作，所以本技术的实施例所述的“拼接操作”也可以被认为是对于原始全景拼接图像中的图像贴片进行的“重新拼接操作”。
35.图像贴片作为处理全景拼接图像的操作过程的最小图像处理单元，能够表征图像贴片的位置的参数都可以作为参考位置的参数。例如，图像贴片的位置可以由图像贴片的中心点的像素位置表示，也可以由图像贴片的某个端点的像素位置(例如图像贴片具有矩形轮廓)或特定位置的固定像素点位置表示。在下文中，不再具体区别图像贴片的位置由其中的哪个像素点的位置表示，而仅使用图像贴片的位置来表示。
36.对图像贴片进行重新图像拼接过程需要从满足要求的特定图像贴片开始。所述特定图像贴片在本技术中称为初始基准图像贴片，其所位于的位置为参考位置或参考图像贴
片位置。原始全景拼接图像中的初始基准图像贴片可以具有多种选择方式，例如，原始全景拼接图像中的端点(例如顶端、底端、顶角等)处的图像贴片，原始全景拼接图像的中心位置处的图像贴片，以及原始全景拼接图像中的选定区域处的图像贴片，都可以作为初始基准图像贴片。全景拼接图像中的选定区域可以根据重要程度或需求，包括一个或多个图像贴片，可以根据相应的规则选择其中最能代表该选定区域特征的图像贴片作为初始基准图像贴片。优选地，本技术的示例实施例采用原始全景拼接图像的中心位置处的图像贴片401作为初始基准图像贴片，如图4所示。
37.确定了参考位置后，位于该参考位置的图像贴片401被选择作为初始基准图像贴片。初始基准图像贴片401的周围，在所有的其它图像贴片中存在与该初始基准图像贴片401相邻的所有图像贴片，称为初始基准图像贴片401的相邻图像贴片。在此，相邻图像贴片为与初始基准图像贴片具有一定覆盖或重叠区域的图像贴片。图4中的图像贴片411、412、413、414、415、416、417和418分别被选择为初始基准图像贴片401在左上、中上、右上、中右、右下、中下、左下和中左方向上的相邻图像贴片。附图中的相邻关系采用边缘对接的方式，但在全景拼接图像中，初始基准图像贴片401与相应的相邻图像贴片之间并不一定是边缘对接的方式而是存在部分重叠和覆盖。初始基准图像贴片401的相邻图像贴片可以采用如图4中所示的在周围8个辐射方向上的辐射相邻方式和相应的8个相邻图像贴片，也可以是在更多或更少的辐射方向上的辐射相邻方式和相对应的其它数量的相邻图像贴片。
38.如上所述，在完成初始基准图像贴片401和初始基准图像贴片401的相邻图像贴片的拼接后，在前述相邻图像贴片(411、412、413、414、415、416、417和418)中选择一个相邻图像贴片再次作为基准图像贴片。
39.所以在本实施例中，基准图像贴片和相邻图像贴片的概念是相对的，对于所选择的不同基准图像贴片，其相邻图像贴片也相应地变化。例如，当将图像贴片411作为基准图像贴片时，其周围的图像贴片422、423、421、435和436则成为基准图像贴片411的相邻图像贴片。因为相邻的412、401、418在之前步骤中已经进行过图像拼接和移动，则在本轮拼接中不再作为相邻图像贴片。在图4中，为了简便起见，从图像贴片401出发的箭头表示从初始基准图像贴片411与周围的图像贴片411至418进行的第一轮图像拼接和移动。从图像贴片411至418出发的进一步向外辐射的箭头表示以相邻图像贴片411至418中被选择的新的基准图像贴片进行第二轮图像拼接和移动，使得图像拼接从初始基准图像贴片411向全景拼接图像的边缘不断辐射递归的过程和趋势。因此，在本段以及下文中以图像贴片411等作为新的基准图像贴片的示例来介绍从相邻图像贴片列表中选择新的基准图像贴片递归地进行下一轮图像拼接的过程时，图4中从图像贴片411至418出发的进一步向外辐射的箭头不再表示相应的新基准图像贴片与相应相邻图像贴片进行拼接和移动的对应关系。
40.在完成上述针对基准图像贴片411的新一轮拼接后，先前初始基准图像贴片401作为基准图像贴片时的相应相邻图像贴片412、413、414、415、416、417和418则被作为新的基准图像贴片，重复上述拼接过程。
41.在图4所示的图像贴片的示例性位置分布中，每个新的基准图像贴片分别具有8个辐射方向上的相邻图像贴片。类似地，在逐个完成411、412、413、414、415、416、417和418作为基准图像贴片与其相邻图像贴片的拼接后，如图4显示的最外围的图像贴片421-436又作为新的基准图像贴片，相应地找到与其对应的相邻图像贴片(这些外围图像贴片的更外围
的相邻图像贴片未示出)，与之进行拼接。
42.本实施例方法的内涵在于，由最初的初始基准图像贴片401为中心向四周辐射，递归地找到新的基准图像贴片，针对每个所选择的基准图像贴片递归地进行该基准图像贴片以及与其相邻的相邻图像贴片之间的重新图像拼接，从而递归地进行重新图像拼接，直到全景拼接图像最外围的图像贴片。
43.以初始基准图像贴片401为例，对基准图像贴片和相邻图像贴片之间进行重新图像拼接操作之前，可以对多个相邻图像贴片进行排序以确定基准图像贴片与相邻图像贴片之间进行图像拼接的顺序。
44.可以将这些被选择的相邻图像贴片构成相邻图像贴片列表，以决定基准图像贴片与其周围众多相邻图像贴片的拼接顺序。列表中的相邻图像贴片应当都是与基准图像贴片具有部分覆盖和重叠的那些图像贴片。然后可以采用多种规则进行排序以决定拼接顺序，例如，按照在生成原始全景拼接图像过程中的这些相邻图像贴片的拼接先后顺序，按照相邻图像贴片与基准图像贴片之间的重叠区域的大小顺序(例如从大到小)，按照在生成原始全景拼接图像过程中在基准图像贴片与相邻图像贴片之间拼接的置信度和/或梯度的大小顺序(例如从大到小)，这些相邻图像贴片的位置的顺时针顺序或逆时针顺序，基于图像属性的其它标准的特定规则，以及随机顺序等。在图4中，以生成原始全景拼接图像时的拼接先后顺序为例，从左上至中左的顺序，从图像贴片411开始，经过412，413，
…
顺时针最终到达图像贴片418结束。在递归地选择不同的基准图像贴片进行其与相应相邻图像贴片之间的重新图像拼接操作的循环过程中，可以为每次循环过程使用相同或类似的相邻图像贴片排序规则，也可以使用不同的排序规则。例如，经排序的相邻图像贴片构成图像贴片列表{411，412，413，414，415，416，417，418}。
45.优选地，在生成上述列表后，如果列表没有被排序则基于相邻图像贴片列表，以及如果列表被排序则基于该经排序的相邻图像贴片列表，在基准图像贴片401与相邻图像贴片之间进行图像拼接。进行的图像拼接方法可以与生成原始全景拼接图像时采用的图像拼接算法相同，也可以使用不同的图像拼接算法。使用与先前拼接过程一致的算法可以保持全景图像拼接优化的连贯性，体现本技术的全景拼接图像优化方案的改进效果。
46.在进行图像拼接的过程中，可以通过计算获得完成图像拼接所需的每一个相邻图像贴片的位置修正信息，例如以(dx，dy)的形式表示，相邻图片贴片的原始位置信息与位置修正信息结合可以确定该图片贴片的新的图片贴片位置，即经过图像拼接后的优化位置。根据本技术的实施例，还可以在获得位置修正信息之后对该位置修正信息进一步进行加权运算得到加权位置修正信息(考虑在不同坐标轴上的位置修正对位置调整的不同影响)。基于(加权)位置修正信息将相应的相邻图片贴片调整到新的图片贴片位置。进行重新图像拼接的过程中还需要记录每个相邻图像贴片的原始位置与调整后的新的位置以供后续步骤使用。
47.一般来说，一旦某个图像贴片在针对相应的基准图像贴片的某次重新图像拼接操作中被成功地调整过位置，该图像贴片的位置将不再变化。也就是说，每个图像贴片在全景图像的整个重新拼接过程期间至多进行一次成功的位置调整。如果某个图像贴片被确定需要在与相应基准图像贴片对应的本轮图像拼接操作中被调整位置，但是无法成功找到符合图像拼接的预设拼接目标的新的图片贴片位置/位置修正信息，则该图像贴片被认为进行
了一次失败的位置调整(实际上该图像贴片在本轮拼接中并没有被移动)。这种情况也可以认为该图像贴片没有被(成功地)调整过位置，因此它在接下来的全景图像的重新拼接的剩余过程中还可以被进行一次(成功的)位置调整。也可以想到，某个图像贴片在整个全景图像的重新拼接过程期间都没有被调整过位置或者虽然需要调整位置但是都调整失败，该图像贴片仍然被认为没有被(成功)调整过位置，或者简称为没有被调整过位置。
48.在针对初始基准图像贴片401完成其所有相邻图像贴片的重新图像拼接操作后，从本次图像拼接操作过程中的相邻图像贴片中逐个选择图像贴片作为新的基准图像贴片，重复地进行新的基准图像贴片以及与该新的基准图像贴片相对应的相邻图像贴片之间的图像拼接操作。新的基准图像贴片所位于的位置也可以被称为新的参考位置，因此递归地执行基准图像贴片以及与基准图像贴片相邻的相邻图像贴片之间的图像拼接的过程相当于递归地更新参考位置以确定新的基准图像贴片，然后基于新的基准图像贴片(例如411)进行与先前的针对基准图像贴片401所类似的图像拼接的操作过程。
49.在上一次重新图像拼接的操作过程中被调整过的相邻图像贴片才有资格作为新的基准图像贴片的原因在于，没有调整过的相邻图片贴片与其对应的基准图像贴片的关系薄弱，无法在二者的部分重叠或覆盖区域中找到相同或相似的图像像素点进行拼接，因此没有必要对这种关系不密切的图像贴片进行辐射式递归的重新图像拼接操作。例如，图4中在针对中心图片贴片401的进行重新图像拼接过程期间，相邻图像贴片中仅有图像贴片412的位置没有被(成功地)调整过，则在接下来的新的基准图像贴片选择中，由此图像贴片412不再被关注，可以从不包含图像贴片412的列表{411，413，414，415，416，417，418}中选择新的基准图像贴片。类似地，选择新的基准图像贴片的顺序可以采用对这些相邻图像贴片进行图像拼接时相同的顺序，例如采用有序列表{411，413，414，415，416，417，418}的顺序。
50.在与新的基准图像贴片411对应的新的相邻图像贴片列表中，所选择的图像贴片不包括在先前的进行重新图像拼接过程期间的基准图像贴片以及已经被调整的图像贴片。先前的基准图像贴片要么属于作为全景拼接图像优化的起始点的初始基准图像贴片而不需要调整位置，要么属于先前被调整过位置的相邻图像贴片(如果没有被作为相邻图像贴片调整过就无法作为新的基准图像贴片，也无法成为更加新一轮拼接中的基准图像贴片的相邻图像贴片)，因此先前的基准图像贴片不需要再次作为相邻图像进行重新图像拼接。同样，位置已经被调整的图像贴片也不能够再次被调整。对于图4中的新的基准图像贴片411，则其相邻图像贴片中图像贴片421、422、423、435和436有资格作为相邻图像贴片以构成相邻图像贴片列表。根据本技术的实施例，还可以在这些被选择为构成相邻图像贴片的图像贴片中进一步筛选，或者说对相邻图像贴片列表进行进一步筛选以获得经筛选的相邻图像贴片列表。筛选标准例如可以是如下中的至少一个：基准图像贴片与相邻图像贴片存在重叠区域，进一步，重叠区域的大小和/或比例超过相应阈值；重叠区域的特征(例如其中的特征点，区域，边缘等)的相似度超过相应阈值等。在下文中，假设这些相邻图像贴片421、422、423、435和436经过筛选后仍然被留在经筛选的相邻图像贴片列表中。再次按照以生成原始全景拼接图像时的拼接先后顺序(从左上至中左的顺时针方向)形成经排序的相邻图像贴片列表{421，422，423，435，436}。接下来，基于该经排序的相邻图像贴片列表在基准图像贴片411与相邻图像贴片之间进行重新图像拼接。该进行重新图像拼接的操作过程与基准图像贴片401时的情况类似，这里不再赘述。然后，对新的基准图像贴片413进行重新图像拼接
操作(因为在上文中指出图像贴片412没有在上次图像拼接过程中被(成功地)调整过，否则确定新的基准图像贴片时应当继续选择图像贴片412而不是跳过412而选择413)，接着是图像贴片414，
…
，直到图像贴片418。可以看到，在图像贴片418作为基准图像贴片时，如果其所有的相邻图像贴片都在其它图像贴片的进行重新图像拼接的操作期间(主要是图像贴片411和417作为基准图像贴片时)被(成功地)调整过，则图像贴片418作为基准图像贴片将不对任何相邻的图像贴片实施重新图像拼接操作。
51.上述重新选择新的基准图像贴片以进行重新图像拼接的过程是一个递归过程，每次循环都会得到更大尺寸的经过位置调整的图像贴片的拼接图像集合，直至拼接图像集合覆盖整个原始全景拼接图像的所有图像贴片，即所有的图像贴片都参与和完成过重新图像拼接操作。由于每个图像贴片的位置仅被调整过一次，图像贴片之间的拼接痕迹(例如伪影)被逐渐推到全景拼接图像边缘外侧(即，所观察的样本区域之外)的空白区域。这也是本实施例优选采用原始全景拼接图像的中心位置处的图像贴片401作为初始基准图像贴片的原因，因为如此可以尽可能保证优化拼接后的全景拼接图像的中心点尽可能不偏离原始全景拼接图像中心点太远。当然，本领域的技术人员也完全可以认识到，本技术的方法完全可以采用全景拼接图像中任何位置的图像贴片作为初始基准图像贴片。图4中所示示例以原始全景拼接图像的中心位置作为参考位置进行全景拼接图像优化，因此拼接痕迹是从中心位置向四周逐渐向外辐射式推出到边缘的。如果以原始全景拼接图像的端点或边缘位置作为参考位置选择初始的基准图像贴片，则拼接痕迹将从原始全景拼接图像的一端或一边向其它方向辐射式推出或扩散到边缘。
52.在对所有的图像贴片递归地完成进行重新图像拼接的操作之后，需要对经过位置优化的所有图像贴片进行筛选，保留有价值的图像贴片，移除那些产生拼接痕迹的“无价值”的图像贴片。最终筛选的原因是由于在完成所有的重新图像拼接后，仍有可能存在一些图像贴片由于不符合相邻图片选用规则而从未被调整过位置，说明这些图像贴片与周围的图像贴片的关系都很薄弱而需要被移除。此外，原始全景拼接图像与本技术优化过程中的后续位置调整虽然采用不同的基准图像贴片，但是每个图像贴片在真实世界中的绝对位置是相对固定的，因此拼接痕迹的修复理应不会造成较大的位置修正信息(dx,dy)。因此，进行图像贴片的最终筛选还应当包括如下标准：当经过所有图像贴片的进行重新图像拼接的整个操作过程之后，如果某个或某些图像贴片经过位置调整前后的位置修正信息(原始位置与被调整后的新的位置之间的差异，即位置变化的绝对值)超过预先设定的阈值或阈值范围，则表明该图像贴片的新的位置与原始位置之间有较大的位置差异。这种较大的位置差异可能是由于全局多次图像拼接算法的累计误差集中于该图像贴片，或由于图像质量/拼接算法自身的原因，导致原始全景拼接图像与调整优化后的全景图像拼接的两次结果之间显著不同，因此这种图像贴片应当被丢弃。
53.经过筛选的图像贴片所生成的新的全景拼接图像成为经过全局位置优化的全景拼接图像。图5的左右两侧分别示出在进行全景拼接图像的全局优化前后的全景拼接图像的多个相同位置的放大对比。在图5(a)中使用箭头标记的原始全景拼接图像中的垂直和水平拼接痕迹501在图5(b)中同一位置处的新的全景拼接图像中已经不存在了。类似的，图5(c)中由箭头标记的水平拼接痕迹502在图5(d)中的相同位置也得到了显著降低。可以看到，新的全景拼接图像相对于原始全景拼接图像具有明显降低的拼接痕迹甚至不再存在放
大后可见的拼接痕迹，使得采用手动载物台的显微镜系统生成的样本全景拼接图像具有显著提升的图像质量，能够以较低的成本实现与结合精确位置控制的全景拼接图像的方案相类似甚至更优的全景图像质量。
54.上述用于处理全景拼接图像的方法过程可以通过全自动的方式进行。可以将全景拼接图像的全局优化流程保存以使得用户的后续操作或者其它用户无需额外的操作就可以获取经过全局优化后的全景拼接图像。这种全局优化流程可以使用如图6所示的计算机软件的显示界面实时地呈现，使用户能够观察和跟踪对全景拼接图像中的每个图像贴片正在进行的重新图像拼接操作和位置调整的状态。例如，该用户界面的左上角提供样本的整个全景拼接图像的预览和当前所关注图像贴片的相关区域在全景拼接图像中的位置或区域，显示界面的主要区域或中心区域以放大视图示出当前正在进行重新拼接操作和位置调整的图像贴片701的实时状态和过程。显示界面可以呈现在显微镜系统的显示设备上，也可以呈现在与显微镜系统通过有线或无线连接的独立的显示设备或计算/控制设备的显示器上，也可以呈现在与显微镜系统通信连接的位于远程或网络上的服务器的显示设备或提供的界面上，还可以呈现在与显微镜系统以无线方式直接连接或经由诸如路由器或基站的中间设备间接连接的移动终端设备(例如智能电话，个人数字助理pda，平板电脑和膝上型计算机等具有显示单元的专用或通用便携式终端设备)的显示设备上。
55.为了保证原始全景拼接图像的重新拼接过程的流畅性和最终的全景拼接图像的质量，避免在初始阶段就产生过于明显的拼接错误，可以在显示界面中增加诸如图像贴片的全局搜索和撤销单张图像贴片的功能，如图7所示。
56.在获得原始计算机全景图像的拼接过程中，可能出现由于手动控制的显微镜载物台移动过快而导致实时图像会突然移动到正在进行图像对比和拼接的区域之外，造成计算机软件无法定位到当前位置或当前图像贴片。此时，用户需要重启计算机软件以重新开始原始全景图像的拼接操作，这将耗费大量的额外时间。例如，可以通过点击图7中右下角由左侧箭头指示的图标801启动在原始全景图像拼接过程的全局搜索功能。全局搜索功能基于在显示界面上显示的当前实时画面，在原始全景拼接图像中的已经完成图像拼接操作的区域中寻找图像贴片并进行扫描比对。扫描比对可以通过像素或其它图像特征完成。如果扫描比对成功找到对应的图像贴片，则用户界面中的当前图像贴片位置可以迅速移动至所对应的图像贴片的位置(x,y)，即该图像贴片在所获得的原始全景拼接图像的整个图像中的绝对位置(载物台突然受到快速移动之后在被拼接的原始全景拼接图像的整个图像中的位置)。所确定的先前正在进行图像拼接的图像贴片例如可以显示在如图7中的展示框803中的位置。然后，用户可以通过计算机软件从当前位置(载物台突然受到快速移动之后的位置)继续图像拼接操作。通过扫描比对重新定位到当前操作的图像贴片的位置，可以显著提升原始全景图像的拼接过程的稳健性，从而提高图像拼接的流畅性和效率。
57.用户也可以通过点击图7中右下角由右侧箭头指示的图标802来启动对于原始全景拼接图像的图像贴片的撤销功能。撤销功能用于在产生明显的图像拼接错误时，撤销上一图像贴片的错误的图像拼接操作。错误的图像拼接操作是由于极相似的图像贴片局部区域造成的软件所计算的拼接位置错误，使得图像贴片的位置被错误地计算。撤销功能可以撤销被成功拼接的上一个图像贴片。被执行撤销功能的图像贴片也可以在显示界面的展示框803中显示。撤销功能不仅可以撤销单个图像贴片的图像拼接操作或移除被错误拼接的
单个图像贴片，也可以例如通过连续点击图标802来撤销在原始全景拼接图像中的多个图像贴片的图像拼接操作，从而保证原始全景拼接图像的整体图像质量是稳定可靠的。撤销功能不仅可以应用于原始全景拼接图像，还可以应用于全景拼接图像的全局优化过程中，避免特定的图像贴片对位置优化后的全景拼接图像的图像质量产生负面影响。例如，可以以基准图像贴片与其相邻图像贴片之间的图像拼接作为最小撤销单位或撤销步长，分步地撤销全局优化过程中的全景拼接图像的位置优化。通常，撤销功能从整个全景拼接图像的全局优化过程的最后一步开始逐步向前撤销基准图像贴片与其相邻图像贴片之间的图像拼接。
58.图8示出根据本技术的实施例的用于处理全景拼接图像的方法的示例性流程图。与上文中介绍的全景拼接图像的全局位置优化过程相同或类似的部分将不再详述。
59.方法首先在步骤s610中获取待优化的原始全景拼接图像以及生成该原始全景拼接图像的多个图像贴片。
60.步骤s620是一个递归过程，具体包括如下子步骤：
61.子步骤s621：确定初始基准图像贴片的位置，即以初始的参考位置处的图像贴片作为初始基准图像贴片。从初始基准图像贴片开始，递归地在基准图像贴片与该基准图像贴片的相邻图像贴片之间进行图像拼接，如下面的子步骤s622-s625所述。
62.子步骤s622：选择与基准图像贴片相邻(存在一定重叠或覆盖区域)的相邻图像贴片构成相邻图像贴片列表，其中不再使用在先前的进行重新图像拼接过程中已经被调整过位置的图像贴片和先前的基准图像贴片。在子步骤s622，还可以进一步包括子步骤s6221，对相邻图像列表进行筛选。子步骤s6221对相邻图像贴片列表中的相邻图像贴片进一步筛选，使得经筛选的相邻图像贴片列表中仅包括最终被确定保留的相邻图像贴片。
63.子步骤s623：可选地包括按照特定的排序规则对相邻图像贴片列表中的相邻图像贴片进行排序，确定对这些相邻图像贴片进行图像拼接的操作顺序。子步骤s623可以位于子步骤s622与s624之间。对相邻图像贴片列表进行筛选的子步骤s6221与子步骤s623的先后顺序可以调整。一般来说，先进行列表中的相邻图像贴片的筛选再进行排序可以减少计算量。
64.子步骤s624：如果没有经过子步骤s623中的排序，则在相邻图像贴片列表中；以及如果经过子步骤s623中的排序，则在排序后的相邻图像贴片列表中，依次取出相邻图像贴片进行与基准图像贴片之间的图像拼接；在拼接过程中，需要记录被确定为需要调整位置的相邻图像贴片的原始位置信息、位置修正信息和新的位置信息(实际上，上述三个位置信息可以通过其中的任何两个位置信息确定)。
65.子步骤s625：除了在子步骤s621中确定的初始基准图像贴片之外，选择新的基准图像贴片以用于下一轮重新图像拼接的操作；新的基准图像贴片从本次重新进行图像拼接操作过程中的经排序的相邻图像贴片列表中选取，所选取的新的基准图像贴片应当是其位置被调整过后的相邻图像贴片。
66.在子步骤s625完成后，重新回到子步骤s622来针对新的基准图像贴片位置形成与该基准图像贴片位置相对应的相邻图像贴片列表。子步骤s622至s625的循环直到原始全景拼接图像中的所有图像贴片都实施过进行重新图像拼接的操作为止。由于每个图像贴片至多被调整过一次位置，在原始全景拼接图像中的拼接痕迹被递归地从所选择的参考位置
(初始基准图像贴片的位置)逐渐推到全景拼接图像的边缘。
67.在步骤s630中，使用经过步骤s620进行图像拼接过程之后的所有图像贴片生成新的经过位置优化的全景拼接图像。
68.上述步骤s610至s630中的图像贴片的选择和位置调整过程可以在显示界面中实时地显示，以便于用户监视和控制全景拼接图像的全局优化。
69.为了保证全景图片拼接过程的流畅性和图像质量，还可以在步骤s640中，对在显示界面中显示的原始全景拼接图像图像拼接过程中的图像贴片应用全局搜索和撤销功能。
70.作为本发明的另一个实施例，可以将一个基准图像贴片(例如初始基准图像贴片)与其多个相邻图像贴片进行拼接后形成的更大范围的组合图像贴片(将其称为“拼接图”)作为新的基准图像贴片。例如，将初始基准图像贴片401及其相邻图像贴片411、412、413、414、415、416、417、418进行拼接而获得的“拼接图”(即经图像拼接操作后的组合图像贴片[401，411，412，413，
…
，418]，其中具有3x3位置组合的9个图像贴片)整体作为新的基准图像贴片，再与其周边的相邻图像贴片进行与前述实施例相类似的递归的图像拼接过程。
[0071]“拼接图”的尺寸可以根据需要选择，例如将图像贴片401与411、412和418组合形成具有2x2位置组合的4个图像贴片组成的组合图像贴片作为“拼接图”。在不断的递归图像拼接过程中，还可以不断扩大“拼接图”，即组合图像贴片中包含的图像贴片，仅需要将“拼接图”与其相邻的图像贴片进行重新图像拼接。
[0072]
根据本技术的实施例，还可以在获取原始全景拼接图像的图像贴片时，将图像贴片进行组合以形成组合图像贴片，减少进行重新图像拼接的递归循环次数。例如，将每2x2、3x3、2x3、1x3等位置组合的图像贴片集合形成组合图像贴片(也可以将其称为另一种形式的“拼接图”)，并对这些组合图像贴片进行递归的图像拼接操作过程。
[0073]
可以根据拼图算法的特性使用组合图像贴片(“拼接图”)进行图像拼接的方式，例如接收不同尺寸的图像输入，提高准确率。
[0074]
上文介绍的全景拼接图像的全局位置优化过程，通过选择基准图像贴片来递归地进行基准图像贴片与其相邻的相邻图像贴片之间的重新图像拼接操作，实现从参考位置的基准图像贴片扩散到整个全景拼接图像的图像贴片重新实施计算机软件图像拼接，可以消除原有的全景图像拼接痕迹或者将这些拼接痕迹移位到全景拼接图像的边缘以外，减少甚至消除拼接痕迹对图像的负面影响，无需精确位置控制的显微镜载物台和相机组件，以较低的成本实现高质量的优化的全景图像质量。
[0075]
本技术的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序包括可执行指令，该可执行指令被例如处理器执行时可以实现上述任意一个实施例中所述的用于处理全景拼接图像的方法的步骤。在一些可能的实施方式中，本技术的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本文中用于处理全景拼接图像的方法中描述的根据本技术各种示例性实施例的方法的步骤。
[0076]
根据本技术的实施例的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本技术的程序产品不限于此，在本文中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0077]
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0078]
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0079]
可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0080]
在本技术的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中的用于处理全景拼接图像的方法的步骤。
[0081]
所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0082]
下面参照图9来描述根据本技术的实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本技术的实施例的功能和使用范围带来任何限制。
[0083]
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940等。
[0084]
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本文中用于处理全景拼接图像的方法中描述的根据本技术的各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图8中所示的步骤。
[0085]
所述存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(rom)9203。
[0086]
所述存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序
模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0087]
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0088]
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器960可以通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0089]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术的实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本技术的实施方式的用于处理全景拼接图像的方法。
[0090]
本技术的实施例还提出一种生成全景拼接图像的系统。系统包括用于获取原始全景拼接图像的图像获取单元以及用于处理原始全景拼接图像以生成经过全局位置优化的新的全景拼接图像的如上文所述的设备。图像获取单元可以包括采集诸如显微镜的手动载物台上的样本的至少一部分区域的图像的传感器，例如相机。这些采集的图像构成图像贴片并且在图像获取单元的处理部件中使用计算机软件生成原始全景拼接图像。为了减少或消除原始全景拼接图像中的拼接痕迹，用于处理全景拼接图像的设备被配置为执行如上文所述的方法将来自图像获取单元的原始全景拼接图像优化为新的全景拼接图像。
[0091]
上述生成全景拼接图像的系统可以与显微镜，特别是具有手动载物台的显微镜构成显微镜系统，可以以较低的成本获得具有拼接痕迹肉眼不可见和/或放大后不可见的高质量的样本的全景拼接图像。
[0092]
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由所附的权利要求指出。