用于使用胶囊相机所拍摄影像的重叠相依影像拼接方法与流程

相关申请案对照参考

本发明主张2015年4月1日提出申请的美国非临时专利申请案第14/675,744号的优先权。

本发明是关于缩减借由体内胶囊相机所拍摄影像的时间及劳力。以智慧方式将大量影像拼接成更大影像以减少影像的数量。

背景技术：

胶囊内视镜是一种处理许多传统内视镜问题的体内成像装置。相机连同用于将数据传送到基站接收器或收发器的无线传送器被装在可吞式胶囊内。也可将体外的数据记录器用于接收并且记录传送的数据。数据主要包含数字相机所录制的影像。胶囊也可包括用于从基站传送器接收指令或其他数据的无线接收器。可使用更低频率的电磁信号，而不是使用射频传输。可利用感应方式将电力从外部电感器供应至胶囊内的内部电感器，或从胶囊内的电池供应电力也可以。在另一类型具有板上储存空间(on-boardstorage)的胶囊相机中，将拍摄的影像储存于板上，而不是传送至外接装置。具有板上储存空间的胶囊乃是在胶囊排泄之后遭受提取。具有板上储存空间的胶囊为患者提供舒适度与自由度，不用穿戴数据记录器，也不用受限于无线数据接收器的邻近度。

所述影像及数据通常是在采集并且处理之后，才在显示装置上显示以供诊断师或医疗专业人士进行检查。然而，每一个影像都仅提供胃肠道(gitract)一小段有限的视野。希望从多个胶囊影像形成(拼接)具有更大视场的单一复合图片。大图片可利用高解析度大荧幕显示装置让用户可同时目视更多信息。影像拼接程序可涉及将诸影像之间多余的重叠区移除，以使得可在单一复合图片中同时检视更大面积的内胃肠道表面。另外，大图片可提供内胃肠道表面的全视图或重要部位。诊断师或医疗专业人士应该更轻松且快速地认出如息肉之类的关注区。此外，所拍摄的影像举例而言，可具有30,000个帧(frame)。会导致用户检阅花费超过一个小时。影像拼接程序从而可减少帧数量，并且加速检阅程序。

然而，胃肠道中的组织时常变形。胃肠道内的胶囊移动也不稳定。相机会在人类胃肠道内转动及停顿。另外，尽管胃肠道在施用胶囊前或许已妥善清理过，影像中仍可能出现诸如食物残渣与气泡等各种物件。因此，借由胶囊相机所拍摄的影像离各种影像组成或影像拼接处理中所使用的影像模型为非理想。希望开发考虑所拍摄影像为非理想的事实、并且改善处理或演算法收敛速度的方法。举例而言，一种方法若能可靠地拼接某些类型的影像，则待处理影像的总数量将会减少。另外，若能开发可靠地拼接另一影像类型的另一方法，则待处理影像的总数量得以进一步减少。

技术实现要素：

所公开的是一种处理使用体内胶囊相机所拍摄影像的方法。借由体内胶囊相机所拍摄的影像通常数量庞大。医疗专业人士检验时，可能需要延长时间才能完成工作，这会使健康照护成本增加。本发明首先拼接可以可靠地拼接的影像。在一项具体实施例中，将具有超出阈值的大重叠的影像拼接成更大影像，以使得影像的数量减少。另外，更大的影像隐含着同时可检视的对应场景(例如：人类身体的胃肠道)的面积更大。举一实施例来说，若目前影像与n1个邻接影像其中一者之间的图片重叠程度大于第一阈值，则将这两个影像拼接，其中n1为正整数。若目前影像与非属其n1个邻接影像之间的图片重叠程度大于第一阈值，则将目前影像指定为非拼接影像。另外，若任何影像现存于两个影像之间且不包括于拼接影像中，则还将该影像指定为非拼接影像。可借由处理所述拼接影像及非拼接影像作为下一轮的待处理影像，来反复进行大重叠拼接。大重叠拼接的迭代可进行到无影像可拼接或达到停止准则为止。

大重叠拼接后面可跟着小重叠拼接，用以进一步拼接从大重叠拼接所产生的影像。对于小重叠拼接，若目前影像与n2个邻接影像其中一者之间的图片重叠程度低于第二阈值，则将仅拼接两个影像，其中2为正整数。小重叠拼接程序类似于大重叠拼接。可反复应用小重叠拼接程序，直到无更多影像可拼接或达到某一停止准则为止。

大重叠拼接程序及小重叠拼接程序完成之后，系统可将第三级影像拼接进一步应用至来自小重叠拼接的结果。系统还仅可使用小重叠拼接。

在大重叠拼接或小重叠拼接程序期间，将目前影像与具有大重叠或小重叠的匹配影像拼接之后，可将拼接影像视为取代目前影像及匹配影像的新影像。在相同的影像拼接迭代期间，对于与匹配影像的n1或n2个邻接影像的大重叠或小重叠拼接，可应用进一步拼接至新影像。替代地，在相同的影像拼接迭代中，未对于拼接影像应用进一步拼接。

若断言停止准则，则可终止此反复拼接程序。举例而言，若拼接影像达到最大尺寸，将不再对此拼接影像应用拼接。此最大尺寸可对应于最大图片宽度或最大图片高度。在另一实施例中，将最大数量的影像一起拼接成一拼接影像之后，将不再对此拼接影像应用拼接。另外，当不再有可拼接的影像时，此程序将会停止。

与影像拼接相关联的拼接影像索引及影像模型参数可连同原始影像加以储存，但不需要储存拼接影像。在拼接程序期间，判定可拼接的影像、及判定用于拼接的模型参数具有运算密集性。然而，判定拼接影像索引及模型参数之后，可有效率地进行基于所推导的拼接影像索引及模型参数而产生用于检视的拼接影像的程序。因此，凭借预先计算的拼接影像索引及模型参数，诸如个人电脑或笔记本电脑等低成本装置可由终端用户用于显示拼接影像以供检视及检验之用。

重叠程度可基于两个影像的全域转换来判定。另外，全域转换可借由穷举搜寻两个影像之间的强度为基础的影像匹配来估测。将两个影像拼接之后，可对重叠的影像区域应用局部转换。局部转换可包括自由形式变形立方b样条(b-splines)。产生拼接影像所需的影像模型参数可使用梯度为基础的程序来最佳化。

附图说明

图1根据本发明的一具体实施例，示出了就大重叠影像、小重叠影像、及来自第二级的输出影像由三个处理级所组成的例示性影像序列拼接。

图2示出了借由体内相机所拍摄的影像的例示性情况，其中一组影像具有大百分比的重叠。

图3示出了借由体内相机所拍摄的影像的例示性情况，其中一组影像具有小百分比的重叠。

图4示出了借由体内相机所拍摄的影像的例示性情况，其中最佳匹配影像可有一段距离，而不是因相机振荡导致的相邻影像。

图5示出了根据本发明的一具体实施例用于影像序列拼接系列的例示性流程图，其中侦检及拼接具有大重叠的影像。

符号说明

110、120、130步骤

510、520、530、540步骤

t、t+1至t+8、t+i、t+i+1、t+n索引或影像。

具体实施方式

在以下说明中，将说明本发明的各项态样。为了阐释，提出特定组态及细节，以便透彻理解本发明。可省略或简化众所周知的特征，以免混淆本发明。

影像配准及拼接的一般技术方法的回顾，可在2006年12月10日微软研究技术报告(microsoftresearchtechnicalreport)msr-tr-2004-92由szeliski所著的“imagealignmentandstitching:atutorial”中找到。

在影像配准方面，首先侦检并且识别来自两个影像的对应特征、物件或区域。这两个影像可接着根据一些数学模型，借由使一个影像对另一影像翘曲来对准。模型参数必须从所拍摄的影像计算出来。

还可以在像素域中直接配准两个影像。像素式配准还称为直接匹配，其基于影像强度来比较两个影像区域的类似性。可用于评估像素式配准品质的类似性测量有许多种，诸多距离平方和(sumofsquareddistance；ssd)、正规化交叉相关(normalizedcrosscorrelation；ncc)、相互信息(mutualinformation；mi)等。若要从两种不同模态匹配影像，将影像a与b的相互信息定义为：

此相互信息衡量影像强度值p(a,b)的联合分布与独立影像p(a)p(b)的联合分布之间的距离。此mi为介于两个影像之间的相依性衡量。mi的基本假设在于影像正确对准时，其强度值彼此间有最大相依性。偏移将导致相互信息的衡量降低。因此，相互信息愈大，暗喻可靠的配准愈多。

以撷取自影像的特征为基础的影像配准是影像配准的另一普及的方法。此特征式配准首先判定每张影像中的一组特征点，然后比较对应的特征描述符。若要匹配从两个不同相机位置、或两个不同视角拍摄的两个影像补丁(patches)或特征，基于对应性而估测包括扩缩、转动等的仿射相机模型。若要匹配两个不同相机位置或两个不同角度处所拍摄的两个影像，可使用包括局部变形的非刚性相机模型。

特征点的数量通常远小于对应影像的像素数量。因此，特征式影像配准的计算负载相比于像素式影像匹配实质较小。然而，逐对匹配仍然耗时。通常是将k-d树用于加速此程序，其为此领域中一种众所周知的技巧。虽然如此，就某些环境下的影像，诸如具有更少特征的体内影像，特征式影像配准可能无法有效运作。在这种情况下，可将直接影像配准当作主角使用，并且较佳可为以上两种方法的组合。

在一项具体实施例中，场景中的物件可变形，并且缺乏可区别的特征。要将一组任意影像拼接成大图片是非常困难的事，该组任意影像含有准确的解剖背景。公开一种分组策略以将诸影像分类，然后按步骤将拼接方法应用至不同类别中的影像。图1根据本发明的一实施例，示出了三级影像拼接的一实施例。在第一级中，借由拼接具有大重叠的影像来移除多余影像。在第二级中，借由拼接具有小重叠的影像来放大视场。在第三级中，拼接其余影像，即出自第二级处理的输出影像。尽管图1示出了本发明的一具体实施例的一实施例，所属技术领域中具有通常知识者仍可借由重新配置图1中的步骤来实践本发明，但不会脱离本发明的精神。举例而言，可略过第二级。在另一具体实施例中，可略过第一级。

应用混合时，所有侦检的特征将会遭到识别并且保留于拼接影像中。具有大重叠的影像最有可能为多余，因此，拼接期间非常不可能损耗重要特征。另一方面，具有小重叠的拼接影像也不太可能损失重要特征，因为混合区域对应于整个影像的非常小的百分比。因此，借由先拼接具有大重叠或小重叠的影像，可有助于减少尚待拼接的影像的总数量，同时降低拼接程序期间损失重叠特征的风险。

由于胃肠道蠕动，胶囊可能在一个位置卡住并且来回移动一段短暂时间，然后移动至下一个位置。因此，一组影像可具有大百分比的重叠，如图2所示，其中经过处理的有(n+1)个影像，索引为t至t+n，涵盖胃肠道的区域。由于相机振荡，影像的索引可能未从顶端影像(即索引t)至底端影像(即索引t+n)循序增加。举例而言，影像t+i可比影像t+i+1更朝向底端。

若重叠超出阈值，则这些影像落入第一类别。举例而言，该阈值可设定为与邻接影像重叠80％。因此，共享大重叠的任何影像将会先拼接在一起。若要识别这些影像，可在全域刚性转换的假设下，借由穷举搜寻强度为基础的影像匹配，来估测全域转换。一旦估测全域转换，便可计算诸影像之间的重叠。若重叠度满足第一类别的准则，则可将诸如自由形式变形立方b样条的局部转换应用至重叠区。影像拼接将会需要影像模型参数。可将梯度为基础的方法用于影像模型参数的最佳化。最后，变形场域将会外插到其余影像。在另一具体实施例中，全域转换可借由平均处理个别像素的局部转换来估测，而这两个影像则是假设完全重叠。以上全域转换估测仅对具有大重叠区的影像才有效。

可将各种程序用于对一连串影像应用第一级。举例而言，大重叠影像拼接可借由检查每两个邻接影像来起始。影像对如果落入第一类别，则遭到拼接。接着将拼接影像视为待拼接影像以进行下一轮大重叠拼接，并予以置放于待拼接清单中。就大重叠拼接处理所有影像之后，在待拼接清单中获得一连串新影像以供进一步拼接之用。此待拼接清单包括不符合大重叠准则的影像、以及来自前一轮拼接的拼接影像。反复进行大重叠拼接，直到无邻接影像具有大重叠为止。换句话说，待拼接清单变为已净空。

在另一具体实施例中，为找出具有最大重叠的邻接影像，可搜寻n个邻接影像(例如：n＝5)，而不是搜寻两个相邻影像。由于相机振荡，具有最大重叠的邻接影像可不必然是相邻影像，即紧密邻接影像。举例而言，胶囊在时间t可处于位置x。相机可在下一个帧期间(t+1)向前移动，并且在随后的帧期间(t+2)向后移动。因此，影像t+2可与影像t而不是影像t+1具有最大重叠。所以，若搜寻视窗更大，则更有可能找出具有大重叠的邻接影像。

至于为了识别大重叠而搜寻的多个邻接影像，当找出具有大重叠的邻接影像时，可将具有大重叠的目前影像及邻接影像拼接。借由搜寻下n个邻接影像，可就拼接影像持续进行大重叠拼接程序。若拼接影像与所述邻接影像其中一者之间发现大重叠，则进一步将拼接影像拼接。若未发现大重叠邻接影像，则大重叠拼接移动至下一个影像。若目前影像无法与n个邻接影像中任一者拼接，则下一个影像可对应于目前影像之后的影像。若拼接影像无法进一步拼接，则下一个待处理影像对应于所拼接的最后一个影像之后的影像。举例而言，若n＝5，而影像0与下5个影像中任一者不具有大重叠。因此，将影像0指定为非拼接影像。若影像1与影像2具有大重叠，则将影像1与2拼接以形成拼接影像(1,2)。接着将拼接影像(1,2)与下5个邻接影像(即影像3、4、5、6及7)作比较以识别任何大重叠。若发现影像5与拼接影像(1,2)具有大重叠，则将拼接影像(1,2)与影像5拼接以形成拼接影像(1,2,5)。若无更多影像可与影像(1,2,5)拼接，则大重叠拼接移动至下一个影像。将影像5与影像(1,2)拼接之后，影像3变为第一非拼接影像。因此，下一个待处理影像为影像3。若影像3及4仍然无法与拼接影像(1,2,5)拼接，则这一轮中将不对影像3及4应用拼接程序。介于所述拼接影像之间、但不包括于此拼接影像中的影像乃指定为非拼接影像。因此，非拼接影像3及4乃指定为非拼接影像。所有影像都处理过后，大重叠拼接程序将会输出拼接影像(1,2,5)等、及非拼接影像0、3、4等。拼接影像与非拼接影像经受下一轮大重叠拼接。可持续此迭代，直到不再有可拼接的影像为止。此程序可导致成长非常大的拼接影像。可设定停止准则，以在拼接影像中的影像数量超出阈值时停止进一步拼接。

在以上实施例中，拼接两个大重叠影像时，此程序就任何大重叠影像，持续搜寻下n个未拼接影像。替代地，拼接两个大重叠影像(例如：影像0与2)时，此程序输出拼接影像作为新影像(即(0,2))，并且此程序移动至下一个待处理影像，即影像1。此搜寻将会判断影像1是否与影像3至影像3+n具有大重叠。此步骤中不搜寻影像2，因为影像2已与影像0拼接。若n＝5，并且影像5与影像1具有大重叠，则输出拼接影像(1,5)，并且此程序移动至下一个影像(即影像3)。若影像3与影像4至影像4+n之间没有大重叠，则影像3将会指定为非拼接影像。影像4变为下一个待处理影像。若影像4未发现大重叠，则将会输出影像4作为非拼接影像。此程序将会持续，直到所有影像都处理过。此程序将会输出拼接影像(0,2)、(1,5)等、及非拼接影像3、4等。来自此程序的拼接影像及非拼接影像经受下一轮的大重叠拼接处理。重复此拼接程序，直到不再有可拼接的影像为止。

在另一具体实施例中，拼接具有大重叠的二或更多个非相邻影像时，可就拼接影像计算时间戳记(或索引)作为二或更多个时间戳记(或索引)的概要。举例而言，二或更多个时间戳记的概要可以是平均、中值、或任何个别时间戳记，例如第一者、中间者或最后一者。替代地，除了拼接影像以外，还可将所有个别时间戳记全都显示在一起。

拼接影像通常大于原始影像。因此，拼接更多影像之后的复合影像(即拼接影像)将变为愈来愈大。然而，显示装置不受限于某一尺寸。因此，复合影像必须拟合到显示装置。否则，复合影像必须全景平摆才能显示影像的所有部分。因此，将会检查拼接影像的尺寸，并且若复合影像超出荧幕尺寸，则此复合影像将停止拼接。

可检查拼接影像宽度以判断该宽度是否接近、等于或大于显示视窗的宽度。若是，拼接影像上将不进行进一步拼接。替代地，可检查拼接影像高度以判断该高度是否接近、等于或大于显示视窗的高度。若是，拼接影像上将不进行进一步拼接。

在另一具体实施例中，影像拼接也会单纯地受限于待拼接影像的数量，而不是检查拼接影像的宽度或高度。举例而言，可拼接的影像不超过10个。若拼接影像已含有10个影像，此复合影像将不进一步拼接。

在第一级中拼接诸影像之后，可在显示装置上检视拼接影像。此拼接程序将会导致拼接影像大于原始尺寸。另外，取决于原始影像的性质，各最终拼接影像可对应于不同数量的原始影像，并且具有不同的重叠程度。因此，最终拼接影像的尺寸将随着影像不同而变。接续检视尺寸差异大的两个拼接影像时，一个影像可包覆荧幕上的小区域，而另一影像则可几乎填满荧幕。这会导致检视体验非常无法集中。然而，在第一级拼接中，将会拼接的只是具有大重叠的影像。结果是，拼接影像的尺寸可能没有太大的变化。潜在的无法集中检视问题将得以避免。

第一级拼接一旦完成，目前影像与邻接影像的重叠将会小于阈值重叠，诸如80％。图3示出了第1级拼接之后的拼接结果的实施例，其中图片重叠始终小于80％。另外，有一些邻接影像的重叠实质可小(例如：15％或更小，如影像t与t+1之间所示)。根据本发明的一项具体实施例，第二级将会拼接具有小重叠(即，低于低阈值的重叠)的影像，以产生具有更大视场的复合影像。

在一项具体实施例中，就具有小重叠的影像，使用类似于大重叠拼接所用的程序来进行拼接。举例而言，小过度拼接可借由将具有小重叠(例如：15％)的两个邻接影像拼接来开始。就小重叠拼接处理所有影像之后，在待拼接清单中获得一连串新影像以供进一步拼接之用。此待拼接清单包括不符合小重叠准则的影像、以及来自前一轮拼接的拼接影像。反复进行小重叠拼接，直到无邻接影像具有大重叠为止。换句话说，待拼接清单变为已净空。

若要识别这些具有小重叠的影像，可在全域刚性转换的假设下，借由穷举搜寻强度为基础的影像匹配来估测全域转换。一旦估测全域转换，便可计算诸影像之间的重叠。可将诸如自由形式变形立方b样条的局部转换应用至重叠区。模型参数可借由使用梯度为基础的方法来最佳化。最后，变形场域将会外插到其余影像。

在另一具体实施例中，可就期望的小重叠，诸如15％，预先定义百分比，而不是在影像中穷举搜寻重叠。强度为基础的影像匹配可应用至来自两个相邻影像的固定区域。举例而言，可选择来自第一影像底端、及第二影像的顶端的20％影像。若匹配满足某些准则，诸如ncc匹配分数大于阈值，则这两个影像不属于小重叠类别。其将不会遭到拼接。高ncc匹配分数意指这两个影像区域非常类似，并且这两个影像在此区域中重叠。

为了判定具有小重叠的邻接影像，可选择用于匹配的固定影像区域。可借由在此固定区域内顺着x与y两方向进行搜寻来应用刚性转换模型，以便找出最佳重叠区。

在大重叠拼接期间，拼接更多影像之后的复合影像(即拼接影像)的尺寸将变为愈来愈大。类似的是，可对小重叠程序应用尺寸检查程序。若拼接尺寸超过某一尺寸，则不进行用以形成拼接影像的小重叠拼接。可检查拼接影像宽度或高度以判断该宽度或高度是否接近、等于或大于显示视窗的宽度或高度。若是，拼接影像上将不进行进一步拼接。还可检查所拼接影像的数量，而且若拼接影像中影像的数量超出限制，则不对拼接影像应用进一步拼接。

还可延伸对小重叠邻接影像的搜寻以包括n个邻接影像，正如用于大重叠拼接一般。拼接两个影像之后，类似于大重叠拼接影像的情况，此程序可就任何小重叠邻接影像，搜寻拼接影像的下n个邻接影像。替代地，类似于大重叠拼接的情况，可输出拼接影像作为下一级用于进一步拼接的新影像。

可在原始拍摄的影像上直接进行图1中序列拼接的第二级中具有小重叠的影像的拼接。由于第一级拼接涉及基于最佳化来计算局部变形，其不仅运算复杂，而且消耗大量时间。pc为基础的实作态样有很重的运算负担，除非将运算移动至云服务器(cloudsever)。然而，这会造成大量影像数据上传至云服务器，以便实行运算。为了借由降低运算需求来向pc为基础的用户提供省时检视拼接影像的效益，一具体实施例识别具有小重叠的影像与原始拍摄的影像的差异处。

图4示出了相机一边振荡一边在胃肠道中行进期间所拍摄的影像实施例。因此，就目前影像，最佳匹配可非为紧密邻接影像。反而，最佳匹配可来自远处的n个影像。举例而言，影像t+4与其相邻影像t+3或t+5之间的重叠并不大。反而，影像t+4与t+8之间的重叠大很多。实际上，待搜寻以找出最匹配重叠的邻接影像数量可以非常大(例如：n＝15)。因此，用以识别匹配影像的运算负载会非常高。

拼接具有小重叠的二或更多个非相邻影像时，可就拼接影像，计算时间戳记作为二或更多个时间戳记的概要。二或更多个时间戳记的概要可以是平均、中值、或任何个别时间戳记，例如第一者、中间者或最后一者。替代地，除了拼接影像以外，还可将所有个别时间戳记全都显示在一起。

在影像拼接程序中，判定要拼接的是什么影像及判定配准参数通常相当运算密集。另一方面，若配准参数属于已知，则影像翘曲及混合需要的运算较低。根据一项具体实施例，离线计算待拼接影像的索引及配准结果，以使得可使原始影像非常快速地即时翘曲及混合。原始及拼接的影片都不需要储存。反而，储存原始影像、待拼接影像的索引、及配准参数以节约储存空间。按照这种方式，可让用户选择是要检视原始影像还是检视拼接影像，但在此使用时点不需要密集运算，而且储存空间要求也增加不大。

根据本发明的一具体实施例，首先拼接具有大重叠的影像。将第二级拼接应用至来自第一级的最终输出。在第二级拼接中，拼接具有小重叠的影像。来自第二级拼接的最终输出乃借由第三级拼接来处理。第三级中的待拼接影像之间具有中度重叠。因此，拼接程序期间将有更高的损失信息风险。为了降低损失重要信息的机会，应用各种物件侦检器，诸如出血侦检器、肿瘤侦检器等，以在对这些影像应用拼接程序之前，先识别可疑的临床特征。物件侦检之后，应用非线性匹配，其类似于前两级影像拼接中的匹配。可疑的临床特征若在拼接期间混合出，则将其补绘(inpaint)回到拼接影像。因此，损失重要信息的风险得以降低。

图5示出了将本发明的一具体实施例并入的影像拼接用系统的例示性流程图。如步骤510所示，接收借由相机所拍摄的多个影像。所述影像可提取自记忆体或接收自处理器。如步骤520所示，若目前待处理影像与前一个待处理影像或前一个拼接影像之间的图片重叠程度大于第一阈值，则借由拼接该目前待处理影像与该前一个待处理影像或该前一个拼接影像来产生第一级拼接影像。该目前待处理影像是在该前一个待处理影像或该前一个拼接影像的n1个邻接待处理影像内，并且n1为正整数。如步骤530所示，若该目前待处理影像与非属n1个邻接待处理影像者之间的图片重叠程度大于该第一阈值，则产生第一级非拼接影像。若该一或多个第一级拼接影像现存，则在步骤540中提供与该一或多个第一级拼接影像相关联的第一信息，以及若该一或多个第一级非拼接影像现存，则提供该一或多个第一级非拼接影像。

可用其他特定形式体现本发明而不脱离其精神或重要特性。要在所有态样中将所述的实施例仅视为描述性并且非限制性。因此，本发明的范畴是由所附权利要求而非前述说明所指示。权利要求均等含义及范围内的所有变更都要包含在其范畴内。