多谱成像系统的制作方法
【专利摘要】本发明揭示用于多谱成像的系统和方法。所述多谱成像系统可包含近红外NIR成像传感器和可见成像传感器。可实施所述所揭示的系统和方法，以改进所述NIR与可见图像之间的对准。一旦所述NIR和可见图像对准，就可对所述经对准图像执行各种类型的多谱处理技术。
【专利说明】多谱成像系统
【技术领域】
[0001]本发明涉及用于多谱成像的系统和方法。明确地说，本发明涉及用于使近红外(NIR)图像与可见图像对准的系统和方法。
【背景技术】
[0002]例如智能电话或平板计算装置等移动装置越来越多地设计成包含大量的装置和软件模块，以向用户提供较宽范围的应用。举例来说，相机正称为移动装置上的重要特征，且改进安装在移动装置上的相机的图像质量和功能性两者的需求在增加。举例来说，希望相机能够捕获较丰富的图像信息，用于质量增强目的或用于正开发的新特征，例如立体成像应用程序。
[0003]按照惯例，移动装置上的相机用以使用可见成像传感器来捕获静止图像或视频。为了实现改进的色彩质量和较高的信噪比(SNR)，成像传感器正常设计成仅捕获可见光谱。随着技术已进步，一些便携式电子装置还可捕获立体图像。装置制造商已通过引入并入有支持此能力的数字图像处理的装置，利用单个或多个数字成像传感器来作出响应。各种各样的电子装置(包含移动无线通信装置、平板计算装置、个人数字助理(PDA)、个人音乐系统、数字相机、数字记录装置、视频会议系统等)利用立体成像能力来向其用户提供多种能力和特征。这些能力和特征包含立体(3D)成像应用，例如3D照片和视频。
【发明内容】
[0004]在一个实施方案中，揭不一种用于使包含NIR成像传感器和可见成像传感器的系统中的近红外(NIR)图像与可见图像对准的电子方法。所述方法可包括:从所述NIR成像传感器接收NIR图像；以及从所述可见成像传感器接收可见图像。所述方法可进一步包含使所述NIR图像中的像素与所述可见图像中的像素匹配，以形成多个经匹配像素对。另外，所述方法可包含计算每一经匹配像素对的像素差异。所述方法还可至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对。所述方法可至少部分地基于所指派的权重来使NIR图像与可见图像对准。
[0005]在另一实施方案中，揭示一种多谱成像系统。所述成像系统可包含:近红外(NIR)成像传感器，其经配置以捕获NIR图像；以及可见光成像传感器，其经配置以捕获可见光图像。另外，所述系统可包含稠密匹配模块，其经编程以使NIR图像中的像素与可见光图像中的像素匹配，以形成多个经匹配像素对。所述系统还可包含稀疏匹配模块，其经编程以计算每一经匹配像素对的像素差异。所述稀疏匹配模块还可经编程以至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对。经对准图像形成模块可经编程以至少部分地基于所指派的权重来使NIR图像与可见图像对准。存储模块可经编程以存储系统上的经对准图像。
[0006]在另一实施方案中，揭不一种成像系统。所述成像系统可包含:用于从NIR成像传感器接收NIR图像的装置；以及用于从可见成像传感器接收可见图像的装置。所述系统还可包含用于使所述NIR图像中的像素与所述可见图像中的像素匹配以形成多个经匹配像素对的装置。另外，所述系统可包含用于计算每一经匹配像素对的像素差异的装置。所述系统还可包含用于至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对的装置。所述系统还可包含用于至少部分地基于所指派的权重来使NIR图像与可见图像对准的装置。
[0007]在又一实施方案中，揭示一种非暂时计算机可读媒体。所述非暂时计算机可读媒体上可存储有代码，所述代码在被执行时实施计算机实施的方法。所述计算机实施的方法可包含:从所述NIR成像传感器接收NIR图像；以及从所述可见成像传感器接收可见图像。存储在非暂时计算机可读媒体上的代码在被执行时可实施进一步包含使所述NIR图像中的像素与所述可见图像中的像素匹配以形成多个经匹配像素对的所述方法。所述计算机实施的方法还可包含计算每一经匹配像素对的像素差异。另外，存储在非暂时计算机可读媒体上的所述代码可在被执行时实施进一步包含至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对的所述方法。所述计算机实施的方法还可包含至少部分地基于所指派的权重来使NIR图像与可见图像对准。
[0008]在附图和以下描述中陈述本说明书中所描述的标的物的一个或一个以上实施方案的细节。将从描述、图式和所附权利要求书明白其它特征、方面和优点。注意，以下各图的相对尺寸可不按比例绘制。
【专利附图】
【附图说明】
[0009]现在将参考下图描述本发明的特定实施方案，其作为实例而非限制来提供。
[0010]图1是具有经配置以捕获所关注场景的多谱图像数据的多谱成像系统的移动装置的一个实施例的透视图。
[0011]图2是根据一个实施方案的多谱成像系统的示意性框图。
[0012]图3是根据一个实施方案的用于捕获特定场景的多谱图像数据的方法的流程图。
[0013]图4是根据图3的实施方案的用于使NIR图像与可见光图像对准的方法的流程图。
[0014]图5是根据图4的实施方案的用于使NIR图像中的像素与可见光图像中的像素匹配的方法的流程图。
[0015]图6A-1、6A-2、6B-1和6B-2是展示图2的多谱成像系统所捕获的两个图像的示意图。
[0016]图7是根据图4的实施方案的用于将权重指派给每一经匹配像素对的方法的流程图。
[0017]图8是根据图3的实施方案的用于处理图像数据的方法的流程图。
[0018]图9A到9C是根据一个实施方案的图像对准过程的各个阶段处的实例图像。
【具体实施方式】
[0019]本文所揭示的实施方案提供用于使用两种不同类型的成像传感器(例如NIR传感器和可见光传感器)来拍摄图像的系统、方法和设备。这种类型的多谱成像可对创建具有(例如)比仅用可见光传感器捕获的图像好的对比度的图像有用。在一个实施例中，可见光传感器处所接收到的光可携带场景的丰富细节，而NIR传感器所捕获的光可用以增强图像的对比度或执行图像去雾。举例来说，NIR图像和可见图像可分解成平均和细节小波子带。可使用直方图匹配技术将亮度和纹理细节从NIR图像传送到可见图像，以改进所捕获的可见光图像的质量。
[0020]另一实施例是使用NIR传感器和可见光传感器来增强图像的系统。在此实施例中，使用经加权区掩码来将来自NIR图像的对比度和纹理数据传送到可见图像，且执行小波变换。接着可使用直方图匹配技术，使用可见和NIR图像的低频子带来计算对比度数据。使用可见和NIR图像两者的高频子带来计算纹理数据。当然，如熟练的技术人员将认识到，这些对比度和纹理增强方法只是增强多谱成像系统中的对比度的几种方式。可结合所揭示的成像系统使用其它合适的方法。
[0021]在另一实施例中，使用NIR传感器来增强低光条件下捕获的图像。举例来说，在常规的低光系统中，通常使用可见闪光系统来照明待成像的对象。然而，此人造光可能破坏图像的格调，且可能引入不想要的假影，如红眼、不要的反射以及阴影。在此方法中，使用NIR闪光灯代替可见闪光灯，且常规可见成像传感器(例如，RGB色彩CCD)捕获所述图像。NIR闪光图像不会向可见闪光中那样被噪声污染，且NIR闪光图像可结合去噪技术(例如，经加权最小平方平滑技术)使用，以将因低光照条件而导致的噪声从可见(例如，RGB)图像去除。当然，如熟练的技术人员将认识到，此噪声减少方法只是减少成像系统中的噪声的一种方式。可结合所揭示的成像系统使用其它合适的方法。
[0022]在其它实施例中，所揭示的混合成像系统可在皮肤平滑应用中使用。在肖像摄影中，可在图像中捕获某些不合意的皮肤特征，例如皱纹、雀斑和痣。可以许多不同方式使用所揭示的多谱成像系统来去除或平滑这些不合意特征。
[0023]在各种实施方案中，揭示用于使NIR图像与可见图像对准的系统和方法。举例来说，如本文所阐释，多谱成像系统可利用在相应成像传感器的波长下捕获的图像数据。在NIR-可见多谱成像系统中，可使用NIR图像数据和可见图像数据来例如增强图像质量，且实现混合和/或立体成像应用。为了利用NIR-可见多谱成像应用的益处，在进行图像处理之前，确保NIR图像数据与可见图像数据对准可为重要的。
[0024]本文所揭示的各种实施方案提供改进NIR和可见图像的对准的系统和方法。举例来说，在一个实施方案中，NIR传感器和可见光传感器并排定位，且在预校准程序中垂直对准。输入图像由NIR传感器和可见光传感器捕获。多谱成像系统可执行初始稠密匹配程序，以在基本上逐像素基础上使NIR图像与可见图像匹配。所述系统还可执行后续的稀疏匹配程序以检测较大像素块中的匹配，且可建立NIR图像与可见图像的视角之间的单应约束。所述系统可将稀疏匹配结果传播到稠密匹配结果以获得经对准图像。所属领域的技术人员将认识到，所揭示的实施例可在硬件、软件、固件或其任何组合中实施。
[0025]在以下描述中，给出具体细节以提供对实施例的全面理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，为了不以不必要细节模糊所述实例，可以框图展示电组件/装置。在其它例子中，可详细展示其它结构和技术，以进一步阐释所述实例。
[0026]还注意，可将实例描述为描绘为流程表、流程图、有限状态图、结构图或框图的过程。尽管流程表可将操作描述为顺序过程，但可并行或同时执行许多操作，且过程可重复。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时，其终止对应于函数返回到调用函数或主函数，或子例程或类似功能性的类似完成。
[0027]所属领域的技术人员将理解，可使用多种不同技术及技法中的任一者来表示信息及信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
[0028]图1是经配置以捕获场景的多谱图像数据的多谱成像系统10的3D透视图。如图1中所示，多谱成像系统10可由用户操作来捕获包含树2的场景的多谱图像数据。多谱成像系统10包含可见光传感器5和NIR传感器7，其经配置以分别捕获可见光和NIR光。在各种实施方案中，例如可见光传感器5为配置为感测红色、绿色和蓝色可见光的RGB传感器的成像传感器。
[0029]有利的是，多谱成像系统10可与移动装置(例如，移动电话或其它移动计算装置)集成，使得成像系统10可由用户容易地操纵。因为多谱成像系统10可从可见和NIR光谱捕获光，所以用户可能够检视所成像的树2的丰富细节。另外，如果成像传感器经配置以捕获静止和视频图像两者，那么用户可检视充分去模糊的视频图像数据，如本文所阐释。此外，因为使用两个传感器，可通过使用各种立体成像程序，使用可见光传感器5和NIR传感器7所捕获的多谱图像数据来渲染树2的三维(3D)透视图。熟练的技术人员将了解，对于图1中所揭示的多谱成像系统10，其它应用可为可能的。
[0030]图2是多谱成像系统10的示意性框图。多谱成像系统10可包含多谱成像设备
I。多谱成像设备I可经配置以包含一个或一个以上多谱成像传感器，其可感测较宽的波长带，包含至少可见光波长和近红外(NIR)光波长。举例来说，多谱成像设备I可经配置以检测介于约390nm与约1400nm之间的波长下的光。当然，成像设备I还可经配置以检测宽得多的范围的波长。在一些实施方案中，可使用电荷耦合装置(CCD)作为多谱成像传感器。在其它实施方案中，可使用CMOS成像传感器作为多谱成像传感器。另外，闪光模块8和/或其它附件可包含于多谱成像设备I中以帮助照明场景。在各种实施方案中，闪光模块8可包含可见和/或NIR闪光装置。
[0031]在图2中所示的实施方案中，多谱成像设备I包含两个单独传感器来代替单个多谱成像传感器。在此实施方案中，多谱成像设备I包含可见光传感器5和单独的NIR传感器7。举例来说，多谱成像设备I具有第一可见传感器5，例如CCD/CM0S传感器，其能够检测至少介于约390nm与约800nm之间的范围内的可见光。多谱成像设备I进一步包含第二NIR传感器7，例如CCD/CM0S传感器，其能够检测在介于约800nm与约1400nm之间的范围内的NIR光。在一些实施方案中，可见和NIR传感器的波长范围可重叠，或可甚至大体上相同。在一些实施方案中，可在合适的(XD/CM0S传感器上使用成像滤波器，例如NIR通滤波器，以仅检测NIR数据。在一个实施方案中，例如，可见光传感器5和NIR传感器7两者可在Samsung? S5K4E1GX QSXGA CMOS传感器上实施。可通过去除IR截止滤波器来实施NIR传感器7，以使传感器能够接收NIR光。IR滤波器可进一步涵盖经修改的NIR传感器7，以滤出较低波长，例如小于约800nm的波长。举例来说,可将Kodak⑧雷登(Wratten) IR滤波器(#87C)应用于NIR传感器7。熟练的技术人员将理解，其它类型的传感器是可能的。熟练的技术人员将理解，可使用各种其它传感器或其组合来捕获可见和NIR图像数据。[0032]多谱成像系统10进一步包含处理器11和存储器13，其彼此且与成像设备I进行数据通信。可使用处理器11和存储器13来处理和存储成像设备I所捕获的图像。另外，多谱成像系统10可包含用户接口(UI)(未图示)，其经配置以向用户提供输入/输出(I/O)操作。举例来说，Π可包含显示器，其向用户呈现各种图标。UI还可包含各种输入装置，例如键盘、触摸屏输入、鼠标、滚动球、数据输入(例如，USB或无线)和/或任何其它合适类型的输入装置。Π可经编程以允许用户操纵图像数据，且/或选择用户想要使用的成像模式。Π还可包含用于捕获多谱图像数据的控件。
[0033]另外，处理器11和存储器13可经配置以实施作为软件模块存储在图像处理模块20中的进程，且经配置以处理多谱成像设备I所捕获的多谱图像数据。图像处理模块20可在任何合适的计算机可读存储媒体(例如，非暂时存储媒体)中实施。图像处理模块20可具有任何数目的软件模块。举例来说，可在图像处理模块20上实施通信模块21。通信模块21可包括计算机实施的指令，其管理多谱成像系统10的组件之间的数据流。举例来说，通信模块21可包含管理从多谱成像设备I接收图像数据的指令。图像处理模块20还包含存储模块12，其经配置以存储各种类型的数据、源代码和/或可执行文件。举例来说，存储模块12可经编程以存储成像设备I所接收的图像数据和/或图像处理模块20所处理的图像数据。
[0034]图像处理模块20还可包含经编程以实施各种多谱成像应用程序的各种模块。举例来说，图像处理模块20包含立体成像模块23，其经编程以基于从NIR图像和可见图像计算的深度图渲染三维(3D)图像。如本文所阐释，可见光传感器5和NIR传感器7可间隔开已知距离。立体成像模块23可利用可见光传感器5与NIR传感器7之间的已知间隔来产生对用户的3D可视化效应。
[0035]另外，图像处理模块20包含混合成像模块25。混合成像模块25可经编程以处理成像设备I所捕获的静止图像和视频图像两者。举例来说，混合成像模块25可经编程以处理来自可见光传感器5的静止图像数据以及来自NIR传感器7的视频图像数据，或反之亦然。在一些布置中，相应传感器可同时捕获静止图像数据和视频图像数据；在其它布置中，可在单独时间捕获静止和视频图像数据。在各种实施方案中，可以比视频图像数据高的分辨率捕获静止图像数据，以便减少场景的图像中的运动模糊。
[0036]图像处理模块20还包含多谱信息处理模块27。多谱信息处理模块27可经编程以处理从NIR传感器7捕获的NIR图像数据，以增强从可见光传感器5捕获的可见图像数据中的对比度。在各种实施方案中，多谱信息处理模块27可经编程以对图像进行去雾，且/或改进图像中的纹理信息。多谱信息处理模块27可进一步经编程以使用NIR闪光装置8来减少可见图像中的噪声。在其它实施方案中，多谱信息处理模块27可经编程以平滑所捕获图像中的皮肤缺陷。
[0037]如上文所提到，在一个实施例中，对于各种多谱成像应用中的任一者，在处理图像之前，使NIR和可见图像对准。因此，图像处理模块20还可包含图像对准模块22。图像对准模块22可包含预处理模块24，其经编程以对NIR和可见图像执行任何初步操作，例如确认可见光传感器5与NIR传感器7垂直对准。图像对准模块22可进一步包含稠密匹配模块26，其经编程以使NIR图像中的像素与可见图像中的像素匹配，以形成多个经匹配像素对。稠密匹配模块26可藉此基于每一图像的图像描述符来提供NIR和可见图像的初始逐像素对准。如本文所阐释，图像描述符可部分地基于相应图像中所测得的图像梯度。
[0038]图像对准模块22还包含稀疏匹配模块28，其经编程以使NIR和可见图像的稀疏部分大体上对准。举例来说，如本文所阐释，稀疏匹配模块28可经编程以计算每一经匹配像素对的像素差异。在各种实施方案中，像素差异可基于每一经匹配像素对的像素间距。稀疏匹配模块28可经编程以至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对。一旦权重被指派，在各种实施方案中，就保持与较高权重的匹配，而丢弃与较低权重的匹配。可估计可见图像与NIR图像之间的逐段单应约束，且满足所述单应约束的匹配可为后面的对准处理保持。
[0039]此外，图像对准模块22可包含经对准图像形成模块29，其经编程以至少部分地基于所指派的权重使NIR图像与可见图像对准。举例来说，图像对准模块22可基于强度相似性值和/或置信度图(例如，曾由稀疏匹配模块28指派的权重)，将稀疏匹配结果传播到稠密匹配结果。在一些方面中，可以可见图像的视角来使NIR图像变形，或反之亦然，以确认图像的对准是准确的。
[0040]讨稈概沭
[0041]图3是根据一个实施方案的用于捕获特定场景的多谱图像数据的方法30的流程图。所说明的方法30在框31中开始，其中激活NIR和可见光传感器。举例来说，参看图1和2，用户可加电且/或启动成像系统10，以使传感器能够捕获场景。在各种实施方案中，可预定移动装置上的图标来激活可见光传感器5和NIR传感器7。所述方法接着移到框33，其中通过可见光传感器来捕获可见光图像，且通过NIR传感器来捕获NIR图像。在各种布置中，可使用闪光(例如，可见和/或NIR闪光)来照明场景。在捕获场景的可见光和NIR图像之后，过程30移到框35，其中将所捕获的图像存储到存储模块，例如存储模块12。
[0042]一旦在框35中存储图像，就可通过过程框37中的过程30来使NIR图像与可见图像对准。通过使图像准确地对准，可减少或消除误对准所导致的图像假影。过程30接着移到过程框39以处理经对准的图像。取决于多谱成像应用和/或用户的偏好，可在处理框39中执行各种类型的多谱成像程序。举例来说，立体成像模块23可执行程序以渲染对用户的3D视角。在其它方面中，混合成像模块25可执行计算机实施的指令以处理静止图像和视频图像数据两者。另外，多谱信息处理模块27可增强可见和/或NIR图像的图像质量。熟练的技术人员将理解，可在框39中执行其它多谱图像处理技术。
[0043]过程30接着移到决策框32，以确定是否将处理额外图像。如果在决策框32处作出将处理额外图像的决策，那么方法30返回到框33，以捕获额外的NIR图像数据和可见光图像数据。如果在决策框32中作出将不处理额外图像的决策，那么方法30终止。
[0044]图像对准概沭
[0045]图4是根据图3的实施方案的过程框37中所示的用于使NIR图像与可见光图像对准的方法的流程图。方法37在框41中开始，其中接收NIR图像。举例来说，图2的图像处理模块20可从多谱成像设备I接收NIR图像。方法37可进行到框43以接收可见图像。如本文所阐释，图像处理模块20可从多谱成像设备I (图2)接收可见图像。
[0046]方法37接着移到过程框45，以使NIR图像中的像素与可见图像中的像素匹配。如上文相对于图2所阐释，稠密匹配模块26可形成多个经匹配像素对，以提供NIR和可见图像的初始逐像素对准。如下文将相对于图5以及6A到6B所阐释，可通过基于相应图像中的图像梯度计算图像描述符来形成NIR和可见图像中的经匹配像素对。对于图像(例如，NIR或可见图像)的一者中的每一像素，图像对准模块22可搜索所述像素在其它图像中的最近相邻者。举例来说，对于例如NIR图像中的特定像素，可基于像素处或像素附近的图像梯度来计算所述特定像素或包含所述特定像素的去的图像描述符。
[0047]图像对准模块22可产生其它图像(例如，可见图像)中的一组候选像素，其可为所述特定像素在NIR图像中的最近相邻者。图像对准模块22可进一步计算NIR图像中的特定像素的描述符与可见图像中的所述候选像素组中的每一像素的描述符之间的欧几里德距离。接着使具有图像描述符之间的最小欧几里德距离的可见图像中的像素与NIR图像中的特定像素配对，以形成经匹配像素对。过程框45中所确定的经匹配像素对因此可表示NIR和可见图像中的每一者中与所捕获的场景的同一部分相关联的像素。因此，如果像素A和B为经匹配像素对，那么NIR图像的像素A可表示所成像场景或对象的与像素B在对应的可见图像中表示的部分相同的部分。本文相对于图5以及6A到6B来阐释在过程框45中发生的过程的进一步细节。如本文所阐释，计算像素对的图像描述符之间的欧几里德距离是计算与两个像素相关联的匹配成本的一种方式。然而，应了解，存在计算NIR和可见图像中的像素之间的匹配成本的其它方式。熟练的技术人员将了解，用于比较两个描述符向量的其它方法可适合各种实施方案。
[0048]方法37接着移到框47以计算每一经匹配像素对的像素差异。像素差异可指代图像平面中显示代表场景中的对象的特定部分的图像数据的像素中的偏移。举例来说，经匹配像素对的第一像素(像素A)可位于NIR图像中的第一位置，而经匹配像素对的第二像素(像素B)可位于可见图像中的第二位置中。注意，尽管NIR图像和可见图像可为单独图像，但可将常见共用指派给两个图像，使得可相对于共用参考帧来参考或定位每一图像中的像素。因此，如果NIR图像中的像素A的第一位置与可见图像中的像素B的第二位置分开某一距离，那么可将像素A和B视为具有像素差异，例如使图像平面中的像素分开的距离，如从NIR和可见图像中的共用参考帧测得。本文相对于图6A到6B阐释像素差异的进一步实例。
[0049]方法37可接着进行到过程框49，以将权重指派给每一经匹配像素对。如本文相对于图7所阐释，可将图像和经匹配像素对划分或分段成较大的块，且可为每一经匹配像素对指派至少部分地基于框47中所计算的像素差异且部分地基于每一经匹配对中的像素之间的色彩差异的权重。如本文所阐释，所述权重还可基于距离比率，其是基于每一经匹配像素对的图像描述符之间的欧几里德距离而计算。块内具有相对较高权重的匹配(例如，具有顶部50%权重的经匹配对)可用来估计与NIR和可见图像的几何形状有关的单应约束。一股来说，单应约束是可用以使两个图像的视角相关的几何变换。可使用满足NIR和可见图像的单应约束的匹配来形成经对准NIR和可见图像。本文相对于图7阐释框49的过程的进一步细节。
[0050]因此，一股来说，可实施过程框49中所进行的方法来找出块内属于正成像的对象的同一表面或部分的像素。举例来说，可实施过程框45的稠密像素匹配过程以在逐像素基础上匹配像素。另一方面，可实施过程框49的稀疏匹配过程(其还可包含框47的步骤)，以确保图像的全异部分大体上对准。因此，尽管在框45中可在逐像素基础上匹配像素，但这不一定意味着经匹配的像素对应于与整个图像的场景中的同一对象相关联的像素。[0051]执行过程框49中所进行的过程，以确认曾在过程框45中稠密匹配的像素确实对应于整个图像上的相同对象，例如以确保图像经稀疏以及稠密对准。实际上，选择高权重来计算单应约束可确保存在特定块内的经匹配对被准确对准的高置信度。此外，通过考虑像素差异(例如，经匹配对中的像素的间距)和色彩差异(例如，与经匹配对中的色差有关)，过程框49的方法可有助于确保(例如)在使可见和NIR图像对准时考虑对象的纹理和其它表面特征。
[0052]方法37接着移到框42，以使NIR图像与可见图像对准。在框42中，例如，可将过程框49中所执行的稀疏匹配传播到过程框45中所执行的稠密匹配。可使用用于从散焦图像恢复深度信息的已知方法来执行传播处理。举例来说，一种在框42中使图像对准的一股方式是产生使稀疏匹配与稠密匹配相关的成本函数，且数值上最小化所述成本函数以将稀疏图传播到稠密图。例如卓少杰(Shaojie Zhuo)和特伦斯.辛(Terence Sim)的“从单个散焦图像恢复深度(Recovering Depth from a Single Defocused Image) ” (图案辨别(Pattern Recognition)，第44卷,第9期，第1852到1858页(2011))中揭不一种实例传播过程，所述文献以全文引用的方式且出于所有目的并入本文中。熟练的技术人员将理解，存在各种方式将稀疏图像图传播到稠密图。此外，可基于过程框45的稠密匹配过程，以可见图像的视角来使NIR图像变形，以视觉上确认NIR与可见图像是否对准好。
[0053]有利的是，本文所揭示的实施方案可利用过程框49中所计算的权重以及强度相似性值两者的组合来产生成本函数且在框42中对准图像。举例来说，为了计算强度相似性值，可例如通过(例如)计算所述像素与所捕获的可见或NIR图像的对应位置中的附近或相邻像素之间的强度差来为差异图中 的每一像素估计强度差。此外，可对过程框49中所指派的权重进行滤波，使得仅使用具有相对较高权重的匹配来传播稀疏匹配结果。在一些实施方案中，可仅使用具有顶部50%权重的匹配。在对准中可使用权重(其可充当置信度图)和/或强度相似性值两者，使得获得较准确的传播。由于并入有置信度图(例如，权重)和/或强度相似性值，因此可改进NIR与可见图像的对准。
[0054]方法37接着进行到框44，以例如借助于存储模块12来存储系统上的经对准图像。方法37接着进行到决策框46，以确定是否将对准额外图像。如果作出将对准额外图像的决策，那么方法37返回到框41以接收NIR图像。如果作出无额外图像要对准的决策，那么方法37终止。
[0055]稠密兀配讨稈
[0056]图5是根据图4的实施方案的用于使NIR图像中的像素与可见光图像中的像素匹配的方法45的流程图。所揭示的逐像素过程可由(例如)稠密匹配模块26执行。方法45在框51中开始，以计算NIR和可见图像中的每一像素的图像描述符。一股来说，图像描述符可基于用于图像的一部分或用于像素的本地图像梯度。本地图像梯度可测量在图像的特定像素或部分周围，图像数据在多个方向或定向上的改变速率。在每一像素(或图像的部分)处，环绕像素或图像部分的区中的本地图像梯度可累积到定向直方图中。
[0057]可将环绕特定像素或图像部分的区的定向直方图转换成nxl图像描述符向量?,其中η是基于定向的数目以及估计描述符时所使用的环绕图像区的数目。举例来说，如果使用环绕像素或图像区的4x4阵列来计算描述符，且如果使用8个定向，那么描述符向量￡可为128x1向量(例如，4x4x8)。熟练的技术人员将了解，用于基于本地图像梯度来确定图像描述符的其它技术是可能的。举例来说，大卫.G.罗威(David G.Lowe)的“来自比例不变关键点的独特图像特征(Distinctive Image Features from Scale-1nvariantKeypoints) ” (国际计算机视觉杂志(International Journal of Computer Vision)，第 91到100页(2004))中描述用于形成图像描述符的一种技术，所述文献特此以全文引用的方式且出于所有目的并入本文中。
[0058]图6A-1、6A-2、6B-1和6B-2是展示图2的多谱成像系统10所捕获的树2的两个图像的示意图。明确地说，图6A-1展示成像系统10的左成像传感器所捕获的左图像，且图6A-2展示右成像传感器所捕获的右图像。图6A-1中的左图像可对应于NIR成像传感器7所捕获的图像，且图6A-2中的右图像可对应于可见成像传感器5所捕获的图像，或反之亦然。如图所示，图6A-1和6A-2的所捕获图像共享共用坐标系R，其测量分别沿X方向和y方向的以像素为单位的距离。应了解，在各种实施方案中，图6A-1和6A-2的图像可在预校准步骤期间垂直对准，使得像素行大体上垂直对准。图6A-1包含选定区域60，且图6A-2包含选定区域62。
[0059]图6B-1和6B-2中的图像分别是来自图6A-1和6A-2的树2的选定区域60、62的经放大部分的示意图。因此，图6B-1和6B-2中所展示的经放大图像部分对应于由图6A-1和6A-2中的虚线所示的框所定界的图像的部分60和62。举例来说，两个图像中的框可在共用坐标系R的X方向上从O跨越到X1，且在y方向上从yi跨越到y2。如图6B-1和6B-2中所示，可将这些图像划分成多个像素，用于图6Β-1的图像，且Pfj用于图6Β-2的图像。下标i可指代针对y方向的索引，且下标j可指代针对X方向的索引。注意，出于说明的目的，可能夸大图6B-1和6B-2中的像素的大小。 [0060]在图6B-1和6B-2中，可为每一图像中的每个像素计算图像描述符。举例来说，在图6B-1的像素4卩处，可计算图像描述符，如本文所述。注意，仅针对像素展示定向直方图，但一股来说，也可针对图像中的所有像素或图像区计算本地图像梯度的定向直方图。另外，在图6B-2的像素|<2处，可计算图像描述符如同图6Β-1,针对像素Pf2处的本地图像梯度的定向直方图仅作为实例展示。
[0061]现在参看图5，方法45移到框53，以使NIR图像中的图像描述符与可见图像中的图像描述符匹配。在各种实施方案中，稠密匹配模块26可搜索每一图像描述符?在另一图像中的最近相邻者。举例来说，考虑图6Β-1中的源像素及其相关联的图像描述符在框53中，方法45在图6Β-2中搜索具有处于距与图6Β-1的特定源像素p4As相关联的图像描述符的最小欧几里德距离(或处于与另一匹配成本量度相关联的最小值，如上文所阐释)的图像描述符?的目标像素。因为图6Β-1和6Β-2可在预校准步骤期间垂直对准，所以稠密匹配模块26可推断图6Β-2中的像素#4^的最近相邻者很可能沿着同一像素行，例如行
4。然而，如果不存在预校准步骤，或如果预校准步骤不准确，那么稠密匹配模块26可改为在图6Β-1中搜索沿图6Β-2中穿过像素/4,的核线的像素。
[0062]假定图6Β-1和6Β-2在垂直方向上准确对准，那么方法45可选择图6Β_2中可为用于与图6Β-1中的源像素Pt匹配的候选者的目标像素的子集。举例来说，在一个实例中，方法45可选择图6Β-2的像素、P48,、p[3、Ae4和As5作为图6Β-1中的像素/‘的候选目标像素匹配，因为那些像素在空间上靠近图6B-1中的像素j<s的位置。当然，方法45可改为在图6B-2中搜索目标像素的较大集合，包含所有像素，但此较大搜索可不利地增加处理时间。因此，方法45可通过为图6B-2中的候选像素集合中的每一像素计算(例
如)
【权利要求】
1.一种用于使包含NIR成像传感器和可见成像传感器的系统中的近红外NIR图像与可见图像对准的电子方法，所述方法包括: 从所述NIR成像传感器接收NIR图像； 从所述可见成像传感器接收可见图像； 使所述NIR图像中的像素与所述可见图像中的像素匹配，以形成多个经匹配像素对； 计算每一经匹配像素对的像素差异； 至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对；以及 至少部分地基于所述所指派的权重来使所述NIR图像与所述可见图像对准。
2.根据权利要求1所述的方法，其中匹配所述NIR图像中的像素包括至少部分地基于所述NIR图像和所述可见图像中的图像梯度来计算所述NIR图像和所述可见图像中的每一像素的图像描述符。
3.根据权利要求1所述的方法，其中计算每一经匹配像素对的所述像素差异包含计算所述可见和NIR图像中所述经匹配像素对中所述像素之间的像素间距。
4.根据权利要求1所述的方法，其中将权重指派给每一对经匹配像素包括将所述经匹配像素对分段成多个块，且为每一经匹配像素对计算差异相似性值和色彩相似性值。
5.根据权利要求1所述的方法，其中使所述NIR图像与所述可见图像对准是至少部分地基于所述NIR图像与所述可见图像之间的强度差。
6.根据权利要求5所述的方法，其进一步包括至少部分地基于所述多个经匹配像素对，以所述NIR图像和所述可见图像中的一者的视角来使所述NIR图像和所述可见图像中的另一者变形。
7.根据权利要求1所述的方法，其中使所述NIR图像与所述可见图像对准是至少部分地基于满足所述NIR和可见图像的单应约束的所述所指派权重。
8.一种多谱成像系统，其包括: 近红外(NIR)成像传感器，其经配置以捕获NIR图像； 可见光成像传感器，其经配置以捕获可见光图像； 稠密匹配模块，其经编程以使所述NIR图像中的像素与所述可见光图像中的像素匹配，以形成多个经匹配像素对； 稀疏匹配模块，其经编程以: 计算每一经匹配像素对的像素差异；且 至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对； 经对准图像形成模块，其经编程以至少部分地基于所述所指派的权重来使所述NIR图像与所述可见图像对准；以及 存储模块，其经编程以存储所述系统上的所述经对准图像。
9.根据权利要求8所述的系统，其中所述稠密匹配模块进一步经编程以至少部分地基于所述NIR图像和所述可见图像中的图像梯度来计算所述NIR图像和所述可见图像中的每一像素的图像描述符。
10.根据权利要求9所述的系统，其中所述稠密匹配模块经配置以使所述NIR图像中的图像描述符与所述可见图像中的图像描述符匹配，以形成所述多个经匹配像素对。
11.根据权利要求8所述的系统，其中所述稀疏匹配模块经编程以将所述经匹配像素对分段成多个块，且计算每一经匹配像素对的差异相似性值和色彩相似性值。
12.根据权利要求8所述的系统，其中所述经对准图像形成模块经编程以至少部分地基于所述NIR图像与所述可见图像之间的强度差使所述NIR图像与所述可见图像对准。
13.根据权利要求8所述的系统，其中所述经对准图像形成模块经编程以至少部分地基于满足所述NIR和可见图像的单应约束的所述所指派权重来使所述NIR图像与所述可见图像对准。
14.根据权利要求8所述的系统，其进一步包括立体成像模块,所述立体成像模块经编程以至少部分地基于从所述NIR图像和所述可见图像计算的深度图渲染三维图像。
15.根据权利要求8所述的系统，其进一步包括混合成像模块，其经编程以便以第一分辨率处理来自所述可见成像传感器的静止图像数据，且以第二分辨率处理来自所述NIR成像传感器的视频图像数据，所述第二分辨率小于所述第一分辨率。
16.根据权利要求8所述的系统，其中所述系统为蜂窝式电话。
17.根据权利要求8所述的系统，其进一步包括多谱信息处理模块，其经编程以处理从所述NIR成像传感器捕获的NIR图像数据，以增强从所述可见成像传感器捕获的可见图像数据中的对比度。
18.—种成像系统，其包括: 用于从NIR成像传感器接收NIR图像的装置； 用于从可见成像传感器接收可见图像的装置； 用于使所述NIR图像中的像素与所述可见图像中的像素匹配以形成多个经匹配像素对的装置； 用于计算每一经匹配像素对的像素差异的装置； 用于至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对的装置；以及 用于至少部分地基于所述所指派的权重来使所述NIR图像与所述可见图像对准的装置。
19.根据权利要求18所述的成像系统，其中所述用于接收所述NIR图像的装置和所述用于接收所述可见图像的装置包含通信模块。
20.根据权利要求18所述的成像系统，其中所述像素匹配装置包含稠密匹配模块。
21.根据权利要求18所述的成像系统，其中所述像素差异计算装置包含稀疏匹配模块。
22.根据权利要求21所述的成像系统，其中所述稀疏匹配模块进一步包含所述权重指派装置。
23.根据权利要求18所述的成像系统，其中所述对准装置包含经对准图像形成模块。
24.一种非暂时计算机可读媒体，其上存储有代码，所述代码在被执行时实施包括以下各项的方法: 从所述NIR成像传感器接收NIR图像； 从所述可见成像传感器接收可见图像；使所述NIR图像中的像素与所述可见图像中的像素匹配，以形成多个经匹配像素对； 计算每一经匹配像素对的像素差异； 至少部分地基于每一经匹配像素对的所述所计算像素差异来将权重指派给每一经匹配像素对；以及 至少部分地 基于所述所指派的权重来使所述NIR图像与所述可见图像对准。
【文档编号】G06T7/00GK103999124SQ201280053967
【公开日】2014年8月20日 申请日期:2012年10月31日 优先权日:2011年11月4日
【发明者】张晓鹏, 邱刚, 王计来, 周晓明, 沈亮, 米利沃耶·阿列克西亚, 桑迪普·瓦达迪, 周少杰 申请人:高通股份有限公司