基于由旋转成像器捕获的图像的全景图像构建的制作方法

基于由旋转成像器捕获的图像的全景图像构建
[0001]
相关申请的交叉引用
[0002]
本申请要求于2018年5月15日提交且题为“基于由旋转成像器捕获的图像的全景图像构建(panoramic image construction based on images captured by rotating imager)”的美国临时专利申请第62/671,967号的权益和优先权，通过引用将该申请的全部内容合并于此。
技术领域
[0003]
一个或多个实施例总体上涉及成像系统，并且更具体地，例如，涉及基于由旋转成像器捕获的图像的全景图像构建。


背景技术：

[0004]
成像系统可以包括检测器阵列，其中，每个检测器用作像素以产生二维图像的一部分。存在各种各样的图像检测器，例如可见光图像检测器、红外图像检测器或可以设置在图像检测器阵列中用于捕获图像的其他类型的图像检测器。作为示例，可以在图像检测器阵列中设置多个传感器，以检测期望波长的电磁(em)辐射。在某些情况下，例如对于红外成像，可以通过读出集成电路(roic)以时间多路复用的方式(time-multiplexed manner)执行检测器捕获的图像数据的读出。读出的图像数据可以被传送到其他电路，以例如进行处理、存储和/或显示。在一些情况下，检测器阵列和roic的组合可以被称为焦平面阵列(fpa)。用于fpa和图像处理的处理技术的进步已导致所形成的成像系统的功能和复杂性的提高。


技术实现要素：

[0005]
在一个或多个实施例中，一种方法包括接收在图像传感器的连续旋转期间捕获的图像的第一序列。第一序列与场景相关联。第一序列中的每个图像具有与第一序列中的另一图像重叠的部分。该方法还包括生成第一全景图像。该生成包括基于第一点扩散函数来处理图像的第二序列，以减轻与图像传感器的连续旋转相关联的模糊，从而获得去模糊的图像序列。第一点扩散函数与图像传感器的旋转速度相关联。第二序列基于第一序列。该生成还包括基于至少一个噪声功率谱密度来处理去模糊的图像序列，以获得去噪的图像序列，其中，第一全景图像基于去噪的图像序列。
[0006]
在一个或多个实施例中，一种系统包括图像传感器，该图像传感器被配置为在图像传感器的连续旋转期间捕获图像的第一序列。该第一序列与场景相关联。第一序列中的每个图像具有与第一序列中的另一图像重叠的部分。该系统还包括存储计算机指令的非暂时性存储器。该系统进一步包括通信地联接到图像传感器和非暂时性存储器的一个或多个硬件处理器，该一个或多个硬件处理器被配置为从非暂时性存储器读取计算机指令以使系统执行操作。该操作包括接收图像的第一序列。该操作还包括生成第一全景图像。该生成包括基于第一点扩散函数处理图像的第二序列，以减轻与图像传感器的连续旋转相关联的模
糊，从而获得去模糊的图像序列。第一点扩散函数与图像传感器的旋转速度相关联。第二序列基于第一序列。该生成还包括基于第一噪声功率谱密度来处理去模糊的图像序列，以获得去燥的图像序列。第一全景图像基于去模糊的图像序列。
[0007]
本发明的范围由权利要求限定，该权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将更全面地理解本发明的实施例，并实现本发明的附加优点。将参考首先将简要描述的附图。
附图说明
[0008]
图1a示出了根据本公开的一个或多个实施例的示例成像系统的框图。
[0009]
图1b示出了根据本公开的一个或多个实施例的示例图像传感器组件的框图。
[0010]
图2a和2b示出了根据本公开的一个或多个实施例的视频图像中的随机噪声的示例。
[0011]
图2c示出了根据本公开的一个或多个实施例的视频图像中的固定模式噪声的示例。
[0012]
图3a和3b示出了根据本公开的一个或多个实施例的分别表示随机噪声和固定模式噪声分量的功率谱密度的示例的图表。
[0013]
图4示出了根据本公开的一个或多个实施例的抑制视频图像中的噪声的过程的流程图。
[0014]
图5示出了根据本公开的一个或多个实施例的构建时空体积并对其进行滤波以抑制视频图像中的噪声的过程的流程图。
[0015]
图6示出了根据本公开的一个或多个实施例的运动轨迹的示例，可以沿着该运动轨迹提取图像块，以构建时空体积。
[0016]
图7示出了根据本公开的一个或多个实施例的对时空体积的三维频谱进行滤波的视觉表示。
[0017]
图8示出了根据本公开的一个或多个实施例的随机噪声和固定模式噪声分量的功率谱密度的示例的各种二维变换表示。
[0018]
图9示出了根据本公开的一个或多个实施例的由红外成像传感器捕获的输入视频图像帧的示例。
[0019]
图10a示出了使用常规技术滤波的所得视频图像帧的示例。
[0020]
图10b示出了使用常规技术滤波并增强的所得视频图像帧的示例。
[0021]
图11a示出了根据本公开的一个或多个实施例的经滤波的所得视频图像帧的示例。
[0022]
图11b示出了根据本公开的一个或多个实施例的经滤波和增强的所得视频图像帧的示例。
[0023]
图12示出了根据本公开的一个或多个实施例的基于由旋转成像器捕获的图像而合成的全景图像的示例。
[0024]
图13示出了根据本公开的一个或多个实施例的促进全景图像的生成的过程的流程图。
[0025]
图14a示出了具有水平运动模糊的帧提取。
[0026]
图14b示出了根据本公开的一个或多个实施例的与水平运动模糊相关联的运动点扩散函数。
[0027]
图15a和15b分别示出了根据本公开的一个或多个实施例的在模糊的正则化求逆(regularized inversion)之前和之后的帧。
[0028]
图16示出了根据本公开的一个或多个实施例的运动点扩散函数的示例。
[0029]
图17示出了根据本公开的一个或多个实施例的去模糊核的示例。
[0030]
图18示出了根据本公开的一个或多个实施例的执行时空插值的过程的流程图。
[0031]
图19示出了根据本公开的一个或多个实施例的全局时空线和在全局时空线上提供的图像帧的示例。
[0032]
图20示出了根据本公开的一个或多个实施例的具有与全局时空线相交的插值块的全局时空线的示例。
[0033]
图21a和21b分别示出了根据本公开的一个或多个实施例的在执行旋转补偿之前和之后的全景图像的示例。
[0034]
通过参考下面的详细描述，将最好地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同的元件。
具体实施方式
[0035]
以下阐述的详细描述旨在作为对主题技术的各种配置的描述，而无意于表示可以实践主题技术的唯一配置。附图被并入本文并构成详细描述的一部分。为了提供对主题技术的透彻理解的目的，详细描述包括特定细节。然而，对于本领域技术人员而言将显而易见的是，本主题技术不限于本文阐述的具体细节，并且可以使用一个或多个实施例来实践。在一个或多个实例中，以框图形式示出了结构和部件，以避免使主题技术的概念模糊不清。本公开的一个或多个实施例由一个或多个附图示出和/或结合一个或多个附图进行描述，并且在权利要求中阐述。
[0036]
本文公开的方法和系统的各种实施例可用于基于在成像器的连续旋转下捕获的场景的一组图像(例如，图像序列)来促进全景成像。全景成像可以允许生成全景图像(例如，称为全景图像或重构图像)，该全景图像的视场(fov)比用于生成(例如，构建)全景图像的该组捕获图像中的每个图像的fov宽。就这一点而言，可以从在连续旋转下捕获的一组较窄fov的图像生成全景图像。在一些实施例中，本文公开的方法和系统可以用于安保应用(例如，监视应用、海事应用)、地图绘制应用和/或通常在其中需要场景的情景宽视场(fov)(例如，360
°
的fov)感知的任何应用。在成像器是热成像器的情况下，成像器可以捕获热图像并生成(或促进生成)全景热图像。
[0037]
在某些情况下，全景图像可以具有360
°
的fov，其中，用于生成全景图像的一组捕获图像跨越360
°
场景覆盖。在其他情况下，全景图像可以具有小于360
°
的fov。在一些方面，全景成像的输出可以是具有在约等于每秒旋转数的帧率下的时空一致性的360
°
的fov的视频。
[0038]
可以手动执行(例如，通过用户旋转成像器)，或者可以通过电气和/或机械控制(例如，万向架系统(gimbal system)、马达、齿轮、致动器等)执行成像器的连续旋转。处理部件可以用于基于在成像器的连续旋转下捕获的图像来生成全景图像。处理部件可以嵌入
成像器、联接(例如，通信联接)到成像器或以其他方式访问成像器的捕获图像。
[0039]
在一些实施例中，该组图像可以使用卷帘快门方法通过旋转成像器来捕获，其中，随着旋转成像器扫描场景(例如，多达360
°
场景的扫描)，图像在离散的时刻一个接一个地被捕获。这种方法与使用被定向为在不同fov下捕获图像的多个成像器以在同一时刻摄取场景的多个图像形成对比。在这点上，可以通过在整个较宽的fov上旋转单个成像器来利用单个成像器来覆盖较宽的fov(例如360
°
的f ov)，使得在旋转期间捕获的每个图像覆盖较宽的fov的一部分。相对于利用更多成像器共同覆盖较宽的fov的情况(例如，每个成像器被指定/定向为覆盖较宽的fov的一部分)，使用单个成像器覆盖较宽的fov可以允许降低成本。
[0040]
使用卷帘快门方法，从旋转成像器获取的图像形成场景的一系列连续快照(例如，场景的在时间上的离散采样)。在某些情况下，该一系列连续快照可以形成在不同时刻摄取的场景的一组部分重叠图像。通常，连续图像之间的较大量的重叠可以促进(例如，当图像被适当地处理时)更高质量的全景图像的生成。在一些方面，可以在该组捕获图像中的任何两个连续图像之间提供50％的最小重叠。连续图像(例如，也称为相邻图像或时间上相邻的图像)可以指在相邻时刻捕获的图像。例如，可以认为在离散时刻n＝3捕获的图像与在前一时刻n＝2捕获的图像和在下一时刻n＝4捕获的图像相邻。
[0041]
虽然在离散时间获取图像，但是通常以时空连续的方式合成要基于图像生成的全景图像，使得场景中的运动对象表现出连续的运动。在实施例中，为了促进以时空连续的方式合成全景图像，可以在时空参考系中限定全局时空线，这会在本文中进一步描述。在某些情况下，全局时空线可以是或可以被认为是虚拟时空线，其提供用于创建全景图像的合成参考。
[0042]
在一些实施例中，可以实现时空一致性。由于在成像器的连续旋转下捕获，因此连续的输入帧在空间上部分重叠并且在不同的时刻被捕获。拼贴帧以生成全景图像可能会破坏时空一致性。例如，全景图像的不同部分可以表示不同的时间点，并且场景中的运动对象可以出现多次(例如，在多个捕获帧中)和/或受到伪像的影响。从离散的时空流形中，可以创建平滑的(例如，连续的)时空全景图，其中，重叠的较窄fov的图像帧中的对象可以在完整成像器旋转(例如，多达且包括360
°
的旋转)内在平滑时间平面上仅渲染一次。在一些方面，全景成像的输出可以是具有在约等于每秒旋转数的帧率下的时空一致性的360
°
的fov的视频。
[0043]
在一些方面，每个较窄fov的图像可以具有运动模糊、噪声(例如，空间和/或时间噪声)以及图像剪切，其可以至少部分地归因于卷帘快门。本文提供的实施例减轻了这些劣化，使得这些劣化从基于捕获图像组生成的输出全景图像中减少或消除(例如，准备好进行存储、显示、后处理和/或其他操作)。在一些方面，可以利用去噪和去模糊框架来从利用旋转成像器(例如，旋转热成像器)获取的视频序列创建全景图像(例如，360
°
图像)。在一些情况下，去噪框架可以基于例如参考图2a至11b描述的视频块匹配和4维(vbm4d)滤波框架，或其修改版本。除了框架的去噪能力之外，还可以为框架提供或补充运动去模糊和/或全景图像拼接能力。作为示例，可以符合代码生成要求在中实现这样的去噪、去模糊和/或拼接功能。在一些方面，可以通过对去模糊对噪声特性的影响进行建模(例如，考虑去模糊对噪声特性的影响)来减轻去模糊后可能出现的增加的噪声水平。在某些情况下，如果
成像器未完全垂直于旋转轴安装，则可以利用方向性(例如，竖直)变化的去模糊核来补偿弯曲对象轨迹。可以减轻由于卷帘快门和/或较快运动引起的全景图像的剪切。
[0044]
在一些实施例中，本文提供了用于基于重叠图像的捕获序列促进全景图像的生成的方法和系统。重叠图像的序列可以由旋转成像器(例如，旋转传感器)获取。作为示例，出于示例性目的，成像器的旋转可以沿着水平方向。在一个方面，水平方向可以被称为水平取向、方位角方向/取向或景观取向。然而，与成像器相关联的旋转可以沿着其他方向，例如竖直方向、对角线方向或通常任何方向。
[0045]
在旋转成像器在水平方向上旋转时捕获的图像可能会遭受水平运动模糊，除了与成像器相关联的常规噪声外，该水平运动模糊还会使捕获的图像(例如，以及基于这些捕获图像生成的全景图像)劣化。在一个方面，为了减轻与使用旋转成像器的捕获相关联的劣化，可以提供重构管线(例如，vbm4d管线的修改版本)和相关联的后处理。重构管线的第一阶段可以包括执行空间列噪声去除。第二阶段可以包括执行去模糊，其中，可以减轻(例如，减少或消除)由旋转引起的水平运动模糊。第三阶段可以包括去噪。去噪级可以涉及基于块的时空滤波器，其使用通过块匹配获得的运动向量来沿着跨越相邻帧的重叠部分的时间窗口跟踪块的轨迹。可以提取形成时空体积轨迹之后的块并将其堆叠在一起，从而形成可以对其应用协同滤波的时空体积(stv)。然后可以对经滤波块进行聚合以生成重构图像(例如，全景图像)。作为后处理操作，可以补偿由旋转(例如，卷帘快门)引入的剪切效应，以获得笔直的重构图像(例如，笔直的全景图像)。
[0046]
在某些情况下，在生成全景图像时，为了处理图像的重叠区域并处理宽fov的全景图像(例如，360
°
全景图像)的合成，将全局时空线限定为将合成全景图像的时空坐标系中的连续线。对于每个stv，可以确定其轨迹与全局时空线之间的交点，并将其用于对stv内的中间块的位置和内容进行插值。这样的插值可以被称为块插值。可以将新插值的块聚合到其在全景图像中的对应空间位置，以形成全景图像(例如，全景图像的估计)。之后，可以在全景图像中补偿剪切效应。
[0047]
本文公开的方法和系统的各种实施例可以用于对随机噪声(rnd)和固定模式噪声(fpn)建模，以抑制图像(例如，视频或静态图像)中的这两种类型的噪声。可以基于估计的噪声参数和在体积中捕获的运动(例如，图像块从帧到帧的相对空间对准)来自适应地执行滤波操作(例如，对stv)。在一些实施例中，可以通过应用三维(3-d)变换(例如，离散余弦变换(dct)、离散正弦变换(dst)、离散小波变换(dwt)或其他正交变换)来高效地执行这样的滤波操作。在一些实施例中，视频图像帧可以是一组离散的静态图像，其可以被用于提供数字静态图像(例如，作为由数字相机捕获的数字照片)。在一个方面，视频图像帧可以被称为视频图像、视频帧、图像、帧、图像帧或其变体。
[0048]
本文公开的方法和系统的各种实施例可以被包括在各种设备和系统中或被实现为各种设备和系统，例如红外成像设备、移动数字相机、视频监视系统、视频处理系统或可能需要从被噪声损害的视频图像(例如，由红外图像传感器或其他传感器捕获)获得可接受质量的视频图像的其他系统或设备。此外，本文公开的各种技术不限于提供噪声抑制，而是可以进一步有益地改善各种其他视频处理操作(例如增强、恢复、去模糊、均衡、锐化、超分辨率和可能被噪声损害的其他操作)的性能，以及高级分析(例如对象检测、对象识别、目标跟踪、分割、场景跟踪和其他分析操作)的性能。
[0049]
这样的成像设备和系统可以被提供在结构(例如，安保应用的建筑物)或载具中、安装在其上和/或以其他方式通信地与其联接，该载具例如陆基载具(例如，汽车)、海基载具(例如，船只)、飞行器(例如，有人或无人飞行器)、太空载具和/或其他载具。一般而言，相对于系统利用更多成像器共同覆盖较宽fov的示例(例如，每个成像器指定/定向为覆盖较宽fov的一部分)，在这样的系统中使用单个可旋转成像器以覆盖较宽fov能够降低成本。
[0050]
使用各种实施例，具有联接到其的可旋转成像器的载具可以根据卷帘快门方法捕获图像组(例如，重叠图像)，并适当地处理所捕获的图像组以生成高质量的全景图像，以促进期望的应用。作为一个示例，在海事应用中，红外成像设备可以被安装在船只上。红外成像设备可以在连续旋转(例如，覆盖较宽的fov)下捕获图像，以促进夜视、夜间入坞、检测和减轻人员落水情况、化学品检测(例如，通过区分水和水上或水上的化学品)、海岸线监视、船只的导航，和/或通常在载具静止或运动时与提供态势感知相关联的任何动作。作为一个示例，安全机构(例如海岸警卫队)可以在水体中的某些位置放置红外标记，其可以用来识别船坞、岩石、溢油和/或其他障碍物的位置或感兴趣的位置(例如，载具要到达或避开的位置)。载具的红外成像设备可以拾取这些红外标记的存在。作为另一示例，在空中监视应用中，可以将红外成像设备安装到飞行器(例如，无人机)。红外成像设备可以在连续旋转下捕获图像，以促进区域的监视、火灾检测、飞行器的导航(例如，无人飞行或有人驾驶飞行)，和/或在载具处于静止或运动时通常与提供态势感知相关联的任何动作。
[0051]
现在参考附图，图1a示出了根据本公开的一个或多个实施例的示例成像系统100(例如，红外成像系统)的框图。然而，并非所有所描绘的部件都是必需的，并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文所阐述的权利要求的精神或范围的情况下，可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。
[0052]
根据本公开的实施例，成像系统100可以用于捕获和处理图像和视频(例如，视频帧)。根据一个实施方式，成像系统100包括处理部件110、存储器部件120、图像捕获部件130、图像接口134、控制部件140、显示部件150、感测部件160和/或网络接口180。在实施例中，成像系统100可以包括便携式设备，并且可以被整合到例如载具(例如，汽车或其他类型陆基载具、海基载具、无人飞行器(uav)、无人飞行器系统(uas)，无人机或其他类型的飞机或航天器)或需要存储和/或显示图像的非移动设备中。
[0053]
成像系统100可以表示成像设备，例如摄像机和/或静态相机，以捕获和处理场景170的图像和/或视频。就这一点而言，成像系统100的图像捕获部件130可以被配置为以特定频谱或模态捕获场景170的图像(例如，静态和/或视频图像)。图像捕获部件130可以包括成像器或图像传感器，可以是成像器或图像传感器的一部分，或者可以被称为成像器或图像传感器。例如，在一些实施例中，图像捕获部件130可以包括可以在任何消费型相机(例如，可见光相机)中发现的互补金属氧化物半导体(cmos)传感器或电荷耦合器件(ccd)传感器。在一些其他实施例中，替代地或附加地，图像捕获部件130可以包括红外(ir)成像传感器，其被配置为检测近红外、中红外和/或远红外光谱中的ir辐射并提供表示来自场景170的ir辐射的ir图像(例如，ir图像数据或信号)。在一个特定的非限制性示例中，图像捕获部件130可以包括热ir成像传感器，其具有响应于热ir辐射(包括短波ir(swir)、中波ir(mwir)和/或长波ir(lwir)辐射)的检测器的焦平面阵列(fpa)。
[0054]
在一些实施例中，图像捕获部件130可以在场景170中捕获图像期间被旋转。图像捕获部件130的旋转可以指图像捕获部件130或其中的一个或多个部件和/或其一个或多个部件的物理旋转，使得图像捕获部件130(例如，图像捕获部件130的快门)在图像捕获部件130被旋转时捕获场景170的不同部分。图像捕获部件130的fov可以在帧之间重叠。在一些方面，旋转可以手动执行(例如，用户旋转图像捕获部件130)或通过由图像捕获部件130提供或联接到图像捕获部件130的电气和/或机械控制(例如，齿轮、致动器等)执行。在一些情况下，单个成像器(例如，单个相机)可以被旋转以捕获场景170的图像，从而允许基于捕获的图像来合成全景图像。与使用多个成像器同时或基本同时捕获图像以允许合成全景图像的情况相比，使用单个成像器可以与较低的成本相关。
[0055]
可以实现在图像捕获部件130中的其他成像传感器包括pmd成像传感器或其他tof成像传感器、lidar成像设备、毫米成像设备、pet扫描仪、spect扫描仪、超声成像设备或在特定模态和/或谱中进行操作的其他成像设备。要注意的是，对于被配置在特定模态和/或谱(例如，红外光谱等)下捕获图像的这些成像传感器中的一些，例如，当与一般的基于cmos或基于ccd的成像传感器或其他成像传感器、成像扫描仪或不同模态的成像设备相比时，它们更易于产生具有低频阴影的图像。
[0056]
由图像捕获部件130提供的图像或与图像相对应的数字图像数据可以与相应的图像尺寸(也称为像素尺寸)相关联。图像尺寸或像素尺寸通常是指图像中的像素数量，例如对于二维图像，其可以用宽度乘以高度来表示，或者适合于图像的相关尺寸或形状的其他方式。因此，可以将具有原始分辨率的图像大小调整为较小的大小(例如，具有较小的像素尺寸)，以便例如减少处理和分析图像的成本。可以基于对大小调整后的图像的分析来生成滤波器(例如，非均匀性估计)。然后，在将滤波器应用于图像之前，可以将其大小调整为图像的原始分辨率和尺寸。
[0057]
根据各种实施例的处理部件110包括处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑器件(pld)(例如，现场可编程门阵列(fpga))、数字信号处理(dsp)设备或其他逻辑器件中的一个或多个，其可以通过硬接线、执行软件指令或两者的组合来被配置为执行本文针对本公开的实施例讨论的各种操作。处理部件110可以被配置为与成像系统100的各种其他部件对接并通信，以执行这样的操作。在一个方面，处理部件110可以被配置为执行各种系统控制操作(例如，以控制成像系统100的各种部件的通信和操作)和其他图像处理操作(例如，数据转换、视频分析、去模糊抑制、噪声抑制)，作为从图像中去除非均匀性数据的操作的一部分或与之分开。例如，处理部件110可以包括被配置为实现例如参考图2a-13所讨论的噪声抑制和/或去除操作的噪声滤波模块。在一个方面，处理部件110可以被配置为执行各种其他图像处理算法，包括缩放和/或转换图像数据，作为噪声滤波操作的一部分或与之分开。
[0058]
在一个实施例中，存储器部件120包括一个或多个存储器设备，其被配置为存储数据和信息，包括视频图像数据和信息。存储器部件120可以包括一种或多种各种类型的存储器设备，包括易失性和非易失性存储器设备，例如随机存取存储器(ram)、只读存储器(rom)、电可擦除只读存储器(eeprom)、闪存、硬盘驱动器和/或其他类型的存储器。如上所述，处理部件110可以被配置为执行存储在存储器部件120中的软件指令，以执行本文所述的方法和过程步骤和/或操作。处理部件110和/或图像接口134可以被配置为将由图像捕获
部件130捕获的图像或数字图像数据存储在存储器部件120中。处理部件110可以被配置为将经处理(例如，如本文所讨论的低频非均匀性校正)的静态和/或视频图像存储在存储器部件120中。
[0059]
在一些实施例中，单独的机器可读介质121(例如，存储器，诸如硬盘驱动器、紧凑式盘、数字视频盘或闪存)可以存储软件指令和/或配置数据，其可以由计算机(例如，基于逻辑设备或基于处理器的系统)执行或访问，以执行本文公开的各种方法和操作。在一个方面，机器可读介质121可以是便携式的和/或位置与系统100分开，其中，通过将计算机可读介质联接到系统100和/或通过系统100从计算机可读介质121(例如，经由有线链路和/或无线链路)下载而将存储的软件指令和/或数据提供给系统100。
[0060]
例如，应当理解，各种模块可以作为处理部件110的一部分集成在软件和/或硬件中，其中，模块的代码(例如，软件或配置数据)存储在例如存储器部件120中。作为非限制性示例，这样的模块可以包括噪声滤波模块、空间列噪声去除模块、去模糊模块、基于运动向量的非均匀性校正模块和/或去剪切模块。在一些实施例中，本文公开的各种指令可以由单独的机器可读介质121(例如，存储器，诸如硬盘驱动器、紧凑式盘、数字视频盘或闪存)存储，以由计算机(例如，基于逻辑或处理器的系统)执行从而以执行本文公开的各种方法和操作。在一个方面，机器可读介质121可以是便携式的和/或位置与系统100分开，其中，通过将计算机可读介质121联接到系统100和/或通过系统100从计算机可读介质121(例如，经由有线链路和/或无线链路)下载指令而将存储的指令提供给系统100。
[0061]
在一些实施例中，图像接口134可以包括适当的输入端口、连接器、交换机和/或被配置为与外部设备(例如，远程设备182和/或其他设备)对接的电路，以接收由外部设备生成或以其他方式存储在外部设备处的图像(例如，数字图像数据)。所接收的图像或图像数据可以被提供给处理部件110。就这一点而言，所接收的图像或图像数据可以被转换为适合于由处理部件110处理的信号或数据。例如，在一个实施例中，图像接口134可以被配置为接收模拟视频数据并将其转换为合适的数字数据，以提供给处理部件110。
[0062]
在一些实施例中，图像接口134可以包括各种标准视频端口，其可以连接到视频播放器、摄像机或能够生成标准视频信号的其他设备，并且可以将接收的视频信号转换为适合于由处理部件110处理的数字视频/图像数据。在一些实施例中，图像接口134还可以被配置为与图像捕获部件130对接并从图像捕获部件130接收图像(例如，图像数据)。在其他实施例中，图像捕获部件130可以直接与处理部件110对接。
[0063]
在各种实施例中，图像捕获部件130可包括一个或多个图像传感器，用于捕获表示例如场景170的图像的图像数据(例如，静态图像数据和/或视频数据)。在一个实施例中，图像捕获部件130可以包括一个或多个红外传感器(例如，任何类型的多像素红外检测器，例如焦平面阵列)，用于捕获表示图像(例如场景170)的热图像数据(例如，热静态图像数据和/或热视频数据)。在一个实施例中，图像捕获部件130的红外传感器可以使将捕获的图像数据表示为(例如，转换为)数字数据(例如，通过作为红外传感器的一部分包括在内或作为系统100的一部分而与红外传感器分开的模数转换器)。在另一实施例中，可以在视频接口部件134处提供数字转换和/或其他接口。
[0064]
在一个方面，视频和/或静态图像数据(例如，热视频数据)可以包括图像(例如场景170)的非均匀数据(例如，真实图像数据)。在一些实施例中，视频和/或静态图像数据还
可以包括可以用作例如校准视频和/或校准图像数据的均匀数据(例如，快门或参考黑体的图像数据)。处理部件110可以被配置为处理捕获的图像数据(例如，以提供经处理的图像数据)，将图像数据存储在存储器部件120中，和/或从存储器部件120中获取存储的图像数据。例如，处理部件110可以适于处理存储在存储器部件120中的热图像数据，以提供经处理的(例如，经滤波的)图像数据和信息。
[0065]
在一个实施例中，控制部件140包括适于生成用户输入控制信号的用户输入和/或接口设备，例如可旋转的旋钮(例如，电位计)、按钮、滑动条、键盘和/或其他设备。处理部件110可以被配置为经由控制部件140感测来自用户的控制输入信号，并且响应于从其接收的任何感测的控制输入信号。如本领域技术人员通常所理解的，处理部件110可以被配置为将这样的控制输入信号解释为值。在一个实施例中，控制部件140可以包括控制单元(例如，有线或无线手持式控制单元)，该控制单元具有适于与用户交互并接收用户输入控制值的按钮。在一种实施方式中，控制单元的按钮可以用于控制成像系统100的各种功能，例如自动聚焦、菜单启用和选择、视场、亮度、对比度、噪声滤波、图像增强和/或成像系统或相机的各种其他功能。
[0066]
在一个实施例中，显示部件150包括图像显示设备(例如，液晶显示器(lcd))或各种其他类型的通常已知的视频显示器或监视器。处理部件110可以被配置为在显示部件150上显示图像数据和信息。处理部件110可以被配置为从存储器部件120获取图像数据和信息，并且在显示部件150上显示任何获取的图像数据和信息。显示部件150可以包括显示电路，该显示电路可以被处理部件110用来显示图像数据和信息。显示部件150可以适于直接从图像捕获部件130、处理部件110和/或视频接口部件134接收图像数据和信息，或者可以经由处理部件110从存储器部件120传送图像数据和信息。
[0067]
如本领域的技术人员将理解的，在一个实施例中，取决于应用或实现要求，感测部件160包括一个或多个各种类型的传感器。感测部件160的传感器至少向处理部件110提供数据和/或信息。在一个方面，处理部件110可以被配置为与感测部件160通信。在各种实施方式中，感测部件160可以提供关于环境状况的信息，例如外部温度、照明状况(例如，白天、夜晚、黄昏和/或黎明)、湿度级别、特定天气状况(例如，日照、雨水和/或雪)、距离(例如，激光测距仪或飞行时间相机)和/或是否已进入或退出隧道或其他类型的封围体。感测部件160可以表示本领域技术人员通常已知的用于监测可能对图像捕获部件130提供的图像数据具有影响(例如，对图像外观的影响)的各种状况(例如，环境状况)的常规传感器。
[0068]
在一些实施方式中，感测部件160(例如，一个或多个传感器)可以包括经由有线和/或无线通信将信息传递到处理部件110的设备。例如，感测部件160可以适于从卫星、通过本地广播(例如，射频(rf))传输、通过移动或蜂窝网络和/或通过基础设施(交通或公路信息信标基础设施)中的信息信标或其他各种有线和/或无线技术接收信息。在一些实施例中，处理部件110可以使用从感测部件160获取的信息(例如，感测数据)，来修改图像捕获部件130的配置(例如，调整感光度、调整图像捕获部件130的方向或角度、调整光圈等)。
[0069]
在各个实施例中，成像系统100的各种部件可以根据需要或取决于应用或要求而被组合和/或实现、或不被组合和/或实现。在一个示例中，处理部件110可以与存储器部件120、图像捕获部件130、视频接口部件134、显示部件150、网络接口180和/或感测部件160组合。在另一示例中，处理部件110可以与图像捕获部件130组合，使得处理部件110的某些功
能由图像捕获部件130内的电路(例如，处理器、微处理器、逻辑器件、微控制器等)执行。
[0070]
此外，在一些实施例中，成像系统100的各种部件可以被分布并且通过网络190彼此通信。就这一点而言，成像系统100可以包括被配置为促进成像系统100的各种部件之间的有线通信和/或通过网络190的无线通信的网络接口180。在这样的实施例中，如果系统100的特定应用需要，也可以复制部件。也就是说，可以通过网络分布被配置用于相同或相似操作的部件。另外，如果需要，可以使用通过网络190经由网络接口180与成像系统100的各个部件进行通信的远程设备182(例如，常规的数字录像机(dvr)、配置用于图像处理的计算机、和/或其他设备)的适当部件，来实现各种部件中的任何一个的全部或一部分。因此，例如，处理部件110的全部或一部分、存储器部件120的全部或一部分、和/或显示部件150的全部或一部分可以在远程设备182处被实现或复制，并且被配置为执行如本文中进一步描述的图像的分辨率增强。在一些实施例中，成像系统100可以不包括成像传感器(例如，图像捕获部件130)，而是改为从与处理部件110和/或成像系统100的其他部件分开且远离地定位的成像传感器接收图像或图像数据。将可以理解，在不脱离本公开的范围和精神的情况下，成像系统100的分布式实施方式的许多其他组合也是可能的。
[0071]
图1b示出了根据本公开的一个或多个实施例的示例图像传感器组件200的框图。然而，并非所有所描绘的部件都是必需的，并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文所阐述的权利要求的精神或范围的情况下，可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。在实施例中，图像传感器组件200可以是焦平面阵列，例如，被实现为图1b的图像捕获部件130中的图像传感器。
[0072]
图像传感器组件200包括单位单元阵列205、列多路复用器210和215、列放大器220和225、行多路复用器230、控制偏置和定时电路235、数模转换器(dac)240和数据输出缓冲器245。单位单元阵列205包括单位单元的阵列。在一个方面，每个单位单元可以包括检测器和接口电路。每个单位单元的接口电路可以响应于由单位单元的检测器提供的检测器信号(例如，检测器电流、检测器电压)来提供输出信号，例如输出电压或电流。输出信号可以指示检测器接收的em辐射的大小。列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可以用于提供来自单位单元阵列205的输出信号作为数据输出线250上的数据输出信号。数据输出信号可以是由图像传感器组件200的像素值形成的图像。在这一点上，列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可以共同提供图像传感器组件200的roic(或其一部分)。
[0073]
在一个方面，列放大器225通常可以表示适合于给定应用(模拟和/或数字)的任何列处理电路，并且不限于用于模拟信号的放大器电路。就这一点而言，在这样的方面，列放大器225可以更一般地称为列处理器。由列放大器225接收的信号，例如模拟总线上的模拟信号和/或数字总线上的数字信号，可以根据信号的模拟或数字性质来进行处理。作为示例，列放大器225可以包括用于处理数字信号的电路。作为另一示例，列放大器225可以是来自单位单元阵列的数字信号经过以到达列多路复用器215的路径(例如，不进行处理)。作为另一示例，列放大器225可以包括用于将模拟信号转换为数字信号的adc。这些数字信号可以被提供给列多路复用器215。
[0074]
每个单位单元可以接收偏置信号(例如，偏置电压、偏置电流)，以偏置单位单元的检测器，从而补偿归因于例如温度变化、制造差异和/或其他因素而导致的单位单元的不同
响应特性。例如，控制偏置和定时电路235可以生成偏置信号并将它们提供给单位单元。通过向每个单位单元提供适当的偏置信号，可以有效地校准单位单元阵列205，以响应于入射在单位单元的检测器上的光(例如，ir光)来提供准确的图像数据。
[0075]
在一个方面，控制偏置和定时电路235可以生成偏置值、定时控制电压和开关控制电压。在一些情况下，dac 240可以将在数据输入信号线255上作为数据输入信号或作为数据输入信号的一部分而接收的偏置值转换成偏置信号(例如，在模拟信号线260上的模拟信号)，且可以通过列多路复用器210、列放大器220和行多路复用器230的操作被提供给各个单位单元。在另一方面，控制偏置和定时电路235可以生成偏置信号(例如，模拟信号)并在不利用dac 240的情况下将偏置信号提供给单位单元。就这一点而言，一些实施方式不包括dac 240、数据输入信号线255和/或模拟信号线260。在一个实施例中，控制偏置和定时电路235可以是图1a的处理部件110和/或成像捕获组件130、可以包括图1a的处理部件110和/或成像捕获组件130、可以是图1a的处理部件110和/或成像捕获组件130的一部分、或者可以与之联接。
[0076]
在一个方面，图像传感器组件200可以被实现为成像系统(例如，100)的一部分。除了图像传感器组件200的各种部件之外，成像系统还可以包括一个或多个处理器、存储器、逻辑器件、显示器、接口、镜头和/或其他适合于各种实现方式的部件。在一个方面，可以将数据输出线250上的数据输出信号提供给处理器(未示出)以进行进一步处理。例如，数据输出信号可以是由来自图像传感器组件200的单位单元的像素值形成的图像。处理器可以执行例如非均匀性校正(nuc)、空间和/或时间滤波的操作和/或其他操作。图像(例如，经处理的图像)可以存储在存储器中(例如，在成像系统外部或本地)和/或显示在显示设备上(例如，在成像系统外部和/或与成像系统集成)。
[0077]
作为非限制性示例，单位单元阵列205可以包括512
×
512(例如，单位单元的512行和512列)、1024
×
1024、2048
×
2048、4096
×
4096、8192
×
8192、和/或其他阵列大小。在某些情况下，阵列大小可以具有与列大小(例如，列中的检测器数量)不同的行大小(例如，行中的检测器数量)。帧率的示例可以包括30hz、60hz和120hz。
[0078]
图2a-2c示出了根据本公开的一个或多个实施例的视频图像数据中的随机噪声和fpn的示例。更特别地，图2a和2b示出了分别从两个连续的视频图像帧提取的随机噪声的示例，而图2c示出了在视频图像帧序列中持续存在的fpn。在图2a-2c中，fpn随时间推移(例如，在连续的视频图像帧上)基本恒定(例如，不变化或仅略微变化)，而随机噪声可以随时间随机变化。
[0079]
由许多图像传感器捕获的视频图像数据表现出随机噪声和fpn。尽管许多常规滤波技术简单地将静态图像或视频图像中存在的噪声建模为随机和非结构化噪声，但是本文公开的系统和方法有利地对视频图像数据中的随机噪声分量和fpn分量进行建模，以有效地抑制其中的这两种噪声。在各种实施例中，还可以将由于传感器缺陷(例如，响应非均匀性、死像素、热像素或其他缺陷)而可能出现的噪声建模或以其他方式视为fpn的一部分。此外，在许多图像传感器捕获的静态或视频图像中表现出的噪声不是非结构化噪声。而是，随机分量和fpn分量可能相关。即，在不同的空间(例如，不同的像素坐标)和时间的(例如，在不同的帧)位置中的噪声像素不是彼此独立的，而是彼此相关的。视频图像数据中的典型噪声因此可以被称为有色噪声，而不是白噪声。
[0080]
可以容易地在如图3a和3b所示的示例噪声的功率谱密度(psd)图中观察到这样的特性。更特别地，图3a示出了示例随机噪声分量的psd图，而图3b示出了示例fpn分量的psd图，二者均关于32
×
32傅里叶变换进行计算和表示，并以在中心的直流(dc)项示出。如图像处理领域的技术人员通常所知，白噪声的psd图对于所有系数都显示出基本相同的恒定值。相比之下，图3a和3b中的典型示例噪声用随机噪声和fpn分量中的清晰和不同的非均匀psd图来表征。例如，图3a中的随机噪声的psd图显示了较大的水平相关性，这可能通常是由于许多类型的图像传感器中的列噪声引起的。可以理解，可以关于傅立叶变换以外的其他变换，例如关于dct、各种类型的小波变换或其他合适的变换，分析和表达噪声的相关性。
[0081]
在本文公开的系统和方法的实施例中，可以针对随机噪声和fpn分量对典型噪声的这样的结构化性质(或“有色性(coloredness)”)进行建模，从而允许通过其中的典型噪声的更准确的模型有效地抑制视频图像数据中的噪声。
[0082]
在一个实施例中，随机噪声和fpn分量可以被建模为有色高斯噪声。结合本公开执行的实验已经表明，高斯分布可以被视为两种噪声分量的良好近似。在其他实施例中，可以使用例如泊松分布或莱斯分布的其他分布来代替高斯分布。
[0083]
被建模为有色高斯噪声的随机噪声和fpn分量的一个示例可以在数学上描述如下。设是像素空间坐标，并且是视频图像帧索引(例如，时间索引)。另外，设x＝x1×
x2和v＝x
×
t分别表示空间域(例如，针对视频图像帧内的像素)和时空域(例如，针对视频图像帧的序列)。则，在一个示例中，有噪声视频数据z:v
→
r可以被建模为：
[0084]
z(x1,x2,t)＝y(x1,x2,t)+η
rnd
(x1,x2,t)+η
fpn
(x1,x2,t)
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0085]
其中，y:v
→
r是未知的无噪声视频，η
rnd
:v
→
r和η
fpn
:v
→
r是随机和fpn分量的实现。
[0086]
如先前所指示，在一个实施例中，这两个噪声分量可以被假定并建模为有色高斯噪声，
[0087][0088][0089]
其中，和是遵循独立同分布(i.i.d.)高斯分布的白噪声因子，使得：
[0090]
关于x1,x2i.i.d.且关于t独立,
ꢀꢀꢀꢀꢀꢀꢀ
(4)关于x1,x2i.i.d.但关于t不独立,
ꢀꢀꢀꢀꢀ
(5)
[0091]
其中*表示卷积算符，并且k
rnd
和k
fpn
是等效卷积核，其分别确定η
rnd
和η
fpn
的功率谱密度。
[0092]
在各个实施例中，如本文中进一步描述，可以从视频图像数据估计标准差值σ
rnd
和σ
fpn
。结合本公开执行的实验已经表明，标准偏值σ
rnd
和σ
fpn
以及fpnη
fpn
通常随时间推移缓慢变化。这样，在一些实施例中，标准差值σ
rnd
和σ
fpn
可以仅被偶发地估计。
[0093]
更特别地，可以假定：
[0094][0095][0096][0097]
其中，这些关于t的偏导数的近似使得σ
rnd
、σ
fpn
和η
fpn
可以被视为在本文所述的操作(例如，滤波操作)使用的时间窗内关于t是恒定的。
[0098]
另外，η
rnd
和η
fpn
的psd可以被假定为关于对应的和的固定模数归一化(modulus normalization)。也就是说，在对视频图像数据操作期间不需要估计psd，而是在一些实施例中可以将其视为内置的校准参数。这样，在一些实施例中，可以使用校准视频图像或可以适合于校准目的的任何其他图像来离线估计η
rnd
和η
fpn
的psd，并且仅需要周期性地或根据需要对其进行重新校准。
[0099]
在一些实施例中，通过使σ
rnd
和σ
fpn
作为y和t的函数，可以将等式(1)概括为并入信号相关的噪声模型。这样的函数可以合理地认为可分为以下独立因子：
[0100]
和
[0101]
另外，如本文中进一步描述的，尽管可以进一步将σ
rnd
分解为垂直分量和水平分量，但是在各种实施例中，可以将噪声中的这种各向异性嵌入噪声的psd表示中。
[0102]
应当指出，某些“坏像素”(例如，始终显示固定值的卡住的(struck)像素或从没检测到光的死像素)可能会导致极低概率的脉冲噪声，因此可能无法通过等式(1)充分捕获。然而，本公开的各种实施例设想基于查找表或其他廉价的临时过程(ad-hoc procedure)来结合简单的均值/中值运算，以补偿这样的情况。
[0103]
已经描述了可以在本公开的系统和方法的各种实施例中使用的示例噪声模型和相关的噪声参数，例如标准差σ
rnd
、标准差σ
fpn
、η
rnd
的psd和η
fpn
的psd，现在将结合图4描述根据本公开的实施例的用于抑制视频数据中的噪声的过程400。例如，过程400可以由成像系统100的各种实施例执行。应当理解，成像系统100及其各种部件仅为了示例的目的而确定，并且可以使用任何其他合适的系统来执行过程400的全部或一部分。
[0104]
在操作404处，可以接收多个视频图像帧(例如，可以被组成以构建运动视频的连续静态图像)。例如，在实施例中，可以在视频接口部件134和/或处理部件110处接收由图像捕获部件130或外部设备(例如，生成视频数据132)捕获或以其他方式生成的视频图像数据(例如，输入视频401)。在一些实施例中，根据特定应用或要求的需要或期望，可以对视频图像数据进行处理或以其他方式进行管理以从中提取多个视频图像帧。例如，视频接口部件134和/或处理部件110可以被配置为提取多个视频图像帧，然后可以在处理部件110处接收该多个视频图像帧。
[0105]
在操作406处，可以使用视频图像帧来估计随机噪声分量的标准差σ
rnd
和fpn分量的标准差σ
fpn
。例如，可以在图1a的处理部件110处计算、求算、近似或以其他方式估计随机噪声分量的标准差σ
rnd
和fpn分量的标准差σ
fpn
。如上所述，例如，在滤波或以其他方式处理一定数量的视频图像帧之后，可以仅偶发地估计这样的参数。因此，如果需要，可以在实时
图像处理管线内使用标准差估计操作。在一个实施例中，标准差估计操作可以被嵌入例如处理部件110的噪声滤波模块内。
[0106]
在各种实施例中，可以通过执行视频的时间高通滤波并计算视频的时间高通版本的中位数绝对偏差(mad)来估计随机噪声分量的标准差σ
rnd
。例如，在一个实施例中，可以通过获得一个视频图像帧与被一帧延迟的另一视频图像帧之间的差，来执行时间高通滤波。然后，可以对视频的时间高通版本执行mad计算以获得标准差σ
rnd
的稳健估计。在其他实施例中，可以在三维(3-d)变换域中估计标准差σ
rnd
(例如，如本文进一步所述，通过应用用于滤波的去相关变换来进行变换)，其中，表示最高时间频率或高于阈值的某个频率的系数可用作mad计算的样本。还可以设想，用于视频图像数据的时间高通滤波的其他已知方法和/或用于估计标准差的其他已知方法可以适于与过程400一起使用。
[0107]
在各个实施例中，可以从估计的标准差σ
rnd
及fpn和随机噪声分量的总标准差的估计来获得标准差σ
fpn
。在一实施例中，标准差σ
fpn
可以计算为：
[0108][0109]
其中，σ
rnd+fpn
是fpn和随机分量的总标准差。在其他实施例中，可以使用用于在给定标准差σ
rnd+fpn
和标准差σ
rnd
下估计标准差σ
fpn
的其他统计标准(例如，最大似然性)来计算标准差σ
fpn
。
[0110]
在各个实施例中，可以通过执行视频的空间高通滤波并计算视频的空间高通版本的mad来估计总标准差σ
rnd+fpn
。例如，在一个实施例中，可以通过获得视频图像帧和被移位一个像素的视频图像帧之间的差来执行空间高通滤波。然后，可以对视频的空间高通版本执行mad计算以获得标准差σ
rnd+fpn
的稳健估计，其继而又可以用于获得σ
fpn
的稳健估计，如上所述。在其他实施例中，可以在三维变换域中估计标准差σ
rnd+fpn
(例如，如本文进一步所述，使用用于滤波的去相关变换来进行变换)，其中，表示最高时间频率或高于阈值的某个频率的系数可用作mad计算的样本。还可以设想，用于视频图像数据的空间高通滤波的其他已知方法和/或用于估计标准差的其他已知方法可以适于与过程400一起使用。
[0111]
在操作408处，可以使用校准视频402或可用于校准目的的任何其他视频图像来估计随机噪声分量η
rnd
和fpn分量η
fpn
的psd。如上所述，η
rnd
和η
fpn
的psd可以被认为是σ
rnd
和σ
fpn
的恒定模数归一化。这样，在一些实施例中，操作408可以离线和/或仅周期性地执行(例如，当期望或需要重新校准时)。在一些实施例中，校准视频402可以提供基本均匀的视频图像(例如，通过捕获闭合的快门、基本均匀的黑体、基本均匀的背景的图像或其他类似图像来提供)，使得在校准视频402中存在的噪声可以更有效地与真实图像区分开。在其他实施例中，可以使用包含对于捕获要通过过程400滤波的视频图像的图像传感器来说典型地分布和相关的噪声的任何视频来执行psd的估计。
[0112]
在一些实施例中，可以通过对校准视频402执行自相关操作，来计算随机噪声分量η
rnd
和fpn分量η
fpn
的psd。在其他实施例中，用于计算psd的其他合适技术可以适于用于操作408。
[0113]
在一些实施例中，除了或代替与fpn相关联的各种统计参数(例如，如本文所述地估计的fpn的psdη
fpn
和标准差σ
fpn
)，可以动态地估计视频图像帧中fpn的实际模式。对于一个或多个实施例，可以从视频图像帧中减去动态地估计的fpn模式，并且从所得的视频图像帧中减去残余fpn(例如，在动态地估计的fpn模式被减去之后留在视频图像帧中的fpn)的
psd，和/或与离线估计(例如，使用校准视频402)不同，可以在线估计(例如，使用接收的视频图像帧)其他噪声。残余fpn或其他噪声的psd的这样的在线估计可以实现对建模的不精确性和不准确性具有稳健性的噪声滤波。
[0114]
在操作410处，时空体积(例如，包含从不同时间位置提取的图像块，例如从不同视频图像帧提取的图像块)可以从视频图像帧提取的图像块(block)(例如，图像分块(patch)，例如固定大小的分块或视频图像帧的一些部分)构建。在过程400的各个方面，可以对构建的时空体积执行滤波和/或其他处理操作。
[0115]
在各个实施例中，可以通过沿着运动轨迹从视频图像帧序列中提取图像块并将它们堆叠在一起来构建时空体积。例如，如果在实施例中利用8
×
8图像块，则构建的时空体积可以具有8
×8×
n的大小，其中，n是跟踪运动所沿着的轨迹的长度(例如，视频图像帧的数量)。在一些实施例中，可以通过级联由例如块匹配技术或任何其他合适的运动或光流估计技术获得的运动向量，来确定运动轨迹。可以从接收的视频图像帧计算运动向量，或者，当输入视频401是编码视频时，可以利用嵌入在编码视频中的运动向量。在一些实施例中，运动向量可以用于评估与上述fpn相关联的各种动态(例如，瞬时或在线)估计的质量。
[0116]
参考图5和图6，进一步描述构建时空体积的示例。图5示出了根据本公开的实施例的构建和滤波时空体积508以抑制输入视频501中的噪声的过程500。例如，过程500可以作为图4的过程400的一部分来执行，例如在操作410-414处。图6示出了根据本公开的实施例的运动轨迹的示例，沿着该运动轨迹提取图像块以构建时空体积。
[0117]
如上所述，在一些实施例中可以使用块匹配技术来构建时空体积。例如，在操作506处，可以使用块匹配技术来构建时空体积508。即，可以检查多个视频图像帧502，以搜索与参考图像块503匹配(例如，满足某个相似性标准)的图像块504a-504d。这样的图像块503和504a-504d可以限定运动轨迹。并且，可以被堆叠在一起以构建时空体积508。注意，可以为每个参考图像块重复虚线中包围的操作(例如，包括操作506和510-514)，以构建和滤波多个时空体积。在另一示例中，可以选择图6中的图像块602a-602j以使用各种运动估计技术来限定运动轨迹。这样，例如，可以提取图像块602a-602j并将其堆叠在一起以，形成长度10的时空体积。
[0118]
如在图5和图6中可见，时空体积可以包括可以对应于视频图像上的各种不同空间位置的图像块。在这样的情况下，fpn可能基本上表现为随机噪声(例如，由于图像块位置改变，因此不固定于特定像素位置)，这可以允许fpn被如此建模和滤波。但是，如果运动很少或没有运动，则可以将fpn的全部或大部分保留在时空体积中，因此，可以实质上基于与fpn相关联的噪声参数对其进行滤波。因此，在时空体积中有多少fpn可被捕获为随机噪声或被保留为fpn可取决于图像块的相对对准(例如，时空体积中有多少图像块被对准以及其中有多少是来自其他空间位置)。
[0119]
再次参考图4，在操作412处，可以滤波构建的时空体积(例如，以抑制噪声或执行本文中关于操作512进一步描述的其他处理)。在各种实施例中，滤波可以至少部分地基于一个或多个噪声参数。例如，在一些实施例中，滤波可以至少部分地基于随机噪声分量的标准差σ
rnd
、fpn分量的标准差σ
fpn
、随机噪声分量的psd和/或fpn分量的psd，其中的任何一个可以在操作406和408处计算、求算、近似或以其他方式估计。在一些实施例中，滤波可以进一步适应于构建的时空体积的其他特性，如本文进一步所述。
[0120]
在一些实施例中，可以对时空体积的3-d变换域表示(也可以称为3-d谱)执行滤波。例如，再次参考图5，滤波操作可以包括将三维(3-d)变换应用于时空体积以获得3-d谱(例如，在操作510处)，修改(例如，自适应收缩)3-d谱的系数(例如，在操作512处)，并应用逆变换以获得经滤波的时空体积(例如，在操作514处)。还设想可以代替操作510-514或除了操作510-514之外，执行其他形式的正则化，例如加权平均或扩散。
[0121]
更特别地，在操作510处，可以将去相关3-d变换应用于时空体积。这样的去相关3-d变换可以包括离散余弦变换(dct)、离散正弦变换(dst)、离散小波变换(dwt)、离散傅立叶变换(dft)或通常将图像信号去相关的任何其他适当的变换(例如，可分离的正交变换)。在一实施例中，dct可用于变换操作。
[0122]
去相关3-d变换可以通过较低维变换的可分离的级联组成来应用。例如，对于空间去相关，可以将2-d变换(例如，大小为8
×
8的可分离dct)应用于堆叠在时空体积中的每个图像块(例如，大小为8
×
8)，并且对于时间去相关，可以应用n长度的1-d变换(例如，长度与时空体积的长度匹配的1-d dct)。如本领域的技术人员可以理解的，这两个级联变换的顺序可以颠倒，导致相同的结果。
[0123]
还参考图7，所得的3-d谱702可包括表示3-d变换域中的时空体积的多个谱系数(在图7中显示为小圆圈)。3-d谱702还可以包括直流(dc)平面704和交流(ac)共体积706。dc平面704可以看作是dc项的集合，可以涉及对应于零频率的变换域系数，并且可以表示值的平均。就这一点而言，dc平面704中的dc项可以编码关于fpn分量的信息。因此，在一些实施例中，可以基于系数所属的平面(例如，dc平面或ac共体积)来调整滤波操作，如本文中进一步所述。ac共体积706可以被视为其他剩余系数，其通常满足与dc平面704中的系数的某种类型的正交关系。应当注意的是，图7仅是为了解释对3-d谱的滤波操作而提供的视觉表示，因此，不应将对3-d谱702、dc平面704、ac共体积706的位置、大小和/或形状的描绘理解为限制所得的3-d谱。
[0124]
在图5的操作512处，可以执行收缩(shrinking)(或缩减(shrinkage))以修改3-d谱(例如3-d谱702)的系数，从而获得收缩的3-d谱708。收缩可以包括阈值处理(例如，硬阈值处理、软阈值处理或其他阈值处理)、缩放、维纳滤波或适合于正则化变换域中的信号的其他操作。在各种实施例中，收缩基于可能嵌入在每个谱系数中的噪声的对应系数标准差来修改谱系数。因此，例如，在一个实施例中，可以通过基于对应的系数标准差对谱系数进行硬阈值处理来执行收缩(例如，如果不满足阈值则将值设置为0)。在另一示例中，可以在两个或更多个阶段中执行收缩，其中，可以在较早阶段中执行阈值处理，以向在较晚阶段中执行的维纳滤波提供估计。
[0125]
可以基于与视频图像中可能存在的随机噪声分量和fpn分量相关联的各种参数来近似、计算或以其他方式获得系数标准差。例如，在一个实施例中，可以至少部分地基于随机噪声分量的标准差σ
rnd
和fpn分量的标准差σ
fpn
来近似系数标准差。
[0126]
在另一实施例中，除了标准差σ
rnd
和标准差σ
fpn
之外，还可以进一步基于随机噪声分量的psd和fpn分量的psd来近似系数标准差。如以上关于图2a-3b中的噪声建模和等式(1)-(5)所描述的，这些psd可以编码噪声分量的相关性或结构。因此，如果关于用于空间去相关的2-d变换进行计算，则在应用1-d变换进行时间去相关之前，这些psd还可为2-d谱中的每个系数提供随机噪声分量和fpn分量的方差。通过图8可以更好地可视化或理解psd的
这样的性质，图8示出了关于用于空间去相关的2-d变换而计算的随机噪声和fpn分量的psd的示例图形表示。
[0127]
在各种实施例中，这些和其他噪声参数中的一个或多个可以基于估计值(例如，作为过程400的一部分在线和/或离线估计的估计值)。例如，系数标准差可以基于标准差σ
rnd
、标准差σ
fpn
、随机噪声分量的psd和/或fpn分量的psd来近似，其中的全部或一些可以是通过上述图4的操作406和408获得的估计值。
[0128]
除了如上所述基于噪声参数来近似或计算之外，还可以基于在时空体积中捕获的运动来进一步调适、完善或以其他方式调整系数标准差。即，根据本公开的各种实施例，已经观察到以时空体积分组的图像块的相对对准影响如何在谱系数中表明fpn分量。例如，在所有图像块都对准的一种极端情况下(例如，当没有运动时)，fpn分量在所有图像块之间可以相同。因此，fpn分量可以通过平均简单地累加，从而构成3-d谱中dc平面内容的实质部分，而不是噪声。在所有图像块都来自视频图像的各种不同空间位置的另一种极端情况下，fpn分量可能会在不同的图像块上呈现不同的模式。因此，限于时空体积，fpn分量可能表现为另一随机噪声分量。
[0129]
因此，在一些实施例中，不仅可以基于噪声参数来近似系数标准差，而且还可以基于时空体积的大小、与时空体积相关联的图像块的相对空间对准和/或系数在3-d谱内的位置(例如，系数是位于dc平面上还是位于ac共体积)来对其进行调适、完善或以其他方式进行调整。在一个实施例中，可以使用包含两个极端情况并且同时为中间情况提供逐步过渡的公式(formulation)来获得对系数标准差的这样的自适应近似。
[0130]
这样的公式的一个示例可以如下正式描述。对于时间长度n的时空体积，设l
n
≤n,1≤n≤n，是形成时空体积的图像块的数量，该时空体积与该体积中的第n个块共享相同的原始空间位置。设l＝max
1≤n≤n
{l
n
}(一种替代的不同定义(根据特定的滤波器实施方式其可能更实际)可以为l＝l1)。然后，对于时间dc平面及其互补ac共体积中的系数，可以将系数标准差近似为：
[0131][0132][0133]
其中，σ
dc
和σ
ac
分别是在dc平面和ac共体积中的系数的系数标准差，并且其中，和是fpn和随机噪声分量关于2-d空间去相关变换的psd。因此，通过使用从等式(10)和(11)获得的σ
dc
和σ
ac
修改谱系数，本公开的实施例可以执行自适应收缩，其可以允许对视频图像中的噪声进行接近最优的滤波。注意，在等式(10)和(11)中分别以l＝n(无运动)或l＝0(图像块全部来自不同空间位置的)获得上述极端情况。
[0134]
此外，在操作512处，还可以对收缩的3-d谱(例如，收缩的3-d谱708)执行其他操作，以进行进一步的处理或操纵。例如，在一个实施例中，可以使用协同α-生根(collaborative α
--
rooting)或通过增强谱系数中的适当谱系数来锐化和/或增强图像中的对比度的其他技术来进一步修改谱系数。在其他示例中，可以执行图像恢复、去模糊、锐化、均衡、超分辨率或其他操作，以进一步修改收缩的3-d谱的系数。尽管不正确地建模和/
或次优抑制的噪声通常使增强和其他操作无效，或者更糟的是，导致增强和其他操作使图像劣化而不是改善图像，但是可以通过本公开的实施例实现的对噪声的近乎最优的抑制可以有利地提高增强和其他操作的功效，这会在本文进一步说明。
[0135]
在操作514处，可以将去相关3-d变换的逆应用于收缩的3-d谱以获得经滤波的时空体积(例如，经滤波的时空体积714)。如图7所示，可以以任何顺序(例如，使用中间2-d谱710或中间1-d谱712)应用级联的可分离的逆2-d和1-d变换，以获得经滤波的时空体积714。
[0136]
在操作414/516处，可以使用适当的聚合技术来聚合来自经滤波的时空体积的图像块，以生成经滤波的视频图像帧(例如，经滤波的视频416)。例如，在各种实施例中，聚合可以包括图像块的加权平均。在一些实施例中，用于平均的权重可以部分地基于系数标准差。在这样的实施例中，聚合操作可以受益于以上针对操作512所述的对系数标准差的自适应近似。可以理解的是，与过程400和500相关联的其他操作也可以受益于本公开的实施例提供的适应性，如果这样的操作部分地基于系数标准差的话。
[0137]
现在参考图9-11b，示出了可以通过本公开的实施例获得的有利结果的示例，并将其与通过常规技术获得的结果进行比较。图9示出了由红外成像传感器捕获的输入视频图像帧的示例。图9的输入视频图像帧表现出相关的随机噪声和相关的fpn。图10a示出了通过使用常规噪声滤波技术处理图9的输入视频图像而获得的所得视频图像帧的示例。更特别地，用于获得图10a的常规技术假定常规加性高斯白噪声(awgn)模型。即，与本公开的各种实施例不同，不存在对噪声相关性/结构的建模或分离的fpn和随机噪声分量的建模。在图10a中，这导致无效的噪声抑制，残余的fpn和可见的结构化伪影从所得的视频图像帧中清晰可见。
[0138]
此外，在通过使用常规技术对图9的输入视频图像帧进行滤波和增强来获得的所得的视频图像帧的图10b的示例中，对常规地滤波的视频图像帧执行增强(例如，锐化和/或对比度增强)操作导致视频图像帧的劣化，而不是改善，其中噪声被加剧而不是被衰减。
[0139]
相比之下，在通过根据本公开的实施例对图9的输入视频图像进行滤波而获得的所得经滤波的视频图像帧的图11a中的示例中，有效地抑制了fpn和随机噪声分量，在所得的视频图像中没有结构化伪影。此外，在图11b中甚至可以进一步理解噪声的准确建模和滤波的优点，图11b示出了通过根据本公开实施例对图9的输入视频图像进行滤波和增强而获得的所得视频图像帧的示例。
[0140]
因此，通过更准确地对噪声建模、估计一个或多个噪声参数、基于运动自适应参数滤波图像和/或执行本文所述的其他操作，本文公开的方法和系统的一些实施例甚至可以允许在具有显著fpn分量的图像中进行有效的噪声抑制。本文公开的方法和系统的一些实施例还可在已执行常规fpn补偿过程(例如列噪声补偿技术、基于预校准或动态估计的fpn掩模的fpn去除和/或其他技术)之后有益地抑制仍可能留存的残余fpn。因此，例如，本文公开的方法和系统的一些实施例可以被包括在捕获和/或处理被噪声削弱的视频或静态图像(例如，由红外图像传感器或在低信噪比状况下操作的其他传感器捕获的视频或静态图像，和/或通过常规fpn补偿技术处理的视频或静态图像)的各种设备和系统中或实现为这样的设备和系统，以有益地改善图像质量。
[0141]
基于构建基于运动的时空体积并对其自适应地操作的框架，本公开的附加实施例可以促进全景成像，其中，可以从在成像器(例如图1a的图像捕获部件130)的连续旋转下捕
获的一组图像生成全景图像。例如，成像器可以是或可以包括热成像器，并且捕获的图像可以是热图像。全景图像可以具有360
°
的fov或小于360
°
的fov。
[0142]
图12示出了根据本公开的一个或多个实施例的基于由旋转成像器1200捕获的图像合成的全景图像1204的示例。在一个实施例中，旋转成像器1200可以是图1a的图像捕获部件130、可以包括图1a的图像捕获部件130或可以是图1a的图像捕获部件130的一部分。在图12中，捕获的图像可以形成由旋转成像器1200捕获的场景的一系列连续快照(例如，时间上对场景的离散采样)。在一个方面，该一系列连续快照可以形成在不同时刻摄取的场景的一组部分重叠图像。例如，全景图像1204可以基于在旋转成像器1200旋转(例如，扫掠高达360
°
的角距离)时捕获的数十个或数百个图像。全景图像1204包括涵盖θ＝α至θ＝β的fov。当全景图像1204是360
°
全景图像时，β-α＝360
°
。
[0143]
图13示出了根据本公开的一个或多个实施例的促进全景图像的生成的示例过程1300。例如，过程1300可以由成像系统100的实施例执行。应当理解，成像系统100及其各种部件仅为了示例的目的而确定，并且可以使用任何其他合适的系统来执行过程1300的全部或一部分。注意，可以根据需要组合、省略和/或以不同的顺序执行一个或多个操作。在某些情况下，全景图像帧可以是360
°
的fov的图像帧，例如当作为输入而提供的视频图像帧是热图像帧时是360
°
的fov热图像帧。在一个方面，可以通过对捕获的视频图像帧执行过程1300来生成图12的全景图像1204。
[0144]
为了示意性目的，参考与图像捕获部件130沿着水平方向相关联的旋转来描述过程1300。在一个方面，水平方向可以被称为水平取向、方位角方向/取向或景观取向。在一个方面，该示例情况可以被称为水平旋转情况。然而，与图像捕获部件130相关联的旋转可以沿着其他方向，例如垂直方向、对角线方向或通常任何方向。在一些情况下，在捕获图像时，图像捕获部件130可以以恒定的旋转速度(或基本恒定的旋转速度)旋转。
[0145]
过程1300可以被认为包括多个阶段：空间噪声去除阶段、去模糊阶段(例如，运动去模糊阶段)、去噪阶段和旋转补偿阶段。在一些实施例中，过程1300可以是或可以被称为图像重构管线，以基于多个视频图像帧生成全景图像帧。在一些方面，图像重构管线可以利用vbm4d去噪框架。在一些情况下，相对于包括空间噪声去除阶段、去模糊阶段和去噪阶段的图像重构管线，旋转补偿阶段可以被认为是后处理。
[0146]
在操作1304处，可以接收视频图像帧。视频图像帧可以被称为视频帧的噪声突发(noisy burst)。在一个实施例中，视频图像帧可以由图像捕获部件130或外部设备捕获或生成，并且提供给视频接口部件134和/或处理部件110。例如，视频图像帧可以是或可以基于图4的输入视频401或图5的输入视频501。捕获的图像可以形成场景的一系列连续快照(例如，在时间上对场景的离散采样)。在一个方面，该一系列连续快照可以形成在不同时刻摄取的场景的一组部分重叠图像。在某些情况下，图像捕获部件130可以被配置为捕获相邻图像之间最小重叠为50％的图像。
[0147]
在一方面，在重构管线的第一阶段，空间噪声去除阶段可以包括操作1308。在操作1308处，可以对接收的视频图像帧执行空间噪声去除(例如，通过处理部件110)。例如，处理部件110可以包括用于执行空间噪声去除的空间噪声去除模块。在水平旋转的情况下(例如，与视频图像帧的捕获相关联的旋转沿着水平方向)，可以处理接收的视频图像帧以减轻(例如，去除、减少、消除)列噪声。空间噪声去除可以是对视频图像帧执行的空间列噪声去
除(scnr)。在这种情况下，由于与视频图像帧相关联的水平运动模糊的特性，在去模糊阶段之后，垂直列噪声可能变得扩大和/或放大。因此，在这样的情况下，可以在执行去模糊阶段之前执行scnr阶段以去除列噪声，使得从提供给去模糊阶段的图像中去除列噪声，因此列噪声不会由于去模糊阶段而被扩大和/放大。
[0148]
在一方面，在重构管线的第二阶段，去模糊阶段可以包括操作1312。在操作1312处，可以对从空间噪声去除阶段接收的输出图像数据执行运动去模糊(例如，通过处理部件110)。就这一点而言，在操作1312处，可以处理从操作1308输出的经处理的视频图像帧，以减轻(例如，去除、减少、消除)模糊。在示例水平旋转的情况下，可以执行运动去模糊阶段，以减轻由图像捕获部件130的水平旋转造成的水平运动模糊。作为示例，图像捕获部件130的旋转可以在逆时针方向上绕垂直轴，这可能会在水平方向上引入水平模糊。
[0149]
在某些情况下，可以假定关联的点扩散函数(psf)是已知的。例如，psf可以包括指数衰减的水平模糊。在图像捕获部件130以恒定旋转速度捕获视频图像数据的情况下，psf是时不变的。在这种情况下，仅需要在校准阶段确定(例如，计算)psf、去模糊核和去噪声之后的噪声psd一次。就这一点而言，只要旋转速度没有从确定psf、去模糊核和噪声psd的转速发生变化，就不需要重新估计psf、去模糊核和噪声psd(例如，在对视频图像数据进行操作期间)，而是可以被视为内置校准参数。
[0150]
在一些实施例中，观察模型可以考虑使图像劣化的噪声分量(例如，加性噪声分量)和空间不变模糊。噪声分量可以包括随机噪声分量(例如，也称为时间噪声)和固定模式噪声分量(例如，也称为空间噪声)。噪声分量和空间不变模糊可以建模为真实图像与固定psf的卷积：
[0151]
z(x1,x2,t)＝(y*v)(x1,x2,t)+η
rnd
(x1,x2,t)+η
fpn
(x1,x2,t)
ꢀꢀꢀꢀꢀꢀ
(12)
[0152]
其中，z是噪声劣化且模糊的图像，y是真实图像，v是模糊psf，η
rnd
是随机噪声劣化的实现/表示，并且η
fpn
是固定模式噪声劣化的实现/表示。真实图像y通常是要使用去模糊阶段和去噪阶段从噪声劣化且模糊图像z确定(例如，估计)的未知无噪声图像。可以基于等式(12)，通过使用去模糊阶段减轻模糊v的影响并且使用去噪阶段减轻噪声η
rnd
和η
fpn
的影响，获得真实图像y的估计。就这一点而言，真实图像y可以被认为是不被模糊和噪声劣化的理想图像。
[0153]
在一方面，为了并入运动模糊，可以将v建模为：
[0154]
v＝v
b
*v
m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0155]
其中，v
b
描述由于光学模糊而导致的psf，而v
m
描述由运动引起的psf。例如，v
m
可以是一维核。作为示例，图14a和14b示出了水平运动模糊的示例。在这方面，图14a示出了具有水平运动模糊的帧提取，并且图14b示出了相关联的运动psf。
[0156]
等式(12)的模型可以在dft域中表示为：
[0157][0158]
其中，z、y、v、和分别是z、y、v、η
rnd
和η
fpn
的dft谱(即，并且噪声分量可以在dft域中表示为由噪声方差缩放的根psd q(root psd q)，和其中，η是标准差σ＝1的白噪声。
[0159]
在一些方面，实现的去模糊阶段可以包括正则化求逆，其之后可以进行去噪。作为示例，可以在dft域中确定等式(12)中所示模型的正则化求逆(ri)，并且可以通过下式提供类似的去卷积模型：
[0160][0161][0162]
其中，α
ri
是根据经验确定的正则化参数，并且|x|是集合x的基数(例如，视频帧中的像素数)。尽管等式(15)利用了吉洪诺夫(tikhonov)正则化，但是可以利用其他类型的正则化。基于等式(15)中使用的正则化，正则化求逆z
ri
由以下之和组成：y的偏差估计，
[0163][0164]
以及由下式提供的两个有色噪声分量和
[0165][0166][0167]
在一些实施例中，光学模糊psf被假定为狄拉克增量，在这种情况下，模糊的唯一分量来自运动，从而产生一维核。在这种情况下，等式(13)可以由下式提供：
[0168]
v＝δ*v
m
＝v
m
ꢀꢀꢀꢀ
(20)
[0169]
在其他实施例中，可以在等式(13)提供的模型中提供一个或多个附加的光学模糊分量。在这样的实施例中，等式(13)的卷积不再是一维的。
[0170]
在一些实施例中，等式(16)中的去卷积可以产生噪声特性的变化，例如图15a和15b所示。图15a和15b分别示出了根据本公开的一个或多个实施例的在模糊的正则化求逆之前和之后的帧。如在图15a与15b的比较中所示，在去模糊过程之后，图15a的所获取帧中的噪声改变其特性。随着噪声特性的改变，rnd和fpn分量的原始psd(例如，先前确定的psd)可能不再适用于去噪。在某些情况下，可以通过找到的块dct的系数方差，来确定块dct域中的新psd，其中，n
b
是二维变换的大小(例如，块大小)。这些可以表示为：
[0171][0172]
和
[0173][0174]
其中，是用于去噪过程中的块dct变换，并且是的第i个基元素。
[0175]
在图像捕获部件130以恒定旋转速度捕获视频图像数据的情况下，与运动相关的psf不在时间上变化。这样，新的psd的计算可能仅需要进行一次作为校准步骤。例如，在操作1316处，可以确定新的psd。就这一点而言，对于恒定旋转速度，在对视频图像数据进行操作期间不需要估计psd，而是在一些实施例中可以将其视为内置的校准参数。如果旋转速度有任何变化，则可能需要确定新的psd。
[0176]
在恒定旋转速度的情况下，运动相关的psf不在时间上变化，并且正则化求逆传递矩阵t
ri
保持不变。在某些情况下，等式(13)中描述的获得z
ri
所需的去卷积运算可以在快速傅立叶变换(fft)域中作为乘法执行或在图像域中通过卷积运算执行：
[0177]
z
ri
＝z*t
ri
ꢀꢀꢀꢀ
(23)
[0178]
其中，t
ri
是等式(12)中描述的ri传递矩阵的冲击响应，
[0179][0180]
在示例水平旋转的情况下，psf是完全水平的。在这种情况下，去卷积运算可以作为针对卷积核的一维卷积来完成，该卷积核是冲激响应t
ri
，如图16和17所示。图16示出了根据本公开的一个或多个实施例的运动psf v
m
的示例。图17示出了根据本公开的一个或多个实施例的去模糊核t
ri
的示例。注意，如果去卷积核的支持长度不足，则在去模糊的序列中可能会出现鬼影。
[0181]
在一个方面，重构管线的第三阶段包括去噪阶段。来自操作1312的输出视频图像数据(例如，去模糊图像数据)可以通过去噪阶段处理，以减轻(例如，去除、减少、消除)噪声，包括随机噪声和固定模式噪声。在某些情况下，可以应用上述的去噪。在一些情况下，去噪可以基于vbm4d去噪管线(例如，针对图2a至图11b描述的去噪管线或其修改版本)。如以下进一步描述的，去噪阶段可以以滑动时间窗的方式操作，其中，对于给定图像，过去和将来的图像可以在协同滤波方法中使用。在这方面，去噪阶段可以利用时空滤波器。例如，滤波器可以是基于块的时空滤波器，其使用通过块匹配获得的运动向量，以沿着跨越相邻图像的重叠部分的时间窗跟踪块的轨迹。在某些情况下，时空滤波器可以使用vbm4d方法或其修改版本来实现。操作1320、1328、1332、1336、1340、1344、1348和1352可以被认为是去噪阶段的一部分。
[0182]
在操作1320处，可执行块匹配以促进时空体积的后续构建。块匹配可以被用来沿着过去和将来帧的重叠部分跟踪块，并且可以将最佳匹配的位置存储在表(例如，称为匹配表)中。随着每个新帧的到达，可以从参考图像中选择一组参考块。参考块可以是在块匹配中被用于创建时空体积的参考的块。对于每个参考块，可以在过去和将来的帧中找到相似的块(例如，满足某个相似性标准)。例如，可以检查视频图像帧1322以搜索与参考图像块1326匹配(例如，满足某个相似性标准)的图像块1324a-1324d。在该示例中，应当注意，图像块1324a和1324b可以来自过去帧，而图像块1324c和1324d可以来自将来帧。注意，基于帧沿着运动轨迹相对于与参考帧相关联的时间位置的时间位置，帧可以被称为将来帧或过去帧。在一些情况下，去噪复杂度可以基于指示连续参考块之间采取的距离(例如，以像素为单位)的可调参数。较小的距离会与更精细的去噪但更高的复杂度(例如，更高的操作数量)相关联。在操作1328处，可执行基于运动向量的非均匀性校正(mvbnuc)以估计非均匀性(例如，空间噪声)。mvbnuc可以由处理部件110的mvbnuc模块执行。
[0183]
这样，可以利用滑动时间窗方式，其中，对于给定图像，可以利用过去和将来的图像。可以将包含在时间窗内的图像存储在缓冲器(例如，称为块缓冲器)中，其中，可以变换属于图像的可能的块(例如，所有可能的块)。例如，可以通过应用两个可分离的一维变换来对块进行变换，并以向量化形式存储。可以利用通过块匹配的块轨迹计算来沿着时间窗跟踪块。匹配(例如，最佳匹配)在块缓冲器中的位置可以存储在表(例如，称为匹配表)中。在
某些情况下，较长的时间窗会与较高的去噪质量但更高的操作数量相关联。在一个实施例中，连续的捕获帧之间的重叠可以确定时间窗的有用长度。例如，时间窗可以被提供为具有过去和将来帧的数量的阵列(例如，[n
past
,n
future
])。在某些情况下，任何给定帧之间有50％的重叠的情况下，该帧与前一帧和/或下一帧重叠，因此可以通过[1,1]来提供有用的时间窗。
[0184]
在连续图像之间具有恒定的水平移位的情况下，可以利用存在恒定的水平移位这一事实来通过对应的水平偏移将搜索窗居中，并在参考图像与被搜索的过去和将来图像之间不再有重叠时相应地停止搜索。这里可以使用多尺度块匹配方法，例如以粗略到精细的方式，可以首先将块匹配应用于帧的缩小版本，并且将结果用作下一更精细尺度中的预测。
[0185]
可以将操作1320处的块匹配的结果提供给协同滤波阶段。协同滤波阶段可以通过操作1332、1336、1340、1344、1348和1352来实现。在操作1332，可以基于块匹配的结果来构建时空体积。例如，参考图像块1326和图像块1324a-1324d可以限定运动轨迹，并且可以被堆叠在一起以构建时空体积1334。在一个方面，可以通过取回/提取和堆叠块(例如，在匹配表中找到的索引)来创建单个时空体积，其中，每个体积由相应的一组堆叠块形成。在这方面，存储在匹配表中的条目(例如，值)可以用于通过从块缓冲器中取回对应的块来创建单个时空组。例如，在一种实施方式中，匹配表中的每个列可以包含取回形成时空体积的块所需的块缓冲器中的索引。提取的块(例如，在某些情况下已经对其应用了二维变换)被堆叠以形成时间长度n∈[1,n
t
]的时空体积，并通过沿着体积的第三维应用长度n的一维变换来在时间方向上去相关。另外，在某些情况下，块的原始时空坐标可用于创建时空体积的轨迹，随后可将其用于时空插值。如果用于时间去相关的所选择变换需要它(例如，haar变换)，则可以将组的长度限制为具有2的幂的长度(例如，n＝2
k
，其中，k可以是任意正整数)。
[0186]
在操作1336处，可以将3-d变换应用于时空体积以获得3-d谱。在框1340处，可以执行时空体积的3-d谱的收缩。在一些方面，与收缩相关联的阈值可以取决于噪声标准差和psd矩阵。例如，可以基于每个系数中的噪声的标准差，通过硬阈值处理修改谱系数(例如，修改谱系数的幅度)来收缩3-d谱。可以使用psd矩阵(例如，其捕获fpn和rnd噪声分量)及其对应的缩放因子(例如，该缩放因子对psd进行缩放)来确定阈值。缩放因子可以是去模糊阶段之后的噪声的标准差。保留的非零系数的数量可用于确定凸组合的时空体积的权重。在某些情况下，3-d谱的收缩水平可以是可调整的参数。例如，参数的较高值会导致较强的去噪和平滑。
[0187]
在一些去噪实施方式中，在硬阈值处理阶段期间，可以根据形成组的块的相对空间位置以及rnd和fpn分量的psd来自适应地确定变换的时空组的方差。可以执行方差的确定以补偿fpn，当形成组的块共享相同的空间坐标时，fpn累积到组的dc平面中。在水平旋转情况下的滤波器的应用中，连续图像之间存在恒定移位，因此形成组的块通常不共享相同的空间坐标。以这种方式，在时空组内，fpn分量可以被认为是另一随机分量(例如，时间噪声分量)。因此，仅将一个psd和缩放系数(例如，去模糊阶段之后的噪声的标准差)(形成为rnd和fpn psd的线性组合)用于去噪。在一些情况下，在操作1328处执行的mvbnuc处理对非均匀性(例如，空间噪声)的估计。
[0188]
在操作1344处，可以将逆3-d变换应用于收缩的3-d谱，以获得经滤波的时空体积。在操作1348处，可以执行时空插值。图18中提供了操作1348的示例，图18示出了根据本公开
的一个或多个实施例的用于时空插值的示例过程1800。例如，过程1800可以由成像系统100的实施例执行。应当理解，成像系统100及其各种部件仅出于示例的目的而确定，并且可以使用任何其他合适的系统来执行过程1800的全部或一部分。注意，可以根据需要组合、省略和/或以不同的顺序执行一个或多个操作。
[0189]
如上所述，从可旋转成像器(例如，图像捕获部件130)获取的图像可以形成场景的一系列连续快照(例如，场景的在时间上的离散采样)。该一系列连续快照可以形成在不同时刻摄取的场景的一组部分重叠图像。当在离散时间获取图像时，全景图像通常以时空连续的方式合成，使得场景中的运动物体表现出连续的运动。
[0190]
为了促进以时空连续的方式合成全景图像，在操作1804处，可以在时空参考系中限定全局时空线。全局时空线可以被称为全局时空参考线，时空参考线或简称为参考线。在某些情况下，全局时空线可以是或可以被认为是虚拟时空线，其提供了用于创建全景图像的合成参考。就这一点而言，全局时空线可以是将合成全景图像的时空坐标系中的连续线。对于创建的每个时空体积，可以确定块轨迹与全局时空线之间的交点(intersection)(如果有)，并将其用于对位于交点上的对应块进行插值。在某些情况下，通常可以以任何方式限定全局时空线，以允许全局时空线与图像(例如，所有图像)相交，并促进计算。在一个实施例中，全局时空线可以是线性的、分段线性的(piecewise linear)或其他连续形状。
[0191]
例如，图19示出了根据本公开的一个或多个实施例的全局时空线1904和在全局时空线1904上提供的图像帧(例如，1908、1912)的示例。将全局时空线1904提供为时间和旋转角度的函数。在图19中，在不同的时间离散时刻(例如，沿垂直轴)获取不同的帧。可以将在时空参考系中连续的全局时空线1904用作使用每个时空体积的时空插值来合成全景帧的参考。
[0192]
再次参考图18，在操作1808处，可以执行轨迹插值。在一些方面，由时空体积描述的轨迹可以表示为复平面中的曲线。可以通过自适应正交基表示来执行获得合成块的位置的轨迹的插值。为此，可以构建变换矩阵。给定由形成时空体积的块的位置提供的采样点，可以构建第一变换矩阵以允许轨迹分析。给定时空体积的轨迹与全局时空线之间的交点，可以将第二变换矩阵用于插值轨迹合成。在某些情况下，可以使用线性轨迹插值变换。
[0193]
在操作1812处，可以执行块插值。在一些情况下，用于轨迹插值的相同或相似的插值正交变换可以用于块插值。一旦沿着第三维的1-d变换逆变，就可将插值变换应用于2-d dct变换的块的堆叠，以获得位于全局时空线中的合成点处的插值的块。对于每个时空体积，可以确定其轨迹与全局时空线之间的交点，并将其用于插值stv内中间块的位置和内容。这样，可以在组轨迹和全局时空线之间的交点处合成块。
[0194]
例如，图20示出了根据本公开的一个或多个实施例的全局时空线2004的示例，在与全局时空线2004的交点2012中具有插值块2008。在全局时空线2004上提供图像帧(例如，2016、2020、2024、2028、2032)。分别示出了图像帧2016、2020、2024、2028和2032的块2036、2040、2044、2048和2052。在图20中，图像帧2024是参考帧。插值块2008是图像帧2020和2024之间的插值块。在不同离散时刻(例如，沿垂直轴)获取不同的帧。
[0195]
在一方面，图20可以被认为是图19沿着表示视频帧的不同行的第三轴的延伸。在这方面，视频帧在图20中被表示为2-d平面，而不是图19中的线。对于视频帧的每一行重复全局时空线，其中，重复的全局时空线(例如，包括全局时空线2004)形成平面。这样，全局时
空线沿该第三维延伸(例如，对于视频帧的每一行重复)，因此，重复的全局时空线在图20中被表示为平面，以允许可视化全局时空线与时空体积的轨迹的交点。该平面包括全局时空线2004。
[0196]
再次参考图18，在操作1816处，可以执行块的亚像素移位。由于时空轨迹插值，所以可能需要将插值块聚合到全景图像内的非整数坐标上。这可以通过将块的亚像素移位版本聚合到其坐标的整数部分来解决。在一个方面，可以通过使用固有地包含对应的移位的基于2-d dct的变换，从其块dct表示(例如，二维谱)合成块来实现亚像素移位(例如，对应于位置的小数部分)。在一些情况下，可以创建和存储一组不同的1-d dct变换矩阵，其中，每个变换矩阵固有地包含来自一组预定的可能移位的移位。对于每个块，可以通过选择偏移最接近该维度中所需的实际位移的1-d dct变换矩阵来选择适当的(例如，最适当的)1-d dct变换矩阵。在这方面，确定合成块在全景图像中的位置。在某些情况下，可以将具有亚像素位移s的一维dct变换的基元素定义为：
[0197][0198]
其中，n是变换的长度(例如，块的大小)。
[0199]
返回参考图13，在时空插值和变换逆变之后，在操作1352处，将插值的块聚合到其在全景图像中的对应位置。就这一点而言，块估计可以被聚合到全景图像估计上。通常，不同的块估计重叠。在某些情况下，可以使用块在全景图像内的新计算的时空坐标和它们在凸组合中的对应权重将块聚合到第一缓冲器(例如，估计缓冲器)中。块的权重可以聚合到第二缓冲器(例如，权重缓冲器)中。在这些情况下，当已处理构成全景图像(例如360
°
全景图像)的输入帧(例如每个输入帧)时，可以通过将估计缓冲器中的每个估计除以其在权重缓冲器中的对应权重来获得最终的全景估计。在一个方面，最终的全景估计可以是作为重构管线的输出提供的重构图像。
[0200]
在操作1356处，可以执行旋转补偿。在一个方面，旋转补偿可以被认为是重构管线的输出(例如，从管线输出的最终全景估计)的后处理。在一个方面，旋转补偿可以被称为卷帘快门补偿。就这一点而言，从旋转成像器(例如，图像捕获部件130)的卷帘快门帧获取可能会产生伪影。在水平旋转的情况下，旋转补偿考虑了水平卷帘快门和绕垂直轴的旋转。这样的旋转可能对保留在重构的全景图像(例如，从管线输出的重构360
°
全景图像)中的捕获图像产生水平剪切效应。旋转补偿可以包括执行去剪切以补偿剪切效应。图21a和21b示出了根据本公开的一个或多个实施例的分别在执行旋转补偿之前和之后的全景图像的示例。
[0201]
因此，在一些实施例中，分别如图13和18的过程1300和1800所示，可以通过执行用于空间列噪声去除阶段、去模糊阶段和去噪阶段的操作来促进全景图像的生成，其中，全景图像重构整合在去噪阶段内。在一个方面，由于空间列噪声去除阶段会高效地衰减列噪声，而不引入可能影响去模糊阶段的伪影，因此可以在去模糊阶段之前应用空间列噪声去除阶段。由于破坏图像的模糊的psf可能具有已知的公式，因此可以在去噪阶段之前执行去模糊阶段。在这方面，在知道psf的点处执行去模糊阶段。在应用去模糊时，噪声分量(例如，随机噪声和固定模式噪声)的谱特性可能会改变(例如，通常噪声被放大)。等式(21)和(22)可用于确定噪声的新psd。新的噪声特性通常可以允许更好的信噪分离。这种改进的信噪分离可
以促进去噪阶段。
[0202]
注意，通过非限制性示例，分别提供了与促进全景图像的生成相关联的图13和18的过程1300和1800。注意，图13和18的一个或多个操作可以根据需要组合、省略和/或以不同的顺序执行。此外，可以执行其他处理以促进全景图像的生成。
[0203]
例如，参考图13，可以在去模糊阶段之前应用空间列噪声去除阶段和去噪阶段。在该示例中，如上所述，全景图像重构可以整合在去噪阶段内，使得顺序被提供如下：空间列噪声去除阶段，整合有全景重构的去噪阶段以及去模糊阶段。在某些情况下，该顺序可能与在去模糊阶段可能被放大的来自去噪的伪影和残余噪声相关联。
[0204]
在某些情况下，如果要在去模糊阶段之后执行空间列噪声去除阶段，则去模糊阶段可能放大列噪声，同时还可能改变列噪声的特性(例如，由于针对去模糊核的卷积)，例如引入水平相关性。在这种情况下，相对于在去模糊阶段之前执行空间列噪声去除阶段以抑制列噪声的情况，在去模糊阶段之后列噪声(例如，放大和变化的列噪声)可能更难以抑制。为了减轻在空间列噪声去除阶段之前执行去模糊阶段的情况下的列噪声，可以通过调整各个公式来考虑去模糊阶段对列噪声的影响。例如，可以调整等式(12)和(24)等以考虑去模糊阶段对列噪声的影响，例如通过在噪声模型中添加列噪声的项。
[0205]
在某些情况下，如果要在去模糊阶段之前执行去噪阶段，则去噪阶段(例如，通常为非线性操作)可能导致破坏图像的模糊的psf相对于在去模糊阶段之后执行去噪阶段的情况发生变化。由于用于在去噪阶段之前执行去模糊阶段的情况的已知psf可能不再适用，因此可能需要确定模糊的psf。去模糊阶段可以考虑来自去噪阶段的噪声残余和可能的伪影的放大，而无需确定新的psd(例如，原始psd可以用于去模糊之前的去噪)。这样，在一些实施例中，可以考虑计算复杂度以及已知和/或需要调整哪些公式/关系，来执行用于执行空间列噪声去除阶段、去模糊阶段和与全景图像重构整合的去噪阶段的不同顺序。
[0206]
因此，使用各种实施例，可以设计旋转成像器(例如，图像捕获部件130)，使得所获取的图像可以用于期望质量的全景图像重构。通常，与使用具有不同fov的多个成像器来捕获图像的情况相比，利用单个旋转成像器来捕获随后可以合成为全景图像的图像与较低的成本相关联。重构的质量(例如，去噪和重构质量)通常可以基于连续图像之间的重叠量(例如，与其成比例)。在这方面，去噪可以依赖于几个连续图像之间的非局部相似性，以获得场景的估计。通过提供帧之间的足够重叠可以促进对非局部相似性的这种依赖。在一个方面，旋转成像器可以被配置成捕获帧之间的最小重叠为50％的图像。
[0207]
在一些方面，旋转成像器的旋转速度可能影响重构质量。旋转速度可以确定运动模糊psf的长度以及相邻帧之间的重叠量。通常，较高的旋转速度会产生较长的psf，其可能与更难以减轻的去模糊相关联(例如，在正则求逆后噪声更强、结果较不锐利)。较高的旋转速度会减少连续图像之间的重叠，这可能会影响去噪质量。
[0208]
旋转成像器的镜头的fov还可以确定帧之间的重叠量。这样，对于给定旋转速度，镜头的较宽fov可允许相邻的帧(例如，在相邻的fov中捕获的图像)之间较大的重叠，其通常可与较高的重构质量相关联。旋转成像器的取向可以确定卷帘快门对重构的全景图像的影响。在一些实施例中，旋转成像器可以被设计用于景观取向(例如，水平卷帘快门)，其可能在所获取的图像中产生水平剪切。
[0209]
在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本公开提供的
各种实施例。同样，在适用的情况下，在不脱离本公开的精神的情况下，本文阐述的各种硬件部件和/或软件部件可以组合成包括软件、硬件和/或两者的复合部件。在适用的情况下，在不脱离本公开的精神的情况下，本文阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。另外，在适用的情况下，可以预期的是，软件部件可以被实现为硬件部件，反之亦然。
[0210]
根据本公开的软件，例如非暂时性指令、程序代码和/或数据，可以被存储在一个或多个非暂时性机器可读介质上。还预期可以使用联网的和/或以其他方式联接的一个或多个通用或专用计算机和/或计算机系统来实现本文中确定的软件。在适用的情况下，可以更改本文描述的各个步骤的顺序、组合为复合步骤和/或分成子步骤以提供本文描述的特征。
[0211]
前面的描述并非旨在将本公开限制为所公开的精确形式或特定使用领域。上述实施例示出但不限制本发明。考虑到根据公开内容，无论是否在此明确描述或暗示，对本发明的各种替代实施例和/或修改都是可能的。因此，本发明的范围仅由所附权利要求书限定。