多视点高速运动采集的方法及系统与流程
相关申请案交叉申请
本申请要求2014年11月13日递交的发明名称为“多视点高速运动采集的方法及系统”的第14/540,394号美国申请案的在先申请优先权。
本发明通常涉及多视点高速视频应用。
背景技术：
物体运动(例如，车辆、人或其他物体运动等)的视频采集可以在各种应用中都十分有用。典型地，在进行图像展示时，将高速或高帧率下采集的物体运动图像放慢，从而可以对很可能检测不出来的特征及特性进行检查。从多个视点采集的多个高速视频流甚至在各种应用中都更有用处。但是，传统的高速视频采集方式通常都很昂贵，并且需要很多资源。
很多应用都在尝试使用高速视频。在自动车祸测试行业中，如果能够从多个角度以慢动作方式观察高速撞击过程，将对识别潜在的设计缺陷以及提高安全性大有帮助。在诸如生物机械学等科学研究领域中，从多个视点清晰地观察诸如快速的动物移动等快速的实验过程通常是很重要的。在电视广播活动(例如，运动等)中，为了得到自由视点视频以及努力创建仿真体验，需要尝试从多个视点采集高速运动。在电影及计算机游戏行业中，通常通过从多个视点高速采集演员的表演，从而尝试许多进一步的视频后期处理任务，例如重新打光或消光。
为了从多个视点采集高速运动，一种传统的方式是采用多个能够从不同的视点采集图像的同步高速摄像头。然而，这种方式的成本通常很高(例如，高带宽成本、硬件成本、图像质量成本等)。就带宽成本而言，传统方式通常涉及极大的传输带宽以及需要同时存储多个高速视频流。例如，一个单一的1000帧每秒的高清视频摄像头每秒记录大约6gb的原始数据，这比常速摄像头通常记录的数据多30多倍。就硬件成本而言，一个典型的高速视频摄像头(例如，1000帧每秒等)的成本比相同分辨率(例如，30帧每秒等)的常规视频摄像头的成本高得多。进一步地，多个高速摄像头之间的精确同步通常要求额外的昂贵硬件。考虑到高速摄像头的曝光时间通常十分有限(例如，一个1000帧每秒的摄像头的曝光时间少于1/1000秒)，这通常对图像质量也有影响。因此，相比常速视频摄像头，为了保证高图像质量，需要更强的光线。因此，很多高速摄像头都仅仅是单调的，不能采集彩色图像。实际上，正是由于通常与高速摄像头相关的这些高成本，通常导致极大地限制了目标场景的采集视点的个数。
只有极少数的传统方式试图采用大量的常速摄像头(例如，成本比高速摄像头低很多的情况下通常可用)模仿高速摄像头。然而，这些传统的尝试通常存在问题。其中一种流行方式是试图交错采用多个常速摄像头。交错采用多个常速摄像头这些传统方式具有各种局限性。在这一方法中，常速摄像头通常以不同的时间偏移开始记录，传统方式通常要求特殊的硬件控制支持(例如，涉及像素级曝光控制等，其本身通常相当昂贵)，使得摄像头能够以毫秒级的精确度开始记录。此外，这些方法通常只限于模仿单视点的高速摄像头，这通常极大地限制了有效性。有些方式还要求必须对所采集的图像进行去模糊处理，但是，图像去模糊本身通常就认为是一个合适的悬而未决的问题，并且通常需要极大的计算量。
技术实现要素：
提供了一种系统和方法，其有利于实现有效的用于高速运动分析的多视点混合系统。在一实施例中，设备包括进行多视点处理的处理电路以及存储所述处理电路的信息的存储器。所述处理电路接收与3d场景有关的输入，其中，所述输入包括与第一摄像头对应的第一帧率下的第一帧序列相关的信息以及与第二摄像头对应的第二帧率下的第二帧序列相关的信息，其中，所述第一帧率比所述第二帧率快。将所述第一帧序列和所述第二帧序列中的记录在给定时间戳上的时间同步的图像帧对齐，创建用于所述第一帧率下的动态场景的三维(threedimension，简称3d)模型，并在所述第一帧率下生成与多个额外视点相关的合成的图像帧序列。可以对所述第一帧序列和所述第二帧序列进行校准。校准预处理用于确定与所述第一摄像头和所述第二摄像头相关的内参数和外参数。
在一示例性实施方式中，所述3d模型是基于3d关键帧重建、约束3d运动估计以及3d关键帧内插得到的。所述3d关键帧重建可以包括基于可视外壳的方法，所述基于可视外壳的方法用于将目标物体的3d网状模型估计为目标场景的所述3d模型。基于运动学的3d运动模型用于从所述3d关键帧估计一组运动参数。近似最佳的运动学3d运动参数用于基于连续的3d关键帧序列建立中间内插3d帧序列，其中，所述内插3d帧序列为所述第一帧率下的虚拟摄像头视点的动态场景提供了所述第一帧率下的动态3d模型。校准的帧序列从多个视点采集得到可以用于提高视频质量，包括：采用多个视点间的降噪和相关性，以及多个视频流内或之间的时空相干性以用于提高信噪比。
一种多视点方法可以包括：对来自第一摄像头的第一帧率下的第一视频帧序列以及来自第二摄像头的第二帧率下的第二视频帧序列进行校准，其中，所述第一帧率比所述第二帧率快；基于3d关键帧重建、约束3d运动估计以及3d关键帧内插，创建三维(threedimension，简称3d)模型；在所述第一帧率下生成多个合成的图像帧序列，其中，所述多个合成的图像帧序列与多个视点相关，所述多个视点不同于与所述第一摄像头相关的视点。所述校准可以采用多个内参数和多个外参数，从而产生校准的第一帧序列和校准的第二帧序列。所述校准也可以包括以下至少一个：基于所述多个内参数为所述第一视频帧序列和所述第二视频帧序列校正透镜失真；基于所述多个内参数和所述多个外参数，通过将所述第一视频帧序列和所述第二视频帧序列变形来启用几何校准，从而将所述第一视频帧序列和所述第二视频帧序列与参考序列对齐。所述多个内参数和所述多个外参数包括以下至少一个：所述第一摄像头的摄像头内参数以及所述第二摄像头的摄像头内参数；所述第一摄像头和所述第二摄像头的透镜失真系数；所述第一摄像头和所述第二摄像头的外在的6自由度的位置和姿势。
在一示例性实施方式中，所述3d关键帧重建还包括：基于校准的第二视频帧序列重建3d关键帧的序列；基于所述3d关键帧的序列、内参数以及外参数确定动态的运动参数；基于所述3d关键帧的序列和所述动态的运动参数为第一帧率下的虚拟摄像头视点建立内插3d帧的序列。生成多个合成的图像帧序列还包括：通过纹理映射校准的常规帧率图像序列到高帧率动态3d模型，创建纹理3d模型序列；基于所述纹理3d模型序列，为虚拟的高速摄像头视点构建合成的图像帧序列。生成合成的图像帧序列可以包括：利用多视点视频降噪中的时空相干性。
在一实施例中，一种系统包括：以第一速度采集图像的第一摄像头；以第二速度采集图像的第二摄像头，其中，所述第二速度比所述第一速度慢；用于以所述第一速度模拟除所述第一摄像头的视点之外的多个视点的多视点系统。利用所述第一摄像头和所述第二摄像头的图像采集结果采样各自的时间外观差异。利用抽样图像结果中的时空相干性，以所述第一速度从不同于所述第一摄像头的所述视点的视点进行视频流合成。所述第一摄像头可以是以所述第一速度采集图像的多个第一摄像头中的一个，所述第二摄像头可以是以所述第二速度采集图像的多个第二摄像头中的一个，其中，所述多个第一摄像头包括的摄像头数量少于所述多个第二摄像头包括的摄像头数量。在另一实施例中，所述多个第一摄像头包括的摄像头数量大于或等于所述多个第二摄像头包括的摄像头数量。所述第一帧率在每秒数百帧这一范围之内或之上，所述第二帧率在每秒数十帧这一范围之内。所述第一摄像头和所述第二摄像头的位置和姿势可以随场景改变，但是在场景采集期间相对于彼此是保持固定的。在第一场景采集之后以及第二场景采集之前，所述第一摄像头和所述第二摄像头的位置和姿势也可以彼此相对而改变。
附图说明
合并到说明书并作为说明书一部分的附图用于对本发明的原则进行示意性阐述，并不用于将本发明限制于此处所述的特定实施方式。如无特殊说明，所述附图未按比例绘制。
图1为本发明一实施例提供的示例方法的流程图。
图2为本发明一实施例提供的系统的框图。
图3为本发明一实施例提供的示例性多视点视频方法的流程图。
图4为本发明一实施例提供的视频对齐过程的流程图。
图5为本发明一实施例提供的三维模型过程的流程图。
图6为本发明一实施例提供的视点创建过程的流程图。
图7为本发明一实施例提供的示例性多视点系统方式的框图。
图8a和图8b示出了新混合系统方式的一实施例的工作流程。
图9a和图9b示出了提供的混合系统的另一实施例的工作流程。
图10为一实施例提供的示例性虚拟高速摄像头视点合成图像帧的框图。
具体实施方式
此处具体参考本发明的各实施例以及附图说明中所描述的示例。结合这些实施例中所描述的内容，应理解，其并非将本发明限于该实施例。相反，本发明意在涵盖这些替换、修改以及等同替换，其依然包含在本发明权利要求的精神和范围内。此外，在下面对本发明进行的具体描述中，为了彻底理解本发明，还提出了很多具体的细节。然而，应理解的是，即使没有这些具体的细节，也可以实施本发明。在其他情况下，没有对已知的方法、流程、组件以及电路进行详细描述，以免对本发明的各方面造成不必要的理解问题。
提供了一种系统和方法，其有利于实现用于高速运动分析的有效的多视点混合系统。所述多视点混合系统可以包括较少高速摄像头(例如，每秒1000帧数等)与及大量常速的摄像头(例如，每秒30帧数等)的组合，从而提供比所述系统包括的高速摄像头更多的高速视点。不同于之前有限的方法(例如，旨在静态图像、未利用多视点视频降噪中的时空相干性等)，所述新多视点混合方式利用常速摄像头和高速摄像头的抽样图像中的时空相干性提高高速运动视点的数量。在一实施例中，将一个或几个高速摄像头采集的所述高速运动“转移”到其他视点，以创建一组虚拟的高速摄像头视点，从而能够从多个对应的视点中获得高速运动信息。
在一实施例中，对接收的高速视频流以及常速视频流进行校准。采用与所述常速摄像头有关的校准的常速视频流，以常规帧率重建3d关键帧。采用这些重建的3d关键帧以及所述高速摄像头采集的2d高帧率图像，对控制两个相邻的3d关键帧之间的运动的最佳动态模型参数进行估计。利用该动态模型参数以高帧率插入中间的3d帧，然后采用所述插入的3d帧，合成来自高帧率下其他视点的合成图像帧序列中的2d图像。可以同时处理多个视点采集的多个图像序列，从而提高图像质量。可以将该处理后的图像纹理映射到所述用于在虚拟的高速摄像头视点下合成2d图像的重建后的3d模型。因此，通过利用所述混合系统中的单个或几个高速摄像头以及多个常速摄像头实现有效的带宽利用以及低硬件成本的方式，得到所述虚拟的高速摄像头视点的结果。
图1为一实施例提供的示例方法100的流程图。首先对示例方法100的操作进行大体概述，多视点方式的额外描述将在后面的具体描述中给出。
在块110中执行视频摄像头过程。该视频摄像头处理包括：多个摄像头进行场景采集，生成与多个摄像头分别对应的多个视点相关的多个视频帧序列。在一实施例中，该多个视频帧序列包括第一速度或帧率下的第一视频帧序列以及第二速度或帧率下的第二视频帧序列，所述第二速度或帧率低于所述第一速度或帧率。所述第一速度或帧率比所述第二速度或帧率快。所述第一视频帧序列以及所述第二视频帧序列可以包括几乎同时采集的动态场景的图像(例如，跑动的行人、车祸测试等)。
应理解的是，新多视点混合方式与多个实施方式兼容。第一帧率可以是较高速的帧率，第二帧率可以是常规帧率。第二摄像头可以为多个成本较低的比较密集的常速摄像头中的一个(例如，用于测量多个视点的空间外观差异等)，而第一摄像头为高速摄像头(例如，用于采样一个视点下的时间外观差异)。
在块120中执行多视点视频方法或过程。不需要该视点下的物理摄像头，该多个视点或多视点过程生成来自额外视点的帧序列信息(例如，视频流或帧序列等)。将第一视频帧序列和第二视频帧序列进行时间同步。对于一个给定的时间戳，其各自的帧可以位于该时间戳下的第一视频序列以及该时间戳下的第二视频序列。在一实施例中，利用与第一视频帧序列相关的信息采样时间外观差异，其中，该第一视频帧序列是由第一摄像头在第一帧率或速度下采集的。利用与第二视频帧序列相关的信息测量空间外观差异，其中，该第二视频帧序列是由与第二摄像头在第二帧率或速度下采集的。然后利用这些抽样图像中的时空相干性以该第一帧率或速度创建或生成合成的视频序列。可以从不同于该第一摄像头的视点的视点的角度来看该合成的视频序列。
应理解的是，可以在多个帧率和配置方式下实施该新多视点混合成像方式。在一实施例中，一个帧率比另一个快一点。为了便于描述，下面的描述都是就高速帧率的高速摄像头以及常速帧率的常速摄像头而言给出的。
图2是用于多视点高速运动采集的有成本效益的混合系统的一实施例提供的系统200的框图。系统200包括高速摄像头(例如，211、212、213、214等)、常速摄像头(例如，221、222、223、231、232、233、241、242、243、251、252、253等)以及多视点系统290。该摄像头从场景270进行图像采集，该场景可以包括静态物体(例如，树272等)以及动态物体(例如，跑步的行人272等)。多视点系统290包括执行各种操作的处理组件291以及存储器组件292，其中，这些操作与从除了高速物理摄像头(例如，211、212、213、214等)的视点以外的视点以高速度或帧率创建或合成视频或图像帧序列有关。关于其他的多视点过程方式的描述，会在后面部分详细给出。
应理解的是，新多视点方式与多种配置和实施方式兼容。在一实施例中，可以采用m个常速摄像头和n个高速摄像头进行目标动态场的采集，其中，n≥1。m个常速摄像头的数量可能大于n个高速摄像头的数量。相应地，生成多个常规帧率下的m个帧序列以及高帧率下的n个帧序列。常规帧率序列来自常速摄像头，其用于在常规帧率(例如，每秒24帧数、每秒30帧数等)下从特定的角度不断记录所述目标场景的外观。高帧率序列来自高速摄像头，其用于在高帧率(例如，每秒500帧数、每秒1000帧数等)下从特定的角度不断记录所述目标场景的外观。
将m个常速摄像头以及n个高速摄像头中的多个一起置于混合成像系统(例如，类似于系统200等)中。在一实施例中，只要存在另一个常速摄像头lj，并且其与li重叠的视野(其由阈值tr所确定)足够大，就可以将常速摄像头li随意置于3d真实世界中。只要存在另一个常速摄像头lj，并且其与hi重叠的视野(其由阈值th所确定)足够大，就可以将高速摄像头hi随意置于3d真实世界中。高速摄像头可以较为稀疏地分布在该混合成像系统中，而常速摄像头可以更密集地分布在于该系统中。
就常速摄像头和高速摄像头的位置移动而言，对于单一的动态场景，混合成像系统中的常速摄像头和高速摄像头的相对位置和姿势在每次记录中是保持固定的。然而，记录期间，该混合成像系统自身的位置和姿势可能会改变(只要相对位置和姿势大体上不变)。在一示例性实施方式中，整个混合成像系统可以安装在用于记录该场景的移动平台上，该平台可以移动，但是平台上的摄像头的位置相对于另一个是保持相同的。对于不同动态场景的采集而言，常速摄像头和高速摄像头的相对位置和姿势可以在场景之间进行重新配置。
图3为一实施例提供的示例性多视点视频方法300的流程图。在一实施例中，多视点视频方法300类似于块120中执行的多视点视频方法。
在块310中执行对齐过程。该对齐过程可以包括对摄像头的校准操作或者采集过程的结果(例如，该结果类似于块110的结果)。该对齐过程可以包括多个视点，在多个摄像头上进行该校准。可以采用多个内外参数将一组时间同步的图像帧对齐。可以以第一帧率(例如，高速帧率等)和第二帧率(例如，常规帧率等)记录该图像帧，并在给定时间戳内将其同步。
在块320中执行三维(threedimension，简称3d)模型过程。该3d模型过程包括：重建与视频采集过程中采集的场景有关的3d模型(例如，类似于块110等)。该3d模型过程可以包括：三维3d关键帧重建、约束3d运动估计以及3d关键帧内插。关于其他的3d模型过程的描述，会在后面部分详细给出。
在块330中执行合成的图像帧序列过程。在一实施例中，创建或合成多个帧序列。可以以比第二帧率(例如，常规帧率等)快的帧率(例如，高速帧率等)合成该多个合成的图像帧序列。关于其他的合成图像帧序列过程的描述，会在后面部分详细给出。
图4为一实施例提供的视频对齐过程400的流程图。视频对齐过程400类似于块310的视频对齐过程。在一实施例中，执行摄像头校准过程。多个摄像头校准的输出可以包括第一帧率(例如，高帧率等)下的校准的第一帧序列以及第二帧率下的校准的第二帧序列(例如，常规帧率图像序列)，其中，在给定时间戳内，对于给定的真实3d场景点，对应的2d图像点可以位于该校准的第一帧序列和该校准的第二帧序列中。该视频对齐过程400包括下列操作中的一个或多个。
在块410中，为第一帧序列以及第二帧序列进行透镜失真的校正。
在块420中，通过采用外参数和内参数对第一(例如，高的、更快的等)帧序列中的帧以及第二(例如，常规的、更慢的)帧序列中的帧进行几何对齐，进行几何校正。可以通过多种方式获得内外参数。在一实施例中，进行校准预处理，从而计算常速摄像头和高速摄像头的内外参数。可以利用校准预处理计算摄像头内参数、透镜失真系数以及常速摄像头和高速摄像头的外在的6自由度的位置和姿势。在其他实施例中，可以通过摄像头制造获得一些内参数，而其他的内外参数则可以通过校准预处理进行计算。
在块430中，也可以执行几何校正和辐射校正等其他可选的操作。例如，可以执行诸如辐射校正常规帧率和高速帧率图像帧的外观等操作。
图5为本发明一实施例提供的三维(threedimension，简称3d)模型过程500的流程图。三维模型过程500类似于块320的三维模型过程。在一实施例中，在3d运动及恢复过程中处理对齐过程中的校准的第一帧率图像序列以及校准的第二帧率图像序列(例如，类似于块310等)。该3d运动及恢复过程重建了动态3d模型，其用于以较快的帧率(例如，高速帧率等)进行动态场景的采集。
在块510中执行3d关键帧重建。采用校准的常规帧率图像序列的帧，在常速摄像头的相同常规帧率下重建3d模型序列(例如，采用标准的多视点立体声(multi-viewstereo，简称mvs)方法等)。3d模型序列包括3d关键帧的序列。第i个常速摄像头在时间戳t内采集的校准的常规帧率图像帧记为
在块520中执行约束3d运动估计。可以采用动态的3d运动模型估计一组3d关键帧的运动参数。动态的3d运动模型的采用是基于假设连续的关键帧之间是连续且平稳的运动(由于现实物体运动的特征，所以这通常是合理的)。该运动模型可以是参数化或非参数化的。时间戳t内重建的3d关键帧为
f(i1.,i2)为测量图像i1和图像i2之间的图像差异的函数。图像差异测量函数的示例包括：方差和(sumofsquareddifference，简称ssd)、绝对差和(sumofabsolutedifference，简称sad)、图像结构相似度(structuralsimilarity，简称ssim)等。上述图像差异适用于n个高速摄像头。
在块530中执行3d关键帧内插。对于给定的虚拟高速摄像头视点，采用近似的最佳动态3d运动参数θ*，基于连续的3d关键帧序列建立或计算中间的内插3d帧序列。这一过程类似于运动的2d图像中的关键帧内插。该内插的3d帧序列为虚拟高速摄像头视点采集的动态场景提供了高帧率动态3d模型。然后，将该内插的3d帧序列用作对视点合成的输入，从而生成虚拟高速摄像头视点的合成的图像帧序列。
图6为一实施例提供的视点创建过程600的流程图。在一实施例中，视点创建过程600类似于块330的视点创建过程。
在块610中执行多视点视频增强过程。采用多个视点采集的校准的图像帧，增强视频质量(例如，尤其是视频降噪等)。由于帧的曝光时间很短，所以该步骤通常用于高速成像。可以利用并扩展各种方式的使用，实现多视点视频增强。具体地，采用多个视点之间的相关性以及多个视频流内和之间的时空相干性提高信噪比。
应理解的是，该新多视点方式可以随意应用于各个实施方式中。可以根据各个权衡决定改变该新多视点方式。在另一实施例(例如，类似于图9a和图9b中所述的工作流程等)中，可以忽视多视点视频增加这一步骤，从而能够减少处理量，但是这可能会导致噪声图像。
在块620中执行3d模型纹理过程。将增强视频的图像帧几何映射到目标物体的内插3d帧的表面，从而采用标准的计算机图形技术生成纹理的3d模型序列。在一示例性实施方式中，忽略多视点视频增强这一步骤，可以直接在模型纹理步骤中采用多个视点采集的校准的图像帧生成纹理的3d模型序列。
在块630中执行虚拟高速摄像头视点的合成图像帧序列过程。对于给定的虚拟高速摄像头视点，基于纹理的3d模型序列采用标准的计算机图像方法生成对应的合成图像序列。
图7为一实施例提供的示例性多视点系统方式的框图。采用混合系统合成虚拟高速摄像头(h2)，其中，该混合系统包括两个常速摄像头(l1和l2)以及一个高速摄像头(h1)。重建的3d模型序列对3d关键帧进行利用。图7给出了上述流程的一个示例，其中，在该混合成像系统中采用两个常速摄像头(例如，l1和l2)以及单个高速摄像头(例如，h1)。将3d帧内插之后，通过将恢复的3d帧投影到对应虚拟高速摄像头的图像空间，合成其他的虚拟高速摄像头视点(例如，h2)。
图8a和图8b描述了一实施例提供的新混合系统方式800的一实施例的工作流程。所述新混合系统方式800包括三个模块：对齐模块810、3d及运动恢复模块840，以及视点合成模块850。对齐模块810接收常规帧率序列(例如，811到812)以及高帧率序列(例如，813到814)，并基于内参数831和外参数832进行多摄像头校准操作815。将生成的校准的常规帧率序列(例如，821到822)以及校准的高帧率序列(例如，823到824)转发至3d及运动恢复模块840。3d关键帧操作841利用校准的常规帧率序列(例如，821到822)生成3d关键帧842。将该3d关键帧842转发至同样也接收校准的高帧率序列(例如，823到824)的约束3d运动估计843。该约束3d运动参数估计843生成动态的3d运动参数844。将动态的3d运动参数844、3d关键帧842以及虚拟高速摄像头视点信息871输入到生成内插3d帧序列872的3d关键帧内插845。然后，执行视点合成操作850。在多视点视频增强操作851中采用校准的常规帧率序列(例如，821到822)以及校准的高帧率序列(例如，823到824)，生成增强的图像序列852。在3d模型纹理853中采用增强的图像序列852以及内插的3d帧序列872，生成合成的图像帧序列857，其中，3d模型纹理853生成了用于虚拟高速摄像头合成855中的纹理的3d模型序列854的信息。
图9a和图9b示出了提供的混合系统的另一实施例的工作流程。在图9a和图9b所述的另一实施例中，可以忽略多视点视频增强这一步骤。类似于混合系统方式800，新混合系统方式900包括三个模块：对齐模块910、3d及运动恢复模块940，以及视点合成模块950。对齐模块910接收常规帧率序列(例如，911到912)以及高帧率序列(例如，913到914)，并基于内参数931和外参数932进行多摄像头校准操作915。将生成的校准的常规帧率序列(例如，921到922)以及校准的高帧率序列(例如，923到924)转发至3d及运动恢复模块940。3d关键帧操作941利用校准的常规帧率序列(例如，921到922)生成3d关键帧942。将该3d关键帧942转发至同样也接收校准的高帧率序列(例如，923到924)的约束3d运动估计943。该约束3d运动参数估计943生成动态的3d运动参数944。将动态的3d运动参数944、3d关键帧942以及虚拟高速摄像头视点信息971输入到生成内插3d帧序列972的3d关键帧内插945。然后，执行视点合成操作950。在3d模型纹理953中采用校准的常规帧率序列(例如，921到922)、校准的高帧率序列(例如，923到924)以及内插的3d帧序列972，生成合成的图像帧序列957，其中，在3d模型纹理953生成了用于虚拟高速摄像头合成955中的纹理的3d模型序列954的信息。在一示例性实施方式中，忽略多视点视频增强步骤可以减少处理操作，但是可能会引起噪声图像。
图10是混合系统中的示例性虚拟高速摄像头视点合成的框图。图10示出了包括3d及运动恢复模块和视点合成模块的一个实施方式中的主要步骤。在混合成像系统中采用两个常速摄像头l1和l2重建3d模型序列。该重建的3d模型序列称为3d关键帧。在3d帧内插之后，通过将恢复的3d帧投影到对应虚拟高速摄像头的图像空间，合成其他的虚拟高速摄像头视点(例如，h2等)。
应理解的是，具有此处所述纹理的重建的3d模型序列可以在很多应用(例如，视频重光照、高分辨率视频马赛克、虚拟物体插入、自由视点视频、3d远程呈现/头像、电子商务等)中得以利用。新混合方式有助于多视点高速运动分析的具有成本效益的成像。通过共同采用常速摄像头(例如，成本较低且分布较紧密，从而测量多视点之间的空间外观差异等)以及一个或多个高速摄像头(例如，用于采样一个或多个视点之间的时间外观差异等)，该方式能够解决各种问题以及限制(例如，带宽成本、硬件成本、图像质量成本、有限的高速视点数量等)，这些问题及限制通常与传统的多视点高速运动采集方式(例如，启动高精度时间偏移下的摄像头所需的昂贵且特殊的硬件、只能处理单个视点、要求密集分布的高速摄像头等)有关。通过共同采用多个常速摄像头以及一个或多个高速摄像头，该新多视点方式能够重建3d关键帧，以及估计动态场景的运动。采用3d关键帧及运动有效地生成中间的内插3d帧，其能够保证一组虚拟视点的高帧率下的图像帧序列的有效合成。通过多个常规帧率图像序列和高帧率图像序列实现多视点视频增强。通过共同采用多个常规帧率图像序列以及一个或多个高帧率图像序列，该新方式能够提高每个图像序列的信噪比，由于有限的曝光时间，这极其有利于高速成像。
可以在诸如程序模块等计算机可执行指令的广义语境下讨论此处所述的实施例，这属于一个或多个计算机或其他设备所执行的计算机可读存储介质的一些形式。通过举例而非限制，计算机可读存储介质可以包括非瞬时性计算机可读存储介质。非瞬时性计算机可读存储介质包括所有除瞬时或传播信号以外的计算机可读介质。计算机可读存储介质包括可以在任一用于信息存储的方法或技术中得以实现的易失性和非易失性以及可移动和非可移动的介质，例如，计算机可读指令、数据结构、程序模块或其他数据。通常，程序模块包括执行特定任务或实现特定抽象数据类型的惯例、程序、物体、组件、数据结构等。在各实施例中，可以按需对程序模块的功能进行组合或分布。
在一些实施例中，一种设备包括：接收与三维(threedimension，简称3d)场景有关的输入的处理电路。所述输入包括与第一摄像头对应的第一帧率下的第一帧序列相关的信息以及与第二摄像头对应的第二帧率下的第二帧序列相关的信息。所述第一帧率比所述第二帧率快，将所述第一帧序列和所述第二帧序列中的记录在给定时间戳上的时间同步的图像帧对齐。创建用于所述第一帧率下的动态场景的三维(threedimension，简称3d)模型，在所述第一帧率下生成与多个额外视点相关的合成的图像帧序列。另外，该实施例可以包括存储处理电路的信息的存储器。
在其他实施例中，提供了以第一速度采集图像的第一摄像头、以第二速度采集图像的第二摄像头，其中，第二速度比第一速度慢，以及用于以所述第一速度模拟除第一摄像头的视点以外的多个视点的多视点系统。利用第一摄像头和第二摄像头的图像采集结果采样各自的时间外观差异，利用抽样图像结果中的时空相干性，以第一速度对不同于第一摄像头的视点的视点的进行视频流合成。
尽管本文中已经揭示某些优选实施例和方法，但所属领域的技术人员将从前述揭示内容显而易见，在不脱离本发明的精神和范围的情况下可以对此类实施例和方法进行变化和修改。希望本发明将仅限于所附权利要求书以及可适用法律的规则和原理所需的范围。
- 还没有人留言评论。精彩留言会获得点赞！