用于跟踪摄像机姿态的方法和系统与流程

本发明涉及一种用于跟踪视频摄像机(video camera)的姿态的方法和系统，特别是诸如电视(tv)摄像机或电影(film)摄像机(也称为影片(movie)摄像机或影院(cine)摄像机)的专业数字视频摄像机的姿态。所述系统包括可以被配置为附接在摄像机的顶部上的适配器的设备。具体地，可以在涉及视觉效果(vfx)、增强现实(ar)和/或人工背景的场景的拍摄期间跟踪摄像机姿态，例如在使用色度键控屏幕(例如，绿色屏幕或蓝色屏幕)、视频屏幕(例如，高清led视频墙)或现场(on-set)虚拟制作(osvp)的片场(set)处。有利地，该方法和系统不需要为了跟踪摄像机的姿态而将任何附加标记或传感器分布在片场处。另外，可以生成拍摄(take)的深度图像以允许在相对于场景处的真实对象和演员的正确位置处(即，在其后面或前面)添加视觉效果或虚拟对象。

背景技术：

1、很长时间以来(例如在新闻广播和电影中)一直使用色度键控屏幕来从视频中移除和替换背景。前景镜头(footage)中的颜色范围被设置为透明，允许单独拍摄或计算机生成的背景镜头或静态图像(虚拟背景)被插入到场景中。如果摄像机在拍摄期间移动，则为了将逼真的虚拟背景插入到视频中，图形系统需要精确地知道摄像机如何移动。然后，可以在每个视频帧中的正确位置呈现虚拟背景的对象和效果。

2、最近，所谓的现场虚拟制作(osvp；也称为虚拟制作或虚拟演播室)已经被引入用于tv和电影制作。该技术使用大视频屏幕(例如，led面板)作为片场的背景，在其上可以实时显示视频或计算机生成的图像。可以使osvp片场非常接近真实片场或室外位置的外观。为了从移动摄像机的视角正确地呈现视差深度线索，系统需要基于来自低延迟实时运动捕获技术的数据对背景图像进行匹配移动来跟踪摄像机。匹配移动用于跟踪摄像机在场景的快照(shot)中的移动，以便可以在3d动画程序中重现相同的虚拟摄像机移动。当新的动画元素被合成回到原始实景(live-action)快照中时，它们可以以完全匹配的视角出现并且因此是无缝的。

3、匹配移动的第一步是摄像机跟踪。在摄像机用于拍摄其中使用led面板来创建人工背景的场景时，跟踪摄像机的姿态和轨迹是已知的。由此，投影在视频墙上的背景可以基于当前摄像机姿态实时地适配以创建更逼真的3d效果。这通常通过在片场中提供跟踪摄像机并连续确定其姿态的多个传感器来实现。这些传感器例如可以包括摄像机和激光跟踪器。另选地，可以提供多个标记，其位置由设置在视频摄像机上的传感器捕获或从摄像机捕获的图像导出。姿态包括摄像机的位置和定向，特别是包括摄像机在六个自由度(6dof)上的位置和定向。

4、期望提供更简单的解决方案来跟踪摄像机姿态，特别是不需要在每个场景中提供多个传感器或标记，并且不需要使它们在片场的整个拍摄中以高精度保持它们的位置和定向。

5、此外，期望不仅跟踪摄像机的姿态，而且还在拍摄期间确定对象和演员的3d位置和路径。这样的信息将有助于以逼真的方式(例如在后期制作期间)将3d vfx或ar添加到场景，即在真实对象和演员周围的位置。如果实时可用，则该信息也将是有帮助的，例如用于容易地确定场景中的对象和演员的位置和路径是否允许添加计划的3d vfx或ar，或者是否需要重新拍摄场景。

6、3d vfx或ar的使用还可以包括将来自几个拍摄的镜头合并到单个场景中。例如，这可以包括将(真实)演员作为虚拟效果添加到场景，使得来自不同拍摄的演员需要真实地彼此交互。在这些情况下，正确的3d位置和路径是必要的，以便避免重拍或不切实际的交互。

7、已知的是，飞行时间(tof)摄像机可以用于特别是具有短程测量的室内应用，以生成可以用于类似应用(例如由激光扫描仪生成的点云)的网格。与传统扫描系统相比，基于tof传感器芯片的系统的主要优点是能够在非常短的时间内同时获取多个3d点。这意味着这些系统即使在低分辨率的情况下也具有相对高的数据采集速率(与具有非常高分辨率的传统图像传感器相比)。另外，所获取的空间中的3d点例如以矩形形式均匀地布置，这与传统扫描系统相反，传统扫描系统递送不适合于后期处理或部署slam(同时定位和地图构建)算法的“扫描轨迹”。

8、欧洲专利申请ep21176387.5公开了一种用于生成环境的数字三维表示的紧凑现实捕获设备，该设备包括被配置为捕获环境的三维(3d)点云数据的飞行时间(tof)摄像机的布置和被配置为提供环境的二维(2d)图像数据的多个rgb摄像机。使用其3d摄像机和2d摄像机两者，设备可以被配置为连续地确定其姿态，即跟踪其在环境中的当前位置和定向。

技术实现思路

1、因此，本发明的目的是提供一种改进的姿态跟踪系统和方法。

2、本发明的另一个目的是提供一种改进的姿态跟踪系统和方法，用于跟踪拍摄电影片场(特别是包括色度键控或现场虚拟制作的片场)的数字摄像机的姿态。

3、特定目的是提供这样的姿态跟踪系统和方法，其需要较不复杂的设置，特别是没有传感器或标记分布在电影片场中。

4、另一个目的是提供这样的姿态跟踪系统和方法，以便于以正确的空间关系将虚拟效果或增强现实添加到电影片场处的对象和演员，特别是允许捕获片场的3d数据(诸如深度图像)的系统和方法。

5、特定目的是提供允许同时捕获姿态和3d数据的这种姿态跟踪系统和方法。

6、另一个目的是提供一种作为系统的一部分的改进的姿态跟踪设备，其中该设备小、重量轻并且没有移动部件，使得更容易建造、需要更少的维护并且通常更耐用。

7、另一个目的是提供这样的姿态跟踪设备，其可以容易地附接到专业数字摄像机而不干扰摄像机工作。

8、本发明的第一方面涉及一种姿态跟踪系统，所述姿态跟踪系统用于在电影或tv制作的片场拍摄场景时连续确定视频摄像机(特别是数字视频摄像机)的姿态。所述系统包括具有被配置为提供环境的2d图像数据的一个或更多个2d摄像机的成像单元。根据本发明的该方面，所述系统包括姿态跟踪设备，所述姿态跟踪设备包括所述成像单元和至少一个飞行时间(tof)摄像机，所述tof摄像机包括传感器阵列和一个或更多个激光发射器，所述tof摄像机被配置用于捕获所述片场的三维点云数据。所述姿态跟踪设备被附接到(或被配置为附接到)所述视频摄像机，使得所述至少一个tof摄像机被定向为捕获由所述视频摄像机拍摄的同一场景的3d点云数据。姿态跟踪设备包括定位单元，所述定位单元被配置为执行姿态确定功能，所述姿态确定功能包括通过所述一个或更多个2d摄像机连续捕获所述环境的2d图像数据，至少基于所述2d图像数据和/或所述3d点云数据连续确定所述视频摄像机的姿态，以及基于所确定的姿态生成姿态数据。姿态跟踪设备包括数据接口，所述数据接口用于提供与所述视频摄像机和/或vfx引擎的数据连接，例如，所述vfx引擎是所述姿态跟踪系统或所述电影或tv制作的vfx引擎，并且所述姿态跟踪设备被配置为向所述视频摄像机和/或所述vfx引擎提供所述姿态数据。

9、姿态跟踪设备可以固定地附接到视频摄像机或具体实现为摄像机的一部分。另选地，它可以连接到摄像机。可选地，它可以被模块化地构建，即包括多个单独的模块，每个模块可连接到摄像机。可选地，该系统可以包括视频摄像机。

10、根据所述系统的一个实施方式，姿态跟踪设备包括惯性测量单元(imu)，其中姿态确定功能包括使用imu连续捕获惯性数据，并且也基于所述惯性数据来生成所述姿态数据。

11、根据所述系统的另一实施方式，所述姿态跟踪设备包括位置敏感设备，例如包括全球导航卫星系统(gnss)接收器和/或罗盘(compass)，其中，所述姿态确定功能包括使用所述位置敏感设备连续捕获位置数据，并且也基于所述位置数据来生成所述姿态数据。

12、根据所述系统的另一实施方式，姿态确定功能包括一个或更多个tof摄像机连续捕获所述环境的三维点云数据，并且也基于所述三维点云数据来生成所述姿态数据。

13、根据所述系统的另一实施方式，所述一个或更多个2d摄像机被配置为以每秒至少5次的操作的速率捕获所述2d图像数据，例如以每秒至少25次操作的速率捕获所述2d图像数据。

14、根据所述系统的另一实施方式，定位单元被配置为在六个自由度上连续跟踪所述视频摄像机的所述姿态。

15、根据所述系统的另一实施方式，所述姿态跟踪设备被配置为将所述片场的所述三维点云数据和所述姿态数据提供给所述vfx引擎，并且生成所述姿态数据和所述片场的所述三维点云数据，使得它们能够被所述vfx引擎用于将视觉效果、增强现实和/或人工背景应用于所述场景。所述片场可选地包括至少一个色度键控屏幕或视频屏幕和/或是虚拟演播室。

16、根据所述系统的另一实施方式，所述片场包括显示所述场景的人工背景的视频屏幕，其中，所述姿态跟踪设备被配置为至少实时地将所述姿态数据提供给所述vfx引擎，所提供的姿态数据允许实时地将所述视频屏幕上的显示适配于所述数字视频摄像机的姿态。可选地，所述姿态跟踪设备被配置为还实时地将所述片场的所述三维点云数据提供给所述vfx引擎。

17、根据系统的另一实施方式，所述场景涉及存在于所述片场的对象和/或演员，并且由所述至少一个tof摄像机捕获的所述片场的所述三维点云数据包括所述对象和/或演员的点云数据。例如，所述片场包括用于在后期制作中将视觉效果、增强现实和/或人工背景添加到所述场景的色度键控屏幕，所述对象和/或演员在所述色度键控屏幕前面。如果对象和/或演员在场景的拍摄期间移动，并且所述姿态跟踪设备可以被配置为：检测所述三维点云数据中的移动对象和/或演员，跟踪拍摄过程中所述移动对象和/或演员的位置，将所述片场的所述点云数据提供给vfx引擎，所述点云数据包括所述移动对象和/或演员的跟踪位置以及时间戳，例如使得可以使用时间线滑块使所述对象和/或演员的移动可见。

18、可选地，包括所述对象和/或演员的所述点云数据的所述片场的所述三维点云数据被提供给所述vfx引擎，使得所述三维点云数据可以被所述vfx引擎用来确定要应用于所述场景的视觉效果相对于所述对象和/或演员的三维位置的三维位置。在这种情况下，有利地，包括所述对象和/或演员的所述点云数据的所述片场的所述三维点云数据被实时提供给所述vfx引擎。

19、根据系统的一个实施方式，姿态跟踪设备包括布置在所述设备上以提供所述片场的不同部分的2d图像数据的至少三个2d摄像机。

20、根据该系统的另一实施方式，至少一个2d摄像机被配置为高清摄像机并且被布置为提供由摄像机拍摄的所述场景的2d图像数据。

21、根据系统的另一实施方式，至少一个2d摄像机可以被配置为广角摄像机布置或鱼眼摄像机布置，例如两个或三个2d摄像机被配置为广角摄像机布置或鱼眼摄像机布置，所述广角摄像机布置或鱼眼摄像机布置包括高分辨率2d摄像机和广角或鱼眼镜头。例如，所述高分辨率2d摄像机和广角或鱼眼镜头被布置和配置为捕获覆盖围绕第一轴的360°的视场和围绕与所述第一轴垂直的第二轴的至少160°(例如至少190°)的视场的图像数据。

22、根据系统的另一实施方式，激光发射器被配置为发射红外光。在一个实施方式中，激光发射器的至少子集被配置为发射图案形式的光脉冲以生成所述光脉冲的反射的图案，其中，所述至少一个tof摄像机被配置用于使用所述反射的图案来捕获三维点云数据，特别是其中，所述激光发射器的子集包括光学透镜、光栅或网格以产生图案，和/或所述定位单元被配置为使用所述反射的图案的所述三维点云数据来执行用于同时定位和地图构建的tof slam功能。在另一实施方式中，所述激光发射器的至少子集被配置为发射漫射红外照明，其中，所述tof摄像机中的每一个的所述传感器阵列被配置为接收由所述一个或更多个激光发射器发射的漫射红外照明的反射，所述tof摄像机被配置为基于所接收的漫射红外照明的反射来生成强度图像，并且所述定位单元被配置为使用从所述tof摄像机接收的强度图像、特别是还使用2d摄像机的2d图像数据和/或定位单元的定位数据来执行视觉slam和/或tof-slam功能，以用于同时定位和地图构建。

23、根据另一实施方式，该系统包括vfx引擎，并且vfx引擎被配置为将视觉效果、增强现实和/或人工背景应用于场景，例如其中片场包括至少一个色度键控屏幕或视频屏幕和/或是虚拟演播室，并且使用至少所述姿态数据来生成和/或适配与所述视觉效果、所述增强现实和/或所述人工背景相关的vfx数据。可选地，所述姿态跟踪设备被配置为至少实时地向所述vfx引擎提供所述姿态数据，并且所述vfx引擎被配置为：实时地并且基于所述姿态数据来使在片场处的视频屏幕上显示的人工背景适配于所述数字视频摄像机的姿态；和/或使用所生成的vfx数据和由所述视频摄像机生成的视频流数据来生成实时反馈数据，并且将所述实时反馈数据实时地提供给在片场处的显示单元，特别是提供给所述姿态跟踪设备的显示单元，用于将所述实时反馈数据可视化为实时反馈视频。可选地，所述vfx数据与视觉效果相关，所述姿态跟踪设备被配置为还实时地将所述三维点云数据提供给所述vfx引擎，并且所述vfx引擎被配置为使用所述三维点云数据来生成所述vfx数据，例如用于限定所述视觉效果在所述实时反馈视频中的3d位置。

24、本发明的第二方面涉及一种用于跟踪视频摄像机在环境中的姿态的方法，其中环境包括电影或tv制作的片场，并且所述视频摄像机用于拍摄所述片场处的场景。该方法包括以下步骤：使用位于所述视频摄像机处的一个或更多个tof摄像机来连续捕获所述场景的3d点云数据；以及执行姿态确定功能，以生成用于所述视频摄像机的姿态数据。所述姿态确定功能由所述视频摄像机处的姿态跟踪设备执行，例如由根据第一方面所述的姿态跟踪系统的所述姿态跟踪设备执行。所述姿态确定功能包括：用一个或更多个2d摄像机连续捕获所述环境的2d图像数据，以及基于所述2d图像数据和/或所述3d点云数据来连续地生成与所述视频摄像机的姿态相关的姿态数据。所述方法进一步包括至少使用所述姿态数据来生成和/或适配与所述场景的视觉效果、增强现实和/或人工背景相关的vfx数据。

25、根据一个实施方式，所述场景涉及存在于所述片场的对象和/或演员(表演者)，并且由所述至少一个tof摄像机捕获的所述片场的所述3d点云数据包括所述对象和/或演员的点云数据，例如其中，所述片场包括所述对象和/或演员后面的色度键控屏幕(从tof摄像机的角度来看)。然后，还使用所述场景的所述3d点云数据来生成和/或适配所述vfx数据。

26、在一个实施方式中，包括对象和/或演员的点云数据的片场的3d点云数据用于确定要应用于场景的视觉效果相对于对象和/或演员的3d位置的3d位置，特别是其中实时确定对象和/或演员的3d位置。

27、在另一实施方式中，所述对象和/或演员在场景的拍摄期间移动，并且该方法包括：检测所述三维点云数据中的移动对象和/或演员，以及在拍摄期间跟踪所述移动对象和/或演员的位置。例如，所述场景的所述三维点云数据与所跟踪的位置一起被可视化，并且用户(例如，在后期制作中)能够使用时间线滑块来可视化对象和/或演员的移动。

28、根据一些实施方式，在捕获所述场景的所述视频流时，所述数字摄像机沿着轨迹移动通过所述环境，并且所述姿态数据还与所述视频摄像机的所述轨迹相关。

29、在一个实施方式中，片场包括用于将人工背景应用于所述场景的色度键控屏幕或视频屏幕。例如，场景包括在所述色度键控屏幕或视频屏幕前面的对象，并且所述对象和/或演员在所述视频摄像机沿着所述轨迹移动时移动。所述人工背景可以包括3d虚拟对象，诸如景观、移动虚拟对象或视觉效果。

30、根据一些实施方式，姿态确定功能包括使用imu和/或位置数据连续地捕获惯性数据，其中，生成所述姿态数据也基于所述惯性数据和/或位置数据。例如，所述姿态跟踪设备包括所述imu和/或用于捕获所述位置数据的gnss接收器。

31、根据一些实施方式，姿态跟踪设备包括所述一个或更多个2d摄像机和所述一个或更多个tof摄像机，并且也基于所述三维点云数据来生成所述姿态数据。

32、根据一些实施方式，生成和/或适配vfx数据由vfx引擎执行，其中来自摄像机的视频流数据由vfx引擎接收。

33、在一个实施方式中，也基于所述视频流数据来生成和/或适配vfx数据。在另一实施方式中，视频流数据和姿态数据由vfx引擎连续接收。在另一实施方式中，视频流数据包括作为元数据的姿态数据。在另一个实施方式中，该方法包括使用视频摄像机捕获场景的视频流，其中，视频流数据基于所述视频流来生成。

34、根据一些实施方式，片场包括用于将人工背景应用于所述场景的至少一个色度键控屏幕，该方法包括以下步骤：至少使用姿态数据生成与场景的人工背景相关的vfx数据；使用vfx数据和由视频摄像机生成的视频流数据生成实时反馈数据；将实时反馈数据提供给例如姿态跟踪设备的显示单元；以及将实时反馈数据实时可视化为实时反馈视频，例如将所述实时反馈数据实时可视化为实时反馈视频给所述视频摄像机的操作者，其中，在所述实时反馈视频中，所述人工背景被可视化在所述色度键控屏幕上。

35、根据一些实施方式，该方法包括实时地并且基于姿态数据，使在所述片场处的视频屏幕上显示的人工背景适配于所述视频摄像机的当前姿态。

36、根据一些实施方式，该方法包括以下步骤：使用所生成的vfx数据和由所述视频摄像机生成的视频流数据来生成实时反馈数据，将所述实时反馈数据实时提供给所述片场处的显示单元，例如提供给所述姿态跟踪设备的显示单元，并且将所述实时反馈数据可视化为实时反馈视频，例如其中，所述vfx数据与视觉效果相关，并且所述3d点云数据用于生成所述vfx数据，例如用于限定所述视觉效果在所述实时反馈视频中的3d位置。

37、根据一些实施方式，该方法包括以下步骤：基于所述vfx数据将视觉效果、增强现实和/或人工背景应用于所述场景，例如其中，所述片场包括至少一个色度键控屏幕或视频屏幕和/或是虚拟演播室。