用于图像处理的方法、设备和系统的制作方法
【技术领域】
[0001] 本发明涉及用于图像处理的方法、设备和系统。
【背景技术】
[0002] 本文中所提供的"【背景技术】"描述以对本公开的背景作一般性说明为目的。就其 描述程度而言，描述在【背景技术】部分的、目前署名的发明人的工作以及申请时未另限定为 现有技术资格的说明方面，既没有明确地也没有隐含地承认作为与本发明的相对的现有技 术。
[0003] 目前使用大的、高分辨率的图像和虚拟摄像机可以产生场景的放大图像。在这样 的系统中，捕获的唯一真实图像是大的、高分辨率的图像。放大图像是通过选择大的、高分 辨率的图像的一部分（也被称为裁剪（cut-out))完全电子地创建的。例如，可从4k或8k 图像获得高清晰度（HD)裁剪。裁剪的形状可改变，以改变所显示的得到的放大图像的透视 角（perspective)。这就允许电子地产生的放大图像以具有通过摇摄穿过场景的真实摄像 机捕获的图像的特点。产生这样的透视角校正的放大图像的方法在其可被称作为对比文件 1的GB1306050. 4中公开，通过引用将其内容结合于此。
[0004] 然而，伴随这些电子地产生的放大图像的问题是，因为实际上不是用真实摄像 机产生图像，故难以使用电视插图器（television illustrator)(还被称为屏幕标记器 (telestrator))系统处理放大的图像。屏幕标记器系统用于在现实生活的视频图像上产生 计算机生成的图像（例如，标记足球场上球员的越位位置）并且传统上依赖于将真实三维 (3D)场景中的特征映射成通过真实摄像机捕获的场景的二维（2D)图像中的特征。这允许 屏幕标记器确定计算机生成的图像的正确位置，该计算机生成的图像是基于捕获的视频图 像帧内的真实3D场景中的特征。本发明的目的是缓解这个问题。
【发明内容】
[0005] 在一个方面中，本发明提供一种用于将图形（graphic)叠加在从场景的第一图像 的裁剪生成的第二图像上的设备，该裁剪表示虚拟摄像机的视场（field of view)，该设备 包括：接收器电路，被配置为接收第二图像和一组裁剪拐角坐标（corner coordinate),每 一个裁剪拐角坐标给出在针对第一图像限定的第一二维（2D)坐标系中的裁剪的拐角点的 位置；单应性确定电路，被配置为从一组裁剪拐角坐标确定在裁剪内限定的第一 2D坐标系 的坐标与针对第二图像限定的第二2D坐标系的坐标之间的单应性（homography);特征确 定电路，被配置为从单应性、从表示针对场景限定的三维（3D)坐标系与针对第一图像限定 的第一 2D坐标系之间的关系的摄像机矩阵、以及从限定场景的3D坐标系中的场景的特征 的场景的虚拟3D图（map)来确定虚拟摄像机的视场内的场景的虚拟3D图的特征；图形生 成器电路，被配置为从确定的虚拟3D图的特征生成图形；以及图形叠加电路，被配置为将 生成的图形叠加在第二图像上。
[0006] 前述段落被提供用于一般性介绍，并不旨在限制下述权利要求的范围。通过参考 以下结合附图的详细描述将更好地理解所描述的实施方式和另外的优点。
【附图说明】
[0007] 当结合附图考虑时，通过参照以下示例性实施方式的详细描述，本发明更全面的 理解及本发明容易获得的其伴随的优点将会变得更好理解，在附图中
[0008] 图1示出了通过摄像机捕获的原始图像的裁剪；
[0009] 图2示出了从裁剪生成的放大图像；
[0010] 图3示出了裁剪的拐角点；
[0011] 图4示出了根据实施方式的虚拟摄像机裁剪生成器；
[0012] 图5示出了根据实施方式的屏幕标记器；
[0013] 图6示出了场景的虚拟3D图；
[0014] 图7示出了应用了屏幕标记器特征的放大图像；
[0015] 图8示出了用于操作屏幕标记器的处理；
[0016] 图9示出了用于控制放大图像的生成的方法；
[0017] 图10示出了其中逐渐改变用于生成放大的图像的虚拟摄像机的偏转（yaw)、俯仰 (pitch)、横滚（roll)和缩放（zoom)的处理；
[0018] 图11示出了其中记录虚拟摄像机的运动序列的方法；
[0019] 图12示出了表示记录的虚拟摄像机的运动序列的数据；
[0020] 图13示出了其中生成原始图像的多个裁剪的布置；
[0021] 图14示出了分别从生成自多个裁剪的多个放大图像生成的图像；
[0022] 图15示出了其中多个虚拟摄像机裁剪生成器和屏幕标记器与图像组合单元平行 使用的布置；
[0023] 图16示出了用于校准摄像机矩阵的过程；
[0024] 图17示出了用于执行在摄像机矩阵的校准中使用的点匹配处理的用户界面的实 例；
[0025] 图18A至图18D示出了超高清晰度图像上的特定点和在这样的图像上的阴影的效 果；以及
[0026] 图19示出了存储在屏幕标记器内的存储。
【具体实施方式】
[0027] 本发明的实施方式提供一种用于将图形叠加在从场景的第一图像的裁剪生成的 第二图像上，该裁剪表示虚拟摄像机的视场，该设备包括：接收器电路，被配置为接收第二 图像和一组裁剪拐角坐标，每个裁剪拐角坐标给出了针对第一图像限定的第一二维（2D) 坐标系中的裁剪的拐角点的位置；单应性确定电路，被配置为从该组裁剪拐角坐标确定在 裁剪内限定的第一 2D坐标系的坐标与针对第二图像限定的第二2D坐标系的坐标之间的单 应性；特征确定电路，被配置为从单应性、从表示针对场景限定的三维（3D)坐标系与针对 第一图像限定的第一 2D坐标系之间的关系的摄像机矩阵以及从在场景的3D坐标系中限定 场景的特征的场景的虚拟3D图来确定虚拟摄像机的视场内的场景的虚拟3D图的特征；图 形生成器电路，被配置为从确定的虚拟3D图的特征生成图形；以及图形叠加电路，被配置 为将生成的图形叠加在第二图像上。
[0028] 有利地，通过第一图像的第一 2D坐标系中的裁剪拐角坐标的使用确定单应性，减 少了在第二图像中确定从其生成图形的场景的虚拟3D图中的特征的处理的量。
[0029] 在一些实施方式中，设备包括点选择电路，该点选择电路被配置为接收针对第一 图像限定的第一 2D坐标系中选择的单个点，并从所选择的点确定虚拟摄像机的偏转、俯仰 和横滚，该单个点限定裁剪内的点。
[0030] 有利地，这为用户提供了一种容易且便利的方法以选择虚拟摄像机的偏转、俯仰 和横滚。
[0031] 在一些实施方式中，在选择单个点和/或虚拟摄像机的焦距时，虚拟摄像机的偏 转、俯仰、横滚和/或焦距是逐渐改变的，直至到达与单个点相关联的偏转、俯仰和/或横滚 和/或到达所选择的焦距；并且随着虚拟摄像机的偏转、俯仰、横滚和/或焦距的逐渐改变， 以预定帧速率连续接收多个第二图像和各组裁剪拐角坐标。
[0032] 有利地，这允许在虚拟摄像机的偏转、俯仰和横滚上的改变模仿真实摄像机在摇 摄穿过场景时的改变，使得对于用户来说观看更加自然和舒服。
[0033] 在一些实施方式中，通过由用户可选的阻尼系数确定虚拟摄像机的偏转、俯仰、横 滚和/或焦距的逐渐改变的速度。
[0034] 有利地，这给了用户对虚拟摄像机的加强的创造性控制。
[0035] 在一些实施方式中，根据预定的虚拟摄像机运动序列控制虚拟摄像机的偏转、俯 仰、横滚和/或焦距，通过选择单个点、焦距和/或阻尼系数的时间序列限定虚拟摄像机运 动序列。
[0036] 有利地，这允许用户响应于需要拍摄的场景中的某个事件迅速地选择虚拟摄像机 的适当的运动序列。
[0037] 在一些实施方式中，同时接收多个第二图像和各组裁剪拐角坐标；与第二图像中 的第一个相关联的虚拟摄像机的偏转、俯仰、横滚和/或焦距不同于与第二图像中的第二 个相关联的虚拟摄像机的偏转、俯仰、横滚和/或焦距；并且该设备包括图像组合电路，被 配置为将