一种体育赛事拍摄方法及其拍摄系统与流程

本发明涉及三维成像技术领域，尤其涉及一种体育赛事拍摄方法及其拍摄系统。

背景技术：

在现有的体育赛事的直播内容制作过程中，通常是通过一个或者多个有轨摄像机分别对赛事现场进行各个摄像机视角的单视角录制。

摄像机在轨道上的移动一般采用人工操纵，操作有轨相机进行跟踪拍摄。在更高的直播要求中，也会在赛场上布置其他不同的定点摄像机进行拍摄。在赛事直播拍摄过程中，赛事的直播画面需由导播根据当前的情况进行人工切换，例如对于足球赛事中某次越位的判罚，切换为更能体现该判罚是否准确的视角画面。

在现有的拍摄系统中，其赛事直播内容所能呈现的视角极为单一，并且由人工操纵有轨相机进行跟踪拍摄的难度极大，效果不佳，摄影师等均需要经过专业的技能培训，人工成本高，自动化程度不佳。在切换过程中，由导播进行，而且受限于摄像机机位的设置，无法满足所有的视角要求。而且这样的系统输出视频内容的二次制作难度较大，内容可塑性较差。这样的直播内容无法满足用户对于视频观看日益增长的需求。

因此，现有技术还有待发展。

技术实现要素：

鉴于上述现有技术的不足之处，本发明的目的在于提供一种体育赛事拍摄方法及其拍摄系统，旨在解决现有体育赛事拍摄系统呈现视角单一，自动化程度低，后期制作难度大的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种体育赛事拍摄方法，其中，包括：

根据拍摄场地要求，在对应的机位设置若干摄像机并确定摄像机参数；

提取摄像机拍摄图像的特征点；

立体匹配以获取所述摄像机拍摄图像的深度信息；

根据所述深度信息、特征点以及摄像机参数，计算获得拍摄对象的空间中任意被测点在图像中的坐标和摄像机的参数矩阵；

根据所述任意被测点的信息进行三维重建，输出三维立体图像。

所述的体育赛事拍摄方法，其中，所述方法还包括：

根据采集的用户指令，旋转所述三维立体图像，将赛事内容以不同的视角向用户呈现。

所述的体育赛事拍摄方法，其中，所述提取摄像机拍摄图像的特征点，具体包括：

使用边缘提取法和兴趣算子法提取摄像机拍摄图像的特征点。

所述的体育赛事拍摄方法，其中，所述立体匹配以获取所述摄像机拍摄图像的深度信息，具体包括：

基于多匹配基元对图像进行特征点匹配；所述匹配基元包括：图像点的灰度、图像的零交叉点、图像的傅里叶变换相位以及图像的小波变换相位。

所述的体育赛事拍摄方法，其中，所述根据所述任意被测点的信息进行三维重建，具体包括：

获取两个已确定摄像机参数的摄像机同时拍摄的拍摄对象的空间中的观测点；

确定在摄像机图像上的共轭对应点与所述观测点在所述拍摄对象的空间中是否为同一点，并据此计算观测点在所述拍摄对象的空间中的三维空间坐标；

基于分层重构原理，依次将观测点的射影重构提升为度量重构；

通过预定的图形编译软件显示所述三维立体图像。

一种体育赛事拍摄系统，其中，包括：

摄像机参数设置模块，用于存储根据拍摄场地要求，在对应的机位设置若干摄像机并据此确定的摄像机参数；

特征点提取模块，用于提取摄像机拍摄图像的特征点；

立体匹配模块，用于立体匹配以获取所述摄像机拍摄图像的深度信息；

坐标计算模块，用于根据所述深度信息、特征点以及摄像机参数，计算获得拍摄对象的空间中任意被测点在图像中的坐标和摄像机的参数矩阵；以及

三维重建模块，用于根据所述任意被测点的信息进行三维重建，输出三维立体图像。

所述的体育赛事拍摄系统，其中，所述系统还包括：

视角输出模块，用于根据采集的用户指令，旋转所述三维立体图像，将赛事内容以不同的视角向用户呈现。

所述的体育赛事拍摄系统，其中，所述特征点提取模块具体用于：

使用边缘提取法和兴趣算子法提取摄像机拍摄图像的特征点。

所述的体育赛事拍摄系统，其中，所述立体匹配模块具体用于：基于多匹配基元对图像进行特征点匹配；所述匹配基元包括：图像点的灰度、图像的零交叉点、图像的傅里叶变换相位以及图像的小波变换相位。

所述的体育赛事拍摄系统，其中，所述三维重建模块具体用于：

获取两个已确定摄像机参数的摄像机同时拍摄的拍摄对象的空间中的观测点；

确定在摄像机图像上的共轭对应点与所述观测点在所述拍摄对象的空间中是否为同一点，并据此计算观测点在所述拍摄对象的空间中的三维空间坐标；基于分层重构原理，依次将观测点的射影重构提升为度量重构；通过预定的图形编译软件显示所述三维立体图像。

有益效果：本发明提供的一种体育赛事拍摄方法及其拍摄系统，通过预设多个机位并完成摄像机标定后，通过相对应的算法完成对于直播内容的三维重构，输出时可以根据用户的需求或者实际的情况，输出任意视角的赛事直播内容，为用户提供更好的观赛体验，满足用户的需求。而且该重构的三维立体图像，还可以方便的进行一系列后期制作，提供更多元的拓展空间，具有良好的应用前景。

附图说明

图1为本发明实施例的体育赛事拍摄方法的应用实例的示意图。

图2为本发明实施例提供的体育赛事拍摄方法的方法流程图。

图3为本发明实施例提供的体育赛事拍摄方法的软件架构图。

图4为本发明实施例提供的体育赛事拍摄系统的硬件架构图。

图5为本发明实施例提供的体育赛事拍摄系统的功能框图。

具体实施方式

本发明提供一种体育赛事拍摄方法及其拍摄系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例的体育赛事拍摄方法的应用实例。如图1所示，可以在体育场的合适的机位设置若干个摄像机(图中圆点所示为摄像机设置机位)。在本应用实例中，以转播足球赛事为例，考虑到精彩的赛事内容一般发生在禁区范围内，因此，针对禁区设置了4对8台摄像机对进行拍摄，能够实现直播过程中禁区内三维立体图像数据的输出。

在设置摄像机前，需要进行摄像机标定。在此使用“摄像机标定”这样的术语进行表述，是指确定摄像机的内部和外部参数的过程，其作用是建立拍摄对象物体在立体空间中的三维世界坐标系和摄像机拍摄图像的坐标系之间的关系。在比赛场馆的摄像机设置过程中，安装摄像机的位置(即机位)以及机位的数需要参照摄像机标定实验中所获得的参数进行。进一步的，还可以针对具体的赛场，在安装调试过程中，对摄像机进行精确的标定，不同的比赛场地的实际情况都会对摄像机标定，或者机位等产生影响。

图2为本发明实施例提供的一种体育赛事拍摄方法。该方法包括：

101：根据拍摄场地要求，在对应的机位设置若干摄像机并确定摄像机参数(即摄像机标定)。

103：提取摄像机拍摄图像的特征点。提取图像中的特征点是进行后续三维重建的必要参数，特征点提取的准确与否也影响着后续三维重建的速度以及精确度。

具体的，可以使用边缘提取法和兴趣算子法提取摄像机拍摄图像的特征点。由于上述边缘提取和兴趣算子法对光照条件敏感。因此，当物体相邻面的灰度近似时，该特征点提取方法能够在较低精度的要求下，有效的提取特征点。另外，当某一像素存在局部灰度差异的区域或存在于具有不同灰度值的几个相邻区域之间时，该方法也能将边缘作为特征点提取出来。

105：立体匹配以获取所述摄像机拍摄图像的深度信息。在本发明实施例中，是基于双目立体视觉的原理来融合多视点图像，并输出最终的三维立体图像信息。

在确定图像深度信息的过程中，需要确定左右对称两幅图像之间的对应点，完成图像的匹配才能实现图像的融合。由于步骤101中已经完成了摄像机的标定。根据摄像机标定的结果，能够方便的通过极线约束的方式计算出图像的深度。

具体的，在本发明实施例中，使用了基于多匹配基元对图像进行特征点匹配，而可以使用的匹配基元包括：图像点的灰度、图像的零交叉点、图像的傅里叶变换相位以及图像的小波变换相位等。

立体匹配的过程可以最终归结为数学上的，在特定约束条件下的求解最优搜索的问题。在本实施例中，可以使用神经网络算法作为提取到的特征点的匹配算法，将左右两侧摄像机拍摄的图像中的特征点进行匹配和评估。

107：根据所述深度信息、特征点以及摄像机参数，计算获得拍摄对象的空间中任意被测点在图像中的坐标和摄像机的参数矩阵。

109：根据所述任意被测点的信息进行三维重建，输出三维立体图像。

具体的，基于该坐标信息及摄像机参数矩阵，该三维重建过程可以包括如下步骤：

首先，获取两个已确定摄像机参数的摄像机同时拍摄的拍摄对象的空间中的观测点。然后，确定在摄像机图像上的共轭对应点与所述观测点在所述拍摄对象的空间中是否为同一点，并据此计算观测点在所述拍摄对象的空间中的三维空间坐标。然后，基于分层重构原理，依次将观测点的射影重构提升为度量重构。最后，通过预定的图形编译软件显示所述三维立体图像。具体的，可以使用任何合适的图形编译软件来完成该三维立体图像的呈现，例如opengl。

如图3所示，为本发明实施例的软件架构图，以左右两幅图像，图像1和图像2为例，其包括了匹配阶段和三维重构两个阶段，在直播制作过程中不断循环进行。

较佳的是，如图1所示，所述方法还包括：

111：根据采集的用户指令，旋转所述三维立体图像，将赛事内容以不同的视角向用户呈现。在生成三维立体图像后，可以根据用户的指令或者直播的实际需求，切换不同的直播视角，向观众提供更加完美的观赛体验，例如，对于禁区内发生的精彩射门，可以采用360°环绕旋转播放的形式向用户展示，或者根据用户指令，切换赛场内不同的观赛视角。

进一步的，还可以对该输出的三维立体图像的直播内容进行二次加工，例如增加战术提示标志，或者解说音频等。

本发明实施例还提供一种体育赛事拍摄系统。在该系统中，如图4所示，包容若干对摄像机组成的拍摄系统以及执行后期处理操作的服务器、具有一定运算能力的电子运算平台等。其中，如图5所示，该系统可以包括：

摄像机参数设置模块100，用于存储根据拍摄场地要求，在对应的机位设置若干摄像机并据此确定的摄像机参数。

特征点提取模块200，用于提取摄像机拍摄图像的特征点。其中，所述特征点提取模块具体用于：使用边缘提取法和兴趣算子法提取摄像机拍摄图像的特征点。

立体匹配模块300，用于立体匹配以获取所述摄像机拍摄图像的深度信息。其中，所述立体匹配模块具体用于：基于多匹配基元对图像进行特征点匹配；所述匹配基元包括：图像点的灰度、图像的零交叉点、图像的傅里叶变换相位以及图像的小波变换相位。

坐标计算模块400，用于根据所述深度信息、特征点亦即摄像机参数，计算获得拍摄对象的空间中任意被测点在图像中的坐标和摄像机的参数矩阵；以及

三维重建模块500，用于根据所述任意被测点的信息进行三维重建，输出三维立体图像。所述三维重建模块具体用于：获取两个已确定摄像机参数的摄像机同时拍摄的拍摄对象的空间中的观测点；确定在摄像机图像上的共轭对应点与所述观测点在所述拍摄对象的空间中是否为同一点，并据此计算观测点在所述拍摄对象的空间中的三维空间坐标；基于分层重构原理，依次将观测点的射影重构提升为度量重构。最后，通过预定的图形编译软件显示所述三维立体图像

较佳的是，如图5所示，所述系统还可以包括：视角输出模块600，用于根据采集的用户指令，旋转所述三维立体图像，将赛事内容以不同的视角向用户呈现。

综上所述，本发明实施例提供的体育赛事拍摄方法及其系统，可以应用于多种不同类型的体育赛事直播或者录播，基于多摄像机的三维重建技术，能够为用户提供各种不同视角和显示效果的直播内容，能够满足不同用户的要求，具有良好的应用前景。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及本发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。