一种基于增强现实的虚拟内容插入系统和方法与流程

本发明涉及一种虚拟内容插入系统和方法，尤其涉及一种基于增强现实的虚拟内容插入系统和方法。

背景技术：

目前越来越多的赛事、表演的直播正朝着全球化的方向发展，nba、英超等赛事都面向全世界观众转播，因此赛场内的广告牌也出现了许多国际化的元素。然而，如果是实体广告牌，只能展示单一的广告内容，实际上限制了广告的受众范围，在全球范围内有大量观众的直播中尤其明显，比如英国的观众看到现场的中文广告牌就会完全不知所云。

此外，在现行的体制中，以赛事直播为例，通常是由当地的内容提供商提供直播画面信号，购买了版权的各级转播商在拿到原始信号后配上解说、字幕等内容播出给观众。对于不同地区的广告主而言，要想在赛事直播中投放广告，为了不影响直播画面的观感，保证良好的用户体验，要么只能在比赛间歇插播，要么就需要花大价钱去到赛事场地购买现场广告牌。

为了克服上述缺陷，期望获得一种基于增强现实的虚拟内容插入系统和方法，该系统和方法使得转播商可以在直播画面中无违和感地插入广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告插入，从而在插入广告的同时保证了良好的用户体验。

技术实现要素：

本发明的目的之一是提供一种基于增强现实的虚拟内容插入系统，该系统使得可以在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待插入的虚拟内容，从而使得转播商可以在直播画面中无违和感地插入广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告插入。

根据上述目的之一，本发明提出了一种基于增强现实的虚拟内容插入系统，其包括：

定位标记，其设于物理区域内的至少一个展示区域内；

摄像装置，其拍摄物理区域内的画面并捕捉所述定位标记，所述摄像装置将拍摄到的画面以及捕捉到的定位标记信息传输出去；

处理单元，其与所述摄像装置数据连接，所述处理单元接收摄像装置传输的画面以及捕捉到的定位标记信息，并基于所述捕捉到的定位标记信息计算所述摄像装置的投影矩阵以及确定展示区域的范围，并计算表征待插入的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵；所述处理单元采用所述变换矩阵将待插入的虚拟内容进行三维变换，再采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容插入到画面显示的展示区域内。

本发明所述的基于增强现实的虚拟内容插入系统的基本构思是利用增强现实技术将待插入的虚拟内容以后期制作的形式实时插入到画面中对应物理区域的展示区域的范围。其中：所述待插入的虚拟内容可以是个性化的广告内容；所述画面可以是直播画面；所述物理区域该物理区域通常是一个现实三维空间，例如真实赛场；所述展示区域可以是真实赛场内广告牌的位置。由于利用了增强现实技术，使得可以在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待插入的虚拟内容，从而使得转播商可以在直播画面中无违和感地插入广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告插入。

本发明所述的基于增强现实的虚拟内容插入系统涉及的原理具体包括：

一、定位标记的设置和捕捉

本发明要求在物理区域的展示区域内设置有定位标记，该定位标记用于确定展示区域的范围，以及作为计算摄像装置的投影矩阵的特征点。

定位标记的特征：通常，定位标记应当容易被计算机视觉算法捕捉，并且具有一定的抗干扰能力。例如具备固定简单模式的高对比度图片即可满足要求。定位标记可以是可见光范围内的贴纸或者led显示，也可以是可见光范围外的可以被摄像机捕捉的标记，例如红外/紫外标记，对于现场观众而言体验更好，但是摄像装置需要能够支持识别。定位标记的大小通常需要满足在摄像装置原生分辨率下捕捉远景画面时仍然能够分辨。

定位标记的数量和分布：通常，定位标记的数量以同时满足确定展示区域的范围和同一画面内特征点的数量要求为准。为了确定展示区域范围，通常对于矩形的广告区域可以在至少三个顶点的位置对应设置至少三个定位标记；对于复杂图形例如多边形，通常需要在多边形的每个顶点的位置设置一个定位标记。此外，需要保证在需要插入虚拟内容的画面内捕捉到的定位标记即特征点的数量能够解出摄像装置的投影矩阵的所有参数。

定位标记的捕捉：定位标记的捕捉主要体现为识别画面中的定位标记并生成相应的定位标记信息，该定位标记信息通常包括定位标记在画面中的位置信息。需要说明的是，通常对可见光范围内的定位标记不需要额外的捕捉动作，因为画面本身包含了定位标记信息，可以留给后续处理单元利用计算机视觉算法进行提取，这样可以提高画面传输的实时性。对可见光范围外的定位标记可以通过专门识别的摄像装置进行识别。

二、投影矩阵的计算

由于定位标记即特征点固定设置在物理区域，对定位标记的物理区域位置和摄像装置拍摄的画面中相应位置列方程可以解出一个表示摄像装置投影变换的投影矩阵，该投影矩阵通常是3×3投影矩阵，其包含摄像装置投影变换导致的透视关系以及摄像装置镜头导致的畸变信息。通过该投影矩阵可以将三维空间中的坐标点投射到二维画面中的坐标点。记该投影矩阵为c。

当当前画面中特征点数量超过计算当前投影矩阵需要的最低数量时，可以利用诸如随机采样一致性等方法来增强投影矩阵参数计算的稳定性。

三、展示区域范围的确定

对于在顶点设置定位标记的展示区域，通常按顺序连接一组定位标记即可相应得到一个展示区域的范围，按同样方法即可得到各展示区域的范围，即输出各展示区域的顶点在画面中的二维坐标。记展示区域a的顶点在在画面中的二维坐标为ai，其集合为[a1，a2，...，an]。

四、变换矩阵的计算

变换矩阵反映的是待插入的虚拟内容的像素坐标到展示区域的物理坐标的变换关系。由于展示区域a的顶点上设置的定位标记是固定的，对表征待插入的虚拟内容的范围的像素坐标和表征展示区域的范围的物理坐标列方程可以解出一个表示待插入的虚拟内容的像素坐标到展示区域的物理坐标的变换关系的变换矩阵，该变换矩阵通常是3×3变换矩阵。记该变换矩阵为c′，其满足方程其中pi为表征待插入的虚拟内容的范围的像素坐标，通常为与ai相应的待插入的虚拟内容的顶点坐标。由此可解出变换矩阵c′。

五、虚拟内容的插入

设待插入的虚拟内容的像素点集合为p，需要插入到展示区域a在画面中以ai确定的相应范围内。首先需要将p中的每个像素点坐标找到其在画面中的插入位置。对p中的某一像素点的坐标p，可以利用cpc′计算出其在画面中的插入位置，即采用变换矩阵c′将待插入的虚拟内容进行三维变换，再采用投影矩阵c对经过三维变换的虚拟内容再次进行变换。然后，最简单的情况下，将该像素点的rgb值覆盖显示到原始画面中的插入位置则完成了虚拟内容的插入。

将两个二维坐标变换为三维坐标的原因在于，摄像装置的投影变换是发生在三维空间的，所以无法直接建立两个二维坐标点之间的线性变换关系。

进一步地，本发明所述的基于增强现实的虚拟内容插入系统中，所述定位标记为可见的标记。

上述方案中，所述可见的标记可以是可见光范围内的贴纸或者led显示。

进一步地，本发明所述的基于增强现实的虚拟内容插入系统中，所述定位标记为不可见的标记。

上述方案中，所述不可见的标记可以是可见光范围外的可以被摄像机捕捉的标记，例如红外/紫外标记。

进一步地，本发明所述的基于增强现实的虚拟内容插入系统中，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。

上述方案中，对于多边形的展示区域，通常将定位标记设置在多边形的顶点处。

更进一步地，上述基于增强现实的虚拟内容插入系统中，对应每一个画面，所述定位标记的数量至少为7个。

上述方案中，由于摄像装置投影变换理论证明，每个画面内至少需要有7个特征点被检测到才能解出摄像装置投影矩阵。本发明中定位标记具有作为特征点使用的功能，因此对应每一个画面，定位标记的数量至少为7个。需要说明的是特征点不必属于同一个展示区域，只要是同一画面内即可。

本发明的另一目的是提供一种基于增强现实的虚拟内容插入方法，该方法使得可以在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待插入的虚拟内容，从而使得转播商可以在直播画面中无违和感地插入广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告插入。

基于上述发明目的，本发明还提供了一种基于增强现实的虚拟内容插入方法，其包括步骤：

(1)在物理区域内的至少一个展示区域内设置定位标记；

(2)采用摄像装置拍摄物理区域内的画面并捕捉所述定位标记；

(3)根据所述定位标记确定展示区域的范围以及计算摄像装置的投影矩阵，计算表征待插入的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵，并采用所述变换矩阵将待插入的虚拟内容进行三维变换，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容插入到画面显示的展示区域内。

本发明所述的基于增强现实的虚拟内容插入方法，其基本构思和涉及的原理与上述系统部分相应的解释基本相同，因此不再赘述。

进一步地，本发明所述的基于增强现实的虚拟内容插入方法中，采用可见光摄像机捕捉视觉可见的定位标记。

上述方案中，所述可见的定位标记可以是可见光范围内的贴纸或者led显示。

进一步地，本发明所述的基于增强现实的虚拟内容插入方法中，采用红外摄像机捕捉视觉不可见的定位标记。

上述方案中，所述不可见的定位标记可以是可见光范围外的可以被红外摄像机捕捉的标记，例如红外标记。

进一步地，本发明所述的基于增强现实的虚拟内容插入方法中，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。

更进一步地，上述基于增强现实的虚拟内容插入方法中，对于形状基本为矩形的展示区域，设置至少三个定位标记；对于多边形的展示区域，在多边形展示区域的每一个顶点均设置一个定位标记。

上述方案中，可以通过按顺序连接一组定位标记从而相应得到一个展示区域的范围。例如按顺序连接三个定位标记从而相应得到矩形展示区域的范围，按顺序连接多个定位标记从而相应得到多边形展示区域的范围。

进一步地，本发明所述的基于增强现实的虚拟内容插入方法中，将待插入的虚拟内容进行三维变换后，对虚拟内容进行增强处理，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容插入到画面显示的展示区域内。

上述方案中，对虚拟内容进行增强处理是因为：如果直接将待插入的虚拟内容通过线性变换之后覆盖到原始画面，其表现会比较不自然，因为缺乏真实环境中物体的光照、纹理特性。由于计算了变换矩阵c′，可以将待插入的虚拟内容中的任意点转换到三维空间，即构造一个展示区域a的虚拟内容三维模型。因此可以通过后处理的方式加入光照和纹理的模拟，使得插入的虚拟内容更好地融入真实环境。

本发明所述的基于增强现实的虚拟内容插入系统，其优点和有益效果包括：

(1)可用于在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待插入的虚拟内容。

(2)可用于转播商在直播画面中无违和感地插入广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告插入。

(3)可用于直播广告的后处理插入，并且通过模拟真实插入位置和画面增强的方法降低插入的虚拟内容的违和感，提高用户体验。

本发明所述的基于增强现实的虚拟内容插入方法，其同样具有上述效果。

附图说明

图1为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的结构示意图。

图2为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的定位标记的一种设置场景和范围示意图。

图3为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的定位标记的第一种图形样式示意图。

图4为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的定位标记的第二种图形样式示意图。

图5为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的定位标记的第三种图形样式示意图。

图6为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的定位标记的第四种图形样式示意图。

图7为一种广告内容的示意图。

图8为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的工作流程示意图。

具体实施方式

下面将结合说明书附图和具体的实施例来对本发明所述的基于增强现实的虚拟内容插入系统和方法进行进一步地详细说明，但是该详细说明不构成对本发明的限制。

图1显示了本实施例的基于增强现实的虚拟内容插入系统的结构。图2显示了本实施例的基于增强现实的虚拟内容插入系统的定位标记的设置场景和范围。图3-图6显示了本实施例的基于增强现实的虚拟内容插入系统的定位标记1的图形样式。图7示意了广告内容7。

如图1所示，结合参考图2-图3，本实施例的基于增强现实的虚拟内容插入系统利用增强现实技术将作为待插入的虚拟内容的广告内容7以后期制作的形式实时插入到画面中对应作为物理区域的赛场4的展示区域(包括场边广告牌5以及场边空地指定范围6)的范围。该系统包括：定位标记1、作为摄像装置的摄像机2以及作为处理单元的计算机3，其中：

结合参考图2，定位标记1设于赛场4内的若干展示区域内(图1中示意了单个矩形展示区域的三个定位标记)，用于确定展示区域的范围，以及作为计算摄像机2的投影矩阵的特征点。

摄像机2拍摄赛场4内的画面并捕捉定位标记1，摄像机2将拍摄到的画面以及捕捉到的定位标记信息传输出去。

本实施例中，定位标记1的设置和捕捉满足以下条件：

定位标记1可以为具备固定简单模式的高对比度图片，例如按图3-图6所示的图形样式中的一种或几种制作的图片。在其它实施例中，也可以是可见光范围外的可以被摄像机捕捉的标记，例如红外标记，对于现场观众而言体验更好，但是需要采用能够支持识别红外标记的红外摄像机。定位标记的大小需要满足在摄像机2原生分辨率下捕捉远景画面时仍然能够分辨。需要说明的是，定位标记不限于本文所列举的样式，其也可以为本领域内技术人员知晓的其他样式。

定位标记1环绕展示区域地设置以勾勒出展示区域的边缘。对于矩形的广告区域在至少三个顶点的位置对应设置至少三个定位标记1；对于复杂图形例如多边形，在多边形的每个顶点的位置设置一个定位标记1。此外，需要保证在需要插入广告内容7的画面内捕捉到的定位标记即特征点的数量至少为七个。

定位标记1的捕捉体现为识别画面中的定位标记1并生成相应的定位标记信息，该定位标记信息包括定位标记1在画面中的位置信息。需要说明的是，本实施例中，由于画面本身包含了定位标记信息，因此对可见光范围内的定位标记不需要额外的捕捉动作，而是留给后续计算机3利用计算机视觉算法进行提取。

计算机3与摄像机2数据连接，计算机3被配置为具有以下信息处理功能：

(1)接收摄像机2传输的画面以及捕捉到的定位标记信息。

(2)基于捕捉到的定位标记信息计算摄像机2的投影矩阵以及确定展示区域的范围。

本实施例中：

对定位标记1的赛场4位置和摄像机2拍摄的画面中相应位置列方程解出表示摄像机2投影变换的投影矩阵，该投影矩阵是3×3投影矩阵。记该投影矩阵为c。

当当前画面中特征点数量超过计算当前投影矩阵需要的最低数量时，利用随机采样一致性来增强投影矩阵参数计算的稳定性。

(3)计算表征如图7所示的广告内容7的范围的像素坐标到表征展示区域的范围的物理坐标的变换矩阵。

本实施例中：

首先确定展示区域的范围：

按顺序连接一组定位标记1即相应得到一个展示区域的范围，按同样方法即得到各展示区域的范围，即输出各展示区域的顶点在画面中的二维坐标。记展示区域a的顶点在在画面中的二维坐标为ai，其集合为[a1，a2，...，an]。

然后进行变换矩阵的计算：

变换矩阵反映的是广告内容7的像素坐标到展示区域的物理坐标的变换关系。对表征广告内容7的范围的像素坐标和表征展示区域的范围的物理坐标列方程解出表示广告内容7的像素坐标到展示区域的物理坐标的变换关系的变换矩阵，该变换矩阵是3×3变换矩阵。记该变换矩阵为c′，其满足方程其中pi为表征广告内容7的范围的像素坐标，为与ai相应的广告内容7的顶点坐标。由此可解出变换矩阵c′。

(4)采用变换矩阵c′将广告内容7进行三维变换，之后先对广告内容7进行增强处理，例如通过后处理的方式加入光照和纹理的模拟，然后再采用投影矩阵c对经过三维变换的广告内容7再次进行变换。

本实施例中，设广告内容7的像素点集合为p，需要插入到展示区域a在画面中以ai确定的相应范围内。首先需要将p中的每个像素点坐标找到其在画面中的插入位置。对p中的某一像素点的坐标p，利用cpc′计算出其在画面中的插入位置，即采用变换矩阵c′将广告内容7进行三维变换，再采用投影矩阵c对经过三维变换的广告内容7再次进行变换。

(5)将变换后的广告内容7插入到画面显示的展示区域内。

本实施例中，将变换后的广告内容7像素点的rgb值覆盖显示到原始画面中的插入位置(即画面显示的相应的展示区域内)则完成广告内容7的插入。

图8为本发明所述的基于增强现实的虚拟内容插入系统在一种实施方式下的工作流程示意图。

如图8所示，结合参考图1-图7，本实施例的基于增强现实的虚拟内容插入系统的工作流程包括步骤(各步骤的细节在上面相应部分已有详细描述，在此不再赘述)：

步骤110：在赛场4内的若干展示区域内设置定位标记1。

步骤120：摄像机2拍摄赛场4内的画面并捕捉定位标记1，摄像机2将拍摄到的画面以及捕捉到的定位标记信息传输出去。

步骤130：计算机3接收摄像机2传输的画面以及捕捉到的定位标记信息。

步骤140：计算机3基于捕捉到的定位标记信息计算摄像机2的投影矩阵以及确定展示区域的范围。

步骤150：计算机3计算表征如图7所示的广告内容7的范围的像素坐标到表征展示区域的范围的物理坐标的变换矩阵。

步骤160：计算机3采用变换矩阵c′将广告内容7进行三维变换，之后先对广告内容7进行增强处理，例如通过后处理的方式加入光照和纹理的模拟，然后再采用投影矩阵c对经过三维变换的广告内容7再次进行变换。

步骤170：计算机3将变换后的广告内容7插入到画面显示的展示区域内。

下面对本发明所述的基于增强现实的虚拟内容插入方法进行简要描述，由于其实质内容可以体现在上述系统实施例的相应部分，因此在此不再赘述。

本发明所述的基于增强现实的虚拟内容插入方法包括步骤：

(1)在物理区域内的至少一个展示区域内设置定位标记；

(2)采用摄像装置拍摄物理区域内的画面并捕捉所述定位标记；

(3)根据所述定位标记确定展示区域的范围以及计算摄像装置的投影矩阵，计算表征待插入的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵，并采用所述变换矩阵将待插入的虚拟内容进行三维变换，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容插入到画面显示的展示区域内。

在某些实施方式中，采用可将光摄像机捕捉视觉可见的定位标记。

在某些实施方式中，采用红外摄像机捕捉视觉不可见的定位标记。

在某些实施方式中，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。其中，对于形状基本为矩形的展示区域，设置至少三个定位标记；对于多边形的展示区域，在多边形展示区域的每一个顶点均设置一个定位标记。

在某些实施方式中，将待插入的虚拟内容进行三维变换后，对虚拟内容进行增强处理，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容插入到画面显示的展示区域内。

由上述说明可知，本发明的基于增强现实的虚拟内容插入系统和方法可用于在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待插入的虚拟内容。例如，可用于转播商在直播画面中无违和感地插入广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告插入，通过模拟真实插入位置和画面增强的方法降低插入的广告内容的违和感，提高用户体验。

需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。