在视频内插入虚拟对象的方法及装置制造方法
【专利摘要】描述了一种用于在视频中插入虚拟对象的方法及装置。该方法利用表征观众在视频图像上的注视分配的显著图并基于显著图在视频图像中插入虚拟对象。该方法包括：在插入(11)虚拟对象之后生成(12)视频图像的显著图；以及通过调整插入的虚拟对象的至少一个视觉特性来基于显著图调整(13)虚拟对象的插入。
【专利说明】在视频内插入虚拟对象的方法及装置
【技术领域】
[0001]本发明涉及一种用于通过利用表征观众在视频上的注视分配(gaze allocat1n)的视频的显著图在视频中插入虚拟对象的方法和装置。本发明还涉及适用于在视频中插入虚拟对象的这类方法和装置的计算机可读介质。
【背景技术】
[0002]虚拟内容插入是视频分析的一种新兴应用，在视频增强领域中已经得到了广泛应用以提高观众的观赏体验。虚拟内容插入的一种实际应用是为广告客户提供巨大商机的视频广告。例如，视频共享网站YouTube不时地在视频的底部插入商业广告的横幅(banner)。
[0003]视频内虚拟内容插入的一个主要挑战是平衡两个相互矛盾的任务，即使得插入的内容足够显眼让观众注意到，同时不干扰观众对原有内容的观赏体验。在视频显示期间，常规的流中插入，即在视频流中插入虚拟内容会中断观众的观看。虽然可以通过在视频开始或结尾插入虚拟内容来减少干扰，但观众可能跳过或避开插入的内容。在视频帧中插入虚拟内容的视频中的插入是更有效的插入的另一种选择。它可以是虚拟内容在原始内容之上流过的覆盖插入或是将虚拟内容嵌入视频的场景中插入。这两种方法都提供了在视频帧中合适的时机和位置插入虚拟内容的可能性。
[0004]已经研究了用于自动在视频中插入的方法和系统以实现有效的插入，同时将对观众的干扰减少到最小。一种有用的工具是预测并分析观众在视频上的注视分配的视频的视觉注意分析，即显著图。通常，显著分析在插入之前进行，以决定在何时以及何处在视频中插入虚拟内容。吸引人注意的镜头通常被选择作为插入时间，视频帧中不那么吸引人注意的、具有最低显著度的区域被选择作为插入位置以减少对观众的干扰。然而，这可能降低插入的有效性，即观众将会集中注意原始内容并忽略插入的虚拟对象。另外，由于显著分析是在插入之前完成的，因此未对插入结果进行检查，插入的质量可能较差。
【发明内容】
[0005]因此，本发明的一个目的是提出一种在视频中插入虚拟对象使得插入足够显眼但对观众来说并不造成过分侵扰的改进的解决方案。
[0006]根据本发明的第一方面，一种利用表征观众在视频图像上的注视分配的显著图并基于显著图在视频图像中插入虚拟对象的在视频中插入虚拟对象的方法，其特征在于:在插入虚拟对象之后生成视频图像的显著图；以及通过调整插入的虚拟对象的至少一个视觉特性来基于显著图调整虚拟对象的插入。
[0007]因此，一种被配置为在视频中插入虚拟对象的装置包括:插入模块，用于在视频图像中插入虚拟对象；显著度模块，用于生成视频图像的显著图，其中显著图通过显著度模块在插入虚拟对象之后生成；以及调整模块，用于通过调整插入的虚拟对象的至少一个视觉特性调整虚拟对象的插入。
[0008]而且，本发明还提供了一种具有存储于其中的用于通过利用表征观众在视频图像上的注视分配的显著图并通过基于显著图在视频图像中插入虚拟对象来在视频中插入虚拟对象的指令的计算机可读介质。当由计算机执行时，该指令使得计算机:在插入虚拟对象之后生成视频图像的显著图；以及通过调整插入的虚拟对象的至少一个视觉特性来基于显著图调整虚拟对象的插入。
【专利附图】
【附图说明】
[0009]为更好地理解，现在将参照附图在下面的描述中对本发明做更详细的说明。可以理解的是，本发明并不限于这些公开的示例性实施例，并且在不脱离所附权利要求限定的本发明的范围的情况下，可以对具体的特征方便地组合和/或修改。在附图中:
[0010]图1是示出根据本发明的在视频中插入虚拟对象的方法的流程图。
[0011]图2是示出根据本发明的方法的在视频中选择区域的步骤的流程图。
[0012]图3是示出根据本发明的实施在视频中插入虚拟对象的方法的装置的示意图。
【具体实施方式】
[0013]在下面，将对本发明的用于利用视频的显著图在视频中(例如，在视频图像中)插入虚拟对象的方法和装置进行说明。显著图用于表征观众在目标视频上(例如，在视频图像上)的注视分配，并可以使用本领域已知的任何方法或技术计算得到。例如，显著图可以用在 Urban, F.等人在((Medium Spatial Frequencies, a Strong Predictor of Salience))(Cognitive Computat1ns (I)，37-47 页，2011 年)以及 Le Meur, 0.等人在((Predictingvisual fixat1ns on video based on low-level visual features》 (Vis1n Research,卷47/19，2483-2498页，2007年)中描述的方法计算。
[0014]参照图1，根据本发明的方法的一个优选的实施例包括:选择10视频内的某个区域；在视频内(优选地在选择的区域内)插入11虚拟对象；插入虚拟对象之后生成12视频的显著图；以及通过调整插入的虚拟对象的至少一个视觉特性基于显著图调整13虚拟对象的插入。优选地，该方法还包括迭代14生成视频的显著图以及基于显著图调整虚拟对象的插入的步骤。例如，插入的虚拟对象的视觉特性可以是虚拟对象的透明度、亮度或颜色，它是可调整的，并且对于该插入的视觉表现是有影响力的。虚拟对象可以是例如出于商业目的被经常插入到视频序列中的2D图像或视频广告。可选地，虚拟对象的插入可以是覆盖插入或场景中插入，这两者都是众所周知的，并在本领域中被广泛应用。覆盖插入指的是虚拟对象在目标视频的原始内容之上流过的插入，而对于场景中插入，插入的虚拟对象被嵌入到视频的原始内容之中。
[0015]根据本发明的方法的一个优点是，虚拟对象的插入是可调整的。由于显著图是在插入虚拟对象之后生成的，因此用户可以检查插入的效果和得到的视频的视觉表现。虚拟对象的插入可以基于观众的感知和对观众的侵扰进行调整，从而改善和优化插入结果，例如，虚拟对象的无缝插入。例如，如果插入太刺眼和造成过多侵扰，那么可以降低虚拟对象的透明度和亮度。与此相反，可以将插入调整变得合理显眼，以达到插入的广告效果或目的。可选地，插入的调整可以根据用户的需求迭代进行。
[0016]例如，在插入11虚拟对象和生成12显著图之后，可以使用本领域中任何已知技术定义和测量视频的整个显著图的平均显著值。可选地，用户可以根据用户的需求预先手动定义和选择平均显著值的阈值T。虚拟对象的插入的调整可以例如通过调整插入的虚拟对象的透明度α，使得得到的显著图的平均显著值以阈值T为边界来进行。可选地，调整可以迭代进行以达到最佳的插入结果。当然，阈值T可以在调整过程中的任何时候重新定义或重新选择。此外，可以定义和选择一个以上的阈值T或其他的参考值来改善调整。当然，除了插入的虚拟对象的透明度α，也可以调整插入的虚拟对象的其他视觉特性，如它的亮度和颜色，以进行调整。一种优选是插入之后的得到的显著图的平均显著值接近插入之前的测得的平均显著值。
[0017]参照图2，优选地，该方法的优选实施例的选择10视频中的某个区域的步骤包括:基于区域的几何特性选择101某个区域；计算102所选的几何区域；生成103视频的初步显著图；基于显眼程度选择104某个区域；以及选择105用于在视频中插入11虚拟对象的候选区域。生成步骤103和选择步骤104可以在选择步骤101和计算步骤102之前、之后或同时完成。换言之，基于区域的几何特性选择和基于视频的显眼程度选择的顺序是灵活的。
[0018]基于视频内区域的几何特性选择101某个区域可以由用户手动或由处理器自动完成。优选地，所选的区域是视频中的四边形区域，如广告横幅、卡车的侧部、建筑物等。例如，用户可以通过借助于跟踪器，如在Lucas, B.D.和Kanade, Τ.的《An iterative imageregistrat1n technique with an applicat1n to stereo vis1n)) (Internat1nal JointConference on Artificial Intelligence, 674-679 页，1981 年)中描述的 KLT 跟踪器，在视频的第一帧上指示相继位于整个视频中的的某个区域的四个极值点来手动选择视频中的四边形区域。一种用于自动选择区域的方法可以例如使用鲁棒的(robust)边缘检测器。如果区域的边缘在视频中形成平行四边形，并且如果区域的形状与沿视频序列进行的运动估计一致，那么检测器提取并选择该区域。
[0019]在基于区域的几何特性选择101某个区域之后，对所选的几何区域进行分析102以得到各种属性，如几何特性(例如，姿势和大小)，以及光度特性(例如，局部方差，该区域和插入的虚拟对象之间的颜色距离)。例如，计算所选区域上的强度方差，并与通过计算构成视频图像的小片(patch)上的平均方差估计得到的视频的图像噪声比较。具有较小强度方差和较低反射度(specularity)的区域优选成为用于插入虚拟对象的候选区域，这有益于无缝插入。
[0020]生成103示出观众在视频上的注视分配，即显眼程度的初步显著图可以使用如上所述的本领域中任何已知的技术实现。基于显眼程度选择104某个区域使用该初步显著图实现。优选地，所选的区域具有足够高到对观众来说在视觉上显眼但足够低到对观众来说非常自然并不会过于引人注意和造成侵扰的显著度。替代性地，所选区域可以具有视频的显著图中的最高或最低的显著度。
[0021]选择105用于在视频中插入11虚拟对象的候选区域的步骤可以例如通过表决方法(voting method)实现。例如，表决方法可以是各种标准(包括如上所述在步骤101和102中计算得到的区域的几何和光度特性)以及基于初步显著图的区域的显眼程度的线性加权平衡。当然，在表决方法中，区域的任何其他的属性也可以考虑进来。标准中的每一个都用一些可以在测试数据库上学习或由用户手动调整的参数加权。因此，每个区域都被给予可以用来对候选区域进行排序的一个评分。换句话说，可以根据不同情况的不同标准和不同用户的需求来选择候选区域。例如，候选区域可以是具有最低图像噪声和最低反射度的区域、该区域与插入的虚拟对象的颜色比较在颜色方面最满足要求、该区域具有初步显著图中的最高或最低显著度或该区域最接近视频的图像中心。优选地，所选的候选区域是通过表决方法决定的最佳区域。
[0022]可选地，根据本发明的用于在视频中插入虚拟对象的方法还包括将视频分解成一系列镜头的步骤，其中每一个镜头例如都包括一个或多个视频图像。分解步骤可以在图1和2中示出的方法的任何阶段完成。使用视频分解，本发明的方法的每一个步骤都可以对整个视频序列或只对视频的一部分镜头进行。因此，可以简化插入过程，并降低其时间消耗。
[0023]图3示意性地示出了根据本发明的被配置为执行用于在视频中插入虚拟对象的方法的装置20的优选实施例。该装置20包括:选择模块21，用于选择视频内用于插入虚拟对象的区域；插入模块22，用于在视频中插入虚拟对象；显著度模块23，用于生成视频的显著图；以及调整模块24，用于通过调整插入的虚拟对象的至少一个视觉特性来调整虚拟对象的插入。显著度模块23可以用于生成在插入虚拟对象之后的显著图，以及用于在插入虚拟对象之前选择视频内的某个区域的初步显著图两者。可选地，该装置20还包括分解模块25，用于将视频分解成一系列的视频镜头，视频的分解可以在如上所述的过程中的任何阶段进行。实际上，装置20可以是STB、服务器、广播前端等，使得本发明的方法可以在各种设备中执行。当然，该装置20的各种模块同样可以被部分或完全组合成单一模块，或者实现为在处理器上运行的软件。
【权利要求】
1.一种利用表征观众在视频图像上的注视分配的显著图并基于显著图在视频图像中插入虚拟对象的在视频中插入虚拟对象的方法，其特征在于，所述方法包括: -在插入(11)虚拟对象之后生成(12)视频图像的显著图；以及 -通过调整插入的虚拟对象的至少一个视觉特性来基于显著图调整(13)虚拟对象的插入。
2.如权利要求1所述的方法，其特征在于，迭代(14)生成(12)视频图像的显著图和基于显著图调整(13)虚拟对象的插入。
3.如权利要求1和2中任何一项所述的方法，其特征在于，在插入(11)虚拟对象之前，选择(10)视频图像内的某个区域。
4.如权利要求3所述的方法，其特征在于，选择(101)某个区域是基于所述区域的几何特性。
5.如权利要求4所述的方法，其特征在于，所选的区域是平行四边形。
6.如权利要求3所述的方法，其特征在于，在选择图像内的某个区域之前生成(103)视频图像的初步显著图，其中选择某个区域是基于所述初步显著图。
7.如权利要求1至3中任何一项所述的方法，其特征在于，所述方法包括将视频分解成一系列的镜头，每一个镜头都包括至少一张图像。
8.如权利要求1和2中任何一项所述的方法，其特征在于，虚拟对象的视觉特性是虚拟对象的透明度和/或亮度。
9.如权利要求1和2中任何一项所述的方法，其特征在于，虚拟对象的插入可以是覆盖插入，使得虚拟对象在视频图像中的原始内容之上流过，或是场景中插入，使得虚拟对象被嵌入视频图像之中。
10.如权利要求1和2中任何一项所述的方法，其特征在于，插入的虚拟对象是2D图像广告或视频广告。
11.一种被配置为利用表征观众在视频图像上的注视分配的显著图并基于显著图在视频图像中插入虚拟对象的在视频中插入虚拟对象的装置,所述装置包括: -插入模块(22)，用于在视频图像中插入虚拟对象； -显著度模块(23)，用于生成视频图像的显著图，其中显著图通过显著度模块在插入虚拟对象之后生成；以及 -调整模块(24)，用于通过调整插入的虚拟对象的至少一个视觉特性调整虚拟对象的插入。
12.如权利要求11所述的装置，进一步包括选择模块(21)，用于选择视频图像内用于插入虚拟对象的区域。
13.如权利要求11和12中任何一项所述的装置，进一步包括分解模块(25)，用于将视频分解为一系列的镜头，每一个镜头都包括至少一张图像。
14.一种具有存储于其中的用于通过利用表征观众在视频图像上的注视分配的显著图并基于显著图在视频图像中插入虚拟对象的在视频中插入虚拟对象的指令的计算机可读介质，其特征在于，当由计算机执行时，所述指令使得计算机: 在插入虚拟对象之后生成视频图像的显著图；以及 通过调整插入的虚拟对象的至少一个视觉特性来基于显著图调整虚拟对象的插入。
【文档编号】H04N21/44GK104244021SQ201410286318
【公开日】2014年12月24日 申请日期:2014年6月24日 优先权日:2013年6月24日
【发明者】P.赫利尔, C.查马雷特, L.奥伊塞尔 申请人:汤姆逊许可公司