交互式视频生成的制作方法

本发明涉及一种视频生成系统和方法。

背景技术：

多媒体平台可以是电视(television，简称TV)、机顶盒(set top box，简称STB)、移动设备、个人计算机(personal computer，简称PC)、智能手表，智能眼镜、智能镜、车载多媒体屏等。视频化平台可提供一种框架，该框架将内容转换成在多媒体平台等多媒体环境下的个性化视频内容。视频化系统就是一种提供这类视频化平台的系统。

诸如移动应用程序、互联网应用程序等的多种应用程序提供了多种视频化系统。一些视频化系统主要从互联网获取数据资源，如在购物比较、引擎搜索操作、在线屏幕播放、虚拟个人助理和社交媒体等行为中获取。

技术实现要素：

根据一示例，提供了一种视频生成方法。所述方法包括：获取一个或多个数据部分，并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频；使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象；接收指示，所述指示表明对应于对象定义的至少一个可选对象的用户选择；获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分；使用所述附加数据部分和对应于所述指示的所述一个或多个数据部分再生成所述可定制视频。

根据一示例，提供了一种视频处理设备。所述设备包括存储指令的存储器和耦合到所述存储器的处理器。所述处理器读取并执行所述指令，用以：获取一个或多个数据部分，并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频；使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象；接收指示，所述指示表明对应于对象定义的至少一个可选对象的用户选择；获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分；使用对应于所述指示的所述附加数据部分再生成所述可定制视频。

一种视频处理设备，包括：数据获取模块，用于获取一个或多个数据部分，并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频；确定模块，用于使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象；以及接收器，用于接收指示，所述指示表明对应于对象定义的至少一个可选对象的用户选择；所述数据获取模块还用于获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分，并使用对应于所述指示的所述附加数据部分再生成所述可定制视频。

附图说明

为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述。

图1示出了一实施例提供的可定制视频系统；

图2示出了交互式视频生成方法的一实施例；

图3示出了在云服务中工作的视频生成系统的一实施例；

图4示出了视频生成模板的生成过程的一实施例；

图图5示出了根据任何实施例的可用于实现如本文所述设备和方法的计算平台。

具体实施方式

下文将详细论述当前优选实施例的结构，制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。

视频自动生成通过视频化和人机交互手段允许用户与各种应用程序动态交互。

视频中的元素可以为动态成分，包括图像、视频片段、音频片段、文本图像、背景音乐和/或视频相关的人声或合成声音等。

媒体元素特征可包括文本特征、音频特征、视频特征、图像特征或其组合。基本特征可以为例如，文本颜色、图像大小、图形形状、视频分辨率等。更高级的特征可以为例如，音乐情感、画面语气、句子情感等。

图1示出了一实施例提供的可定制视频系统100。本实施例中所示的所述可定制视频系统100包括数据获取组件105、内容策展组件107、视频生成组件109、呈现组件111和用户界面组件101。可选地，所述可定制视频系统100可包括自然语言界面103。在一些实施例中，所述数据获取组件105至少耦合到所述用户界面组件101和所述内容策展组件107。所述内容策展组件107还可耦合到所述视频生成组件109，所述视频生成组件109可耦合到所述呈现组件111。所述自然语言界面103可耦合到视频服务系统113。

所述用户界面组件101和所述呈现组件111可包括单独组件，也可包括集成单元。在一些实施例中，所述自然语言界面103、所述数据获取组件105、所述内容策展组件107和所述视频生成组件109包括视频化引擎。

另外，所述可定制视频系统100可包括一个或多个视频生成模板。所述一个或多个视频生成模板包括可用于处理、组合和/或生成视频部分的模板。进一步地，所述视频生成模板120可用于处理、组合和/或生成数据部分以得到视频部分，包括组合和/或生成视频、文本、音频、图像或动画部分和/或任何其他合适数据。

所述可定制视频系统100生成可定制视频。用户能够使用所述可定制视频系统100生成可定制视频。所述用户能够使用所述可定制视频系统100播放并观看所述可定制视频，其中，所述可定制视频包括一个或多个可选对象。

用户能够在所述可定制视频中选择或指示可选对象，如突显所述可选对象，将光标或定点元素置于所述可选光标之上或附近，确定用户的眼动和/或凝视位置，接收来自用户的声音指示或其他合适指示等。作为响应，所述可定制视频系统100能够再生成所述可定制视频，获取附加主题并将其纳入所述可定制视频。所述附加主题可能与所述用户选择或指示的所述可选对象相关。因此，所述可定制视频系统100快速且便捷地对所述可定制视频进行修改，并呈现给所述用户。这样，用户无需手动寻找并获取所述附加主题。用户也无需手动纳入所述附加主题。

仅通过选择所述可定制视频中的一个或多个可选对象或显示对其感兴趣，用户就能修改所述可定制视频。通过连续地选择所述可定制视频中的可选对象，用户能够反复地改变或精细化所述可定制视频。所述可定制视频系统100能实时或接近实时地生成可定制视频。所述可定制视频系统100能够在向用户呈现所述可定制视频期间再生成所述可定制视频。

所述用户界面组件101耦合到所述数据获取组件105。所述用户界面组件101可与用户交互通信，例如，包括接收用户输入等。所述用户输入可包括任何合适的输入，例如，包括机械输入、音频输入、光输入、电或磁输入、或接近传感器输入等。其它输入类型也予以考虑并且在说明书和权利要求书的范围内。

所述呈现组件111向用户显示(即呈现)视频。所述呈现组件111可包括显示屏幕或屏幕。所述呈现组件111可包括扬声器或其他音频生成组件。所述呈现组件111可包括其他组件或附加组件。应理解，在一些实施例中，所述呈现组件111可包括独立组件，也可集成在所述用户界面组件101。

若所述可定制视频系统100包括所述自然语言界面，则用户可使用所述自然语言界面103与所述可定制视频系统100进行交互。例如，在一些实施例中，所述自然语言界面103进行语音分析，并响应来自用户的语音输入和语音命令。在一些实施例中，所述自然语言界面103为用户生成音频指令和/或音频反馈。

所述视频生成组件109生成可定制视频。在一些实施例中，所述视频生成组件109将一个或多个部分进行组合和/或集成，从而创建可定制视频。在一些实施例中，所述一个或多个数据部分包括视频部分。但应理解，所述一个或多个数据部分可包括其他数据，包括图像、动画、音频、文本以及其他数据部分。

作为生成可定制视频的部件，所述可定制视频系统100能够在所述可定制视频中确定可选对象。在一些实施例中，所述可定制视频系统100可使用视频生成模板xxx来确定可选对象。针对所述可定制视频中确定的每个可选对象，生成对象定义。

所述确定可选对象可包括分析所述可定制视频的部分。对可选对象的分析可包括对所述可定制视频中的语音音频进行自然语言处理。对可选对象的分析可包括对所述可定制视频进行形态分析。对可选对象的分析可包括对所述可定制视频中的语音音频和/或文本进行语义分析。对可选对象的分析可包括对所述可定制视频进行视频分析。对可选对象的分析可包括对所述可定制视频中的图像进行图像分析。所述对可选对象的分析可包括对所述可定制视频进行音频分析。所述音频分析可以指出用户(或其他观看者)可能会感兴趣的音频部分。对可选对象的分析可包括对所述可定制视频进行情感分析。所述情感分析可确定所述可定制视频中正在传达或试图传达的情感。

所述内容策展组件107策展数据部分，以在可定制视频中使用。所述内容策展组件107可存储数据部分。在一些实施例中，所述内容策展组件107能够处理数据部分，如过滤、锐化数据部分，改变数据部分的光线、颜色或对比度，或处理和/或改进所述数据部分。在一些实施例中，所述内容策展组件107组织数据部分。在一些实施例中，所述内容策展组件107维护数据部分，包括获取对数据部分的更新或改变。在一些实施例中，所述内容策展组件107对数据部分进行分级、排列、排序，其中，所述可定制视频系统100能够区别多个类似或可互换的数据部分，并从中选择所需的数据部分。

所述数据获取组件105获取数据部分，以在可定制视频中使用。在一些实施例中，所述数据获取组件105可搜索待获取的数据部分。

视频生成模板120包括一种构造，该构造能够接受合适的输入数据并过滤掉无法接受或不需要的输入数据。视频生成模板120包括一种构造，该构造能够将输入数据转换成一种或多种可用的或更好的数据格式。视频生成模板120包括一种构造，该构造能够改进或优化数据部分。视频生成模板120包括一种构造，该构造能够组合数据部分。视频生成模板120包括一种构造，该构造能够确定任一可选对象是否包括在所述数据部分中。

视频生成模板120可包括数据接收规则或功能。视频生成模板120可包括数据处理规则或功能。视频生成模板120可包括视频生成规则或功能。因此，视频生成模板120能够用于接收数据部分、处理数据部分、组合数据部分、包括和/或指出可定制视频中的可选对象。

操作中，所述可定制视频系统100接收用户输入和/或命令，以生成可定制视频。所述可定制视频系统100向用户提供一种或多种视频生成模板。所述可定制视频系统100获取一个或多个数据部分，使用一个或多个视频生成模板组合所述一个或多个视频部分，并生成所述可定制视频。此外，所述可定制视频系统100能够使用所述一个或多个视频生成模板以任何合适的方式处理数据部分。进一步地，所述可定制视频系统100能够使用所述一个或多个视频生成模板来确定所述可定制视频中的一个或多个可选对象。所述可定制视频系统100使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象。所述可定制视频系统100接收指示，所述指示表明对应于对象定义的至少一个可选对象的用户选择；获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分；并使用所述附加数据部分和对应于所述指示的所述一个或多个数据部分再生成所述可定制视频。

所述视频生成系统100向用户提供视频生成模板，并通过自然语言界面103与用户进行交互。视频化引擎110包括自然语言界面103、数据获取模块105、内容策展模块107、视频生成模块109和呈现模块111。在一些实施例中，所述视频化引擎110用于通过所述自然语言界面103与用户进行交互。

在一些实施例中，所述数据获取模块105可通过其他搜索引擎和/或资源采集数据，如产生图像和视频。所述内容策展模块107可选择数据、准备视频场景、生成包含对象定义的可扩展标记语言(extensible markup language，简称XML)文件。将所述XML文件和所述数据传递给所述视频生成模块。所述视频生成模块109可通过语音播报引擎生成音频文件，组合图象和音频文件，并应用动画或特效来合成视频。所述视频通过所述呈现模块呈现给用户。生成的视频与手动产生的视频不同之处在于可定制性。这一视频生成系统100可通过自然语言界面103或数据获取模块105与服务视频系统产生联系。在一些实施例中，所述数据获取模块105收集来自购物代理等服务模块的数据，所述购物代理对不同零售商的产品特征和价格进行比较。例如，这一视频生成系统100能用于购物系统中向用户呈现产品对比。根据顾客搜索的产品，可从该系统中生成视频。这一系统也能应用于视频回铃音的情况中，为客户提供视频铃音；或应用于银行视频化系统，使用视频化引擎以自动生成针对用户定制的个人财务和银行视频；或应用于即时通讯系统，用户通过视频化引擎的自然语言界面创作消息，此消息可直接传递给即时通讯服务。

图2示出了交互式视频生成方法200的一实施例。所述方法包括：获取一个或多个数据部分201，并使用所述一个或多个数据部分和一个或多个视频生成模板203生成可定制视频；使用一个或多个对象定义2053在所述可定制视频205中确定一个或多个可选对象2051；接收指示，所述指示表明对应于对象定义2053的至少一个可选对象2051的用户选择207；获取与对应于所述指示207的所述至少一个可选对象2051相关的附加数据部分；(209)使用所述附加数据部分和对应于所述指示207的所述一个或多个数据部分201再生成所述可定制视频205。

所述数据部分可包括能够纳入视频中的任何数据。数据部分的大小和长度任意。在一些实施例中，数据部分可以为从互联网或其他一些资源中能够搜索到的最小元素。例如，数字、词组、文件、关键词、图像、音频片段等。但上述例子仅仅是为了说明而非限制或穷举。

所述指示表明可选对象的用户选择。所述指示可由用户或机器给出，用于显示所述视频生成程序平台或视频生成系统“理解”的指令。

可选对象包括可定制视频中用户可选择或指示的对象。所述可选对象可以为音频片段、视频片段的一部分、图像、图形和/或文本的片段，或者可以为由于进一步的目的而选为待处理的对象的元素的组合，例如，为了指示播放器播放与所述对象相关的另一视频片段而选择的对象。可选对象也可以为整个视频或视频片段。

对象定义可以为描述对象的关联信息的定义。对象的特征可以为颜色、大小、形状等。所述对象定义可包括，例如：(1)对象的元数据，如关于对象的附加描述、作者、版本号、版权信息、价格、相关描述性信息或任何其他合适的信息；(2)关于已开启或允许互动的指令，例如，“点击”显示Web URL，“打开鼠标”显示叠加一些元数据，“按下按钮1”执行一些程序或者调用API等等。

所述确定一个或多个可选对象还可包括从所述一个或多个数据部分中提取媒体元素特征。所述确定一个或多个可选对象还可包括用所述一个或多个对象定义标记不同级别的媒体元素特征。所述确定一个或多个可选对象还可包括将所述不同级别的媒体元素特征中的媒体元素特征标记为可选对象。

所述对象定义可定义在文件中，例如，可扩展标记语言(extensible markup language，简称XML)文件。因此，当用户选择或指示可选对象时，所述视频生成系统100的组件能传递或访问对应的XML文件。所述指示可包括将对象定义添加到视频描述文件中的视频描述文件。

所述方法还可包括根据用户的调度更新所述可定制视频。

所述方法还可包括再生成所述可定制视频之后，使用更多对象定义确定更多可选对象。

视频化将互联网内容和/或其他内容转换成可个性化的用户友好型视频内容，可在TV、移动设备、PC、车载计算机或其他任何合适的设备上进行观看。视频化可允许用户观看和收听互联网，而不必阅读单个网页。这样一来，用户能更好地鉴赏互联网公共资源。根据本实施例，用户可以被动地接收内容，也可控制并定制内容互联网内容可基于该内容的资源和类型进行分类。在该系统中，每一分类均可呈现为单独的频道。例如，包括多个网页的社交网络互联网网站可呈现为一个频道，该网站的帖子可呈现为分集。

图3示出了在云服务中工作的视频生成系统的一实施例；视频化云服务系统300包括视频化层310、储存库层330和应用层350。考虑到软件设计原理，所述层的设计以对象为中心。所述层通过应用程序接口(application programming interface，简称API)集成，所述应用程序接口可作为简单对象访问协议(Simple Object Access Protocol，简称SOAP)和表征状态转移(Representational State Transfer，简称REST)等互联网服务实现。本领域技术人员应理解，也可应用其他协议。

所述视频化层310包括数据获取模块311、内容策展模块313和视频生成模块315。所述数据获取模块311包括社交提取器、网页提取器、电子节目导航(electronic program guide，简称EPG)提取器、新闻提取器。在一实施例中，所述数据获取模块311包括社交提取器、网页提取器和EPG提取器。不同种类(如社交媒体、新闻和产品)和格式(如XML、超文本标记语言(Hypertext Markup Language，简称HTML)、图像和视频)的数据均可被收集和视频化。内容策展(content curation，简称CC)组件313包括形态分析、语义分析、情感分析、多情态分析、语音识别、启发式规则、算法和信息呈现。

如本申请中前文所述，所述内容策展模块313可指收集、组织、显示与特定主体相关的信息的过程。所述CC组件313可实现所述对象定义。

所述视频生成组件315包括可视化模块、转码模块和脚本模块。所述可视化模块通过所述CC组件313提供的指令生成3D视频内容。所述转码模块解码收集到的多媒体内容以供所述可视化模块使用，并将所述可视化模块的输出编码为所需格式。所述脚本模块提供动作类和导演类脚本以供所述可视化模块使用，并处理与其他模块间的脚本集成。所述脚本模块提供使用JavaScript技术的API。第三方开发者能使用所述API将自己的视听动画、动作、和导演模板添加到所述系统中。动作脚本是针对如补间、旋转、缩放和平移等常见动作动画的JavaScript指令。第三方开发者可使用提供的预定义脚本或将自己的动画添加到动作脚本数据库。导演脚本解析CC指令，并生成视频时间轴，所述时间轴描述在何时、何地以及如何根据预定义模板将从网页收集到的内容呈现出来。第三方开发者可使用预定义脚本或根据其意图添加自己的脚本。所述视频化层310使用NLP、图像处理和计算机制图技术将获取到的结构内容(如社交资料和网页)转换成视频格式。所述储存库层330包括用户资料、多媒体储存库、知识库和视频储存库。所述多媒体储存库存储有视频生成中的基本多媒体内容，所述视频储存库存储生成的视频。所述应用层350包括视频化API 353和前述多种频道351。所述应用层350包含高水平服务，包括但不限于针对数据提取的与外部网站集成以及针对频道的与用户界面集成。在一实施例中，针对图像和视频处理模块以C++实现软件，兼以Java实现软件。所述视频化云服务系统包括预定义动画的数据库和以JavaScript写成的导演脚本，使第三方开发者能将其自己的脚本添加到所述系统中。进一步地，可用的商业和开源软件发展和管理工具包括但不限于用于图像和视频处理的OpenCV，以及用于NLP的OpenNLP。

提供了另一实施例。剧本系统的可视化包括内容策展模块，用于为视频生成模块创建剧本XML数据。所述内容策展模块指导所述剧本系统的可视化，并确定如何将提取的网页内容呈现给单个TV观众。所述内容策展模块支持自然语言处理、语义网页、多情态总结和个性化研究挑战。所述内容策展模块最终输出称为视频化视频描述语言的XML文件，定义生成视频的内容。所述视频描述语言包括多个场景元素。每个场景元素可包括文本项、视觉项(图像和视频)和听觉项。以下为视频化视频描述语言文件的句法的一个实例。

图4示出了视频生成模板的生成过程的一实施例。可从数据获取模块中提取认为有用的关键信息401在内容策展模块中，不同模块研究不同规则或原理，如审美规则模块4031、感知原理模块4033、优化呈现模块4035或移动显示器可读性约束模块4037，均可生成视频模板405，从而后续视频可参考所述视频模板。视频生成模块可使用图像和视频处理将所述内容策展模块的输出(如XML内容)转换成视频。在转换过程中，所述视频生成模块编辑视频功能，如进行缩放、改变尺寸或过滤。例如，所有接收到的视觉、听觉和文本内容均视为演员，导演脚本通过解析并诠释所述内容策展模块生成的XML为所述演员分配角色。动作脚本则定义了各个演员的入场和出场时间，以及每个执行时间步骤中的相应动作。

提供了另一实施例。一种视频处理设备，包括：数据获取模块，用于获取一个或多个数据部分，并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频；确定模块，用于使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象；以及接收器，用于接收指示，所述指示表明对应于对象定义的至少一个可选对象的用户选择；所述数据获取模块还用于获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分，并使用对应于所述指示的所述附加数据部分再生成所述可定制视频。

通过将所述视频处理设备中的不同元素或模块与所述实施例进行匹配，所述视频处理设备可执行如上所述的方法。

图图5示出了根据任何实施例的可用于实现如本文所述的设备和方法的计算平台1100。特定设备可利用所有所示的组件或所述组件的仅一子集，且设备之间的集成程度可能不同。此外，设备可以包括组件的多个实例，如多个处理单元、处理器、存储器、发射器、接收器等。实施例中的处理系统1101包括配备一个或多个输入/输出设备，例如扬声器、麦克风、鼠标、触摸屏、按键、键盘、打印机、显示器等的处理单元(未示出)。处理单元1100可以包括连接至总线1140的中央处理器(central processing unit，简称CPU)1110、存储器1120、大容量存储器设备1130和I/O接口1160。

总线1140可以是任意类型的若干总线架构中的一个或多个，包括存储总线或存储控制器、外设总线、视频总线等等。所述CPU 1110可包括任何类型的电子数据处理器。存储器1120可包括任意类型的非瞬时性系统存储器，如静态随机存取存储器(static random access memory，简称SRAM)、动态随机存取存储器(dynamic random access memory，简称DRAM)、同步DRAM(synchronous DRAM，简称SDRAM)、只读存储器(read-only memory，简称ROM)或其组合等等。在一实施例中，存储器1120可包括在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。

大容量存储器设备1130可包括任意类型的非瞬时性存储设备，用于存储数据、程序和其它信息，并使这些数据、程序和其它信息通过总线访问。例如，大容量存储器设备1130可包括如下所述的一种或多种：固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等等。

I/O接口1160将外部输入和输出设备耦合到处理单元1100。如图所示，输入和输出设备的示例包括耦合到I/O接口1160的显示器和鼠标/键盘/打印机(未示出)。其它设备可以耦合到处理器单元1100，并且可以使用额外或更少的接口设备。例如，可使用如通用串行总线(Universal Serial Bus，简称USB)(未示出)等串行接口为打印机提供接口。

处理单元还包括一个或多个网络接口1150，网络接口1150可包括以太网电缆等有线链路，和/或到接入节点或者不同网络1180的无线链路。网络接口1150允许处理单元通过网络1180与远程单元通信。例如，网络接口1150可以通过一个或多个发射器/发射天线1170以及一个或多个接收器/接收天线提供无线通信。在一实施例中，所述处理单元与局域网或者广域网耦合以进行数据处理以及与如其他处理单元、互联网、远端存储设备等远端设备进行通信。

例如，根据一示例，提供了一种视频处理设备。所述设备包括存储指令的存储器，以及耦合到所述存储器的处理器，所述处理器读取并执行所述指令，用以：获取一个或多个数据部分，并使用所述一个或多个数据部分和一个或多个视频生成模板生成可定制视频；使用一个或多个对象定义在所述可定制视频中确定一个或多个可选对象；接收指示，所述指示表明对应于对象定义的至少一个可选对象的用户选择；获取与对应于所述指示的所述至少一个可选对象相关的附加数据部分；使用对应于所述指示的所述附加数据部分再生成所述可定制视频。

人们可将其生成的视频上传至自己的频道，并随时随地地吸引和发展观众。

例如，用户连接到一个或多个社交媒体平台，社交媒体视频系统根据用户的需求从预定义的授权社交媒体平台采集数据。

虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。

此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。