用于生成展现多个视频的用户界面的方法与流程

本原理总体上涉及展现来自与同一事件相关的多个视频的视频的领域。更具体地，本原理涉及用于生成在显示设备上展现多个同步视频的用户界面的方法以及用于实现所述方法的设备。

背景技术：

该部分旨在向读者介绍本领域的各个方面，其可以与下面描述和/或要求保护的本原理的各个方面相关。相信该讨论有助于向读者提供背景信息以促进对本原理的各个方面的更好的理解。因此，应当理解，这些陈述应该从这个角度来阅读，而不是作为对现有技术的承认。

今天，随着越来越多的数字设备的可用性，越来越多的视频电影被人们捕获。除了社交网络中的视频共享的爆发之外，多个用户提供同一事件的可能大量的视频。所有这些视频内容片段构成其中原始视频材料很多的数据库。因此，展现从大众媒体创建中发布的这些视频内容片段是个挑战，因为用户观看显示设备中的视频的能力有限。

用于展现视频的第一种技术是创建马赛克，其中显示屏幕被分割成与视频源一样多的单元。然而，该技术适于有限数量的视频，以便于展现和用户向不同视频源切换。灵感来自缩略图图像显示的该技术在数据库的大小增加时并不扩展，因为用户必须挖掘巨大的数据库而且显示屏幕不可扩展。

用于展现视频的第二种技术是创建显示在同一时刻捕获到的视频的电影带(filmstrip)，其通常用于视频合成界面。为此目的而定义绝对时间戳，其可以是事件的开始，并且视频沿着该时间戳同步。因此，第二种技术中显示的视频的数量相比于第一种技术减少：仅显示在同一时间但从不同视点捕获同一场景的视频。然而，针对所确定的时间戳的视频的数量可能动态地变化，而且仍然可能非常大。

当要处理大量贡献时并且当要向用户展现真实的多个视点以确保最佳观看体验时，本原理倾向于解决同时的同步视频呈现的问题。

技术实现要素：

本原理提供了一种在显示设备上展现多个时间同步的视频的用户界面，其中该用户界面包括可扩展数量的视频单元，其中视频根据其质量来布置。为此目的而公开了一种由计算机进行的方法，其生成在显示设备上展现多个时间同步的视频的用户界面，其中该用户界面包括可扩展数量的视频单元。该方法包括：

·从多个视频中的每一个获得表示视频质量的值；

·选择多个视频中的具有表示视频质量的最高值的视频用以在每个视频单元中显示。

有利地，基于质量等级的动态同步视频墙提供最佳观看体验。

根据各种特性，单独或组合采用：

·视频单元根据其尺寸排序，并且具有表示视频质量的最高值的视频在最大尺寸的视频单元中显示；

·根据表示视频贡献者名声的最高值进一步选择视频；

·根据表示所显示的视频之间的视频相似性的最低值进一步选择视频；

·在用户选择要在第一视频单元中显示的新的参考视频时、或者在参考视频结束时、或者在任何所显示的视频结束时更新对每个视频单元中的具有表示视频质量的最高值的视频的选择。

有利地，多个视频单元包括第一(或主要)视频单元和次要视频单元。作为多个视频中的具有表示视频质量的最高值的视频或者由用户选择的视频的参考视频在第一视频单元中显示，并且用作例如针对视频的时间对准和针对内容相似性的参考。然后次要(或辅助)视频根据其质量、贡献者名声、相似性在次要视频单元中显示。有利地，由于一个主要视频窗口和辅助视频(或静止画面)窗口，这样的实施例允许更容易的内容浏览。

根据第二方面，公开了一种设备，其包括被配置为产生用于显示设备的视频展现用户界面(ui)的处理器。

在变型中，该设备包括：

·用于生成在显示设备上展现多个时间同步的视频的用户界面的部件，其中该用户界面包括可扩展数量的视频单元；

·用于从多个视频中的每一个获得表示视频质量的值的分析模块；

·用于选择多个视频中的具有表示视频质量的最高值的视频用以在用户界面的每个视频单元中显示的部件。

根据特定实施例，该设备属于包括以下的组：

-移动设备；

-通信设备；

-游戏设备；

-平板(或平板计算机)；

-膝上型计算机；

-静止画面相机；

-摄像机；

-视频服务器(例如网络服务器)；以及

-视频共享平台。

根据另一方面，本原理针对一种图形处理单元，包括用于执行代码指令的部件用以进行先前描述的方法。

根据第三方面，公开了一种计算机程序产品，包括程序代码指令，当该程序在计算机上执行时，该程序代码指令执行在其任何变型中的ui生成方法的步骤。

根据第四方面，公开了一种处理器可读介质，其具有存储在其中的指令用以使处理器至少进行以下：生成用于显示设备的展现多个时间同步的视频的用户界面，其中该用户界面包括可扩展数量的视频单元；从多个视频中的每一个获得表示视频质量的值；以及选择多个视频中的具有表示视频质量的最高值的视频用以在每个视频单元中显示。

根据第五方面，公开了一种非临时性程序存储设备，其可由计算机读取，有形地包含可由计算机执行以进行至少用于以下的方法的指令的程序：生成用于显示设备的展现多个时间同步的视频的用户界面的方法，其中该用户界面包括可扩展数量的视频单元；从多个视频中的每一个获得表示视频质量的值；以及选择多个视频中的表示视频质量的最高值的视频用以在每个视频单元中显示。

尽管没有明确描述，但是本实施例可以以任何组合或子组合来采用。例如，本实施例不限于所描述的视频单元的布置。

此外，针对ui生成方法所描述的任何特性或实施例与旨在处理所公开的方法的设备并且与存储程序指令的计算机可读存储介质兼容。

附图说明

现在将参照附图通过非限制性示例来描述本原理的优选特征，附图中：

-图1描绘了根据本原理的特定和非限制性实施例的用于生成展现多个时间同步的视频的用户界面的处理设备；

-图2表示根据特定和非限制性实施例的图1的处理设备的示例性架构；

-图3表示根据本原理的特定和非限制性实施例的用于生成展现多个同步视频的用户界面的方法的流程图；

-图4表示根据本原理的数据库d的同步视频；

-图5图示了根据本原理的特定实施例的用于显示多个同步视频的用户界面。

具体实施方式

本原理的一个突出构思是在视频墙中展现时间同步的视频的子集，其中根据相对于诸如光亮、移动或突出性的视频参数表示视频质量的信息来选择该子集。

图1描绘了根据本原理的特定和非限制性实施例的用于相对于时空连通性显示多个视频的处理设备1。处理设备1包括被配置为从例如存储在远程数据库中的视频集合中接收多个视频的输入端10。视频集合中的视频可以从源获得。根据本原理的不同实施例，该源属于包括以下的组：

-本地存储器，例如视频存储器、ram、闪速存储器、硬盘；

-存储接口，例如与海量储存器、rom、光盘或磁性支撑的接口；

-通信接口，例如连接到服务器的有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如ieee802.11接口或蓝牙接口)；以及

-画面捕获电路，例如传感器(诸如例如ccd(或电荷耦合器件)或cmos(或互补金属氧化物半导体))。

输入端10链接到被配置为对视频进行解码以在视频单元中显示的至少一个视频解码器12。输入端10还链接到分析模块14，分析模块14被配置为获得每个视频的时间信息以及用于计算质量信息、相似性信息或贡献者名声的参数。分析模块14还被配置为根据视频参数计算表示质量信息、相似性信息、贡献者名声或它们的组合中的任何一个的值，如后所述。根据变型，分析模块14在处理设备1的外部，并且视频参数或代表值通过输入端10输入到处理设备。模块14的输出端连接到模块16，模块16被配置为生成包括多个视频单元的用户界面，并且根据每个时间同步的视频的质量信息选择用于显示的视频。模块16还连接到至少一个视频解码器12，用以对所选择的视频进行解码。视频解码器12和模块16链接到输出端20，以便将图形信息发送到显示设备。在非限制性变型中，显示设备是设备1的一部分或者在设备1的外部。

图2表示根据本原理的特定和非限制性实施例的处理设备1的示例性架构。处理设备1包括一个或多个处理器110，其例如是cpu、gpu和/或dsp(数字信号处理器的英文缩写)，以及内部存储器120(例如ram、rom、eprom)。处理设备1包括适于显示输出信息和/或允许用户输入命令和/或数据的一个或多个输入/输出接口130(例如，键盘、鼠标、触摸板、网络摄像机、显示器)；以及可以在处理设备1的外部的电源140。处理设备1还可以包括(多个)网络接口(未示出)。

根据本原理的示例性和非限制性实施例，处理设备1还包括存储在存储器120中的计算机程序。计算机程序包括指令，当该指令由处理设备1、特别是由处理器110执行时，使得处理设备1执行参照图3所描述的处理方法。根据变型，计算机程序在处理设备1的外部存储在非临时性数字数据支撑上，例如在诸如hdd、cd-rom、dvd、只读和/或dvd驱动器和/或dvd读/写驱动器的外部存储介质上，这些都是本领域公知的。因此，处理设备1包括用于读取计算机程序的接口。此外，处理设备1可以通过对应的usb端口(未示出)来访问一个或多个通用串行总线(usb)类型的存储设备(例如，“记忆棒”)。

根据示例性和非限制性实施例，处理设备1是一种设备，其属于包括以下的组：

-移动设备；

-通信设备；

-游戏设备；

-平板(或平板计算机)；

-膝上型计算机；

-静止画面相机；

-摄像机；

-视频服务器(例如网络服务器)；以及

-视频共享平台。

本领域技术人员将理解，例如关于解码器或者关于视频参数的获得，使用图形处理板上的图形处理单元(gpu)来有利地计算在优选实施例中所描述的本原理。

图3表示根据本原理的特定和非限制性实施例的用于生成用于显示设备的显示多个时间同步的视频的用户界面的方法的流程图。

所描述的方法有利地很好地适于允许摄取同一事件的各种视频的系统或服务。如先前所揭露的，视频在显示器上同时呈现给用户，以便即使在具有多个视点的大量视频的情况下也确保最佳观看体验。

根据本原理，用于显示的视频在时间上同步。图4表示根据本原理的数据库d的同步视频。例如，第一视频捕获设备gopro1捕获分别由区段gopro1_1和gopro1_2表示的两个视频，其中第一区段gopro1_1相对于时间参考0从时间0到大约时间1600对准，并且其中第二区段gopro1_2相对于时间参考0从时间1600到时间1700对准。此外，同一事件的表示由第二设备gopro2捕获的视频的区段gopro2_1、gopro2_2和表示由第三设备gopro3捕获的视频的区段gopro3_1、gopro3_2也相对于时间参考0时间对准。视频同步信息，诸如相对于绝对捕获时间(或时间参考0)的时间对准与视频一起输入或者从图3中未示出的预备同步步骤中获得。针对如图4所示的多个视频中的每个视频获得表示绝对捕获开始时间的值和表示绝对捕获结束时间的值。例如，在视频捕获设备具有相同的内部时钟(例如，通过通信网络对准)的情况下，在创建视频捕获设备gopro1、gopro2、gopro3中的视频时获得这种绝对捕获时间(也称为时间戳)。在例如国际专利申请wo2014/082812中公开的变型中，通过分析与所捕获的视频相关联的音频的突出的梅尔频率倒谱系数来获得同一视频事件的绝对捕获时间。在又一变型中，时间对位基于对针对视频的第一帧相对于参考视频的帧所计算出的空间指纹的分析。有利地，组合以上变型中的任何一个以获得准确的时间同步。在通过如图4所示的区段来表示视频的变型中，每个视频gopro1_1、gopro1_2、gopro2_1、gopro2_2、gopro3_1、gopro3_2以其绝对捕获时间或时间戳以及诸如例如源的任何其他信息存储在表格中。表格的条目例如为：

gopro1_1gopro1start_ts＝0stop_ts＝1600

在又一变型中，视频被划分为相等时间长度的时间对准块，并且针对表示视频的每个区段获得时间戳(例如0、200、400)。在下文中，视频的任何细分都被当作视频。例如，考虑时间长度200的块，视频gopro1_1被划分为：

gopro1_1_1gopro1start_ts＝0stop_ts＝200

gopro1_1_2gopro1start_ts＝200stop_ts＝400

gopro1_1_3gopro1start_ts＝400stop_ts＝600

…

gopro1_1_8gopro1start_ts＝1400stop_ts＝1600

gopro1_2gopro1start_ts＝1600stop_ts＝1800

在第一步骤s10中，从多个视频中的每个视频获得表示视频质量的值。为此目的，处理数据库d的每个视频以提取多个视频参数。根据示例性和非限制性实施例，参数属于包括以下的组：

·光亮；

·稳定性；

·移动或动作，其中移动度量的提取由viola、jones和snow在“detectingpedestriansusingpatternsofmotionandappearance”(计算机视觉国际学报，2005年，第153-161页)或cedras,c.和shah,m.在“motion-basedrecognitionasurvey”(图像与视觉计算，2005年，第129-155页)中描述；

·突出性，如cerf、harel、和koch在“predictinghumangazeusinglow-levelsaliencycombinedwithfacedetection”(神经信息处理系统的进步，2008年，第241-248页)或judd、ehinger、durand和torralba在“learningtopredictwherehumanslook”(ieee第十二届计算机视觉国际会议，2009年，第2106-2113页)中所描述的那样；

·模糊，其中模糊测量例如由fang、shen、guo、jacquemin、zhou和huangin的“aconsistentpixel-wiseblurmeasureforpartiallyblurredimages”(ieee图像处理国际会议，2014年，第496-500页)公开；

·对比度，其中对比度测量例如由arici、dikbas和altunbasak在“ahistogrammodificationframeworkanditsapplicationforimagecontrastenhancement”(ieee图像处理学报，2009年第18卷，第1921-1935页)中公开；

·诸如面部的语义对象的存在，其中这样的信息是自动或用户定义的；

·空间分辨率；

·颜色体积，其中色域映射例如由stone、cowan和beatty在“colorgamutmappingandtheprintingofdigitalcolorimages”(acm图形学报，1988年第7卷，第249-292页)中描述；

·多彩性，如hasler,d.和suesstrunk,s.e.在“measuringcolorfulnessinnaturalimages”(电子成像，2003年，第87-95页)中所描述的那样。

根据不同的参数，针对视频的帧获得参数值(诸如模糊)或针对视频序列全局地获得参数值(诸如针对捕获设置的移动或空间分辨率)。因此，在非限制性示例中，针对视频或视频的每个帧、或者在视频的规律的帧间隔处、或者针对表示视频的帧(作为第一帧或关键帧)来确定参数。在其他示例中，对于诸如突出性的指定参数，针对整个视频在规律的时间间隔处定义一组值。有利地，然后例如使用沿着视频的时间长度的每个值的平均值来获得指定视频参数的全局值。换句话说，每个n帧即时(onthefly)获得一个值，并且通过计算p/n帧的平均参数值来针对整个视频的p帧对值进行积分。

如非限制性的以上示例中所公开的这种参数提取的详细操作在本原理的范围之外。此外，本领域技术人员将理解，这样的参数值可以离线预处理并与视频和时间信息一起存储在数据库d中。

根据特别有利的特性，表示视频质量的值是对多个视频参数的值进行积分的加权平均值。作为不同参数的值，针对整个视频(或者针对视频的每个时间块)定义视频质量值。根据变型，用于创建视频质量值的不同视频参数的加权被定义为系统值。在另一变型中，由用户通过偏好设置来定义加权。在优选变型中，质量值越高，视频相对于所定义的参数和权重的质量越高。

根据另一特别特性，针对多个视频中的每个视频获得表示视频贡献者名声的值。附加到视频的替选或补充信息可以是贡献者的名字及其名声。据说其名声是由于服务用户反馈或社交网络数据而重新得到的系统信息。在这种情况下，最佳视频被认为是由最有名的贡献者所上传的视频。在另一变型中，用户在本地定义名声：每次用户选择视频作为参考时，贡献者本地名声值递增。在优选变型中，贡献者名声值越高，视频最可能被选择用于显示。

根据另一特别特性，从多个视频中的两个视频获得表示视频相似性的值。这里的目的是为了避免使墙由具有过于相似的视点的视频组成，因为用户可能想要使用此后描述的各种视点的丰富性。有利地，通过确定第一视频的帧与第二视频的对应帧之间的几何变换来获得视频相似性值，其中2个相对应的帧相对于时间参考而时间对准。本领域技术人员知道，传统地通过提取两个帧中的感兴趣点、计算诸如sift的图像描述符(如lowe,d.g.在计算机视觉国际学报，2004年，第60卷，第91-110页中的“distinctiveimagefeaturesfromscale-invariantkeypoints”中所描述的那样)、以及通过ransac回归估计帧之间的几何单应性来确定几何变换。单应性通常由3×3矩阵表示。表示视频i的帧xi与视频j的帧xj之间的变换的矩阵h被标记为hij。与帧xj的点xj相对应的帧xi的点xi由以下等式表示xi＝hij×xj。然后，在估计单应性的情况下，将相似性度量的值定义为例如变换矩阵的弗罗贝尼乌斯范数的逆。然而，本原理与应用于矩阵的任何其他范数兼容。本构思是，变换越大，相似性值越低。在帧截然不同以致于无法估计单应性的情况下，将相似性值设置为零。根据特别变型，针对第一和第二视频在规律间隔处的帧获得变换矩阵，并且针对整个视频通过对相似性值进行积分(如对质量参数那样)来获得相似性值。

在下文中，该度量将称为几何相似性度量或相似性度量。该度量实际上存储在相似性表格中。例如，相似性表格在列和行中具有视频gopro1_1、gopro1_2、gopro2_1、gopro2_2、gopro3_1、gopro3_2，时间同步的gopro1_2、gopro1_1对的相似性值存储在表格中的(gopro1_2，gopro1_1)处。有利地，将未对准的视频或者同一视频的相似性值设置为0。在变型中，将未对准的视频或者同一视频的相似性值设置为负值(例如-1)。

其中hwx-yz表示所考虑的视频之间的相似性值。由于h21-11＝h11-21，即相似性是可交换的，因此有利地，表格的一半被如上所示填充。

有利地，将视频预处理以获得所描述的值(质量、相似性、贡献者名声)，并且这些值与视频一起存储在数据库d中。

在第二步骤s20中，生成用户界面。用户界面被设计用于在显示设备上展现多个视频。用户界面包括可扩展数量的视频单元，如图5所示。这种用户界面被称为显示墙或视频墙。

根据呈现设备性能来定义视频单元的数量、尺寸、纵横比和位置，以确保显示设备上的最大观看体验。根据优选特性，视频墙呈现由一个主要单元1和一系列较小的视频单元2-18组成，如图5所示。视频单元根据它们的尺寸和位置从数字1(其为最有吸引力的单元)开始直到n以升序编号，n是表示视频单元的数量的整数，即，如图5所示n＝18。根据第一特性，最有吸引力的视频图形单元是最大尺寸的视频图形单元，从而视频单元根据它们的尺寸来排序并且根据它们渐减的尺寸来编号。在另一特性中，图形单元根据用户的自然阅读顺序来编号，从而在用户界面的顶部和左边的一个图形单元将由于对用户自然地最有吸引力而被给予较低的数字(从而显示较高质量的视频)，如针对编号4到9的单元所示的那样。

在变型中，墙的视频单元都以视频馈送。在另一变型中，具有较低编号(图5中的1到17)的视频单元以视频馈送，而与具有较高编号(图5中的18)的单元相对应的最后一个视频单元仅显示静止画面，其为例如表示视频的关键帧或视频的第一帧。有利地，这种变型减少展现用户界面所需的处理功率和解码器的数量。在又一变型中，最后的视频单元显示从所有未显示的同步视频中提取的一系列关键帧。该视频单元以由系统或由用户通过偏好设置所定义的频率连续刷新。

在第三步骤s30中，选择多个视频中的具有最高质量值的视频用以在每个视频单元中显示。在相对于参考时间的指定时间戳处的质量值以降序排列。

在将质量和贡献者名声度量组合的变型中，通过在指定时间戳处的可用视频的集合中选定具有表示视频质量的最高值和具有表示视频贡献者名声的最高值的视频来进行选择。根据表示视频质量的值和表示视频贡献者名声的值来计算加权线性组合。例如，对于视频gopro1_1、gopro1_2、gopro2_1、gopro2_2、gopro3_1、gopro3_2中的videocurrenti：

scorei＝qualitymetric(videocurrenti)+αfamemetric(videocurrenti)

其中α是由系统或由用户通过偏好设置界面所定义的权重，该权重显然控制墙的最终组成中的贡献者相对于质量的重要性。在变型中，有利的是考虑贡献者在同一视频单元内的持续性，以便允许更容易地跟随同一贡献者上传。因此，例如由同一设备(这里与贡献者相关联)所捕获的gopro1_1、gopro1_2应当展现在例如视频单元1的同一视频单元中。

在将质量和相似性度量组合的另一变型中，通过在指定时间戳处的可用视频的集合中选定不太相似的最高质量视频来进行选择，以便选择同一场景的不同视点，因为视频在时间上同步。这两个因素的加权线性组合可以用于以以下迭代处理来做出决定：

a)首先选择最高质量视频，表示为videocurrent0

b)直到已经选择n个视频用于n个视频单元中的每一个为止，对于i次迭代，迭代地进行以下：

针对命名为videocurrenti的每个剩余视频，计算如下定义的分数：

其中β是由系统或由用户通过偏好设置界面所定义的权重，该权重显然控制系统/用户在墙的最终组成中期望的相似性标准相对于质量标准的重要性。换句话说，如果视点类似于已经显示的视频，则对视频的质量度量应用罚分。

然后选择视频videocurrenti用以显示，其中视频videocurrenti在尚未选择用于显示的视频中具有最高分数。

当然，当考虑其他度量组合例如贡献者名声时，该机制适用。定义另一权重，其在将内在质量度量、名声度量和可能的相似性度量组合的分数中控制贡献者名气。

一旦在s30中选择要显示的视频，在可选的呈现步骤(未示出)中应用technicolor视频重构技术，以便自动地使视频和裁剪适应视频墙的尺寸和纵横比。

此外，对步骤s30进行迭代用以视频墙的动态呈现。

根据第一变型，每次参考视频改变时更新呈现。实际上，在主要视频单元1中显示的参考视频直到其结束或直到用户如上所述选择墙内的一个视频时才改变。当参考视频改变时，迭代步骤30的整个视频选择处理，定义要显示的包括参考视频的视频的新的分布并通过用户界面展现。此外，在具有固定持续时间的块的变型中，每次到达参考视频gopro1_1的新的块gopro1_1_1时更新呈现。参考视频区段频率控制次要单元更新，因为同步的次要视频的度量可能变化，从而产生要显示的新的视频分布。有利地，如前所述，可以考虑贡献者在同一视频单元内的持续性，以便增强对同一贡献者的视频上传的监视。当最后的视频单元显示静止关键帧序列时，以由系统定义的频率(通常为区段长度)或由用户通过优选参数所定义的频率连续刷新单元。

根据动态呈现的第二变型，每次次要视频结束时更新呈现。当一个次要视频结束时，除了参考视频之外，更新整个分布。此外，贡献者在同一视频单元内的持续性构成感兴趣的变型，导致仅可能更新次要视频已经结束的单元。

根据动态呈现的第三变型，用户界面被配置为使得用户能够在次要视频中选择参考视频。然后，每次用户改变参考视频时，更新呈现。

在第四步骤s40中，将所生成的用户界面和所选择的视频输出或发送到显示设备用以呈现给用户。

图5表示根据本原理的特定实施例的用于基于视频质量度量显示多个视频的用户界面。图5示出了从1到18编号的18个视频单元。每个视频单元适于显示视频。关于图2、图3中表示的视频，由视频设备gopro1、gopro2、gopro3所捕获的同一场景的不同视图展现在编号1、2和3的视频单元中。有利地，展现的3个视频是gopro1_1、gopro2_1、gopro3_1。自然地，本原理很好地适于大视频数据库，并且所描述的包括3个设备和6个视频的示例以说明性的目的给出，并且不以任何方式限制。

在此所描述的实现方式可以例如实现在方法或处理、装置、软件程序、数据流或信号中。即使仅在单一形式的实现方式的背景下进行了讨论(例如仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以例如实现在合适的硬件、软件和固件中。方法可以例如实现在诸如处理器(一般涉及例如包括计算机、微处理器、集成电路或可编程逻辑器件的处理设备)的装置中。处理器还包括诸如例如计算机、手机、便携/个人数字助理(pda)、以及便于在终端用户之间进行信息通信的其他设备之类的通信设备。

在此所描述的各种处理和特征的实现方式可以实施在各种不同的装备或应用中，特别是例如装备或应用。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后置处理器、向编码器提供输入的前置处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、手机、pda、以及其他通信设备。应当清楚的是，该装备可以是可移动的，甚至安装在移动车辆中。

此外，可以通过由处理器进行的指令来实现该方法，并且这样的指令(和/或由实现方式所产生的数据值)可以存储在处理器可读介质中，诸如例如集成电路、软件载体或者诸如例如硬盘、高密度磁盘(cd)、光盘(诸如例如通常被称为数字多功能盘或数字视频盘的dvd)、随机存取存储器(ram)或只读存储器(rom)的其他存储设备。指令可以形成有形地实施在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或其组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现所产生的数据值。

对本领域技术人员将明显的是，实现方式可以产生被格式化为携带例如可以被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一所产生的数据。例如，可以将信号格式化为携带用于写入或读取所描述的实施例的语法的规则作为数据或者携带由所描述的实施例写入的实际的语法值作为数据。这样的信号可以例如被格式化为电磁波(例如使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用经编码的数据流来调制载波。信号所携带的信息可以例如是模拟信息或数字信息。如已知的那样，信号可以通过各种不同的有线或无线链路来传送。信号可以存储在处理器可读介质上。

已描述了很多实现方式。然而，应当理解的是，可以做出各种修改。例如，可以对不同实现方式的元件进行组合、补充、修改或移除，以产生其他实现方式。此外，本领域普通技术人员将理解的是，其他结构和处理可以替代所公开的结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以获得与所公开的实现方式至少基本相同的结果。因此，本申请想到这些以及其它实现方式。