专利名称：数字内容中最佳回放定位的方法和设备的制作方法
技术领域：
本公开一般涉及数字内容系统和数字视频记录系统，尤其涉及数字视频内容中最佳回放定位的方法和设备。
背景技术：
当使用数字录像机(DVR)时，想在一段内容，例如，电影或电视节目中向前或向后跳是常见的。但是，目前，还没有一种机制可用于确定场景的适当起点或终点或开始播放内容的适当点。许多DVR简单地在用户按下播放按钮的地方开始播放，但一些DVR具有以下机制其中通过快进(FF)或倒退(Rew)有多快来确定回放起点，这假设延迟量是固定的，自动向后跳过一定数量来补偿。在当今现有的最好的当前实现方式中，内容回放不一定从任何类型的场景边界开始，而简单地让用户较接近他们有可能想要的地方。
发明内容
本公开提供了用于在数字视频内容中进行最佳回放定位的方法和设备。本公开涉及以优先的方式在内容中标记场景或重要点的机制，并定义了利用与内容相联系的这种标记来促进在适当回放点上的停止或开始回放的机制，例如，当按下场景跳过按钮以向前或向后跳转到另一个场景时，或者当在输入快进(FF)或倒退(Rew)指令之后按下播放时。按照本公开的一个方面，提供了在视频内容中确定最佳回放位置的方法，该视频内容包括多个帧。其中，该方法包括以用于观看的回放速度显示视频内容；接收第一导航指令以便以比用于观看的回放速度快的速度导航视频内容；接收第二导航指令以便以用于观看的回放速度恢复显示视频内容；以及根据视频内容的至少一个带标记帧，响应第二导航指令而确定视频内容的回放位置。按照本公开的另一个方面，提供了回放视频内容的设备，该视频内容包括多个帧。其中，该设备包括视频处理器，以用于观看的回放速度将视频内容提供给显示设备；用户接口，接收第一导航指令以便以比用于观看的回放速度快的速度导航视频内容，和接收第二导航指令以便以用于观看的回放速度恢复显示视频内容；以及控制器，与该用户接口耦接，接收第二导航指令，根据视频内容的至少一个带标记帧确定视频内容的回放位置，并将所确定的回放位置提供给该视频处理器。
本公开的这些和其他方面、特征和优点将结合附图加以描述，或从要结合附图阅读的对优选实施例的如下详细描述中变得明显。
在附图中，其中同样的标号在所有视图中表示类似的元件图I是依照本公开输送视频内容的示范性系统的方块图；图2是依照本公开的示范性机顶盒/数字录像机(DVR)的方块图；图3是依照本公开在预先标记了内容时、在环境中回放内容的示范性方法的流程图；图4是依照本公开在动态标记了内容时、在环境中回放内容的示范性方法的流程图；图5是依照本公开利用场景跳过功能回放内容和导航内容的示范性方法的流程 图；图6是依照本公开的另一个实施例，利用场景跳过功能回放内容和导航内容的示范性方法的流程图；以及图7图示了视频回放时间线和依照本公开如何确定各个区段(zone)以便搜索视频内容的带标记中贞。应该明白，这些附图是为了例示本公开的概念，而未必是例示本公开的唯一可能配置。
具体实施例方式应该明白，显示在图中的元件可以以硬件、软件或它们的组合的各种形式实现。优选的是，这些元件在可以包括处理器、存储器和输入/输出接口的一个或多个适当编程通用设备上以硬件和软件的组合形式实现。在本文中，短语“耦接”被定义成直接连接，或通过一个或多个中间组件间接连接的手段。这样的中间组件可以包括基于硬件和软件两者的组件。本描述例示本公开的原理。因此，应该懂得，本领域的普通技术人员能够设想出尽管未明确描述或显示在本文中，但体现本公开的原理并且被包括在本公开的精神和范围内的各种安排。本文列举的所有例子和条件语言都是以教导为目的，以帮助读者理解本公开的原理以及本发明人为促进技术进步而贡献的概念，并且应该理解为不局限于这样具体列举的例子和条件。此外，阐述本公开的原理、方面和实施例及其特定例子的所有语句都旨在包含其结构和功能等效物两者。另外，这样的等效物旨在包括当前已知的等效物以及未来开发的等效物，即与结构无关，开发出来执行相同功能的任何元件。因此，例如，本领域的普通技术人员应该懂得，本文展示的方块图代表体现本公开的原理的例示性电路的概念图。类似地，应该懂得，任何流程图、流图、状态转变图、伪码等代表基本上可以表示在计算机可读媒体中，因此可以由计算机或处理器执行的各种进程，无论这样的计算机或处理器是否被明确显示出来。显示在图中的各种元件的功能可以通过使用专用硬件以及能够与适当软件相联系执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器，由单个共享处理器，或由其中一些可以共享的多个单独处理器提供。此外，术语“处理器”或“控制器”的明确使用不应该理解为专门指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)和非易失性存储体。还可以包括传统的和/或定制的其它硬件。类似地，显示在图中的任何开关都只是概念性的。它们的功能可以通过程序逻辑的运算，通过专用逻辑，通过程序控制和专用逻辑的交互，或甚至手动地实现，正如 从上下文中更具体了解到的那样，特定的技术可由实现者选择。在其权利要求书中，表达成执行特定功能的部件的任何元件旨在包含执行那种功能的任何方式，例如，包括a)执行那种功能的电路元件的组合，或b)任何形式的软件，因此包括与执行那种软件的适当电路结合执行该功能的固件、微码等。如这样的权利要求限定的本公开在于以权利要求要求的方式组合和汇集各种所述部件提供的功能。因此，应该认为可以提供那些功能的任何部件都等效于本文所示的那些部件。提供了数字视频内容中最佳回放定位的方法和设备。本公开涉及以优先化方式在内容中标记场景或重要点的机制，并定义利用与内容相联系的这种标记促进在适当回放点上停止或开始的机制，例如，当按下场景跳过按钮向前或向后跳转到另一个场景时，或者当在输入快进(FF)或倒退(Rew)指令之后按下播放键时。现在转到图1，所示的是将视频内容输送给家庭或最终用户的系统100的实施例的方块图。内容源自像电影工作室或制作公司那样的内容源102。该内容可以以两种形式的至少一种供应。一种形式可以是内容的广播形式。将广播内容提供给像美国广播公司(ABC)、NBC、CBS等那样，通常是全国性广播服务机构的广播机构管理者104。广播机构管理者可以收集和存储内容，并且可以调度内容在被示为输送网络I (106)的输送网络上的输送。输送网络I (106)可以包括从全国中心到一个或多个区域或局部中心的卫星链路传输。输送网络I (106)还可以包括像在空中广播、卫星广播、或有线广播之类的使用局部输送系统的局部内容输送。将局部输送内容提供给用户家中的用户机顶盒和/或数字录像机(DVR)108。内容的第二种形式被称为特殊内容。特殊内容可以包括被作为奖励观看(premiumviewing)、付费观看而输送的内容、或以其它方式未提供给广播机构管理者的其它内容。在许多情况下，特殊内容可以是用户请求的内容。可以将特殊内容输送给内容管理者110。内容管理者110可以是像互联网站那样与例如内容提供商、广播服务机构、或输送网络服务机构相联系的服务提供商。内容管理者110还可以将互联网内容并入输送系统中。内容管理者110可以在单独的输送网络，即，输送网络2 (112)上将内容输送给用户的机顶盒/数字录像机108。输送网络2 (112)可以包括高速宽带互联网型通信系统。重要的是要注意至IJ，来自广播机构管理者104的内容也可以使用整个或部分输送网络2 (112)来输送，以及来自内容管理者110的内容可以使用整个或部分输送网络I (106)来输送。另外，用户也可以经由输送网络2 (112)直接从互联网获取内容，而不必由内容管理者110管理内容。机顶盒/数字录像机108可以接收来自输送网络I和输送网络2之一或两者的不同类型内容。机顶盒/数字录像机108处理内容，并根据用户偏爱和命令提供对内容的分离。机顶盒/数字录像机108还可以包括像硬盘驱动器或光盘驱动器那样的用于记录和回放音频和视频内容的存储设备。机顶盒/数字录像机108的操作的进一步细节以及与存储的内容的回放相关的特征将在下面结合图2来描述。将经处理内容提供给显示设备114。显示设备114可以是传统2D型显示器或可替代地可以是高级3D显示器。现在转到图2，所示的是机顶盒/数字录像机200的核心的实施例的方块图。所示的设备200也可以并入包括显示设备114本身的其他系统中。在任一种情况下，为了简洁起见，未示出系统的完整操作所需的若干组件，因为它们是本领域的普通技术人员所众所周知的。在显示在图2中的设备200中，在输入信号接收器202中接收内容。输入信号接收器202可以是用于接收，解调和解码通过包括空中、电缆、卫星、以太网、光纤和电话线网络的若干可能网络之一提供的信号的若干已知接收器电路之一。在输入信号接收器202中可以根据通过控制接口(未示出)提供的用户输入来选择和取得所希望的输入信号。将解码的输出信号提供给输入流处理器204。输入流处理器204进行最终信号选择和处理，以及包括针对内容流将视频内容与音频内容分离。将音频内容提供给音频处理器206，以便从像压缩数字信号那样的接收格式转换成模拟波形信号。将模拟波形信号提供给音频接口 208，并进一步提供给显示设备114或音频放大器(未示出)。可替代的是，音频接口 208可以使用 HDMI (高清晰度多媒体接口)电缆或诸如经由SPDIF (索尼/飞利浦数字互连格式)之类的替代音频接口将数字信号提供给音频输出设备或显示设备。音频处理器206还为音频信号存储进行任何必要转换。将从输入流处理器204输出的视频提供给视频处理器210。视频信号可以是若干格式之一。如有必要，视频处理器210根据输入信号格式而提供视频内容的转换。视频处理器210还为视频信号的存储进行任何必要转换。存储设备212存储在输入端上接收的音频和视频内容。存储设备212使得可以在控制器214的控制下以及还根据从用户接口 216接收的命令，例如，像快进(FF)和倒退(Rew)那样的导航指令而在稍后检索和回放内容。存储设备212可以是硬盘驱动器，诸如静态随机访问存储器或动态随机访问存储器那样的一个或多个大容量集成电子存储器，或可以是诸如紧致盘驱动器或数字视频盘驱动器那样的可互换的光盘存储系统。将源自输入端或源自存储设备212的、来自视频处理器210的转换后的视频信号提供给显示接口 218。显示接口 218进一步将显示信号提供给上面所述那种类型的显示设备。显示接口 218可以是诸如红-绿-蓝(RGB)那样的模拟信号接口，或可以是诸如高清晰度多媒体接口(HDMI)那样的数字接口。控制器214经由总线与设备200的若干组件互连，包括输入流处理器202、音频处理器206、视频处理器210、存储设备212、和用户接口 216。控制器214管理将输入流信号转换成存储在存储设备上或用于显示的信号的转换处理。控制器214还管理所存储内容的检索和回放。控制器214进一步与为控制器214存储信息和指令代码的控制存储器220 (例如，易失性或非易失性存储器、包括随机访问存储器、静态RAM、动态RAM、只读存储器、可编程ROM、闪速存储器、EPROM、EEPROM等)耦接。进一步，存储器的实现可以包括像单个存储器设备，或可替代地，连接在一起形成共享或公用存储器的不止一个存储器电路那样的若干可能实施例。更进一步，存储器可以与像总线通信电路的一些部分那样的其他电路一起被包括在较大电路中。下面描述在录像设备中控制快进(FF)和倒退(Rew)的方法。算法或函数的物理实现可以用像与视频处理器210有关的分立电路那样的硬件，或驻留在控制存储器220中的并且由控制器214读取和执行的软件之类的软件来完成。该方法牵涉到分析内容以便识别和标记内容中可能代表场景的开始或其他重要参考点的重要点。然后，在许多环境下，设备200将能够根据若干准则，自动确定要跳转的正确位置。该分析可以在广播之前，在摄入(ingest)设备时或在回放时完成，但优选的实现可能是在被摄入设备时或将内容写入盘中时。本公开的一个实际例子是使用户在快进通过ad (或广告)中断(break)之后按下播放时容易从正确点开始或容易倒退到前一个ad中断的结束变得简单。在这种情况下，将通过查看FF或Rew的速度来确定正确起点或回放位置，当按下播放按钮时，控制器214将检查最近经过的“标记”位置，并且确定最近是否通过了任何场景标记以及在什么优先级上通过，以便有效地确定代表开始播放的有效点的、以前或动态识别的场景转变点的附近区域。在“黑色参考帧”的情况下，其可以代表重要标记(因为黑色参考帧通常用在ad中断的开始和结束)，如果在FF或REW中最近通过一个黑色参考帧，则其可以用作起点。可替代地，也可以将定期间隔之外的参考帧标记成较不重要的触发点，因为它们也可能代表场景的开始。
FF/Rew功能的速度需要与用户反应时间一起考虑来确定在内容中搜索标记的区域。如果FF/Rew速度快,则在看到他们想开始播放的地点与需要从适当参考点开始的回放之间，用户可能错过了若干参考点。在较慢速度上，有可能经过的最后的参考点是适当的起点。本公开的方法和设备基于将标记与内容相联系，以便当进行回放时，存在用于作出判定的信息可用。这种标记信息是根据三种主要操作模式之一获得的。首先，在广播机构管理者104或内容管理者110的首端预先分析内容，并使内容具有与其一起广播的元数据。这可以通过将标记数据作为SI数据的一部分放入传输流，并与内容一起发送标记数据来实现，因此在DVR或设备200上不用进行任何工作。其次，在内容流入设备200中或在内容被写入盘中时，对内容加以分析和做标记。第三，可以在回放时和/或在特技模式操作期间动态分析内容，以便动态创建参考点。例如，当用户快进或倒退时，设备实际上在内容通过时，在任一个方向上进行一些巾贞分析。现在进一步描述每种做标记的模式。在标记视频内容帧的第一模式中，在通过输送网络发送内容之前、在首端进行标记。由于存在潜在收入损失，广播商不太可能支持内容的标记(尤其涉及到有可能跳过广告时)。但是，在编码器本身上实际具有这种能力的构思提供了其他机会，这是因为还存在能够具有场景检测的其他暗含的情况(implication)。如果场景标记存在于流本身中，贝U出现包括例如标记优选商业广告以指示不能将它们跳过的若干可能性。在典型实施例中，首端可能不是相关的，这是由于设备200有可能含有数字地面调谐器，因此，与任何其他DVR —样，将在线处理的内容馈入设备200中。但是，在一个可替代实施例中，首端也可以用于接收流传输的预先准备的内容。在这种情况下，使用类似解决方案，可能具有使电影内的场景检测得到某种程度改善的优点。例如，广播商可能想要让内容具有最大I-帧间隔的非常长的GOP (画面组)。在这种情况下，在首端上完成标记可能是有价值的，并且有助于回放和搜索内容。在标记视频内容帧的第二模式中，标记将发生在视频处理器210将内容摄入机顶盒200期间，即，其中在接收内容和/或将内容写入盘、硬驱动器或其他存储设备。内容被摄入设备中和/或得到处理以及被写入盘中的点有可能是分析内容和提供标记的最佳点。处理等级将随要求而变，并且与仅仅将非规则间隔的I-帧和“黑色” I-帧加上标记一样简单，或牵涉到更复杂的场景检测。要考虑到可以怎样使用更多的附加盘空间和应该怎样存储更多附加信息。在一个实施例中，当检测场景时，还可以捕获开始场景的帧的缩略图，以便可以对内容进行基于图形的浏览。标记帧的第三模式牵涉到实时标记内容。在内容未被预先标记的情况下，视频处理器210可以进行场景分析，其中该场景分析可以在快进和倒退事件期间在线地(on thefly)进行。在用户进行快进或倒退的情况下，视频处理器210基本上在线地进行标记，保留与适当场景点有关的计数。当用户按下播放时，将应用下面描述的算法或函数以跳到适当标记位置。在所有情况下，都将内容的标记实现成用户完全看不见的自动解决方案，但在标记了多少信息、什么用于确定那些标记以及如何使用标记方面潜在地存在显著不同。在一个实施例中，标记可能构成定义文件中的关键转变点的极少量数据。例如，对于含有六个ad 中断的两个小时节目，那些ad中断的开始和结束可以通过分析含有黑色参考帧的场景变化来定义。现在描述在视频内容中检测标记点的过程。在压缩视频的过程中，通常每半秒或一秒插入一 I-巾贞，并且存在代表场景变化的少数散布的I-巾贞。由于除了场景变化之外，I-帧通常是按规则间隔隔开的，一个难题是场景可能在规则间隔I-帧上变化，使得难以将其识别成新场景。计算内容的实际最大I-帧间隔相对较简单，因为浏览短暂历史至少每N个帧将揭示I-帧。例如，如果内容具有1/2秒的最大GOP大小，则每50秒中最少有100个I-帧。但是，由于场景变化的附加I-帧，每50秒时段间隔可能有例如110个I-帧。仍然可以从中推断间隔是大约X或大约半秒，但另外存在代表场景变化的附加I-帧。相对而言，检测用于标记的适合帧的实际方法是本领域的普通技术人员众所周知的。例如，在已知方法中，一般捕获、存储、发送、处理，并输出运动画面视频内容数据作为一系列静止图像。当以足够接近的时间间隔将输出引向观众时，小的逐帧数据内容变化被感知为运动。两个相邻帧之间的大的数据内容变化被感知为场景变化(例如，从门内场景变成门外场景、摄像机角度的变化、图像内照明的突然变化等)。编码和压缩过程利用小的逐帧视频内容数据变化来减少存储，发送，和处理视频数据内容所需的数据量。描述变化所需的数据量少于描述原始静止图像所需的数据量。在例如运动图像专家组(MPEG)开发的标准下，一组帧从其中编码的视频内容数据对应于原始静止图像的视觉属性(例如，亮度、色度)的内部编码帧(I-帧)开始。该组帧中的诸如预测编码帧(P-帧)和双向编码帧(B-帧)之类的随后帧根据该组中的较早的帧的变化来编码。新的帧组，因此新I-帧以规则时间间隔开始，以防止例如噪声引起假的视频内容数据变化。新的帧组因此新I-帧也在视频内容数据变化大时在场景变化开始，这是因为描述新的静止图像所需的数据少于描述相邻静止图像之间的大变化的数据。换句话说，来自不同场景的两个画面相互之间具有较小关联。将新画面压缩成I-帧比使用一个画面来预测其他画面更高效。因此，在内容数据编码期间，重要的是识别相邻视频内容数据帧之间的场景变化。本公开的方法和设备可以使用绝对直方图差之和(SAHD)和绝对显示帧差之和(SADFD)来检测场景变化。这样的方法使用相同场景中的时间信息来消除偏差并精确检测场景变化。这些方法可以用于实时(例如，实时视频压缩)和非实时(例如，电影后期制作)两者的应用。在本公开的另一个实施例中，存在标记的若干级别，S卩，按权重或优先级分配标记。在这个实施例中，内容中的搜索区有更大影响。这些级别可以是例如空白参数帧(最高优先级);I)非规则参考帧(次高优先级但代表场景变化);2)其他(可选的)。
通常，当回放所存储内容时，将从参考帧开始回放，但标记使得更好地估计用户最有可能想从其开始的帧。如果在主要或次要搜索区中找到优先级I帧，则将从这里开始回放。如果在主要区中找到优先级I帧，则不再作进一步搜索。如果在主要或次要区中不存在优先级I标记帧，则为开始位置选择与中心最接近的第2优先级标记。可能存在如第三优先级那样需要以与优先级2标记相同的方式考虑的“其他”标记，但在缺乏这些的任何一种的情况下，将选择与主要搜索区的中心最接近的参考帧作为开始位置。现在描述使用标记或带标记的帧回放视频内容的过程。在一个实施例中，在对预先标记的内容视频回放的情况下，假设在盘或存储设备212上存在已经标记的内容文件或与包含标记信息的内容文件相联系的单独的文件。标记信息将指示一般在视频内容文件内的场景点，尤其具有这些标签如何重要地作为参考点的加权标记。存在诸如定义的“查找点”、规则间隔I-帧(参考帧)、关闭间隔I-帧(代表新场景)、以及空白I-帧那样的若干可能的标记类型。空白(黑色)I-帧因它们包含少量数据而具有极低数据速率，一般被插入在ad中断之间，指示例如从商业广告到场景的开头或场景之间的转变。显示在图3中的流程图代表在内容广播之前或随着被摄入DVR设备200中或写入盘中而预先标记了内容时的环境中回放内容的处理流程。如果正在从诸如硬驱动器盘那样的盘中读取信息(步骤302)，则以观看速度进行正常回放(304)。在正常回放期间，用户可以经由用户接口 216输入导航指令，例如，快进或倒退内容(步骤306)。应该懂得，导航指令，例如快进(FF)、倒退(Rew)、跳过场景等将使用户可以以比用于观看的正常回放速度快的速度来导航视频内容。当用户输入快进或倒退时，不发生附加的处理直至用户再次按下播放，即，随后的导航指令。一旦用户在快进或倒退之后按下播放(步骤308)，则控制器214将检查标记信息，并确定在用户按下播放的位置的适当范围内出现了什么标记(步骤310)。然后，控制器214根据标记权重和FF/Rew速度确定跳到哪里来开始回放(步骤312)。一旦确定了回放位置，视频处理器210就将回放头定位到那个点，并从所选标记帧开始视频回放(步骤314)。在如图4所示的可替代实施例中，回放过程本身可以用于有效动态地标记内容。如上所述，最初，在步骤402中，将从盘中读取内容，并进行正常回放(步骤404)。当用户执行FF/Rew，即，输入导航指令时(步骤406)，视频处理器210将应用动态或“在线”巾贞标记(步骤408)。也就是说，设备将检测在FF/Rew过程期间经过的空白场景、参考帧等。这些检测的参考帧或参考点将被标记。这些标记可以与内容一起或可以不与内容一起存储供以后使用。一旦用户在快进或倒退之后按下播放(步骤410)，则设备200将如上所述继续进行。控制器214根据标记权重和FF/Rew速度确定跳到哪里开始回放(步骤412)。一旦确定了回放位置，视频处理器210就将回放头定位到那个点，并从所选标记帧开始视频回放(步骤 414)。
除了支持快进或倒退通过内容的过程之外，还可以将标记用于向用户提供能够通过按下按钮“从一个场景跳到另一个场景”，或跳过大量内容(具有预定基本时段)的更好或不同体验，但仍然从如标记所定义的场景边界开始回放。这个过程显示在图5中。参照图5，从盘中读取视频(步骤502)，并以观看速度进行正常回放(步骤504)。一旦用户在步骤506中请求“场景跳过”功能，即，输入导航指令，控制器214就按照预定“场景定义”设置来设置“场景搜索”位置(步骤508)，S卩，向前或向后跳转固定的时间量开始场景搜索。接着，在步骤510中，控制器214在标记信息中检查“场景搜索”起点的附近区域内的带标记帧。然后，控制器214在选择区域中根据标记权重确定跳到哪里开始回放(步骤512)。一旦确定了回放位置，视频处理器210就将回放头定位到那个点，并从所选标记帧开始视频回放(步骤514 )。除了能够对带标记内容进行场景跳过之外，如图6所示，设备200还可以对未被预先标记的内容动态地进行场景跳过。如上所述，从盘中读取视频(步骤602)，并以观看速度进行正常回放(步骤604)。一旦用户在步骤606中请求“场景跳过”功能，控制器214就按照预定的“场景定义”设置来设置“场景搜索”位置(步骤608)，S卩，向前或向后跳转固定时间量来开始场景搜索。接着，在步骤510，控制器214将在标记信息中检查“场景搜索”起点的附近区域内的带标记帧。视频处理器210应用动态或“在线”巾贞标记(步骤610)。也就是说，视频处理器210将检测如在场景跳过过程期间经过的空白场景、参考帧等。将标记这些检测参考巾贞或参考点。这些标记可以与内容一起或可以不与内容一起存储供以后使用。然后，控制器214将在选择区域中根据标记权重确定跳转到哪里来开始回放(步骤612)。一旦确定了回放位置，视频处理器210就将回放头定位到那个点，并从所选标记帧开始视频回放(步骤614)。现在将描述如何在用户按下播放之后确定适当回放位置的功能。为了确定开始回放的适当位置，控制器214将根据许多因素之一设置起点，然后指定其中从那个参考点开始沿着任一个方向搜索的时段或区段。控制器214然后进行搜索看看什么标记落在那个范围之内，并应用算法或函数来确定用于回放的最适合的起点。虽然播放开始位置有可能是某些形式的参考帧，但也可以切断(key off)也可能是与参考帧不同的可替代预定的时间戳。的确，作为标记机制的一部分，说来容易，这是与I-帧不同的，比如说，B-帧，但正是B-帧可容易地从最后四个帧中构建。如果回放的开始位置在这里，则标记可能包含使设备可以向后若干帧以回到(get back into)构建这个非参考帧所需的所有视频数据并且同样对它进行处理的数据(或对该数据的引用)。在这种情况下，标记有可能包含为更迅速和更容易获取所需数据所需要的偏移信息而不是必须在线地从头开始计算它。在另一个实施例中，在视频压缩导致很长G0P，例如，10秒的情况下，本公开提供了从其他地方获取参考帧的机制，因此本设备和方法可以通过用外部数据增强，从互联网或一些其他媒体和/或源头动态地获取附加帧，而实际支持对这样视频的快进和倒退。在本例中，视频流含有最少的参考帧，并且存在构建完整帧所需的其余I-帧或介入数据的另一个源头。DVR通常采用算法或函数，其中在特技模式回放期间，DVR将从I-帧跳到I-帧或确定要显示哪些参考帧。本公开根据这个基本构思来扩展，以便不是仅仅参考I-帧，而是存在名义上被定义成场景的、DVR可以停止的多个可能点。在标记定义开始回放的可能点的同时，应用算法或函数来确定内容中搜索这些标记的时间间隔，以及哪个标记代表那种内容中的最佳起点。在这种实现中，任何回放位置搜索的开始和终止位置由内容文件中用户开始快进/倒退，即，输入第一导航指令，和他们按下播放，即，输入第二导航指令的位置界定。在这些边界之外将不进行搜索。为了确定标记搜索的开始位置，控制器214将计算“搜索位置”(在搜索区的中心)，和其中搜索标记的区域(或区段)的大小，如图7所图示的。当用户在进行FF或Rew的同时按下播放按钮时，按照如下准则在文件中定义搜索 开始位置1)用户进行FF/Rew的速度以及2)分配给用户的额定反应时间。用户的反应时间最初可以设置在2-5秒，并且如下详细描述的，可以按照用户输入和/或设备200关于实际可能反应时间的经验加以修改。举一个例子来说，用户以30x实际速度进行FF，并在43分10秒按下播放进入文件(43:10)。假设用户具有分配的4秒的反应时间。这意味着搜索的中心位置702将比用户按下播放的位置早4 X 30秒(即，2分钟)(即，41:10)。因此，对带标记帧的搜索将从这个位置开始，主要搜索区704将是在中心点702的任一侧的这个距离的固定百分比。假设是50%，则标记搜索区将是在中心点的任一侧的I分钟，即，在该文件中的40:10到42:10之间。如果在这个范围内找到某个优先的带标记帧，则登记命中(hit)，并从具有最高优先级的带标记帧开始视频回放。如果找到不止一个匹配，并且标记优先级的权重相同，则从与中心位置702最接近的点开始回放。当进行任何匹配时，还可以测量用户的反应时间，并潜在地将其用于变更将来搜索的预期响应时间。如果未找到匹配，也将搜索次要区706，这可以是，例如，从用户按下播放的位置到中心点702的距离的100%。如果在这种搜索中找到关键标记，则可能指示用户的反应是异常的，并且如果在这个区域中存在关键帧，仍然可以将其选为开始位置。最终的学习搜索区708从中心点702延伸到回放位置，以及从中心点向后200%。只有在前2个区段的任一个中未找到关键帧的情况下才进行该搜索。如果在这里找到带标记的关键帧，则可以记录延迟，以及如果这是经常性行为，则可以调整用户的反应时间，以保证关键帧时常位于主要区中。注意，与中心点的距离的百分比只是例示性的，可以通过用户剖析更好地确定。另外，与百分比无关，可以在如前所述的搜索的极端边界内进行搜索。为了确定用户的反应时间，设备200将应用自动和手动机制两者。这可以包括让用户定义和/或测试他们自己的反应时间的用户偏爱。典型反应时间可能是例如2秒，因此，在用户快进通过内容时，在他们按下播放按钮之前，从用户看到他们想开始播放的点起花费了一定的时间量。在用户具有2秒反应时间和以30x正常回放速度进行快进的例子中，在用户按下播放所触发的点与他们实际这样做之间将经过相当I分钟的视频。如果FF速率只是例如2x正常回放，则在这个时间中只经过4秒的视频。用户的反应时间是高度可变的，慢的反应时间是大约5秒，而快的反应时间或许是半秒。设备200将确定用户的反应是否快。作为一种经验法则，使用默认值来设置基于测试的平均用户响应。另外，设备200可以提供用户接口供用户配置他们的反应时间，和/或动态地计算它。如果设备定义平均用户的默认时间为比如2秒，则可以根据测试例如在与用户按下播放时的不寻常的长距离内是否始终发现高优先级“空白帧”标记而构建用户实际如何随时间反应的记录。也可以将响应时间与设备200上基于用户的系统相联系，以便可以对系统的多个用户进行单独剖析(prof i I ing)。手动反应时间可以使用显示在显示设备114上的传统滑动条来设置。另一种选择是通过例如以下方法来确定用户的反应速度的机制以随机次序显示一系列图像，请用户在他们看到特定图像(诸如，例如，狗的画面)时按下播放按钮，然后测量显示图像时与用户按下播放时之间的时间。可以重复该测试多次以获得更高精度，并且该测试可以是用户特定的(即，该系统可以从测试角度和为了用于该设备两者允许用户单独地识别他们自己)
尽管本文详细示出和描述了包含本公开的教导的实施例，但本领域的普通技术人员仍可以容易地设想出仍然包含这些教导的许多其他变化的实施例。虽然已经描述了用于在数字内容中最佳回放定位的方法和设备的优选实施例(旨在例示而非限制)，但应该注意至IJ，本领域的普通技术人员可以按照上述教导作出修改和改变。因此，应该明白，可以在如所附权利要求所概括的本公开的范围内所公开的本公开的特定实施例中作出改变。
权利要求
1.一种在视频内容中确定最佳回放位置的方法，该视频内容包括多个帧，该方法包含: 以用于观看的回放速度显示(304)视频内容； 接收(306)第一导航指令以便以比用于观看的回放速度快的速度导航视频内容； 接收(308)第二导航指令以便以用于观看的回放速度恢复显示视频内容；以及 响应第二导航指令，根据视频内容的至少一个带标记巾贞来确定(312 )视频内容的回放位置。
2.如权利要求I所述的方法，其中在显示步骤之前标记视频内容的至少一个标记帧。
3.如权利要求I所述的方法，进一步包含当在接收第一和第二导航指令之间的时段中经过一些帧时,动态标记(408)视频内容的至少一个帧。
4.如权利要求I所述的方法，其中确定步骤进一步包含 确定(312，412 )在接收第一和第二导航指令之间的时段中经过的一些帧内的搜索开始位置；以及 选择用于搜索带标记帧的第一搜索区(704)，该第一搜索区包括视频内容在所确定的搜索开始位置的两侧的预定时间。
5.如权利要求4所述的方法，其中该搜索开始位置(412)基于第一导航指令的速度。
6.如权利要求5所述的方法，其中该搜索开始位置进一步基于向用户分配的反应时间。
7.如权利要求6所述的方法，其中，如果至少两个带标记帧在第一搜索区(704)内，则进一步包含选择具有最高优先级的带标记帧作为回放位置。
8.如权利要求7所述的方法，其中，如果在第一搜索区(704)内不存在带标记帧，则进一步包含选择第二搜索区(706)，第二搜索区(706)大于第一搜索区(704)。
9.如权利要求8所述的方法，其中，如果在第一搜索区(704)和第二搜索区(706)内不存在带标记巾贞，则进一步包含 选择第三搜索区(708)，第三搜索区(708)大于第二搜索区(706)； 一旦确定了第三搜索区(708)中的至少一个带标记帧，则调整向用户分配的反应时间；以及 增加第一搜索区的预定时间的数量。
10.如权利要求I所述的方法，其中第一导航指令是快进功能或倒退功能(306，406)。
11.如权利要求10所述的方法，其中第二导航指令是播放功能(308，410)。
12.如权利要求I所述的方法，其中第一导航指令是场景跳过功能(506，606)。
13.如权利要求12所述的方法，其中确定步骤进一步包含 通过从接收第一导航指令的时间起向前或向后移动预定时间量来确定搜索开始位置(704);以及 在搜索开始位置的附近搜索至少一个带标记帧。
14.如权利要求13所述的方法，其中如果至少两个带标记帧在第一搜索区内，则进一步包含选择具有最高优先级的带标记帧作为回放位置。
15.一种回放视频内容的设备，该视频内容包括多个帧，该设备包含 视频处理器(210)，以用于观看的回放速度将视频内容提供给显示设备；用户接口(216)，接收(306)第一导航指令以便以比用于观看的回放速度快的速度导航视频内容，和接收(308)第二导航指令以便以用于观看的回放速度恢复显示视频内容；以及 控制器(214)，与该用户接口(216)耦接，用于接收第二导航指令(308)，根据视频内容的至少一个带标记帧确定(312)视频内容的回放位置，并将所确定的回放位置提供给该视频处理器(210)。
16.如权利要求15所述的设备，其中在将视频内容存储在存储设备(212)中之前，该视频处理器(210)标记视频内容的至少一个带标记帧。
17.如权利要求15所述的设备，其中当在接收第一和第二导航指令之间的时段中经过一些帧时，该视频处理器(210)动态标记(408)视频内容的至少一个帧。
18.如权利要求15所述的设备，其中该控制器(214)被进一步配置成确定在接收第一和第二导航指令之间的时段中经过的一些帧内的搜索开始位置，以及选择用于搜索带标记帧的第一搜索区，该第一搜索区包括视频内容在所确定的搜索开始位置的两侧的预定时间。
19.如权利要求18所述的设备，其中该搜索开始位置(312，412)基于第一导航指令的速度。
20.如权利要求19所述的设备，其中该搜索开始位置进一步基于向用户分配的反应时间。
21.如权利要求20所述的设备，其中，如果至少两个带标记帧在第一搜索区(704)内，则该控制器(214)选择具有最高优先级的带标记帧作为回放位置。
22.如权利要求21所述的设备，其中，如果在第一搜索区(704)内不存在带标记帧，则该控制器(214)选择第二搜索区(706)，第二搜索区(706)大于第一搜索区(704)。
23.如权利要求22所述的设备，其中，如果在第一搜索区(704)和第二搜索区(706)内不存在带标记帧，则该控制器(214)选择第三搜索区(708)，第三搜索区(708)大于第二搜索区(706)， 其中，一旦确定了第三搜索区(708)中的至少一个带标记帧，则控制器(214)调整向用户分配的反应时间，并且增加第一搜索区(704)的预定时间的数量。
24.如权利要求15所述的设备，其中第一导航指令是快进功能或倒退功能(306，406)。
25.如权利要求24所述的设备，其中第二导航指令是播放功能(308，410)。
26.如权利要求15所述的设备，其中第一导航指令是场景跳过功能(506，606)。
27.如权利要求26所述的设备，其中该控制器(214)被进一步配置成通过从接收第一导航指令的时间起向前或向后移动预定的时间量来确定搜索开始位置(704)，并且在搜索开始位置的附近搜索至少一个带标记帧。
28.如权利要求27所述的设备，其中，如果至少两个带标记帧在第一搜索区内，则该控制器(214)选择具有最高优先级的带标记帧作为回放位置。
全文摘要
提供了用于在视频内容中进行最佳回放定位的方法和设备。本公开涉及以优先方式在内容中标记场景或重要点的机制，并定义了利用与内容相联系的这种标记促进在适当点上停止或开始以用于回放的机制，例如，当按下场景跳过按钮(506，606)向前或向后跳转到另一个场景时，或者在输入快进(FF)或倒退(Rew)指令(306，406)之后按下播放时(308，410)。该方法和设备提供了以用于观看的回放速度显示(304)视频内容；接收(306)第一导航指令以便以比用于观看的回放速度快的速度导航视频内容；接收(308)第二导航指令以便显示视频内容；以及根据视频内容的至少一个带标记帧确定(312)视频内容的回放位置。
文档编号H04N5/783GK102884786SQ201080066658
公开日2013年1月16日 申请日期2010年5月7日 优先权日2010年5月7日
发明者T.A.巴雷特 申请人:汤姆森特许公司