专利名称：视频处理方法以及计算机可读取储存媒体的制作方法
技术领域：
本发明有关于一种视频处理方法，且特别有关于一种具有错误恢复(error resilience)能力的视频处理方法以及计算机可读取储存媒体(VIDEOPROCESSING METHOD AND COMPUTER-READABLE STORAGEMEDIUM THEREFOR)，具体的讲，是一种适用于AV同步恢复的视频处理方法、动态选择性的中止显示画面的视频处理方法、适用于自动暂停/恢复且应用于一文件系统/储存媒体的视频处理方法以及使用这些视频处理方法的计算机可读取储存媒体。
背景技术：
MPEG-4是由国际标准组织(Motion Picture Expert Group，MPEG)所制定完成的影音压缩标准。MPEG-4是一种ISO/IEC标准，是MPEG-1与MPEG-2标准的延续，采用与MPEG-1及MPEG-2不同的压缩技术。国际标准组织从1998年开始采用此标准。MPEG-4采用了对象导向的概念，代替了目前以画面为基础(frame-based)的视频技术。对象导向的概念将目前的多媒体技术(例如2D与3D图形、动画、视频编译码器(video codec)、多媒体串流、相互作用以及节目环境)整合至单一架构中。
以下说明根据MPEG-4格式影像执行视频处理的流程。
视频串流是连续的视频画面(frame)。每个画面都为静止图像(stillimage)。视频播放器通常以接近每秒播放30张画面的速率依序播放独立的画面。画面被切割为复数个具有16*16像素的宏区域(macroblock)(未图标)。每个宏区域包括四个8*8的亮度区块(luminance blocks)以及两个8*8的色度区块(chrominance block)(1U与1V)(未图标)。宏区域是用来量测动作补偿(motion-compensated)压缩的单位。区域适用于离散余弦转换(DCT)压缩。
MPEG格式的视频数据主要是由三种不同的画面所组成，分别为独立画面(Intra-Frame，I-frame，以下简称I画面)，预测画面(Predicted-Frame，P-frame，以下简称P画面)以及双向画面(Bidirectional-Frame，B-frame，以下简称B画面)。I画面被编码为与任何过去或未来画面没有关联的单图像(single image)，许多不失真与失真的压缩技术被应用于仅包括目前画面的信息，与视频序列中任何其它画面没有关联。换言之，不会对目前的图像或画面之外的画面执行暂时的处理。P画面由参考过去的画面进行编码而得。参考画面为P画面或I画面。过去的参考画面为最接近的前一张参考画面。P画面中的每个宏区域可以被译码为画面内宏区域(Intra-macroblock)或是画面间宏区域(Inter-macroblock)。I画面不需参考其它画面即可进行译码，画面内宏区域的译码方法与宏区域的译码方法相同。B画面是根据过去的参考画面与未来的参考画面或是上述两者进行译码。未来的参考画面为最接近的下一张参考画面(I或P)。除了B画面中的移动向量(motion vector)可以参考未来参考画面的区域之外，B画面的译码方式与P画面相同。对于使用过去参考画面与未来参考画面的宏区域而言，平均具有两个16*16区域。
如上所述，视频串流是连续的视频画面。若视频画面的输入编码序列为I(0)P(3)B(1)B(2)P(6)B(4)B(5)I(9)B(7)B(8)P(12)B(10)B(11)(括号中的数字为每个画面的播放顺序)。则视频画面所输出的译码序列应为I(0)B(1)B(2)P(3)B(4)B(5)P(6)B(7)B(8)I(9)B(10)B(11)P(12)。
视频数据可包含合并画面，每个合并画面包括P画面与B画面或是I画面与B画面以及空白画面(empty frame，Pe)。图1显示合并画面100(被认为是视频数据中的一个画面)的示意图，包括P画面与B画面，每个画面的编码程序与独立画面的编码程序相同。Pe画面表示不包括视频数据的预测画面。
上文说明构成视频数据的画面类别以及视频数据位串流数据的输入与输出顺序。由于在视频系统中所播放的文件很大，因此当视频数据被转换成可播放的视频文件时，必须将视频数据压缩为如MPEG-1/2/4等格式。以下说明用来播放视频或音频(AV)文件的视频系统。图2是显示视频系统的示意图。视频系统100包括储存媒体110、文件系统120、文件剖析器(fileparser)130、视频译码器140、第一后处理单元145、音频译码器150、第二后处理单元155、AV同步单元160以及显示系统170。显示系统170包括复数个显示功能。首先，将AV文件储存于储存媒体110中，文件系统120从储存媒体110中存取AV文件。接下来，文件剖析器130分析AV文件以撷取视频及音频信号，并将该视频及音频信号分别传送至视频译码器140以及音频译码器150。视频译码器140以及音频译码器150将视频与音频信号译码，并传送至后处理单元145与155执行后处理操作(例如解块(de-blocking)或去振影(deringing))来调整视频与音频信号的品质。经过调整的信号被传送至AV同步单元160以执行信号同步并且被输出至显示系统170，由第一显示装置171或是第一显示装置171及第二显示装置173共同显示AV文件。
播放品质受到视频文件无法顺畅的原因在于包括受限的存储器资源、中央处理单元(CPU)速度或是系统架构的视频系统中播放的限制。以下说明资源的限制。具有高位速率(bps)的文件必须通过文件系统或具有适当操作速度的储存媒体来存取。较高的画面速率或是视频译码的快速前转功能需要相对较好的硬件效能。虽然后处理操作(例如解块或去振影方法)可以改善视频品质，但必须使用更多的系统资源。此外，如果需要较大的画面尺寸，则液晶显示器和电视输出单元需要较大的存储器频宽。如上所述，较高的画面速率、较大的画面尺寸、较高的位速率、增加的后处理或更多的显示组件需要高效能的高阶系统。嵌入式系统受到的系统资源限制是和成本成正比的。因此在系统资源不足的情况下，将发生模糊的视频画面以及无法播放音频信号的情况。
因此，需要一种具有错误恢复能力的视频处理系统及其视频处理方法，在有限的系统资源下，提升视频品质。
发明内容
基于上述目的，本发明实施例揭露了一种适用于AV同步恢复的视频处理方法。先译码并显示第一画面，然后译码第二画面。判断该第二画面的译码时间是否超过一预定持续期间。若该第二画面的译码时间超过了该预定持续期间，则在该第二画面的译码时间内继续显示该第一画面，并延迟到译码完成时才显示第二画面。接着，开始译码第三画面。如果第二画面的译码时间在预定时间解完，则可在预定的时间点显示第二画面，并开始译码第三画面。
本发明实施例更揭露了一种适用于动态中止画面的视频处理方法。在译码第二画面的同时译码并显示第一画面。判断该第一画面到显示的时间是否超过预定持续期间。若该第一画面的显示时间超过该预定持续期间，则不去显示第二画面。且在预定时间内译码第三画面的同时继续显示第一画面。
本发明实施例更揭露了一种适用于动态中止画面的视频处理方法。提供复数个画面。判断是否选择性的忽略部分的画面。若必须选择性的忽略部分的画面，则在预定数量的画面间隔内显示画面。
本发明实施例更揭露了一种应用于文件系统/储存媒体适用的自动暂停/恢复的视频处理方法。当译码第二画面的同时在预定时间内显示第一画面。判断该文件系统/储存媒体的存取速度是否不足以处理该第二画面。若该文件系统/储存媒体的存取速度不足以处理该第二画面，则忽略该第二画面并且译码一第三画面，同时自动执行影片暂停画面停止并关掉复数音频信号。此时，文件系统/储存媒体读取足够的数据(可能是好几个画面的压缩数据)到存储器中，然后再开始译码播放影音数据。这个动作看起来就像是使用者按暂停键然后按开始。
本发明实施例更揭露了一种适用于降低快速前转功能所使用的复数系统资源的视频处理方法。判断是否以N倍的速度播放复数个AV文件。若以N倍的速度播放AV文件，则去能AV文件的复数个音频信号，以静音来实现。以N倍的速度播放AV文件的复数个视频信号，去能后处理操作并且跳过即将显示于显示系统中的AV文件中可忽略的画面。
本发明实施例更揭露了一种适用于跳过画面以达到快速前转的视频处理方法。在此，去能适用于复数个AV文件的复数个画面的后处理操作。当在预定时间内译码第二画面的同时译码并显示第一画面。判断该第二画面的译码时间是否超过预定持续期间。若该第二画面的译码时间超过该预定持续期间，则在第二画面的译码时间内继续显示第一画面。当在预定时间内译码第三画面的同时不再显示该第二画面。
本发明提供一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于AV同步回复的视频处理方法，包括使用一计算机以执行下列步骤在预定时间内译码一第二画面的同时译码并显示一第一画面；判断所述第二画面的译码时间是否超过一预定持续时间；若所述第二画面的译码时间超过所述预定持续时间，则在所述第二画面的译码时间继续显示所述第一画面直到所述第二画面完全被译码为止；以及当在预定时间内译码一第三画面的同时显示所述第二画面。
本发明又提供一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于动态中止画面的视频处理方法，包括使用一计算机执行下列步骤当译码一第二画面的同时译码并显示一第一画面；判断所述第一画面的显示时间是否超过一预定持续时间；若所述第一画面的显示时间超过所述预定持续时间，则中止显示所述第二画面；以及当在预定时间内译码一第三画面的同时继续显示所述第一画面。
本发明还一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于动态中止画面的视频处理方法，包括使用一计算机执行下列步骤提供复数个画面；判断是否选择性的忽略一部分所述画面；以及若选择性的忽略部分所述画面，则在预定数量的画面间隔内显示所述画面。
本发明更提供一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于自动暂停/回复的视频处理方法，包括使用一计算机执行下列步骤当译码一第二画面的同时在预定时间内译码并显示一第一画面；判断所述文件系统/储存媒体的存取速度是否不足以处理所述第二画面；若所述文件系统/储存媒体的存取速度不足以处理所述第二画面，则当忽略所述第二画面并且译码一第三画面的同时在预定时间内使能一自动暂停功能并且去能复数音频信号；去能所述自动暂停功能；以及使能一自动恢复功能以及所述复数个音频信号。
本发明还提供一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于降低快速前转功能所使用的系统资源的视频处理方法，包括使用一计算机执行下列步骤判断是否以N倍的速度播放一AV文件；若以N倍的速度播放所述AV文件，则去能所述AV文件的复数音频信号；以N倍的速度播放所述AV文件的复数个视频信号；去能后处理操作；以及跳过即将显示于一显示系统的所述AV文件中可忽略的复数个画面。
本发明更提供一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于跳过画面以达到快速前转的视频处理方法，包括使用一计算机执行下列步骤去能适用于一AV文件的复数个画面的后处理操作；当在预定时间内译码一第二画面的同时译码并显示一第一画面；判断所述第二画面的译码时间是否超过一预定持续时间；若所述第二画面的译码时间超过所述预定持续时间，则在所述第二画面的译码时间内继续显示所述第一画面；以及当在一预定时间内译码一第三画面的同时不显示所述第二画面。
本发明提供一种具有错误恢复能力的视频处理系统及其视频处理方法，在有限的系统资源下，提升视频品质。
图1显示包括P画面与B画面的合并画面的示意图。
图2显示视频系统的示意图。
图3显示根据本发明实施例所述的适用于AV同步恢复的视频处理方法的工作流程。
图4显示根据本发明实施例所述的适用于AV同步恢复的视频处理方法的流程图。
图5显示根据本发明实施例所述的用于动态中止单一显示装置的画面的视频处理方法的工作流程。
图6显示根据本发明实施例所述的用于动态中止至少一第一显示装置与一第二显示装置的画面的视频处理方法的工作流程。
图7显示根据本发明实施例所述的用于动态中止画面的视频处理方法的流程图。
图8显示根据本发明实施例所述的当文件系统/储存媒体的存取速度不足时，执行自动暂停/恢复功能的视频处理方法的工作流程。
图9显示根据本发明实施例所述的当文件系统/储存媒体的存取速度不足时，执行自动暂停/恢复功能的视频处理方法的流程图。
图10显示根据本发明实施例所述的当译码能力不足时，执行自动暂停/恢复功能的视频处理方法的工作流程。
图11显示根据本发明实施例所述的当文件系统/储存媒体的存取速度不足时，执行自动暂停/恢复的视频处理方法的流程图。
图12显示根据本发明实施例所述的用以降低快速前转功能使用的系统资源的视频处理方法的工作流程。
图13显示根据本发明实施例所述的用以降低快速前转功能使用的系统资源的视频处理方法的流程图。
图14显示根据本发明实施例所述的当执行图13的快速前转功能时跳过画面的视频处理方法的流程图。
主要组件符号说明100～合并画面； 110～储存媒体；120～文件系统； 130～文件剖析器；140～视频译码器；145、155～后处理单元；150～音频译码器；160～AV同步单元；170～显示系统； 171、173～显示装置；210、220、310、320、410、420～片段；430、510、520、610、620、710、720～片段。
具体实施例方式
为了让本发明的目的、特征及优点能更明显易懂，下文特举与视频处理有关的较佳实施例，并配合图3至图14，做详细的说明。本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各组件的配置为说明之用，并非用以限制本发明。且实施例中图式标号的部分重复，为了简化说明，并非意指不同实施例之间的关联性。
本发明实施例揭露了一种具有错误恢复能力的视频处理系统及其视频处理方法。视频处理方法包括特性为AV同步恢复、适应性后处理(adaptivepost-processing)、动态中止显示画面(dynamic frame drop)、自动暂停/恢复以及快速前转功能。以下说明个别的实施例。
图3显示根据本发明实施例所述的适用于AV同步恢复的视频处理方法的工作流程。具有高画面速率的显示器通常需要AV同步恢复的功能。如图3所示，片段210代表理想的视频显示，每个画面的理想持续时间为33.33毫秒(ms)，视频文件以每秒30个画面的速率编码且每个画面的译码时间小于33毫秒。在此先假设不考虑每个画面到真正显示到显示器上所需的时间，这里假设每个画面可以立刻到显示器显示。
实际上，片段220代表适用于音频与视频信号的异步解决方法。如图3所示，当译码与显示画面0的同时译码画面1。画面1的译码时间为43毫秒，长于画面的理想持续时间33.33毫秒。译码后，在图中第一星号所示的预定持续时间内(第一异步时间)检测第一异步音频与视频信号。在第一异步时间，当输出画面1的音频信号时，持续显示画面0直到画面1被完全译码为止。然后，在画面1完全译码后显示画面1并且译码画面2。由于画面2的译码时间过长，如需32毫秒，因此如图中第二星号所示，在第二异步时间内检测第二异步音频与视频信号。在第二异步时间，当输出画面2的音频信号的同时持续显示画面1直到画面2被完全译码为止。
接下来，在画面2完全译码后显示画面2并且译码画面3。在此，由于画面3的译码时间只需20毫秒尚未超过画面理想持续时间，为了AV同步，不会立即显示完全译码的画面3而是持续显示画面2。当画面2的显示时间超过画面理想持续时间时，接下来再显示画面3并且译码画面4。同样的，由于画面4的译码时间需25毫秒尚未超过画面理想持续时间，因此不会立即显示完全译码的画面4而是持续显示画面3。接下来，显示画面4并译码画面5，以及对每个画面重复相同的处理程序直到完成为止。在此实施例中，将会时常检测AV异步，由于译码时间不同，因此AV文件的音频与视频信号有机会最终将得以同步。
图4显示根据本发明实施例所述的适用于AV同步恢复的视频处理方法的流程图。当在显示画面N+i(i＝0)(例如画面0)(步骤S11)的同时，在预定时间内译码画面N+i(i＝i+1)(例如画面1)，其中N＝0且i＝0～n。判断画面N+i(i＝i+1)(例如画面1)的译码时间是否超过定义的持续时间(例如33.33毫秒)(步骤S12)。如果画面N+i(i＝i+1)的译码时间超过定义的持续时间，在译码画面N+i(i＝i+1)(例如画面1)的持续时间内继续显示画面N+i(画面0)，且当在预定时间内译码画面N+i(i＝i+2)(例如画面2)的同时显示画面N+i(i＝i+1)(例如画面1)(步骤S13)，令i＝i+1(步骤S15)，且处理程序继续进行至步骤S11。如果画面N+i(i＝i+1的译码时间不超过定义的持续时间，当在预定时间内译码画面N+i(i＝i+2)(例如画面2)的同时显示画面N+i(i＝i+1)(例如画面1)(步骤S14)，令i＝i+1(步骤S15)，且处理程序继续进行至步骤S11。
当无法及时播放画面时，画面可能会被不显示。以下状况可能会导致某些画面不被显示，包括较高的画面速率、多个显示装置、过多的后处理操作以及较大的显示画面尺寸。对于较高的画面速率，可以不显示一些画面来降低画面速率。对于多个显示装置，显示于次要显示装置中较不重要的画面可以不显示以降低画面速率，或是不将画面输出至次要显示装置。由于画面显示于多个显示装置，例如输出至电视或液晶显示器，可以降低与输出至液晶显示器的画面有关的画面速率，以节省系统资源。此外，关掉后处理操作将会显现出画面的缺点，有时也使得必须由不显示画面来解决此问题。
图5显示根据本发明实施例所述的动态中止单一显示装置的画面的视频处理方法的工作流程。如图5所示，片段310代表沿着具有用以显示每个画面的理想持续时间(33.33毫秒)的理想视频显示的理想音频播放，其中视频文件以每秒钟30个画面的速率编码且每个画面的译码时间小于33.33毫秒。在此先假设不考虑每个画面的到真的显示到显示器上所需时间。理想上，假设片段310中的每个画面都可以在每个时间间隔(33.33毫秒)内及时译码与显示。
实际上，画面可能无法在每个预设的时间间隔内传到显示器上显示。片段320代表根据本发明实施例所述的在单一显示装置上动态不显示画面的方法。如片段320所示，画面1、画面2、画面3、画面4、画面5在片段320中所示时间点“0”、“1”、“2”、 “3”、“4”之间的每个时间间隔内(33.33毫秒)依序被译码。另一方面，时间点“A”、“B”、“C”、“D”、“E”显示画面实际的显示持续时间。某些画面的显示时间可能会超过33.33毫秒。
如图5所示，画面0在时间点A与B之间(60毫秒)显示，且画面1在时间点“0”与时间点“1”之间(小于33.33毫秒)被译码。在此，画面0的到显示器显示的时间长于理想的显示持续时间(33.33毫秒)。由于在界于时间点“1”与时间点“2”之间的第二时间间隔尚未完成画面0的显示，因此在本发明中将会中止画面1并且不再显示画面1。介于时间点“2”与时间点“3”之间已完成画面0的显示，因此将会依序显示画面2。也就是说，在此实施例中，只要到显示器的显示时间在超过预定时间间隔(33.33毫秒)后仍然显示前一个画面，则将中止至少一个接下来的画面。
图6显示根据本发明实施例所述的动态不显示多个显示装置的画面的视频处理方法的工作流程。如图6所示，片段410代表沿着具有用以显示每个画面的理想持续时间(33.33毫秒)的理想视频显示的理想音频播放，其中视频文件以每秒钟30个画面的速率编码且每个画面的译码时间小于33.33毫秒。在此，先假设不考虑每个画面到真的显示到显示器上所需时间。不同于图5所示的实施例，本实施例提供两个显示装置，分别为第一显示装置以及第二显示装置。第一显示装置是比较重要的显示装置，供显示比较重要的数据，而第二显示装置是比较不重要的显示装置，供显示比较不重要的数据。比如说当手机插上电视AV输出线时，使用者会比较想看的是电视屏幕的显示，而手机上的液晶屏幕则比较不会去注意。此时，我们称电视屏幕为比较重要的显示装置，而手机的液晶屏幕(LCD)则为比较不重要的显示装置。在此实施例中，对于重要的显示装置来说，即使前一个画面的显示时间大于一个时间间隔，也不可以不显示任何画面。但是对于不重要的显示装置来说，可以不显示一些画面，保留系统资源给译码和重要的显示装置来显示画面，以提升效率。
在此实施例中，片段420代表第一显示装置所显示的AV文件，片段430代表第二显示装置所显示的AV文件，其中第二显示装置中的画面可以被动态的不显示。如图6所示，在第二装置中，由于画面0的显示时间界在时间点“0”与时间点“3”之间，因此画面1与画面2只被译码而没有被显示。在完成画面0的显示后，第二显示装置将继续显示画面3。对每个画面重复相同的处理程序直到完成为止。
图7显示根据本发明实施例所述的动态不显示画面的视频处理方法的流程图。当显示画面N+i(i＝0)(画面0)的同时，译码画面N+i(i＝i+1)(画面1)在预定时间内译码(步骤S21)，其中N＝0且i＝0～n。判断画面N+i(画面0)到显示器的显示时间是否超过定义的持续时间(例如33.33毫秒)(步骤S22)。如果画面N+i(画面0)到显示器的显示时间超过定义的持续时间，当在预定时间内译码画面N+i(i＝i+2)(画面2)的同时，不显示画面N+i(i＝i+1)(画面1)并且继续显示画面N+i(画面0)(步骤S23)，令i＝i+2(步骤S24)，且处理程序继续进行至步骤S21。如果画面N+i(画面0)到显示器的显示时间不超过定义的持续时间，当在预定时间内译码画面N+i(i＝i+2)(画面2)的同时显示画面N+i(i＝i+1)(画面1)(步骤S25)，令i＝i+1(步骤S26)，且处理程序继续进行至步骤S21。
后处理操作(例如解块以及去振影方法)可以进一步的改善视频品质，但是也可能会使用更多的系统资源。因此，为了提高速度，本发明可以去能后处理操作以节省系统资源。例如当后处理操作与AV同步恢复操作结合时，当目前画面的视频信号与音频信号异步则可以去能后处理操作。
在一些实施例中，当系统资源不足时，可以自动执行自动暂停/恢复功能。如果检测到文件系统与CPU的存取速度太慢以致于无法处理(可能是高位速率文件)或是检测到较大的AV异步时会自动执行自动暂停/恢复功能，以将文件处理暂停一段时间，并在暂停时间准备好相关的信息到存储器(memory)中，再恢复视频与音频信号的同步。
图8显示当文件系统/储存媒体的存取速度不足时，执行自动暂停/恢复功能的视频处理方法的工作流程。如图8所示，片段510代表理想视频显示(每秒30张画面)，其中每个画面可于33，33毫秒内完成译码。片段520代表当存取速度不足时的自动暂停/恢复机制。在此，当译码后显示画面0的同时译码画面1，而当显示画面1的同时译码画面2。在此实施例中，由于用来处理AV文件(包括高画面速率)的文件系统/储存媒体的存取速度不够快，因此在译码并显示画面0，1与2后，文件系统/储存媒体的比特流数据(假设文件系统速度较低)不足，因此无法对画面3译码。因此，由图中的星号所指示之处，使能自动暂停模式，中止音频信号，并且开始重新准备比特流数据给从画面3至文件系统/储存媒体的比特流缓存器，直到比特流缓冲器被填满多个画面的比特流数据为止(假设持续期间为50毫秒)，接着恢复从画面3开始即将被译码/显示的视频。因此，从画面3开始使能AV同步(在准备比特流缓冲器时显示画面2，在此实施例中约为50毫秒)，显示画面3并译码画面4，显示画面4并译码画面5，对每个画面重复相同的处理程序直到完成为止。
图9显示当文件系统/储存媒体的存取速度不足时执行自动暂停/恢复功能的视频处理方法的流程图。当显示第一画面(例如画面1)的同时译码第二画面(例如画面2)在预定时间内译码(步骤S31)。判断文件系统/储存媒体的存取速度是否无法(比特流数据不在缓冲器中)处理第三画面(例如画面3)(步骤S32)。如果文件系统/储存媒体的存取速度无法处理提供第三画面(例如画面3)的信息，在预定时间内激活自动暂停功能并且将音频去能(步骤S33)，重新准备比特流数据直到比特流缓冲器被填满为止，译码第三画面(例如画面3)(步骤S34)，去能(disable)自动暂停功能(步骤S35)，并且使能(enable)自动恢复功能以及音频(步骤S36)。如果文件系统/储存媒体的存取速度可以处理第三画面(例如画面3)，则当显示第二画面(例如画面2)的同时译码第三画面(例如画面3)(步骤S37)，以及对每个画面重复相同的处理程序直到完成为止。
图10显示当译码能力不足时，执行自动暂停/恢复功能的视频处理方法的工作流程。如图10所示，片段610代表理想视频显示(每秒30个画面)，每个画面会在33.33毫秒内完全译码。片段620代表当译码能力不足时的自动暂停/恢复程序，其中不考虑每个画面的译码与显示时间，且可接受的异步时间小于30毫秒。当在59毫秒内译码并显示画面0的同时译码画面1，使得AV异步，与片段610中画面0与1的持续时间相比，由于异步时间(约为25.67毫秒)小于30毫秒，因此异步时间为可接受的，使得在接下来的46毫秒内显示画面1并且译码画面2。由于在片段610中画面0与1的持续时间中的译码时间较长，因此会检测到其它的AV异步，与片段610中的画面1与2相比，大于30毫秒的异步时间(约为38.34毫秒)是不可以接受的，因此在图中的星号处使能自动暂停模式，其中音频信号会被中止，且文件系统/储存媒体将来自画面3的比特流数据译码并储存至比特流缓冲器。暂停模式持续到比特流缓冲器被填满为止(例如50毫秒)，接着去能暂停模式并且使能自动恢复模式。因此，来自画面3的AV异步会被使能，使得画面2会被忽视，显示画面3并译码画面4，显示画面4且译码画面5，以及对每个画面重复相同的处理程序直到完成为止。
图11显示当文件系统/储存媒体的存取速度不足时，执行自动暂停/恢复的视频处理方法的流程图。当显示第一画面(例如画面0)的同时在预定时间内译码第二画面(例如画面1)译(步骤S41)。判断是否检测到AV异步且异步时间是否大于一临界值(步骤S42)。如果检测到AV异步且异步时间大于临界值，在预定时间内激活自动暂停功能并且去能音频(步骤S43)，同时忽略第二画面并且译码第三画面(例如画面2)(步骤S44)，去能自动暂停功能(步骤S45)，并使能自动恢复功能与音频(步骤S46)。如果没有检测到AV异步，或检测到AV异步但异步时间不大于临界值，则显示第二画面(例如画面1)并译码第三画面(例如画面2)(步骤S47)，并且对每个画面重复相同的处理程序直到完成为止。
图12显示根据本发明实施例所述的用以降低快速前转功能使用的系统资源的视频处理方法的工作流程。在此实施例中，当通过快速前转程序来防止AV异步时，音频信号会被去能。当快速前转视频文件时，将音频信号去能以译码并显示更多的视频画面。再者，可使能选择性的将显示装置中的画面中止以降低总线负载，并可以将存取以及后处理功能全面或部分去能以加速处理速度。将占用较多系统资源的解块(deblock)或是去振影(dering)操作关掉。
如图12所示，与标准处理速度相比，片段710代表适用于具有四倍处理速度(4x)的快速前转功能，其中每个画面的显示时间为16.66毫秒，视频文件以每秒15个画面的速度编码，在此先假设每个画面的到显示器的显示期间速度上没有问题，且每个画面的译码时间都小于16毫秒。片段720代表具有N倍(N＞1)处理速度的快速前转程序，其中所有画面的显示时间为10毫秒，并且将所有译码画面的后处理操作去能。当显示画面0的同时译码画面1。由于画面1的译码时间(20毫秒)超过了理想持续期间(16.66毫秒)，所以画面1将不被显示，同时本该在16.66毫秒完成显示的画面0，由于画面2在8毫秒内完成译码，因此画面0又多显示了一个时间间隔(16.66毫秒)。接下来，画面2显示10毫秒且画面3在10毫秒内译码，画面3正常显示且画面4在28毫秒内被译码。画面3的显示时间本来只有16.66毫秒，但由于画面4的译码时间(28毫秒)超过了理想持续期间(16.66毫秒)，因此不显示画面4，又由于画面5的译码时间(26毫秒)超过理想持续期间(16.66毫秒)，因此画面3又显示了两个时间间隔(16.66*2毫秒)。接下来，画面5的显示时间为10毫秒且画面6在10秒内被译码，显示画面6并且画面7在8毫秒内被译码，然后对每个画面重复相同的处理程序直到完成为止。特别注意的是，从画面5开始重新计算持续期间。
在此实施例中，当译码速度较慢时则跳过一个画面。当无法及时显示前一个画面时则跳过一个画面。如果前一个画面没有被显示，则至少必须显示一个接下来的画面。另外，画面也可以被周期性的不被显示。例如，画面在每三个画面的间隔会不显示一个画面。
图13显示根据本发明实施例所述的用以降低快速前转功能使用的系统资源的视频处理方法的流程图。判断AV文件是否以N倍的速度(其中N不为1)播放(步骤S51)。如果AV文件是以N倍的速度播放，音频会被去能，AV文件的视频文件会以N倍的速度播放(步骤S52)，将后处理去能(步骤S53)，跳过可忽略的画面(步骤S54)，并且通过显示系统来播放画面(步骤S58)。如果AV文件不是以N倍的速度播放，音频与视频信号会分别被使能(步骤S55)与译码(步骤S56)，并且音频与视频信号必须由后处理操作来实现(步骤S57)。已处理的音频与视频文件由显示系统同步播放(步骤S58)。
图14显示当执行图13的快速前转功能时跳过画面的视频处理方法的流程图。首先，会将所有画面的后处理功能去能(步骤S61)。当在预定时间内译码画面N+1(N+i，i＝1)(画面1)的同时译码并显示画面N(N+i，i＝0)(画面0)(步骤S62)，其中N＝0且i＝0～n。判断画面N+1(画面1)的译码时间是否超过定义的持续时间(例如33.33毫秒)(步骤S63)。如果画面N+1(画面1)的译码时间超过定义的持续时间，画面N(N+i，i＝0)(画面0)在画面N+1(N+i，i＝1)(画面1)的译码期间连续显示，且在预定时间内译码画面N+2(N+i，i＝2)(画面2)的同时不显示画面N+1(N+i，i＝1)(画面1)(步骤S64)，i＝i+2(步骤S65)，且处理程序继续进行至步骤S62。如果画面N+1(画面1)的译码时间不超过定义的持续时间，则在预定时间内译码画面N+2(N+i，i＝2)(画面2)的同时显示画面N+1(N+i，i＝1)(画面1)(步骤S66)，i＝i+1(步骤S67)，且处理程序继续进行至步骤S62。
值得注意的是，图4、图7、图9、图11、图13以及14图中的方法也可应用于不同的储存媒体。
一种可达到AV同步恢复、适应性后处理、动态选择性的中止显示画面以及自动暂停/恢复快速前转功能所使用的系统资源的具有错误恢复功能的视频处理方法。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当以权利要求所界定者为准。
权利要求
1.一种适用于AV同步恢复的视频处理方法，该方法包括以下步骤在显示一第一画面的同时，在预定时间内译码一第二画面；判断所述第二画面的译码时间是否超过一预定持续时间；若所述第二画面的译码时间超过所述预定持续时间，则在所述第二画面的译码时间继续显示所述第一画面；以及当在预定时间内译码一第三画面的同时显示所述第二画面。
2.如权利要求1所述的视频处理方法，其特征在于，所述方法还包括以下步骤若所述第二画面的译码时间等于所述预定持续时间，则在结束显示所述第一画面后，在预定时间内译码所述第三画面的同时显示所述第二画面。
3.如权利要求2所述的视频处理方法，其特征在于，所述方法还包括以下步骤若所述第二画面的译码时间小于所述预定持续时间，则继续显示所述第一画面，当超过一画面的一理想持续时间时，在预定时间内译码所述第三画面的同时显示所述第二画面。
4.一种适用于动态选择性的中止显示画面的视频处理方法，该方法包括以下步骤当显示第一画面的同时译码一第二画面；判断所述第一画面的显示时间是否超过一预定持续时间；若所述第一画面的显示时间超过所述预定持续时间，则中止显示所述第二画面；以及当在预定时间内译码一第三画面的同时继续显示所述第一画面。
5.如权利要求4所述的视频处理方法，其特征在于，所述方法还包括以下步骤若所述第一画面的显示时间等于所述预定持续时间，则当在预定时间内译码所述第三画面的同时显示所述第二画面。
6.如权利要求5所述的视频处理方法，其特征在于，所述方法还包括以下步骤若所述第一画面的显示时间小于所述预定持续时间，则在所述预定持续时间继续显示所述第一画面。
7.一种适用于动态选择性的中止显示画面的视频处理方法，该方法包括以下步骤提供复数个画面；判断是否选择性的忽略一部分所述画面；以及若选择性的忽略部分所述画面，则在预定数量的画面间隔内显示所述画面。
8.一种适用于自动暂停/恢复且应用于一文件系统/储存媒体的视频处理方法，该方法包括以下步骤当译码一第二画面的同时在预定时间内译码并显示一第一画面；判断所述文件系统/储存媒体的存取速度是否不足以处理所述第二画面；若所述文件系统/储存媒体的存取速度不足以处理所述第二画面，则当忽略所述第二画面并且译码一第三画面的同时，在预定时间内使能一自动暂停功能并且去能复数音频信号；去能所述自动暂停功能；以及使能一自动恢复功能以及所述复数个音频信号。
9.如权利要求8所述的视频处理方法，其特征在于，所述方法还包括以下步骤若所述文件系统/储存媒体的存取速度足以处理所述第二画面，则显示所述第二画面并且译码所述第三画面。
10.如权利要求8所述的视频处理方法，其特征在于，所述方法还包括以下步骤判断所述文件系统/储存媒体是否不足以处理所述第二画面而造成AV异步；若所述文件系统/储存媒体不足以处理所述第二画面而造成AV异步，则判断一异步时间是否可以被接受；若所述异步时间无法被接受，则使能一自动暂停模式并且去能所述音频信号；译码并储存与所述第三画面有关的比特流数据至一比特流缓冲器；以及去能所述暂停模式并且使能一自动恢复模式，因而忽略所述第二画面并且当译码一第四画面的同时显示所述第三画面。
11.如权利要求10所述的视频处理方法，其特征在于，所述方法还包括以下步骤若所述异步时间可以被接受，则显示所述第二画面并且译码所述第三画面。
12.一种视频处理方法，该方法适用于降低一快速前转功能所使用的系统资源，所述视频处理方法包括以下步骤判断是否以N倍的速度播放一AV文件；若以N倍的速度播放所述AV文件，则去能所述AV文件的复数音频信号；以N倍的速度播放所述AV文件的复数个视频信号；去能后处理操作；以及跳过即将显示于一显示系统的所述AV文件中可忽略的复数个画面。
13.如权利要求12所述的视频处理方法，其特征在于，所述方法还包括以下步骤若不是以N倍的速度播放所述AV文件，则使能并译码所述音频与视频信号；将后处理操作分别应用于所述音频与视频信号；以及同步即将显示于所述显示系统的已处理的所述音频与视频信号。
14.一种视频处理方法，该方法适用于跳过画面以达到快速前转，所述方法包括以下步骤去能适用于一AV文件的复数个画面的后处理操作；当在预定时间内译码一第二画面的同时译码并显示一第一画面；判断所述第二画面的译码时间是否超过一预定持续时间；若所述第二画面的译码时间超过所述预定持续时间，则在所述第二画面的译码时间内继续显示所述第一画面；以及当在一预定时间内译码一第三画面的同时不显示所述第二画面。
15.如权利要求14所述的视频处理方法，其特征在于，所述方法还包括以下步骤若所述第二画面的译码时间不超过所述预定持续时间，则在所述预定时间内译码所述第三画面的同时显示所述第二画面。
16.一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于AV同步回复的视频处理方法，包括使用一计算机以执行下列步骤在预定时间内译码一第二画面的同时译码并显示一第一画面；判断所述第二画面的译码时间是否超过一预定持续时间；若所述第二画面的译码时间超过所述预定持续时间，则在所述第二画面的译码时间继续显示所述第一画面直到所述第二画面完全被译码为止；以及当在预定时间内译码一第三画面的同时显示所述第二画面。
17.如权利要求16所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括，若所述第二画面的译码时间等于所述预定持续时间，则在结束显示所述第一画面后，在预定时间内译码所述第三画面的同时显示所述第二画面。
18.如权利要求17所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括，若所述第二画面的译码时间小于所述预定持续时间，则继续显示所述第一画面，当超过一画面的一理想持续时间时，在预定时间内译码所述第三画面的同时显示所述第二画面。
19.一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于动态中止画面的视频处理方法，包括使用一计算机执行下列步骤当译码一第二画面的同时译码并显示一第一画面；判断所述第一画面的显示时间是否超过一预定持续时间；若所述第一画面的显示时间超过所述预定持续时间，则中止显示所述第二画面；以及当在预定时间内译码一第三画面的同时继续显示所述第一画面。
20.如权利要求19所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括若所述第一画面的显示时间等于所述预定持续时间，则当在预定时间内译码所述第三画面的同时显示所述第二画面。
21.如权利要求20所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括若所述第一画面的显示时间小于所述预定持续时间，则在所述预定持续时间继续显示所述第一画面。
22.一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于动态中止画面的视频处理方法，包括使用一计算机执行下列步骤提供复数个画面；判断是否选择性的忽略一部分所述画面；以及若选择性的忽略部分所述画面，则在预定数量的画面间隔内显示所述画面。
23.一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于自动暂停/回复的视频处理方法，包括使用一计算机执行下列步骤当译码一第二画面的同时在预定时间内译码并显示一第一画面；判断所述文件系统/储存媒体的存取速度是否不足以处理所述第二画面；若所述文件系统/储存媒体的存取速度不足以处理所述第二画面，则当忽略所述第二画面并且译码一第三画面的同时在预定时间内使能一自动暂停功能并且去能复数音频信号；去能所述自动暂停功能；以及使能一自动恢复功能以及所述复数个音频信号。
24.如权利要求23所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括若所述文件系统/储存媒体的存取速度足以处理所述第二画面，则显示所述第二画面并且译码所述第三画面。
25.如权利要求23所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括判断所述文件系统/储存媒体是否不足以处理所述第二画面而造成AV异步；若所述文件系统/储存媒体不足以处理所述第二画面而造成AV异步，则判断一异步时间是否可以被接受；若所述异步时间无法被接受，则使能一自动暂停模式并且去能所述音频信号；译码并储存与所述第三画面有关的比特流数据至一比特流缓冲器；以及去能所述暂停模式并且使能一自动恢复模式，因而忽略所述第二画面并且当译码一第四画面的同时显示所述第三画面。
26.如权利要求25所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括若所述异步时间可以被接受，则显示所述第二画面并且译码所述第三画面。
27.一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于降低快速前转功能所使用的系统资源的视频处理方法，包括使用一计算机执行下列步骤判断是否以N倍的速度播放一AV文件；若以N倍的速度播放所述AV文件，则去能所述AV文件的复数音频信号；以N倍的速度播放所述AV文件的复数个视频信号；去能后处理操作；以及跳过即将显示于一显示系统的所述AV文件中可忽略的复数个画面。
28.如权利要求27所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括若不是以N倍的速度播放所述AV文件，则使能并译码所述音频与视频信号；将后处理操作分别应用于所述音频与视频信号；以及同步即将显示于所述显示系统的已处理的所述音频与视频信号。
29.一种计算机可读取储存媒体，用以储存一计算机程序，所述计算机程序用以提供适用于跳过画面以达到快速前转的视频处理方法，包括使用一计算机执行下列步骤去能适用于一AV文件的复数个画面的后处理操作；当在预定时间内译码一第二画面的同时译码并显示一第一画面；判断所述第二画面的译码时间是否超过一预定持续时间；若所述第二画面的译码时间超过所述预定持续时间，则在所述第二画面的译码时间内继续显示所述第一画面；以及当在一预定时间内译码一第三画面的同时不显示所述第二画面。
30.如权利要求29所述的计算机可读取储存媒体，其特征在于，所述计算机可读取储存媒体更包括若所述第二画面的译码时间不超过所述预定持续时间，则在所述预定时间内译码所述第三画面的同时显示所述第二画面。
全文摘要
本发明提供一种视频处理方法以及计算机可读取储存媒体。所述视频处理方法适用于AV同步恢复，该方法包括以下步骤在显示一第一画面的同时，在预定时间内译码一第二画面；判断所述第二画面的译码时间是否超过一预定持续时间；若所述第二画面的译码时间超过所述预定持续时间，则在所述第二画面的译码时间继续显示所述第一画面；以及当在预定时间内译码一第三画面的同时显示所述第二画面。本发明提供一种具有错误恢复能力的视频处理系统及其视频处理方法，在有限的系统资源下，提升视频品质。
文档编号H04N7/32GK1992897SQ20061016993
公开日2007年7月4日 申请日期2006年12月25日 优先权日2005年12月27日
发明者胡世昌 申请人:联发科技股份有限公司