专利名称：帧率控制方法及装置的制作方法
技术领域：
本发明涉及视频处理领域，特别涉及帧率控制方法及装置。
背景技术：
目前，在碎见频处理过程中，比如对视频内容进行采集、压缩、编解码或 显示时，受处理能力的限制，很多情况下都需要对接收到的视频内容进行帧 率控制，通过减少帧率，从而减少处理视频内容所需的处理能力，以适应处 理能力的限制，避免因处理能力不足而造成的问题。比如在视频釆集时，一 般需要将采集到的视频图像进行压缩保存，因为采集时的帧率是不变的，
一般是每秒30帧，但是采集的视频图像的分辨率是可变的，如果采集320X240 的图像，那么压缩的处理能力足够将采集的30帧图像全部压缩完成，但是 如果采集800X600的图像，很可能处理能力是不够的，无法做到将采集的 30帧图像在正常时间内压缩完毕，这时就需要在对采集到的视频图像进行 压缩前将帧率减少，将压缩所需的处理能力控制在实际处理能力限制之内， 才能使视频采集和压缩的过程正常进行。
现有对帧率的控制一般是采用在视频帧的帧内或帧间插入空白的方法。 在帧内或帧间插入空白，虽然减少了帧率，满足了处理能力要求，但是这种 方法需要将不能及时处理的视频帧緩存下来，等待能够被处理时再处理，因 此会产生较大的处理延迟。且需要处理的帧总数是没有改变的，因此随着时 间的增加，处理延迟会不断的积累，延迟将越来越大， 一个视频帧从接收到 经过帧率控制后输出，可能会延迟很长时间。当积累的未处理的视频帧达到 一定数量，延迟达到一定程度时，还可能会造成緩存溢出等严重错误，使系 统崩溃；另外，这种帧率控制方法需要生成空白插入帧间或帧内，具体的空
白插入位置、生成空白的大小等参数都需要根据实际情况计算生成，且在帧 内插入空白还需要对帧进行修改，因此需要消耗较大的处理能力资源，且处 理比较复杂。发明内容本发明实施例提供一种帧率控制方法，产生的处理延迟较小，且不会产 生处理延迟的积累。本发明实施例提供一种帧率控制装置，产生的处理延迟较小，且不会产 生处理延迟的积累。为达到上述目的，本发明的技术方案具体是这样实现的 一种帧率控制方法，该方法包括根据预先设定的丢帧处理参数，从接收到的视频帧中选择出需要丢弃的视 频帧；将所述需要丢弃的视频帧丢弃掉，输出未丢弃的视频帧。 一种帧率控制装置，该装置包括 输入模块，用于接收视频帧；丟帧控制模块，用于接收输入模块发送的视频帧，根据预先设定的丢帧处 理参数，从接收到的视频帧中选择出需要丢弃的视频帧；将所述需要丢弃的视 频帧丢弃掉，输出未丢弃的视频帧。由上述的技术方案可见，本发明实施例的这种根据预先设定的丢帧处理 参数，从接收到的视频帧中选择出需要丟弃的视频帧；将所述需要丢弃的视 频帧丢弃掉，输出未丢弃的视频帧的帧率控制方法和装置，通过丢帧进行帧 率的控制，将无法被及时处理的视频帧丟弃掉，而不是等待能够处理时再进 行处理，无需緩存大量视频帧，因此不会产生很大的处理延迟，且处理延时 不会累积。另外，本发明实施例的帧率控制方法及装置，无需生成空白帧， 或者对帧进行修改，因此资源的消耗很小，处理过程简单，控制灵活，实现 容易。
图1为本发明实施例的帧率控制装置的示例性结构图；图2为本发明实施例图1所示装置中丢帧控制模块的一个结构示意图； 图3为本发明实施例图1所示装置中丟帧控制模块的又一个结构示意图；图4为本发明实施例的帧率控制方法的总体示例性流程图； 图5为本发明实施例的帧率控制方法的具体流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。本发明实施例主要是利用对接收到的视频帧进行分析，按照分析的结果对接收到的视频帧进行丢弃处理，以达到帧率控制的目的。通过丢帧的方法进行帧率控制，可以灵活的对帧率进行处理，且保证处理的实时性，控制操作简单，通用性好，消耗资源少。下面，将详细介绍本发明实施例的帧率控制装置的具体结构；图1为本发明实施例的帧率控制装置的示例性结构图。如图1所示，本发明实施例的帧率控制装置包括输入模块101和丢帧控制模块102。其中，输入模块101用于接收视频帧，并将接收到的视频帧向丢帧控制模 块102输出。丢帧控制模块102用于接收输入模块101输出的视频帧，根据预先设定的 丢帧处理参数，从接收到的视频帧中选择出需要丢弃的视频帧；将所述需要丢 弃的视频帧丟弃掉，输出未丟弃的视频帧。其中预先设定的丢帧处理参数可以是表示一个丢帧操作所需参考的帧的 数量的丢帧循环个数和表示一个丢帧操作需要丢掉的帧的数量的丟帧个数，则 丢帧控制模块102用于根据预先设置的丟帧循环个数和丢帧个数从接收到的视
频帧中选择出需要丢弃的视频帧。具体来说，所述丢帧控制模块102的具体结构可如图2所示，包括相似 性比较单元201 、丢帧选择单元202和丟帧处理单元203。其中，相似性比较单元201用于接收输入模块101发送的视频帧，对接收 到的视频帧进行相似性比较，得到的视频帧的相似性量。根据所述视频帧的相似性量，从与所述丟帧循环个数相同数量的视频帧中，选 择出与所述丢帧个数相同数量的需要丢弃的视频帧。丢帧处理单元203用于将丢帧选择单元202选择出的需要丢弃的视频帧丟 弃掉，输出未丟弃的视频帧。其中，相似性比较单元201可以是将所述接收到的每一个视频帧与其前一 帧进行相似性比较，得到所述视频帧的相似性量，如果所述视频帧是接收到的 第一个视频帧，则将该第一个视频帧的相似性量设置为所述相似性量的取值范 围内的最小值。当然也可以设定第一帧固定不丢弃。或者，相似性比较单元201也可以将所述接收到的每一个视频帧与其后一 帧进行相似性比较，得到所述视频帧的相似性量，如果所述视频帧是接收到的 最后一个视频帧，则将该最后一个视频帧的相似性量设置为所述相似性量的取 值范围内的最大值。当然，也可以设定最后一帧固定丢弃。当然，相似性比较还可以是隔帧比较，这里不再赘述。另外，丢帧选择单元202可以是从与所述丢帧循环个数相同数量的视频帧 中，选择与所述丢帧个数相同数量的，相似性量最大的视频帧，作为需要丢弃 的^L频帧。选择相似性量大的视频帧作为需要丢弃的视频帧，是为了在丢帧时尽量保 证视频图像的连贯性，不至于出现视频图像的跳跃现象，减少丟帧后视频图像 的质量下降的问题。当然，以上对丢帧的处理是优选的实施例，还可以采用随机丢帧或固定 丢帧的方法进行帧率控制，如果采用随机丟帧的方法进行帧率控制，那么所
述丟帧控制模块的具体结构可如图3所示，包括随机丢帧单元301和丢帧 处理单元302。其中，随机丢帧单元301用于接收输入模块101发送的视频帧，根据预 先设置的丢帧循环个数和丢帧个数，从接收到的与所述丢帧循环个数相同数 量的视频帧中随机选择出与所述丢帧个数相同数量的需要的丢弃的视频帧。丢帧处理单元302用于将接收到的视频帧中需要丟弃的视频帧丟弃掉， 输出未丢弃的视频帧。采用固定丢帧的方法进行帧率控制的方法类似，只需选择固定位置的视 频帧进行丢弃即可，这里不再赘述。上面介绍了本发明实施例的帧率控制装置，下面将详细介绍本发明实施 例的帧率控制方法。图4为本发明实施例的帧率控制方法的总体示例性流程图。如图4所示， 该流程具体包括如下步骤步骤401，根据预先设定的丢帧处理参数，从接收到的视频帧中选择出 需要丢弃的视频帧。预先设定的丟帧处理参数可以包括表示一个丢帧操作所需参考的帧的 数量的丢帧循环个数和表示一个丟帧操作需要丢掉的帧的数量的丢帧个数。 根据预先设定的丢帧处理参数，从接收到的视频帧中选择出需要丢弃的视频 帧，就是根据预先设置的丟帧循环个数和丢帧个数从接收到的视频帧中选择 出需要丟弃的视频帧。比如设置丢帧循环个数为7，丢帧个数为3,就表示一次丢帧操作要从 接收到的7个视频帧中选择出3个视频帧为需要丢弃的视频帧。如果丢帧个 数设置为0，则表示不需要丢帧，无须进行选择的操作。当然，把丢帧循环 个数设置为0，也可以表示不需要丢帧。另外，还可以用保留帧的个数，作 为丢帧参数，将丟帧循环个数減去保留帧的个数，即可表示需要丢掉的帧的 个数。丢帧处理参数的设置方式可以很多，只要是能够表示出在多少个视频 帧中丢弃多少个^L频帧就可以。
步骤402,将需要丢弃的视频帧丢弃掉，输出未丢弃的视频帧。将步骤401中选择出的3个需要丟弃的视频帧丢弃掉，将剩下的4帧输 出，达到控制帧率的目的，例如原来是每秒28帧，那么经过丢帧的处理后， 将会变成每秒16帧，如果设置丟帧循环个数为4，丟帧个数为2，则处理后 的帧率将变为每秒14帧。以上步骤401中，根据预先设置的丟帧循环个数和丢帧个数从接收到的 视频帧中选择出需要丢弃的视频帧的具体方法是对接收到的视频帧进行相似性比较，根据比较得到的视频帧的相似性 量，从与所述丢帧循环个数相同数量的视频帧中，选择出与所述丢帧个数相 同数量的需要丢弃的视频帧。或者，采用随机选择的方式，随机选择出需要 丟弃的视频帧。或者，采用固定丢帧的选择方式，比如丢帧循环个数设置为 7，丢帧个数设置为3,那么固定丢帧的方法就是按照接收的先后顺序，固 定将第2、 4、 6帧，作为需要丟弃的视频帧。其中，相似性比较的具体方法可以是将收到的每一个视频帧与其前一 帧进行相似性比较，得到所述视频帧的相似性量，如果所述视频帧是接收到 的第一个视频帧，则将该第一个视频帧的相似性量设置为所述相似性量的取 值范围内的最小值。当然，也可以设定第一帧固定不丢弃。其中，相似性量 可以采用百分比的量化形式，取值范围是0%~100% ，也可以采用数字或字 母形式，具体量化方式和取值范围任意。或者，将所述接收到的每一个视频帧与其后一帧进行相似性比较，得到 所述视频帧的相似性量。如果所述视频帧是接收到的最后一个视频帧，则将 该最后 一个视频帧的相似性量设置为所述相似性量的取值范围内的最大值。 当然，也可以设定最后一帧固定丢弃。如果是与后面的帧进行相似性比较， 那么，就无需对第一帧做单独的处理了。另外，从与所述丟帧循环个数相同数量的视频帧中，选择出与所述丢帧 个数相同数量的需要丢弃的视频帧，是从与所述丢帧循环个数相同数量的视 频帧中，选择与所述丢帧个数相同数量的，相似性量最大的视频帧，作为需 要丢弃的视频帧。假设丢帧循环个数设置为7，丢帧个数设置为3，具体选择过程可以是先 将相似性比较得出的7个视频帧的相似性量进行排序，具体排序可以使用任意 的排序方法进行排序，比如从大到小排序，将排在前3个的视频帧选择为需要 丢弃的视频帧，如果从小到大排序，则将排在后3个的视频帧选择为需要丢弃 的牙见频帧。选择相似性量大的视频帧作为需要丢弃的视频帧，是为了在丢帧时尽量保 证视频图像的连贯性，不至于出现视频图像的跳跃现象，减少丢帧后视频图像 质量下降的问题。举个具体的例子，比如丢帧循环个数设置为7，丟帧个数设置为3，在视频 帧的相似性比较中，得到的视频帧的相似性量分别为帧frame 1为88%, frame2 为79%, frame3为98%, frame4为96%, frame5为86°/。， frame6为93%, fr謹7 为64%。根据相似性量排序，得到排序结果为frame3>frame4>frame6>framel>frame5>frame2>frame7。根据丟帧个数设置，将frame3、 frame4、 frame6选择为需要丢弃的视频帧； frame 1 、 frame5 、 frame2 、 frame7被保留。如果比较出的视频帧的相似性量中，有两个或两个以上的视频帧的相似性 量相同，则可以根据丟帧个数的设置，任意选择需要丟弃的视频帧，还以丢帧 循环个数设置为7,丢帧个数设置为3为例，比如视频帧的相似性量如下framel 为88%, frame2为88%, frame3为98%, frame4为96%, frame5为86%, frame6 为73%, fmme7为64%。那么4非序的结果是frame3>frame4〉framel=frame2〉frame5>frame6>frame7。因为需要丢掉3帧，所以可以在frame 1和frame2中任意选择一个作为 需要丢弃的视频帧，另一个保留。下面举一个具体的例子，假设丢帧循环个数设置为7,丢帧个数设置为 3，具体的帧率控制流程如图5所示，图5为本发明实施例的帧率控制方法
的具体流程图。步骤501,判断预先设置的丢帧个数是否为0。如果设置的丢帧个数为0,则不进行操作，直接结束，如果不是0，则进入丟帧的选择流程，执行步骤502。 步骤502,接收视频帧。步骤503，判断接收到的视频帧是否是所有接收到的视频帧中的第一帧， 若是，则执行步骤505,否则执行步骤504。步骤504，将接收到的视频帧和其前一帧进行相似性比较，得到该帧的 相似性量。步骤505,设置视频帧的相似性量为0%。步骤506，按照相似性量的大小，对接收到的7个视频帧进行排序。 步骤507，按照排序的结果，选择其中相似性量最大的3个视频帧作为需要丢弃的视频帧。步骤508，将选择出的需要丢弃的视频帧丢弃掉，结束流程。 丢弃选择出的3个需要丢弃的视频帧，将保留的4个视频帧输出。 以上步骤505中，相似性量采用了百分比的形式，不管相似性量采用什么量化形式，只要将该帧的相似性量设为采用的量化形式中可以取到的最小值即可。由上述的实施例可见，本发明的这种根据预先设定的丢帧处理参数，从 接收到的视频帧中选择出需要丟弃的视频帧；将所述需要丢弃的视频帧丢弃 掉，输出未丢弃的视频帧的帧率控制方法和装置，通过丢帧进行帧率的控制， 将无法被及时处理的视频帧丟弃掉，而不是等待能够处理时再进行处理，无 需緩存大量视频帧，因此不会产生很大的处理延迟，且处理延时不会累积。 另外，本发明实施例的帧率控制方法及装置，无需对接收到的视频帧进行修 改，因此资源的消耗很小，处理过程简单，控制灵活，实现容易。而且，通 过相似性比较进行丢帧的选择，可以在很大程度上避免丢帧引起的视频图像 质量下降的问题。
所应理解的是，以上所述仅为本发明的较佳实施方式而已，并不用于限 定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等 同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1、一种帧率控制方法，其特征是，该方法包括根据预先设定的丢帧处理参数，从接收到的视频帧中选择出需要丢弃的视频帧；将所述需要丢弃的视频帧丢弃掉，输出未丢弃的视频帧。
2、 如权利要求1所述的帧率控制方法，其特征是，所述丢帧处理参数包括 丢帧循环个数和丢帧个数；所述丢帧循环个数表示 一 个丢帧操作所需参考的帧的数量； 所述丢帧个数表示一个丢帧操作需要丢掉的帧的数量。
3、 如权利要求2所述的帧率控制方法，其特征是，所述根据预先设定的参 数，从接收到的视频帧中选择出需要丢弃的视频帧，包括根据所述预先设置的丢帧循环个数和丟帧个数，从接收到的与所述丟帧循 环个数相同数量的视频帧中，随机选择出与所述丢帧个数相同数量的需要的丢 弃的^L频帧。
4、 如权利要求2所述的帧率控制方法，其特征是，所述根据预先设定的丢 帧处理参数，从接收到的视频帧中选择出需要丢弃的视频帧，包括对接收到的视频帧进行相似性比较，根据比较得到的视频帧的相似性量， 从与所述丢帧循环个数相同数量的视频帧中，选择出与所述丢帧个数相同数量 的需要丢弃的视频帧。
5、 如权利要求4所述的帧率控制方法，其特征是，所述对接收到的视频帧 进行相似性比较，包括将所述接收到的每一个视频帧与其前一帧进行相似性比较，得到所述视频 帧的相似性量。
6、如权利要求5所述的帧率控制方法，其特征是，所述将接收到的每一个 视频帧与其前一帧进行相似性比较之前，进一步包括判断接收到的所述视频帧是否是接收到的第一个视频帧，如是，则将该第一个视频帧的相似性量设置为所述相似性量的取值范围内的最小值，否则，执 行所述将接收到的每一个视频帧与其前一帧进行相似性比较的步骤。
7、 如权利要求4所述的帧率控制方法，其特征是，所述对接收到的视频帧进行相似性比较，包括将所述接收到的每一个视频帧与其后一帧进行相似性比较，得到所述视频 帧的相似性量。
8、 如权利要求4所述的帧率控制方法，其特征是，所述将所述接收到的每 一个视频帧与其后一帧进行相似性比较之前，进一步包括判断接收到的所述视频帧是否是接收到的最后一个视频帧，如是，则将该 最后一个视频帧的相似性量设置为所述相似性量的取值范围内的最大值，否则， 执行所述将接收到的每一个视频帧与其后一帧进行相似性比较的步骤。
9、 如权利要求4所述的帧率控制方法，其特征是，所述从与所述丢帧循环 个数相同数量的视频帧中，选择出与所述丟帧个数相同数量的需要丢弃的视频 帧，包括从与所述丢帧循环个数相同数量的视频帧中，选择与所述丢帧个数相同数 量的，相似性量最大的视频帧，作为需要丢弃的视频帧。
10、 一种帧率控制装置，其特征是，该装置包括 输入模块，用于接收视频帧；丟帧控制模块，用于接收输入模块发送的视频帧，根据预先设定的丢帧处 理参数，从接收到的视频帧中选择出需要丟弃的视频帧；将所述需要丢弃的视 频帧丢弃掉，输出未丢弃的视频帧。
11、 如权利要求IO所述的帧率控制装置，其特征是，所述丢帧控制模块， 包括根据预先设定的丢帧循环个数和丢帧个数，从接收到的视频帧中选择出需 要丢弃的视频帧的模块。
12、 如权利要求11所述的帧率控制装置，其特征是，所述丢帧控制模块包括随机丢帧单元，用于接收输入模块发送的视频帧，根据预先设定的丟帧循 环个数和丢帧个数，从接收到的与所述丢帧循环个数相同数量的视频帧中随机选择出与所述丢帧个数相同数量的需要的丢弃的视频帧；丢帧处理单元，用于将接收到的视频帧中需要丢弃的视频帧丢弃掉，输出 未丢弃的视频帧。
13、 如权利要求11所述的帧率控制装置，其特征是，所述丢帧控制模块包括相似性比较单元，用于接收输入模块发送的视频帧，对接收到的视频帧进 行相似性比较，得到的视频帧的相似性量；丟帧选择单元，用于接收相似性比较单元发送的视频帧的相似性量，根据 所述视频帧的相似性量，从与所述丟帧循环个数相同数量的视频帧中，选择出 与所述丢帧个数相同数量的需要丢弃的视频帧；丟帧处理单元，用于将丢帧选择单元选择出的需要丢弃的视频帧丢弃掉， 输出未丢弃的一见频帧。
14、 如权利要求13所述的帧率控制装置，其特征是，所述相似性比较单元， 包括将所述接收到的每一个视频帧与其前一帧进行相似性比较，得到所述视频 巾贞的相似性量，如果所述视频帧是接收到的第一个视频帧，则将该第一个视频 帧的相似性量设置为所述相似性量的取值范围内的最小值的模块。
15、 如权利要求13所述的帧率控制装置，其特征是，所述相似性比较单元， 包括将所述接收到的每一个视频帧与其后一帧进行相似性比较，得到所述视频 帧的相似性量，如果所述视频帧是接收到的最后一个视频帧，则将该最后一个 视频帧的相似性量设置为所述相似性量的取值范围内的最大值的模块。
16、 如权利要求13所述的帧率控制装置，其特征是，所述丟帧选择单元， 包括从与所迷丢帧循环个数相同数量的视频帧中，选择与所述丟帧个数相同数 量的，相似性量最大的视频帧，作为需要丢弃的视频帧的模块。
全文摘要
本发明公开了一种帧率控制方法及装置，根据预先设定的丢帧处理参数，从接收到的视频帧中选择出需要丢弃的视频帧；将所述需要丢弃的视频帧丢弃掉，输出未丢弃的视频帧。通过丢帧进行帧率的控制，将无法被及时处理的视频帧丢弃掉，而不是等待能够处理时再进行处理，无需缓存大量视频帧，因此不会产生很大的处理延迟，且处理延时不会累积。另外，本发明实施例的帧率控制方法及装置，无需对接收到的视频帧进行修改，因此资源的消耗很小，处理过程简单，控制灵活，实现容易。
文档编号H04N7/24GK101159862SQ200710178408
公开日2008年4月9日 申请日期2007年11月29日 优先权日2007年11月29日
发明者冯备战, 游明琦, 国 艾 申请人:北京中星微电子有限公司