帧率控制方法、帧率控制装置以及帧率控制程序的制作方法

帧率控制方法、帧率控制装置以及帧率控制程序的制作方法
【专利摘要】本发明的目的在于，即使在输入视频的输入定时不是固定的而是波动的情况下，也不增加延迟地抑制编码器的运算量和编码结果的信息量的瞬间的增加。将输入视频的帧率调整为编码器能编码的帧率的帧率控制方法具有：判定在从输入细化的判定对象画面的时刻起往前规定时间的期间中输入了的画面个数是否超过规定的阈值的过程；以及在所述画面个数超过所述阈值的情况下，废弃所述判定对象画面，在所述画面个数未超过所述阈值的情况下，将所述判定对象画面作为编码对象的过程。
【专利说明】帧率控制方法、帧率控制装置以及帧率控制程序

【技术领域】
[0001] 本发明涉及视频编码中的帧率控制，特别是涉及用于抑制编码器中的运算量和信 息量的帧率控制方法、帧率控制装置以及帧率控制程序。
[0002] 本申请基于在2012年1月26日向日本申请的特愿2012 - 013773号要求优先权， 并将其内容引用于此。

【背景技术】
[0003] 历来，在能编码的帧率和从摄像设备等向编码器的输入视频的帧率不同的情况 下，使用进行输入视频的细化（thinning)处理来变换为能编码的帧率的技术(参照专利文 献1)〇
[0004] 在图5中示出了表示现有技术的装置的结构的框图。在图6中示出了现有技术中 的画面细化判定部的流程图。
[0005] 在图5中，编码器200是按照例如H. 264等编码方式来对输入视频进行编码、输 出编码视频流的装置。编码器200具备：按照将帧分割后的每个块进行运动检测的运动检 测部203、利用由运动检测部203检测出的运动矢量来进行预测的预测部204、通过DCT (离 散余弦变换)等对输入信号和预测信号的残差信号进行正交变换的正交变换部205、对变换 系数进行量化的量化部206、对量化结果进行逆量化的逆量化部207、对变换系数进行逆正 交变换的逆正交变换部208、存储对逆正交变换部208的输出加上预测信号而得到的本地 解码图像的本地解码图像存储部209、对量化部206的输出进行可变长编码的可变长编码 部210、对编码信息进行复用的复用部211、对编码信息进行存储并作为编码视频流进行输 出的缓冲器部212、以及利用产生码量等进行量化部206等的编码控制的控制部213。
[0006] 在编码器200能编码的帧率和帧率测定部202测定出的从摄像设备等向编码器 200的输入视频的帧率不同的情况下，画面细化判定部201进行输入视频的细化处理来变 换为能编码的帧率。帧率测定部202对输入视频的帧率进行测定并通知给画面细化判定部 201〇
[0007] 画面细化判定部201执行图6所示的处理。首先，当对编码器200能输入的帧率 TA进行设定(步骤S200 )，并且，将输入视频的帧率设为CA时(步骤S201)，根据CA计算细化 帧间隔值n=CA/ (CA-TA)(步骤S202)。接着，将画面编号i初始设定为1，将画面细化数 d初始设定为0 (步骤S203)，进行以下的处理。
[0008] 根据作为判定对象的画面的画面编号i是否超过η乘以到目前为止的画面细化数 d的值来决定是否对画面i进行细化。即，判定是否为i彡ηΧ (d+Ι)，如果i在nX (d+1) 以上，则执行步骤S205、S206。在步骤S205中，对d加上1，在步骤S206中，对画面i进行 细化。如果i比nX (d+Ι)小，则不对画面i进行细化。在全部视频的处理完成之前(步骤 S207为"是")，一边对i加上1 (步骤S208)，一边重复进行以上的步骤S204?S207。
[0009] 如以上那样，在现有技术中，根据向编码器的输入帧率和能编码的帧率的比率，计 算表示只要输入了多少个视频画面就可以细化1个画面的画面细化数，按照计算出的画面 细化数来进行输入视频的细化处理。
[0010] 为了应用本技术，需要向编码器的输入帧率CA是已知的。因此，需要通过例如在 图5中示出的帧率测定部202来测定向编码器的输入视频的帧率CA。可是，在输入视频的 输入定时波动的情况下等，不一定总是保持测定时的帧率。因此，会产生不必要地细化许多 画面的状态或者细化数不足的状态。
[0011] 现有技术文献 专利文献 专利文献1 :日本特开2005 - 328487号公报。


【发明内容】

[0012] 发明要解决的课题 设想：在电视电话那样的视频通信用应用中，用与PC (个人计算机)连接的Web摄像机 等输入视频，用软件编码器进行编码，将编码后的视频流传送到接收侧。此时，由于CPU(中 央处理装置）资源不足等理由，存在用摄像机拍摄的视频被输入至编码器的定时不是固定 的而是波动的情况。在这样的情况下，每单位时间的输入帧率可能局部地变高。
[0013] 在图7中示出视频的输入定时波动的例子。虽然以固定的定时的固定帧率执行利 用摄像机进行的拍摄，但是，由于在刚输入了画面2之后CPU资源不足、编码器前级的处理 延迟导致画面3以后被依次延迟地输入至编码器。之后，CPU资源的不足解除，积存在编码 器前级的视频被一口气输入至编码器。
[0014] 在以实时处理为前提的编码器中，在每单位时间进行编码的画面个数增加，由此， 码量和运算量局部地增加。如图7所示那样，当尝试以固定时间将时间轴划分成区间时，在 区间1?4中画面个数为1个，与此相对地，在区间5中变为3个，与其它的区间相比较，需 要大约3倍的码量和运算量。像这样的输入至编码器的视频的定时的波动会产生由于超过 对编码后的视频流进行传送的传送路径的容量而引起的延迟，此外，在最差的情况下发生 数据包丢失，由此，导致在接收侧的视频品质劣化。
[0015] 在像专利文献1所记载的技术那样，根据向编码器的输入帧率和能编码的帧率的 比率计算表示只要输入了多少个视频画面就可以细化1个画面的画面细化数，按照计算出 的画面细化数来进行细化处理的情况下，需要向编码器的输入帧率是已知的。
[0016] 因此，即使对向编码器的输入帧率进行测定，也存在以下那样的问题。像图7的例 子那样，在编码器中能编码的帧数相对于1个区间为1个的情况下，对于区间1?4,被输入 至编码器的帧数为1个。若基于区间1?4的测定结果，则被输入至编码器的帧数等于能 编码的帧数，因此，不需要对帧进行细化。可是，对于区间5,被输入的帧数变为3个。在不 基于区间1?4的测定结果对区间5的输入视频实施细化的情况下，超过能编码的帧个数 的视频被输入至编码器。
[0017] 本发明的目的在于，谋求上述课题的解决，即使在输入视频的输入定时不是固定 的而是波动的情况下，能将编码器的运算量、信息量抑制在固定的范围内。
[0018] 用于解决课题的方案 为了解决上述课题，本发明进行是否细化被输入的视频帧的判定，以使进行编码的视 频帧不会瞬间地增加。判定是根据在从输入判定对象画面的时刻起往前单位时间的期间中 输入了的帧个数是否超过规定的阈值来进行的，不使用以输入视频的输入定时决定的向编 码器的输入帧率。在上述帧个数超过阈值的情况下对相应的帧进行细化，在不是这样的情 况下进行编码。
[0019] 本发明的作用如下。在画面细化判定中，不使用向编码器的输入帧率。因此，即使 在输入视频的输入定时波动并且不一定总是保持帧率的情况下，也能够得到良好的判定结 果，进行适当的画面细化。因此，即使在输入视频的输入定时波动的情况下，也能够通过画 面细化处理来抑制进行编码的视频帧瞬间地增加。即，能够抑制编码器的运算量的瞬间的 增加和视频比特流的信息量的瞬间的增加。
[0020] 此外，由于仅使用在从输入判定对象画面的时刻起往前单位时间的期间中输入了 的画面个数是否超过根据设定帧率而计算出的阈值这样的在输入对象画面的时间点已知 的信息来进行判定，所以不产生延迟。
[0021] 再有，由于本技术也不利用编码时的信息，所以能与编码器独立地构成，能直接利 用以往的编码器。
[0022] 发明效果 即使在输入视频的输入定时不是固定的而是波动的情况下，本发明也存在以下的效 果。
[0023] (1)能够在不增加延迟的情况下抑制编码器的运算量的瞬间的增加。
[0024] (2)能够在不增加延迟的情况下抑制编码后的视频比特流的信息量的瞬间的增 加。

【专利附图】

【附图说明】
[0025] 图1是示出根据本发明的实施例的画面细化处理的例子的图。
[0026] 图2是示出本发明的实施方式的装置的结构的框图。
[0027] 图3是本发明的实施方式的画面细化判定部的流程图。
[0028] 图4是示出在使用计算机和软件程序来实现本实施方式的装置的情况下的系统 的结构例的图。
[0029] 图5是示出现有技术的装置的结构的框图。
[0030] 图6是现有技术中的画面细化判定部的流程图。
[0031] 图7是示出视频的输入定时波动的例子的图。

【具体实施方式】
[0032] 以下，使用附图来对本发明的实施例和实施方式详细地进行说明。
[0033] 基于编码器的处理性能等，设定能输入至编码器的帧率^和成为基准的帧率测定 间隔Ti。基于基准帧率测定间隔T i，利用下述所示的公式来预先计算能在测定间隔中输入 的视频画面个数η。

【权利要求】
1. 一种帖率控制方法，将输入视频的帖率调整为编码器能编码的帖率，其中，具有； 判定在从输入细化的判定对象画面的时刻起往前规定时间的期间中输入了的画面个 数是否超过规定的阔值的过程；W及 在所述画面个数超过所述阔值的情况下，废弃所述判定对象画面，在所述画面个数未 超过所述阔值的情况下，将所述判定对象画面作为编码对象的过程。
2. 根据权利要求1所述的帖率控制方法，其中， 在所述判定的过程中，根据所述判定对象画面的时间戳ti和由在所述规定时间即成为 基准的帖率测定间隔Ti内用所述编码器能编码的画面个数nW及画面细化数d决定的往前 (n+d)个的画面中的时间戳的差值是否超过所述帖率测定间隔Ti，判定所述输入了 的画面个数是否超过所述规定的阔值。
3. -种帖率控制装置，将输入视频的帖率调整为编码器能编码的帖率，其中，具备； 判定部，判定在从输入细化的判定对象画面的时刻起往前规定时间的期间中输入了的 画面个数是否超过规定的阔值；W及 细化部，在所述画面个数超过所述阔值的情况下，废弃所述判定对象画面，在所述画面 个数未超过所述阔值的情况下，将所述判定对象画面作为编码对象。
4. 一种帖率控制程序，其中，用于使计算机执行权利要求1或权利要求2所述的帖率控 制方法。
【文档编号】H04N19/132GK104471936SQ201380005516
【公开日】2015年3月25日 申请日期:2013年1月21日 优先权日:2012年1月26日
【发明者】小野尚纪, 清水淳, 中村健, 北原正树, 京地清介 申请人:日本电信电话株式会社