专利名称：基于图像捕捉参数控制视频编码的制作方法
技术领域：
本发明涉及视频译码。
背景技术：
数字多媒体能力可并入到各种各样的装置中，包括数字电视机、数字直播系统、无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电话、数字媒体播放器等。数字多媒体装置可实施例如MPEG-2、ITU-H. 263.MPEG-4或ITU-H. 264/MPEG-4第10部分增强型视频译码(AVC)等视频译码技术，以较高效地发射及接收或存储及检索数字视频数据。视频编码技术可经由空间及时间预测来执行视频压缩，以减少或去除视频序列中固有的冗余。视频捕捉装置(例如摄像机)可捕捉视频，并将其发送到视频编码器以供编码。视频编码器处理捕捉到的视频，对经处理的视频进行编码，且发射经编码的视频数据以供存储或发射。在任一情况下，对经编码视频数据进行编码以再现所述视频供显示。用于存储或发射视频的可用带宽通常是有限的，且受例如视频编码数据速率等因素影响。若干因素有助于视频编码数据速率。因此，当设计视频编码器时，关注之一是改进视频编码数据速率。通常，改进实施于视频编码器中，且通常增加了视频编码器的额外计算复杂性，这可抵消改进的频编码数据速率的某些益处。
发明内容
本发明描述用于至少部分地基于视频捕捉装置的一个或一个以上参数来控制视频译码的技术。所述技术可在例如相机等视频捕捉装置中执行。所述视频捕捉装置可感测、 测量或产生一个或一个以上参数。在一个实例中，本发明描述一种方法，其包括在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及在视频编码器中至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码。在另一实例中，本发明描述一种系统，其包括用于在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级的装置；以及用于在视频编码器中至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码的装置。在另一实例中，本发明描述一种系统，所述系统包括视频捕捉模块，其用以估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及视频编码器，其用以至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码。本发明中所描述的技术可以硬件、软件、固件或其任一组合来实施。如果以软件来实施，那么可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上处理器中执行软件。可最初将执行所述技术的软件存储于非暂时计算机可读存储媒体中，且在处理器中加载并执行。因此，本发明还预期一种计算机可读媒体，其包括用于致使可编程处理器进行以下操作的指令在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及在视频编码器中至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码。本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述内容和图式并从权利要求书中将明白本发明中所描述的技术的其它特征、目标和优点。
图1为说明可实施本发明的技术的示范性视频捕捉装置及视频编码器系统的框图。图2为说明可实施本发明的技术的另一示范性视频捕捉装置及视频编码器系统的框图。图3为说明可实施本发明的技术的视频编码器系统的实例的框图。图4为说明视频捕捉装置进行的实例自动对焦重新对焦过程的性能的图。图5是说明用于编码期间的运动估计的示范性块分区大小的图。图6A到6C是说明根据本发明的技术的使用捕捉到的帧中的模糊等级的估计值来进行视频编码的流程图。图7是说明根据本发明的方面使用模糊等级的估计值来简化编码算法的视频编码的流程图。
具体实施例方式本发明描述用于至少部分地基于视频捕捉装置的一个或一个以上参数来控制视频译码的技术。在一些实例中，视频编码器可基于在支持连续自动对焦(CAF)过程的视频捕捉装置中的重新对焦期间对帧中的模糊等级的估计值来控制视频译码。在视频系统(例如视频编码系统)中，带宽限制可为关注点，且可能受例如视频编码数据速率等参数影响。 在一个实例中，根据本发明的技术可基于视频捕捉装置所捕捉到的视频帧的特性来调整视频译码过程的一个或一个以上方面，例如视频编码数据速率。在一个实例中，可基于帧的所估计模糊等级在编码视频帧的过程中更高效地分配位，从而优化视频编码数据速率。在实时视频记录期间，视频帧中的模糊可由若干因素导致。举例来说，视频捕捉装置的快速运动或正由视频捕捉装置(例如摄像机)捕捉的图像中的对象的快速运动可导致模糊，因为相机或对象移动太快以致无法对焦。模糊还可能在具有CAF的系统中的重新对焦阶段期间或当使用手动对焦时的重新对焦期间发生。在使用CAF的视频捕捉装置中，可例如在逐帧基础上连续地调整透镜位置，以实现最佳对焦性能。当关注对象在视频记录期间已改变或移动时，视频捕捉装置通过找到新的关注对象的新的焦平面来重新对焦。在此重新对焦过程期间出现模糊，且装置在找到新的焦平面之前捕捉到的帧在实现重新对焦之前可能模糊。视频编码器通过执行计算以作出关于帧的内容的确定来执行视频数据速率控制。这些计算通常增加了视频编码器的计算复杂性。
本发明的技术可包含基于由视频捕捉装置确定和/或测量的参数来执行视频捕捉装置中的功能。在本发明的一个方面中，视频编码器可通过使用视频编码器从记录视频帧的视频捕捉装置获得的信息来降低额外的计算复杂性。在一个实例中，视频捕捉装置可估计CAF过程的重新对焦阶段期间(例如，装置的快速运动期间)的视频帧中的模糊量。视频捕捉装置可向视频编码器发送视频帧中的模糊量的估计值。基于视频帧中的模糊量，视频编码器可分配较少的数据速率，即较少的译码位，来编码具有高于某一阈值的模糊量的帧，而不必评估视频编码器内的模糊。事实上，编码器可依靠已经由视频捕捉装置确定的模糊参数。举例来说，视频编码器可分配较少的数据速率来编码模糊帧，因为模糊帧通常具有不受使用较低数据速率影响的较低视觉质量。 当视频帧的内容变得模糊时，根据本发明的一个方面，视频编码器可分配较少的数据速率， 即译码位，来编码模糊帧，从而在给定模糊的情况下，降低带宽消耗，同时维持可接受的总视觉质量。在本发明的一个方面中，量化参数(QP)可基于模糊估计值而调整，且可基于帧中的模糊量而变化。在本发明的另一方面中，视频编码器可使用用于预测译码和运动补偿的不同大小的块分区来对帧进行编码。在本发明的另一方面中，视频编码器无需实施用于确定帧是否模糊以及帧中的模糊量的算法，因为这些是由视频捕捉装置决定的。使用本发明的技术，简化的视频编码算法可降低视频编码器的计算复杂性，且较低的数据速率可减小视频编码器所使用的带宽。可从视频捕捉装置向视频编码器报告模糊估计值。视频编码器又可确定特定帧是模糊的，而不花费编码器资源来检测模糊(这在由视频编码器进行时可能是计算密集型操作)。代替的是，视频编码器可依靠视频捕捉装置所评估的模糊估计值。本发明的方面可用于多种记录装置的任一者中，所述记录装置可为独立的记录装置或系统的一部分。出于此论述的目的，使用摄像机作为示范性视频捕捉装置。图1为说明可实施本发明的技术的示范性视频捕捉装置和视频编码器系统100的框图。如图1中所示，系统100包含视频捕捉装置102，例如摄像机，其捕捉视频流且经由链路120将视频流发送到视频编码器110。视频捕捉装置102和视频编码器110可包括各种各样的装置中的任一者，包含移动装置。在一些实例中，视频捕捉装置102和视频编码器 110包括无线通信装置，例如无线手持机、个人数字助理(PDA)、移动媒体播放器、相机或可捕捉并编码视频数据的任何装置。在一些实例中，视频捕捉装置102和视频编码器110可包含于同一外包壳中，作为同一系统的一部分。在其它实例中，视频捕捉装置102和视频编码器110可驻存在两个或两个以上不同装置中，且可为两个或两个以上不同系统的一部分。如果视频捕捉装置102和视频编码器110驻存在两个或两个以上不同装置中，那么链路120可为有线或无线链路。在图1的实例中，视频捕捉装置102可包含输入传感器单元104、CAF单元106以及模糊估计单元108。视频编码器110可包含QP重新调整单元112、帧模糊评估单元114 以及编码单元116。根据本发明，视频捕捉装置102可经配置以估计帧的模糊等级，且将模糊估计值发送到视频编码器110。视频编码器110可使用模糊信息来确定适当的视频编码数据速率且/或简化视频编码算法。视频捕捉装置102的输入传感器104可感测用于捕捉的帧图像内容。输入传感器单元104可包含耦合到传感器的相机透镜，所述传感器例如为电荷耦合装置(CCD)阵列或另一图像感测装置，其经由相机透镜接收光，且响应于接收到的图像而产生图像数据。视频捕捉装置102可在记录视频的同时利用CAF过程。在CAF过程中，相机透镜位置可连续地调整以实现在视频帧中的对象上的可接受对焦。当新的关注对象进入正被输入传感器单元 104捕捉的场景中时，用户移动视频捕捉装置110以捕捉不同对象或不同场景，或者场景内的对象移动，输入传感器单元104可检测新对象的存在。输入传感器单元104可接着将信号发送到CAF单元106，CAF单元106分析接收到的信号，且基于所述信号的对焦值来确定在所述场景中检测到新对象，且触发重新对焦过程。新对象上的重新对焦可涉及例如以下动作调整透镜位置，直到视频捕捉装置通过分析从输入传感器单元104接收到的信号的对焦值而实现所要对焦为止，其中每一信号包含帧的像素。CAF单元106可将指示CAF单元106正执行重新对焦过程的指示发送到模糊估计单元108。模糊估计单元108可在重新对焦正发生时估计帧中的模糊。模糊估计单元108可估计与帧η相关联的模糊B (η)，且将 B(η)发送到视频编码器110。下文将更详细地描述估计模糊等级。视频编码器110可接收对具有模糊的帧的模糊估计值B (η)，且可在对视频帧进行编码的过程中利用所述模糊等级，而不必执行额外计算以确定帧中的模糊量。在一个实例中，视频编码器110可将模糊等级用于QP重新调整112。换句话说，视频编码器110可基于帧的所估计模糊等级来调整用于对帧进行编码的QP值。QP调节经编码图像中所保留的细节量。视频编码器在编码期间执行(例如)残余值的量化。残余值可为表示残余值块的离散余弦变换(DCT)系数值，所述残余值块表示待译码的原始块(例如宏块)与参考帧中的用于对所述块进行译码的预测块之间的残余失真。在一个实例中，当编码器将非常小的QP值用于较高量化时，较大量的图像细节得以保持。然而，使用非常小的QP值导致较高的编码数据速率。随着QP值增加，视频编码速率降低，但细节中的一些丢失，且图像可能变得更为失真。在模糊图像中，图像的细节已经失真， 且视频编码器可增加QP，而不影响图像的质量。视频编码器可实施算法以确定帧是否模糊。 然而，这些算法增加了视频编码器的计算复杂性。根据本发明的技术，视频编码器110可能无需确定帧是否模糊。代替的是，视频编码器Iio可从视频捕捉装置102接收帧为模糊的指示。在一个实例中，视频编码器Iio可接收待编码的帧η的所估计模糊等级B (η)，且基于所述模糊等级来确定增加还是减小QP。 换句话说，视频编码器110可基于从视频捕捉装置102获得的所估计模糊等级B (η)来调整 QP值。在一个实例中，视频编码器110可使用较大QP来编码具有较高模糊量的帧，且使用较小QP来编码具有较低模糊量的帧。以此方式，视频编码器110可将较多译码位分配给较不模糊的帧，且将较少译码位分配给较模糊的帧。尽管本文将较大和较小QP值描述为分别对应于较多和较少量化，但对于一些译码技术，可为相反情况。在另一实例中，视频编码器110可利用模糊等级来简化由视频编码器110实施的编码算法。简化的编码算法可为(例如)针对运动估计搜索使用整数像素精度而不是分数像素精度的算法。其它编码算法简化可涉及(例如)利用跳过模式，修改用于运动估计中的参考图片列表，以及修改用于预测代码和运动补偿的块分区大小，如下文更详细地阐释。 在图像编码中，基于周围像素的色彩和强度值而使用内插来近似表示像素色彩和强度，且内插可用于改进帧间译码中的压缩。帧间译码是指用以跟踪邻近帧内的移动的运动估计，且指示帧内的块相对于一个或一个以上参考帧中的对应块的移位。在编码期间，编码器可确定块在帧内的位置。可通过使用子像素或分数内插在分数像素等级搜索块来改进压缩等级。分数越小，编码器实现的压缩越高，但编码算法的计算越密集。举例来说，可执行内插以产生分数或子像素值(例如，二分之一和四分之一像素值)，且编码算法可基于内容使用不同的精度等级。对于较详细的帧或帧内的块，编码算法可利用较小的子像素值(例如四分之一)，其将要求在四分之一像素位置处内插像素值。对于较不详细的帧或帧内的块，编码算法可利用二分之一像素值的内插。在此实例中，与内插二分之一像素值相比，内插四分之一像素值可提供较好的运动估计，但计算较密集。在模糊帧中，图像中具有较少细节，且因此，在子像素等级的内插对于保留图像的细节可能不是必要的。因此，可利用整数像素精度来编码运动估计块，其中编码算法查找所述像素值，因此避免内插像素值的增加的计算复杂性。视频编码器110可在B(n)评估单元114中将帧的所估计模糊等级B(η)与阈值进行比较，以确定是否实施简化的编码算法。在一个实例中，可将所述阈值设定为默认值。在另一实例中，可基于视频捕捉装置102和/或视频编码器110中的设定值而改变所述阈值。 在另一实例中，阈值可由系统的用户定义。举例来说，模糊等级可为范围W，l]内的值，且作为默认，可将阈值设定为0.5，或模糊等级值范围的中点。在其它实例中，可根据用户偏好设定阈值。如果B(n)评估单元114确定所估计的模糊高于阈值，那么B(n)评估单元114 信令编码算法单元116实施适当的简化算法来编码模糊帧。图2为说明可实施本发明的技术的另一示范性视频捕捉装置及视频编码器系统 200的框图。图2的实例大体上对应于图1的实例，但视频编码器在图1中执行的计算的一部分可在图2的视频捕捉装置202中执行，如下文将更详细地论述。如图2中所示，系统 200包含视频捕捉装置202，例如摄像机，其捕捉视频流且经由链路220将视频流发送到视频编码器210。视频捕捉装置202和视频编码器210可包括各种各样的装置中的任一者，包含移动装置。在一些实例中，视频捕捉装置202和视频编码器210包括无线通信装置，例如无线手持机、个人数字助理(PDA)、移动媒体播放器、相机或可捕捉并编码视频数据的任何装置。在一些实例中，视频捕捉装置202和视频编码器210可包含于同一外包壳中作为同一系统的一部分。在其它实例中，视频捕捉装置202和视频编码器210可驻存在两个或两个以上不同装置中，且可为两个或两个以上不同系统的一部分。如果视频捕捉装置202和视频编码器210驻存在两个或两个以上不同装置中，那么链路220可为有线或无线链路。在图2的实例中，如在图1的实例中一样，视频捕捉装置202可包含输入传感器 204、CAF单元206以及模糊估计单元208。另外，在此实例中，视频捕捉装置202包含QP重新调整单元212。视频编码器210可包含量化单元218、帧模糊评估单元214以及编码算法单元216。根据本发明，视频捕捉装置202可经配置以估计帧的模糊等级，且基于所估计的模糊等级重新调整QP。视频捕捉装置202可从视频编码器210接收先前QP值，基于所述先前QP值，视频捕捉装置202可计算经重新调整的QP值。在一个实例中，经重新调整的QP 值可基于帧中的模糊等级，且编码较不模糊的帧可利用较多量化(例如，较小QP)，且较模糊的帧可利用较少量化(例如较大QP)，其中经重新调整的量化可不超过视频编码器210所使用的先前量化量。视频捕捉装置202可将经重新调整的QP和模糊估计值发送到视频编码器210。视频编码器210可使用模糊信息来确定适当的视频编码数据速率且/或简化视频编码算法。视频编码器210可在量化期间使用经重新调整的QP。在此实例中，基于模糊等级估计值调整QP可进一步降低视频编码器210中的计算复杂性。视频编码器210可基于除模糊之外的因素进一步重新调整QP。视频捕捉装置202的输入传感器204可感测用于捕捉的帧内容。所捕捉的场景的改变可导致输入传感器204将信号发送到CAF单元206，且触发重新对焦过程，如上文结合图1所描述。CAF单元206可将指示CAF单元206正执行重新对焦过程的指示发送到模糊估计单元208。模糊估计单元208可在重新对焦正发生时估计帧中的模糊。模糊估计单元 208可估计与帧η相关联的模糊B (η)，且将B (η)发送到QP重新调整单元212。QP重新调整单元212可利用模糊等级来重新调整帧的QP，如上文所述。视频捕捉装置202可将帧η 的模糊估计值B (η)和经调整的QP发送到视频编码器210。在一些实例中，视频编码器210可接收对具有模糊的帧的模糊估计值B (η)和经调整的QP，且可在例如对视频帧进行编码的过程中利用所述模糊等级，而不必执行额外计算以确定帧中的模糊量。在一个实例中，视频编码器210可在量化单元218中利用经重新调整的QP来量化与帧η中的块的残余数据相关联的系数值。除利用经重新调整的QP之外，视频编码器210还可利用模糊等级来进一步简化由视频编码器210实施的编码算法。简化的编码算法可为(例如)针对运动估计搜索使用整数像素精度而不是分数像素精度的算法，如上文所述。其它编码算法简化可涉及(例如) 利用跳过模式，修改用于运动估计中的参考图片列表，以及修改用于预测代码和运动补偿的块分区大小，如下文更详细地阐释。在一个实例中，视频编码器210可基于所估计的模糊等级确定要使用编码算法简化方法中的哪一者。在一个实例中，如下文进一步论述，视频编码器210可实施一种或一种以上编码算法简化方法。视频编码器210可在B(η)评估单元 214中将帧的所估计模糊等级B(η)与阈值进行比较，以确定是否实施简化的编码算法以及实施哪些简化的编码算法。在一个实例中，可将所述阈值设定为默认值。在另一实例中，可基于视频捕捉装置202和/或视频编码器210中的设定值而改变所述阈值。在另一实例中， 阈值可由系统的用户定义。如果Β(η)评估单元214确定所估计的模糊高于阈值，那么B(η) 评估单元214信令编码算法单元216实施适当的简化算法来编码模糊帧。图3为说明可实施本发明的技术的视频编码系统300的实例的框图。如图3中所示，系统300包含视频编码器310，以及模糊估计单元308和QP重新调整单元312。模糊估计单元308可为图1的模糊估计单元108或图2的模糊估计单元208的实例。在一个实例中，QP重新调整单元312可为视频编码器310的一部分。在此实例中，视频编码器310可为图1的视频编码器110的实例。在另一实例中，QP重新调整单元312可不是视频编码器 310的一部分。在此实例中，视频编码器310可为图2的视频编码器210的实例。视频编码器310包含常规视频编码器的元件以及实施本发明的技术的元件。视频编码系统300可编码由视频捕捉装置(例如图1的视频捕捉装置102或图2的视频捕捉装置20 捕捉的视频帧。F(n)302可表示视频编码器正处理以供编码的当前帧。在其平常操作期间，即当帧对焦且视频捕捉装置中未发生重新对焦时，如果视频编码器310正在帧间预测模式下操作，那么视频编码器310可对当前帧执行运动估计。或者，如果视频编码器310在帧内预测模式下操作，那么视频编码器310可对当前帧执行帧内预测。使用选择器332，视频编码器310可在帧间预测与帧内预测之间切换。举例来说，如果帧中的所估计模糊等级超过某一阈值，那么视频编码器310可通过使用选择器332激活运动补偿单元316而在帧间预测模式下操作。当在帧间预测模式下操作时，除表示帧间预测数据与当前帧之间的差异的残余数据之外，视频编码器310还可将运动向量数据用于运动补偿，如下文将更详细地描述。在一个实例中，视频编码器310可在帧内预测模式下操作。可将帧内预测数据从当前帧302减去，以产生残余数据，且结果可经历变换单元322中的变换，例如离散余弦变换(DCT)，以产生表示残余数据的变换系数。经变换的帧数据(例如变换系数)可接着经历量化单元3M中的量化。视频编码器310可具有默认QP，其确保某一图像质量，其中较高的量化程度保留经编码帧中的较多细节，但导致较高的数据速率，即经分配以编码给定帧或块的残余数据的位的较高数目。经量化的帧数据可接着经历熵译码单元326，以供进一步压缩。经量化的帧可反馈到逆量化单元330和逆变换单元328，且可与来自帧内预测单元318 的结果组合，以获得未经滤波的信号。未经滤波的信号可经历去块滤波器320，这产生经重构的帧F(n)，其可用作用于编码其它帧的参考帧。在一个实例中，视频捕捉装置(例如摄像机)的输入传感器(例如，图1的输入传感器104或图2的204)可检测新的关注对象何时进入正被捕捉的场景中，或用户可重定向输入传感器以捕捉不同对象或不同场景。检测新对象可致使视频捕捉装置起始重新对焦以在新对象上重新建立对焦。重新对焦可使调整透镜位置成为必要，直到实现所要对焦为止。 在重新对焦期间，捕捉到的帧可能不具有所要对焦，且因此可能是模糊的。视频编码系统 300可利用帧的模糊来降低模糊帧的编码数据速率，且/或简化应用于模糊帧的编码算法。根据本发明的技术，视频捕捉装置中的模糊估计单元308可估计帧F(n)的模糊 B (η)。视频捕捉装置(例如图1的装置102或图2的装置20 可在模糊估计单元314中估计帧的模糊等级。视频捕捉装置可将所估计的模糊等级发送到QP重新调整单元312，其中基于所估计的模糊等级重新调整QP值，如上文所述。在一个实例中，QP重新调整单元312 可在视频捕捉装置中，如图2中所示。在另一实例中，QP重新调整单元312可在视频编码器310中，如图1中所示。QP重新调整单元312可基于所估计的模糊等级重新调整QP值。 视频编码器310可进一步基于其它因素重新调整QP值。视频捕捉装置还可将所估计的模糊等级发送到视频编码器310，其中帧模糊评估单元314将所估计的模糊等级B (η)与阈值进行比较，以确定是否实施简化的编码算法。如图3展示，如果B (η)高于阈值，那么模糊评估单元314将使用简化的编码算法的信号发送到运动估计单元310。在一个实例中，编码的简化可包含(例如)调整像素精度等级，以便在运动估计块搜索中不需要像素的子像素内插或需要像素的较小子像素内插(例如，1/2 而不是1/4或更小)，这使得减少待译码的数据量。举例来说，如果所估计的模糊等级超过阈值，那么视频编码器310可选择性地激活整数像素精度运动估计搜索，而不是分数像素精度运动估计搜索。在此实例中，代替于花费计算资源来将分数像素内插在参考帧内，视频编码器310可依靠整数像素精度且不执行内插。通过使用整数像素精度，视频编码器310可选择不如使用分数像素精度选择的块准确的预测块。然而，对于已经模糊的帧，降低的精度可能不会显著影响图像质量。因此，整数精度可为可接受的。通过消除对执行子像素内插的需要，视频编码器310执行较少计算，这导致使用较少的例如电力等系统资源，且减少编码期间的处理时间和等待时间。在另一实例中，编码的简化可涉及通过将帧内的较大块用于运动估计来调整块分区等级。举例来说，在H. 264标准中，帧可分区成大小为16χ16、8χ16、16x8,8x8,8x4,4x8和4x4的块。举例来说，如果所估计的模糊等级超过阈值，那么视频编码器310可选择较大块分区，例如16x16，以用于运动估计搜索。在此实例中，与编码较不模糊的帧时相比，视频编码器310使用较少的块来编码较模糊的帧，因为每一帧将由较少块组成，且因此，针对所述帧将编码较少的运动向量。通过使用较大的块分区，且因此，每帧较少块，视频编码器310编码较少的运动向量，这导致使用较少的系统资源。在又一实例中， 编码的简化可包含在跳过模式下操作，其中视频编码器310跳过帧而不对其进行编码，例如视频编码器310丢弃这些帧。如果所估计的模糊等级超过帧序列的的阈值，那么视频编码器310在模糊等级如此高以致连续帧群组将看起来大体上相同的假设的基础上操作。因此，视频编码器310可编码模糊帧中所估计的模糊等级高于某一阈值的一者，且跳过对其它大体上相同的帧的编码。当随后解码和/或显示捕捉到的视频时，可一次解码一个经编码帧，且代替跳过的帧而重复以供显示。通过使用跳过模式，视频编码器310编码一个帧， 而不是一组帧，因此减少编码视频序列所需的计算量，且减少编码期间所消耗的电力量。另外，编码一个帧而不是多个帧减少编码过程期间的处理时间的等待时间。如果所估计的模糊等级高于阈值，那么视频编码器310还可利用编码帧内的块的跳过模式，其中视频编码器310编码一个块，且使用经编码的块代替可能因模糊等级而无法辨别的其它块。如果B (η)高于阈值，那么模糊评估单元314还将信号发送到参考帧单元304。参考帧单元304可将参考帧F (η)设定为先前帧F (η-1)。参考帧单元304将信息发送到运动补偿单元316，运动补偿单元316可使用帧间预测模式，即使用来自其它帧而不是当前帧的数据，在当前模糊帧中执行运动补偿。因此，模糊等级Β(η)可控制用于预测的帧间模式与帧内模式之间的选择332。可将帧间预测数据从当前帧302减去，且结果可经历变换322， 例如离散余弦变换(DCT)。根据本发明的技术，可将所估计的模糊等级发送到QP重新调整单元312，QP重新调整单元312可在视频编码器(图1)中或在视频捕捉装置(图幻中。QP重新调整单元 312基于帧中的模糊量Β(η)而调整QP。在一个实例中，如果所估计的模糊等级高于阈值， 那么重新调整QP值。在另一实例中，评估帧中的模糊等级，且基于帧中的模糊等级而重新调整QP值，其中重新调整的量与帧中的模糊严重性成比例。在一个实例中，帧中的模糊可能不是太严重，且因此，QP的重新调整可能不是优选的。因此，当所估计的模糊等级不超过阈值时，可使用默认QP值来执行量化。在另一实例中，QP重新调整单元312可基于所估计的模糊等级B (η)而确定帧中是否存在某一模糊量， 以在所估计的模糊等级超过阈值时增加QP。随着QP增加，视频编码速率降低，但细节中的一些丢失，且图像可能变得更加失真。在模糊图像中，图像的细节已经失真，且增加量化等级可对图像质量具有非常小的可察觉影响。QP重新调整单元312可将经调整的QP(QPnew) 发送到量化单元324。量化单元3 可使用QPnew来量化从变换单元322接收到的经变换的残余帧数据，例如残余数据变换系数值。经量化的帧数据可接着经历熵译码326，以供进一步压缩、存储或发射经编码的数据。编码器可将经量化的残余变换系数数据反馈给逆量化单元330和逆变换单元328，且可与来自帧间预测316的结果组合，以获得表示帧或帧内的块的经重构数据。经重构数据可经历去块滤波器320，其产生经重构的帧F(n)。图4为说明实例自动对焦重新对焦过程(其可称为CAF过程)的图。在本发明的一个方面中，CAF功能性可实施于视频捕捉装置(例如图1的视频捕捉装置102或图2的
14视频捕捉装置20 中。CAF过程可为(例如)无源自动对焦算法，其可包含可由CAF单元 106(图1)或206(图2、执行的对比度测量以及搜索算法(以及其它功能性)。对比度测量可基于通过对所捕捉到的帧中的对焦窗上的亮度值进行高通滤波而获得的对焦值(FV)。 当达到最高对比度时，即当FV达到峰值时，自动对焦算法可确定实现最佳或最优对焦。CAF 单元可实施搜索算法以在达到最高或最优对比度(即，FV达到峰值)的方向上调整透镜位置，使得可在帧内实现最佳或最优对焦。如图4中所示，可将对焦值(FV)标绘为透镜位置的函数。透镜位置范围可表示视频捕捉装置(例如摄像机)的透镜的范围，从近端透镜位置(40 到远端透镜位置(404)变动。最优焦点处的帧可具有峰值对焦值FV0(406)。在此实例中，新对象可进入帧中，从而产生触发CAF单元106或206起始重新对焦过程的信号。此时，帧的对焦值可从FVO (406)降到FVl (408)，而透镜位置尚未开始改变。接着可逐步调整透镜位置，直到达到新的最优或峰值对焦值为止。在此实例中，在新的透镜位置处，最优对焦值可为FVlO (410)。在重新对焦过程期间，视频捕捉装置系统可确定每一透镜位置处的对焦值，直到实现最优值为止。在确定搜索方向，即确定透镜位置是转向近端(40 还是远端(404)的过程中，当重新对焦被触发时，可通过找到FV增加的方向来估计搜索方向。在此实例中，重新对焦过程的第一值可为 FVl (408)。在下一步骤中，透镜位置可转向近端002)，且可确定对应的对焦值FV2 (412)， 其在此情况下可小于FVl (408)。由于FV2(412)小于FVl (408)，所以视频捕捉装置系统确定搜索方向应朝向透镜位置的远端(404)，因此远离FV2(412)。随着透镜位置的每次改变，捕捉帧，且确定对焦值，如由FV3到FV9所说明。在一个实例中，当到达FV1(K410)时，透镜位置可在同一方向上连续改变，在此实例中，朝远端位置(404)改变，直到一系列中的特定数目的步骤给出比已经达到的对焦值低的对焦值为止。举例来说，达到FV1(K410)，且在此系统中，可将额外步骤的数目设定为三。因此，透镜位置可增加另外三个步骤，从而产生FVll、FV12和FV13，其全都低于FVlO (410)。视频捕捉装置可接着确定FV1(K410)可为新的最优对焦值，且返回到对应于FV1(K410)的透镜位置。如上文所提到，可针对在FVl (408)之间捕捉到的每个帧确定模糊等级，且直到 FVlO (410)被分配作为新的最佳对焦值为止。可如上文所述利用每一步骤处的模糊等级，即用以确定是否重新调整用于编码相关联帧的QP，且在一些情况下，确定对QP进行调整的程度。还可将帧的模糊等级与阈值进行比较，以确定是否简化用于所述帧的编码算法。在一个实例中，可基于帧的对焦值和前面帧的对焦值来确定帧的模糊等级。可基于初始下降(即从FV0(406)到FV1(408))之后的对焦值改变的百分比(与原始对焦值 (即，FV0)相比)来估计初始模糊等级B (1)，如下:
剛 A=^^
17vO当确定搜索方向时，如上文所论述，可逐步调整透镜以实现最佳对焦位置。可如下评估此过程期间的模糊
G\ 如果 B1CO,B1=O
B1 =K^\ , m 11
1 FV1果 B1 > 1,B1=I ^ G
/ = 1，2，…其中K可为用于将模糊等级正规化到选定范围(例如W，l])的可调整常数。Bi为帧i的所估计模糊等级，且FVi为与帧i相关联的对焦值。在一个实例中，K的默认值可为FV1，因为FVl是重新对焦过程开始时的初始FV值。通过将K设定为FV1，将重新对焦过程期间的模糊等级正规化为初始FV值，这导致将模糊等级正规化到范围W，l]。Gi为梯度的绝对值，且可计算如下
G1
透镜P1-透镜P“其中透镜Pi为对应于FVi (当前帧的对焦值)的透镜位置，且透镜Pi-I为对应于 FVi (先前帧的对焦值)的透镜位置。在一个实例中，当确定FVn的峰值时，重新对焦过程可结束，且可使模糊复位到其初始值，从而指示所述帧对焦。在此实例中，可使模糊复位到零，Bn = 0。在本发明的一个实例中，CAF可能不是针对每一帧都有效。如果重新对焦过程期间存在帧跳过，那么可使跳过的帧的模糊等级保持与先前计算的模糊等级相同Bi = Bp1在本发明的一个方面中，可实时确定如上文所述的模糊，且可实现实时或大体上实时的编码，其中可利用模糊等级来控制视频数据速率和/或编码算法的简化。在本发明的另一方面中，可在具有延迟的情况下在CAF重新对焦期间评估模糊。 可在CAF重新对焦过程期间通过评估新的焦平面的透镜位置与重新对焦过程期间的先前透镜位置之间的透镜位置差来估计帧i的模糊B [i]，例如如由以下等式所指示B[i]具体延迟=k透镜位置[N]-透镜位置[i]N为当可找到新的焦平面时，重新对焦过程结束时的透镜位置的索弓|，且i = 0，...，(N-l)。k为可调整常数，透镜位置[i]为与所述新的焦平面相关联的透镜位置，且透镜位置[N]为与先前重新对焦过程相关联的透镜位置。在一个实例中，可需要将模糊等级的值限制到某一范围，且常数k的值可取决于所界定的范围。举例来说，可将模糊等级限制到范围W，l]，且在此实例中
1
k:
\透镜远端-透麵端\其中透镜远端为最大透镜位置，且透镜近端为最小透镜位置。在其中可在延迟的基础上评估模糊的实例中，一旦确定最佳对焦位置，就可较准确地评估从当前透镜位置到所要透镜位置(即，对应于最佳对焦的透镜位置)的距离。在此实例中，可仅为在初始位置与最佳对焦位置之间的帧确定模糊。在CAF重新对焦过程期间，可在每一搜索步骤处逐帧评估模糊。可根据帧内容的所估计的模糊等级，为了数据速率节省而重新调整用于编码当前帧的QP。在一个实例中，帧越模糊，用于编码对应帧的量化越少，因为帧中的尖锐边缘信息越少且细节越少。在一些实例中，量化程度可与QP值成比例。在一些实例中，量化程度可与QP值成反比。在任一情况下，QP值可用以指定量化程度。因此，可为较模糊的帧分配较低的编码数据速率。在一些实例中，可使用译码速率的所得节省将较多译码位分配给非模糊帧，或具有较少模糊的帧。在一个实例中，可通过QP重新调整单元112(图1)或212(图幻如下确定QP重新调整
权利要求
1.一种方法，其包括在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及在视频编码器中至少部分地基于所述帧的所述所估计的模糊等级对所述帧进行编码。
2.根据权利要求1所述的方法，其中估计所述模糊等级包括基于与所述帧相关联的对焦值产生所述模糊等级的估计值。
3.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的量化等级。
4.根据权利要求3所述的方法，其中选择量化等级包括为第一所估计模糊等级选择第一量化等级；以及为第二所估计模糊等级选择第二量化等级，其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
5.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的分区大小。
6.根据权利要求5所述的方法，其中选择分区大小包括为第一所估计模糊等级选择第一分区；以及为第二所估计模糊等级选择第二分区，其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
7.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的像素精度等级。
8.根据权利要求7所述的方法，其中选择像素精度等级包括为第一所估计模糊等级选择第一像素精度等级；以及为第二所估计模糊等级选择第二像素精度等级，其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
9.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的一组参考帧。
10.根据权利要求9所述的方法，其中选择一组参考帧包括为第一所估计模糊等级选择第一组参考帧；以及为第二所估计模糊等级选择第二组参考帧，其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
11.根据权利要求1所述的方法，其编码包括以下步骤中的一者如果所述所估计的模糊等级超过阈值，那么丢弃所述帧；以及如果所述所估计的模糊等级超过所述阈值，那么使用跳过模式来编码所述帧。
12.—种系统，其包括视频捕捉模块，其用以估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及视频编码器，其用以至少部分地基于所述帧的所述所估计的模糊等级来编码所述帧。
13.根据权利要求12所述的系统，其中所述视频捕捉模块通过基于与所述帧相关联的对焦值产生所述模糊等级的估计值来估计所述模糊等级。
14.根据权利要求12所述的系统，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的量化等级来编码所述帧。
15.根据权利要求14所述的系统，其中所述视频编码器通过以下步骤来选择量化等级为第一所估计模糊等级选择第一量化等级；以及为第二所估计模糊等级选择第二量化等级，其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
16.根据权利要求12所述的系统，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的分区大小来编码所述帧。
17.根据权利要求16所述的系统，其中所述视频编码器通过以下步骤来选择分区大为第一所估计模糊等级选择第一分区；以及为第二所估计模糊等级选择第二分区，其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
18.根据权利要求12所述的系统，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的像素精度等级来编码所述帧。
19.根据权利要求18所述的系统，其中所述视频编码器通过以下步骤来选择像素精度等级为第一所估计模糊等级选择第一像素精度等级；以及为第二所估计模糊等级选择第二像素精度等级，其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
20.根据权利要求12所述的系统，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的一组参考帧来编码所述帧。
21.根据权利要求20所述的系统，其中所述视频编码器通过以下步骤来选择一组参考帧为第一所估计模糊等级选择第一组参考帧；以及为第二所估计模糊等级选择第二组参考帧，其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
22.根据权利要求12所述的系统，其中所述视频编码器通过以下步骤中的一者来编码所述帧如果所述所估计的模糊等级超过阈值，那么丢弃所述帧；以及如果所述所估计的模糊等级超过所述阈值，那么使用跳过模式来编码所述帧。
23.一种计算机可读媒体，其包括用于致使可编程处理器进行以下操作的指令在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及在视频编码器中至少部分地基于所述帧的所述所估计的模糊等级来编码所述帧。
24.根据权利要求23所述的计算机可读媒体，其中所述用以估计所述模糊等级的指令包括用以基于与所述帧相关联的对焦值产生所述模糊等级的所述估计的指令。
25.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的量化等级的指令。
26.根据权利要求25所述的计算机可读媒体，其中所述用以选择量化等级的指令包括用以进行以下操作的指令为第一所估计模糊等级选择第一量化等级；以及为第二所估计模糊等级选择第二量化等级，其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
27.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的分区大小的指令。
28.根据权利要求27所述的计算机可读媒体，其中所述用以选择分区大小的指令包括用以进行以下操作的指令为第一所估计模糊等级选择第一分区；为第二所估计模糊等级选择第二分区，其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
29.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的像素精度等级的指令。
30.根据权利要求四所述的计算机可读媒体，其中所述用以选择像素精度等级的指令包括用以进行以下操作的指令为第一所估计模糊等级选择第一像素精度等级；以及为第二所估计模糊等级选择第二像素精度等级，其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
31.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的一组参考帧的指令。
32.根据权利要求31所述的计算机可读媒体，其中所述用以选择一组参考帧的指令包括用以进行以下操作的指令为第一所估计模糊等级选择第一组参考帧；以及为第二所估计模糊等级选择第二组参考帧，其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
33.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以进行以下操作中的一者的指令如果所述所估计的模糊等级超过阈值，那么丢弃所述帧；以及如果所述所估计的模糊等级超过所述阈值，那么使用跳过模式来编码所述帧。
34.一种系统，其包括用于在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级的装置；以及用于在视频编码器中至少部分地基于所述帧的所述所估计的模糊等级来编码所述帧的装置。
35.根据权利要求34所述的系统，其中所述用于估计所述模糊等级的装置包括用于基于与所述帧相关联的对焦值产生所述模糊等级的估计值的装置。
36.根据权利要求34所述的系统，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的量化等级的装置。
37.根据权利要求36所述的系统，其中所述用于选择量化等级的装置包括用于为第一所估计模糊等级选择第一量化等级的装置；以及用于为第二所估计模糊等级选择第二量化等级的装置，其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
38.根据权利要求34所述的系统，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的分区大小的装置。
39.根据权利要求38所述的系统，其中所述用于选择分区大小的装置包括用于为第一所估计模糊等级选择第一分区的装置；以及用于为第二所估计模糊等级选择第二分区的装置，其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
40.根据权利要求34所述的系统，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的像素精度等级的装置。
41.根据权利要求40所述的系统，其中所述用于选择像素精度等级的装置包括用于为第一所估计模糊等级选择第一像素精度等级的装置；以及用于为第二所估计模糊等级选择第二像素精度等级的装置，其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
42.根据权利要求34所述的系统，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的一组参考帧的装置。
43.根据权利要求42所述的系统，其中所述用于选择一组参考帧的装置包括用于为第一所估计模糊等级选择第一组参考帧的装置；以及用于为第二所估计模糊等级选择第二组参考帧的装置，其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
44.根据权利要求34所述的方法，其所述用于编码的装置包括以下各项中的一者 用于在所述所估计的模糊等级超过阈值的情况下丢弃所述帧的装置；以及用于在所述所估计的模糊等级超过所述阈值的情况下使用跳过模式来编码所述帧的直ο
全文摘要
本发明描述用于使用由例如摄像机等前端装置所检测和估计的参数来改进例如视频编码器等后端装置的功能性的技术。所述技术可涉及估计与在重新对焦过程期间捕捉到的帧相关联的模糊等级。基于所述所估计的模糊等级，在所述摄像机中或在所述视频编码器中调整用于编码模糊帧的量化参数QP。所述视频编码器使用所述经调整的QP来编码所述模糊帧。所述视频编码器还使用所述模糊等级估计值来通过简化所述模糊帧中的运动估计和补偿来调整编码算法。
文档编号H04N7/50GK102598665SQ201080049648
公开日2012年7月18日 申请日期2010年10月26日 优先权日2009年11月6日
发明者塞波·R·洪, 梁亮 申请人:高通股份有限公司