专利名称：带摄像头的移动终端及其视频处理方法
技术领域：
本发明涉及移动通信领域，尤其涉及带摄像头的移动终端及其拍摄方法。
背景技术：
随着网络的普及和移动终端的推广，多媒体应用成为购买者衡量移动终端是否符合购买需求的重要指标。目前大部分的移动终端都支持视频记录功能，很多视频网站和博客，也都支持视频的上传和分享，因此，用户使用移动终端拍摄视频并上传至互联网与人分享，已然成为一种时尚。现有的移动终端视频采集，存在以下的一些缺点，首先，视频分辨率不够高，图像质量差，随着终端芯片的升级和改进，情况已经逐步得到改善。目前，支持高清视频拍摄的移动终端已经成为高端智能终端的主流，并逐步向中低端设备推广。其次，移动终端不同于专业的摄像机或者DV，其对焦系统和焦距均较专门的拍摄器材有一定的差距。此外，由于移动终端拍摄多是用来记录突发事件或仅是随意拍摄，因此在拍摄过程中，使用者会存在找寻画面、走动、手抖动、追拍等动作，导致画面抖动厉害，图像质量低。尤其表现在当用户启动摄像后，由于取景和对焦，往往导致画面抖动或者大幅度的运动。此时，由于编码器按前后帧的运动估计来进行编码，而物体在图像上的运动距离过大，解码后会产生在运动方向上非常严重的拖影，甚至导致完全看不清画面。目前在防抖技术上，大多通过在相继的图像帧之间的运动估计来计算抖动，从而对抖动进行视频编码的补偿，但首先计算本身就是通过估计，且当抖动过大即手持设备产生大幅运动时，此种方法会造成更严重的失真。
发明内容
本发明实施例针对手持移动终端摄像获取的视频，因移动终端的运动而产生失真的问题，提出了如下解决方案。本发明实施例提供一种视频处理方法，应用于带摄像头的移动终端，包括接收图像传感器获取的视频帧；接收加速度传感器检测到的视频帧获取时移动终端的当前运动状态；将当前运动状态标识在视频帧上；将携带移动终端的当前运动状态的视频帧发送给编码器；编码器依据当前运动状态对收到的视频帧进行编码。较优的，当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的
等级；编码器依据当前运动状态对收到的视频帧进行编码具体为依据当前运动状态的等级，或者根据当前运动状态的等级以及视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对视频帧采取的编码方式，为帧内编码帧I帧、帧间预测编码帧P帧或双向预测编码帧B帧。
5
更优的，当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级为，当检测到的加速度小于第一门限值时，当前运动状态等级为静止；当检测到的加速度大于第三门限值时，当前运动状态等级为剧烈；依据当前运动状态的等级确定对视频帧采取的编码方式为，当前运动状态为剧烈时，采用I帧的编码方式；根据当前运动状态的等级以及当前视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对视频帧采取的编码方式为，加速度所处的门限值区间越低，视频帧所在的一定长度的帧序列中采用B帧编码方式的视频帧越多。较优的，当加速度传感器检测平行于摄像头焦平面的横向和纵向加速度时，当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级为按检测到横向和纵向加速度的更高值所处的门限区间划分的当前运动状态的等级；按检测到横向加速度平方与纵向加速度平方之和的开平方根所处的门限区间划分当前运动状态的等级；或者获得横向和纵向加速度的分别所处的各自门限值区间的等级，取其中更高等级做为当前运动状态的等级。本发明提供另一种视频处理方法实施例，应用于带摄像头的移动终端，包括如下步骤使所速度传感器以图像传感器的最高帧频，对移动终端的当前运动状态进行检测；接收图像传感器获取的视频帧；接收加速度传感器检测到的移动终端的当前运动状态，并标识在视频帧上；根据当前运动状态调整图像传感器的帧频；当图像传感器的帧频高于编码器的输出帧频时，根据当前运动状态，判断选择或放弃视频帧发送给编码器；编码器对收到的视频帧进行编码。较优的，当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的
等级；编码器对收到的视频帧进行编码具体为，依据当前运动状态的等级，或者根据当前运动状态的等级以及视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对所述视频帧采取的编码方式，并对视频帧进行编码，编码方式为帧内编码帧I帧、帧间预测编码帧P帧或双向预测编码帧B帧。较优的，当所速度传感器检测平行于所述摄像头焦平面的横向和纵向加速度时， 当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级为按检测到横向和纵向加速度的更高值所处的门限区间划分的当前运动状态的等级；按检测到横向加速度平方与纵向加速度平方之和的开平方根所处的门限区间划分当前运动状态的等级；或者获得横向和纵向加速度的分别所处的各自门限值区间的等级，取其中更高等级做为当前运动状态的等级。
本发明同时提供了一种带摄像头的移动终端装置实施例，包括图像传感器、编码器、加速度传感器和中央处理器CPU，其中图像传感器用于从摄像头获取视频帧，并发送给CPU ；加速度传感器用于检测移动终端的当前运动状态，并发送给CPU ；CPU用于接收所述图像传感器发送的视频帧，以及加速度传感器发送的移动终端当前运动状态，将当前运动状态标识在视频帧上，并将携带移动终端的当前运动状态的视频帧发送给编码器；编码器用于对接收到的视频帧进行编码。较优的，加速度传感器具体用于，按照检测到的加速度所处的门限值区间划分当前运动状态的等级，并发送给所述CPU ；编码器具体用于，依据所述当前运动状态的等级，或者根据所述当前运动状态的等级以及当前视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对所述视频帧采取的编码方式，并对所述视频帧进行编码，所述编码方式为帧内编码帧I帧、帧间预测编码帧P帧或双向预测编码帧B帧。更优的，加速度传感器具体用于，当检测到的加速度小于第一门限值时，当前运动状态为静止；当检测到的加速度大于第三门限值时，当前运动状态为剧烈；编码器具体用于，当前运动状态为剧烈时，采用I帧的编码方式；所述加速度所处的门限值区间越低，所述视频帧所在的一定长度的帧序列中采用B帧编码方式的视频帧越
^^ ο本发明提供了另一种带摄像头的移动终端装置实施例，包括图像传感器、编码器、 加速度传感器和中央处理器CPU，其中加速度传感器用于，以图像传感器的最高帧频，检测移动终端的当前运动状态，并将检测到的当前运动状态发送给所述CPU ；图像传感器用于从摄像头获取视频帧，将获取得视频帧发送给所述CPU，并接受 CPU对所述图像传感器的帧频控制；CPU用于接收所述加速度传感器发送的移动终端当前运动状态，并根据接收到的当前运动状态，调整图像传感器的帧频；同时接收图像传感器获取的视频帧，按编码器的输出帧频向编码器发送视频帧；所述编码器用于对接收到的视频帧进行编码。较优的，CPU具体用于，接收加速度传感器发送的移动终端当前运动状态，并根据接收到的当前运动状态，调整图像传感器的帧频；同时接收图像传感器获取的视频帧，当图像传感器的当前帧频高于所述编码器的输出帧频时，根据接收到的当前运动状态，判断选择或放弃当前视频帧发送给编码器。更优的，编码器具体用于，依据所述当前运动状态的等级，或者根据所述当前运动状态的等级以及当前视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对当前视频帧采取的编码方式，所述编码方式为帧内编码帧I帧、帧间预测编码帧P帧或双向预测编码帧B帧。更优的，加速度传感器具体用于，检测平行于所述摄像头焦平面的横向和纵向加速度；所述当前运动状态的等级为
按检测到横向和纵向加速度的更高值所处的门限区间所对应的当前运动状态的等级；按检测到横向加速度平方与纵向加速度平方之和的开平方根所处的门限区间所对应的当前运动状态的等级；或者横向和纵向加速度的分别所处的各自门限值区间的等级中的更高等级。本发明的实施例根据检测移动终端的运动信息来动态调整编码方式，或者根据检测移动终端的运动信息来动态调整图像传感器的帧频，再依据运动状态选择其中的视频帧进行编码，可明显的提高移动终端处于运动状态尤其是大幅运动状态时拍摄到的图像的品质。
图1为本发明一方法实施方式的流程图；图2为本发明一方法实施例的流程图；图3为本发明另一方法实施例的流程图；图4为本发明一装置实施例的方框图。
具体实施例方式下面结合附图对本发明进行进一步具体描述。在视频编码的过程中，通过加速度传感器获取当前帧处理过程中手机的运动方向以及相应的运动估值，并作为图像编码中的起始参数传送给编码器。编码器根据该运动参数，进行自适应的编码效果和压缩率的调整，达到优化的视频效果。如图1所示，本发明提供的一视频处理方法的实施方式的主要步骤包括接收图像传感器获取的视频帧；接收加速度传感器检测到的所述视频帧获取时所述移动终端的当前运动状态；将所述当前运动状态标识在所述视频帧上；将携带所述移动终端的当前运动状态的所述视频帧发送给编码器；所述编码器依据当前运动状态对收到的所述视频帧进行编码。如图2所示，本发明提供上述实施方式中的一视频处理方法的实施例的主要步骤包括步骤100 终端接到启动视频拍摄程序的命令。步骤101 终端的CPU初始化摄像头和视频编码器程序，检测用户设定，如果设定中已经打开视频质量增强程序，则启动三轴加速度传感器，并将其I2C总线的速度调至最高，进行高速运动状态捕获。如果暂未启动视频质量增强程序，则进入步骤105，进行常规的视频拍摄。常用的三轴传感器如freescale的MMA8451Q，可以支持到2. 2Mb的I2C总线传输速度，可以精细到每图像帧周期，提供精确的加速度变化数据。而CPU和加速度传感器，目前大多数带摄像头的手机已经具有。上述过程中，也可将视频质量增强程序设为自动；或者，当检测用户设定中已经打开该增强程序，即直接启动三轴加速度传感器；如果检测结果为暂未打开该增强程序，则在界面弹出对话框，询问用户是否启动该增强程序，得到“确定”的消息后，再启动三轴加速度传感器。步骤102 :CPU根据帧频，连续检测加速度传感器的输出值变化，并通过加速度和时间的关系，计算移动终端的当前运动状态。如果在X轴、Y轴或者Z轴向发生了运动，则将运动加速度和内置的门限数值进行比较，以获得当前运动状态等级。加速度是一个矢量值，其数值大小即上述当前运动加速度一般为三轴加速度的平方总和的开平方根
权利要求
1.一种视频处理方法，应用于带摄像头的移动终端，其特征在于，包括 接收图像传感器获取的视频帧；接收加速度传感器检测到的所述视频帧获取时所述移动终端的当前运动状态； 将所述当前运动状态标识在所述视频帧上； 将携带所述移动终端的当前运动状态的所述视频帧发送给编码器； 所述编码器依据当前运动状态对收到的所述视频帧进行编码。
2.根据权利要求1所述的方法，其特征在于，所述当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级；所述编码器依据当前运动状态对收到的视频帧进行编码具体为依据所述当前运动状态的等级，或者根据所述当前运动状态的等级以及所述视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对所述视频帧采取的编码方式，所述编码方式为帧内编码帧I 帧、帧间预测编码帧P帧或双向预测编码帧B帧。
3.根据权利要求2所述的方法，其特征在于，所述当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级为，当检测到的加速度小于第一门限值时，当前运动状态等级为静止；当检测到的加速度大于第三门限值时，当前运动状态等级为剧烈；依据所述当前运动状态的等级确定对视频帧采取的编码方式为，当前运动状态为剧烈时，采用I帧的编码方式；根据所述当前运动状态的等级以及当前视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对所述视频帧采取的编码方式为，所述加速度所处的门限值区间越低，所述视频帧所在的一定长度的帧序列中采用B帧编码方式的视频帧越多。
4.根据权利要求2或3所述的方法，其特征在于，当所述加速度传感器检测平行于所述摄像头焦平面的横向和纵向加速度时，所述当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级为按检测到横向和纵向加速度的更高值所处的门限区间划分的当前运动状态的等级； 按检测到横向加速度平方与纵向加速度平方之和的开平方根所处的门限区间划分当前运动状态的等级；或者获得横向和纵向加速度的分别所处的各自门限值区间的等级，取其中更高等级做为当前运动状态的等级。
5.一种视频处理方法，应用于带摄像头的移动终端，其特征在于，包括使所述加速度传感器以图像传感器的最高帧频，对所述移动终端的当前运动状态进行检测；接收图像传感器获取的视频帧；接收加速度传感器检测到的所述移动终端的当前运动状态，并标识在所述视频帧上； 根据所述当前运动状态调整所述图像传感器的帧频；当所述图像传感器的帧频高于所述编码器的输出帧频时，根据所述当前运动状态，判断选择或放弃当前视频帧发送给所述编码器； 所述编码器对收到的视频帧进行编码。
6.根据权利要求5所述的方法，其特征在于，所述当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级；所述编码器对收到的视频帧进行编码具体为，依据所述当前运动状态的等级，或者根据所述当前运动状态的等级以及所述视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对所述视频帧采取的编码方式，并对所述视频帧进行编码，所述编码方式为帧内编码帧I帧、帧间预测编码帧P帧或双向预测编码帧B帧。
7.根据权利要求6所述的方法，其特征在于，当所述加速度传感器检测平行于所述摄像头焦平面的横向和纵向加速度时，所述当前运动状态按检测到的加速度所处的门限值区间划分当前运动状态的等级为按检测到横向和纵向加速度的更高值所处的门限区间划分的当前运动状态的等级；按检测到横向加速度平方与纵向加速度平方之和的开平方根所处的门限区间划分当前运动状态的等级；或者获得横向和纵向加速度的分别所处的各自门限值区间的等级，取其中更高等级做为当前运动状态的等级。
8.一种带摄像头的移动终端，包括图像传感器、编码器、加速度传感器和中央处理器 CPU，其特征在于所述图像传感器用于从摄像头获取视频帧，并发送给CPU ；所述加速度传感器用于检测所述移动终端的当前运动状态，并发送给所述CPU ；所述CPU用于接收所述图像传感器发送的视频帧，以及加速度传感器发送的移动终端当前运动状态，将所述当前运动状态标识在所述视频帧上，并将携带所述移动终端的当前运动状态的视频帧发送给所述编码器；所述编码器用于对接收到的视频帧进行编码。
9.根据权利要求8所述的移动终端，其特征在于，所述加速度传感器具体用于，按照检测到的加速度所处的门限值区间划分当前运动状态的等级，并发送给所述CPU;所述编码器具体用于，依据所述当前运动状态的等级，或者根据所述当前运动状态的等级以及当前视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对所述视频帧采取的编码方式，并对所述视频帧进行编码，所述编码方式为帧内编码帧I帧、帧间预测编码帧P帧或双向预测编码帧B帧。
10.根据权利要求9所述的移动终端，其特征在于，所述加速度传感器具体用于，当检测到的加速度小于第一门限值时，当前运动状态为静止；当检测到的加速度大于第三门限值时，当前运动状态为剧烈；所述编码器具体用于，当前运动状态为剧烈时，采用I帧的编码方式；所述加速度所处的门限值区间越低，所述视频帧所在的一定长度的帧序列中采用B帧编码方式的视频帧越多
11.一种带摄像头的移动终端，包括图像传感器、编码器、加速度传感器和中央处理器 CPU，其特征在于所述加速度传感器用于，以所述图像传感器的最高帧频，检测所述移动终端的当前运动状态，并将检测到的当前运动状态发送给所述CPU ；所述图像传感器用于从摄像头获取视频帧，将获取得视频帧发送给所述CPU，并接受所述CPU对所述图像传感器的帧频控制；所述CPU用于接收所述加速度传感器发送的移动终端当前运动状态，并根据接收到的当前运动状态，调整所述图像传感器的帧频；同时接收所述图像传感器获取的视频帧，按所述编码器的输出帧频向所述编码器发送视频帧； 所述编码器用于对接收到的视频帧进行编码。
12.根据权利要求11所述的移动终端，其特征在于，所述CPU具体用于，接收所述加速度传感器发送的移动终端当前运动状态，并根据接收到的当前运动状态，调整所述图像传感器的帧频；同时接收所述图像传感器获取的视频帧，当所述图像传感器的当前帧频高于所述编码器的输出帧频时，根据接收到的当前运动状态，判断选择或放弃当前视频帧发送给编码器。
13.根据权利要求11或12所述的移动终端，其特征在于，所述编码器具体用于，依据所述当前运动状态的等级，或者根据所述当前运动状态的等级以及当前视频帧所在的一定长度的帧序列中各视频帧的编码方式，确定对当前视频帧采取的编码方式，所述编码方式为帧内编码帧I帧、帧间预测编码帧P帧或双向预测编码帧 B帧。
14.根据权利要求13所述的移动终端，其特征在于，所述加速度传感器具体用于，检测平行于所述摄像头焦平面的横向和纵向加速度；所述当前运动状态的等级为按检测到横向和纵向加速度的更高值所处的门限区间所对应的当前运动状态的等级；按检测到横向加速度平方与纵向加速度平方之和的开平方根所处的门限区间所对应的当前运动状态的等级；或者横向和纵向加速度的分别所处的各自门限值区间的等级中的更高等级。
全文摘要
本发明的实施例提供带摄像头的移动终端和视频处理方法，处理方法包括接收图像传感器获取的视频帧和加速度传感器检测到的移动终端的当前运动状态；将当前运动状态标识在视频帧上；并将携带所述移动终端的当前运动状态的视频帧发送给编码器；编码器依据当前运动状态对收到的视频帧进行编码。本发明的实施例根据检测移动终端的运动信息来动态的改变编码码率和/或编码方式，可明显的提高移动终端处于运动状态尤其是大幅运动状态时拍摄到的图像的品质。
文档编号H04M1/725GK102546917SQ20101061705
公开日2012年7月4日 申请日期2010年12月31日 优先权日2010年12月31日
发明者张龙, 徐涛, 李欣, 梁超 申请人:联想移动通信科技有限公司