用于消除图像抖动的视频图像处理方法、装置及移动终端的制作方法
【专利摘要】本发明公开了一种用于消除图像抖动的视频图像处理方法、装置及移动终端。所述方法包括：采集正在进行视频通信的终端的抖动参数，所述抖动参数包括所述终端的角位移和线位移至少之一；根据所述抖动参数计算修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一；和根据所述修正参数修正所述终端待显示的视频图像，所述修正包括根据角修正矢量旋转图像和根据线修正矢量平移图像至少之一，使得所述视频图像的主画面保持在视频图像的整个画面的预定位置。本发明动态地消除了视频通信过程中产生的抖动，使通信当中的受话人收到稳定的视频图像。
【专利说明】
用于消除图像抖动的视频图像处理方法、装置及移动终端
技术领域
[0001]本发明涉及通信技术领域，特别涉及用于消除图像抖动的视频图像处理方法、装置以及移动终端。
【背景技术】
[0002]随着通信技术的发展，终端已不再单一地提供语音服务，视频通话越来越多地被用户所使用。
[0003]视频通话通常指:基于互联网和移动互联网(如3G互联网)端，通过终端之间实时传送人的语音和图像(如，人的半身像、照片、物品等)的一种通信方式。根据终端的不同，视频通信一般分为四种方式:PC-to-PC (电脑到电脑)、PC-to-Phone (电脑到电话)、Phone-to-PC(电话到电脑)和Phone-to-Phone via Internet(经由网络的电话到电话)。
[0004]在进行视频通话时，有两个比较关键的、且影响通话质量的元器件，一个是摄像头，另一个是显示屏。摄像头采集视频数据，麦克风采集音频数据，再将采集到的视频数据和音频数据按照既定的协议进行编码，最后以一定的码率将视频数据和音频数据发送出去。经由网络传输，由视频通信的对端(即，另一个终端)接收，再对接收到的视频数据和音频数据按照既定的协议进行解码，最后由显示屏进行显示。
[0005]但是，本发明的发明人在研究中发现，在视频通话的移动场景中，如，视频通信发起者在走路或驾/乘车时进行视频通话，终端在采集视频数据时会随之产生抖动，因而视频通信接受者看到的视频图像就会不稳定，如产生上、下、左和右晃动，严重时视频通话接受者甚至无法看到视频图像的主要内容。
【发明内容】
[0006]本发明要解决的技术问题在于，针对现有技术的不足，提供一种用于消除图像抖动的视频图像处理方法和装置，可以在视频通信过程中动态地消除抖动，使通信当中的受话人收到稳定的视频图像。
[0007]为解决上述技术问题，根据本发明的一个方面，本发明提供一种用于消除图像抖动的视频图像处理方法，包括:采集正在进行视频通信的终端的抖动参数，所述抖动参数包括所述终端的角位移和线位移至少之一;根据所述抖动参数计算修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一;和根据所述修正参数修正所述终端待显示的视频图像，所述修正包括根据角修正矢量旋转图像和根据线修正矢量平移图像至少之一，使得修正后的所述视频图像的主画面保持在视频图像的整个画面的预定位置。
[0008]优选地，所述采集正在进行视频通信的终端的抖动参数包括:采用加速度传感器获得所述终端的加速度矢量，并且根据连续时刻的加速度矢量的变化获得所述抖动参数。优选地，根据所述抖动参数计算修正参数包括:对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。
[0009]优选地，所述视频图像包括多个像素，根据所述抖动参数计算修正参数为:针对单个像素或单个像素区域，根据所述抖动参数计算修正参数。
[0010]优选地，针对所述单个像素或所述单个像素区域，将所述修正参数分解成水平移动分量和垂直移动量。
[0011]优选地，所述角位移和所述线位移分别是具有位移方向和位移量的矢量，在所述采集正在进行视频通信的终端的抖动参数之后，还包括:判断所述位移量是否大于或等于预设的第二阈值;如果所述位移量大于或等于所述第二阈值，则执行根据所述抖动参数计算修正参数的步骤。
[0012]优选地，在所述采集正在进行视频通信的终端的抖动参数之后，还包括:判断所述位移量是否大于或等于预设的第一阈值，如果所述位移量大于或等于所述第一阈值，则按照第一修正模式执行根据所述抖动参数计算修正参数的步骤;如果所述偏移量大于或等于所述第二阈值且小于所述第一阈值，则按照第二修正模式执行根据所述抖动参数计算修正参数的步骤;所述第一修正模式为:对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量;所述第二修正模式为:根据周期性抖动曲线获得与随后视频图像相对应的抖动参数，所述第一阈值大于所述第二阈值。
[0013]优选地，根据在当前采集周期之前的多个采集周期采集的抖动参数与采集时间的关系获得周期性抖动曲线。
[0014]优选地，还包括:根据在当前采集周期采集到的抖动参数以及所述周期性抖动曲线数据，预测下一个采集周期的抖动参数，以便后续根据下一个采集周期的抖动参数计算修正参数，以及根据所述修正参数修正所述终端待显示的视频图像。优选地，所述视频图像的主画面保持在整个画面的居中位置。
[0015]根据本发明的第二方面，提供一种用于消除图像抖动的视频图像处理装置，其中，包括:抖动参数采集模块，用于采集正在进行视频通信的终端的抖动参数，所述抖动参数包括所述终端的角位移和线位移至少之一;计算模块，与所述抖动参数采集模块相连接，用于根据所述抖动参数计算修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一;数据修正模块，与所述计算模块相连接，用于根据所述修正参数修正所述终端待显示的视频图像，所述修正包括根据角修正矢量旋转图像和根据线修正矢量平移图像至少之一，使得修正后的所述视频图像的主画面保持在整个画面的预定位置。
[0016]优选地，所述抖动参数采集模块用于，采用加速度传感器获得所述终端的加速度矢量，并且根据连续时刻的加速度矢量的变化获得所述抖动参数。
[0017]优选地，所述计算模块用于，对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。
[0018]优选地，所述角位移和所述线位移分别是具有位移方向和位移量的矢量，还包括:第一判断模块，用于在采集正在进行视频通信的终端的抖动参数之后，判断所述位移量是否大于或等于预设的第二阈值;如果所述位移量大于或等于所述第二阈值，则触发所述计算模块根据所述抖动参数计算修正参数。
[0019]优选地，第二判断模块，用于在所述抖动参数采集模块采集正在进行视频通信的终端的抖动参数之后，判断所述位移量是否大于或等于预设的第一阈值，如果所述位移量大于或等于所述第一阈值，则触发计算模块按照第一修正模式计算修正参数;如果所述偏移量大于或等于所述第二阈值且小于所述第一阈值，则触发计算模块按照第二修正模式计算修正参数；
[0020]所述第一修正模式为:对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量；
[0021]所述第二修正模式为:根据周期性抖动曲线获得与随后视频图像相对应的抖动参数，所述第一阈值大于所述第二阈值，所述第一阈值大于所述第二阈值。
[0022]根据本发明的第三方面，提供一种移动终端，包括:摄像头，用于采集视频图像;上述的用于消除图像抖动的视频图像处理装置；以及显示屏，用于显示修正后的视频图像。
[0023]本发明针对在视频通信过程可能出现的图像抖动，通过采集终端的抖动参数，用于修正图像，使得视频图像的主画面保持在视频图像的整个画面的预定位置，从而改善了用户体验。
[0024]在优选的实施例中，针对不同的移动场景设置不同的触发条件。该方法动态地消除视频通信过程中产生的抖动，使通信当中的受话人始终收到稳定的视频图像。
【附图说明】
[0025]通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中:
[0026]图1为本发明实施例的用于消除图像抖动的视频图像处理方法流程图；
[0027]图2为本发明实施例的视频图像处理装置实施例的原理框图；和
[0028]图3为本发明实施例的视频图像处理装置另一实施例的原理框图。
【具体实施方式】
[0029]以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外为了清楚、简单、明了地表示装置或电路的原理，附图不一定是按实际装置或电路的比例绘制。
[0030]附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
[0031]本方法应用在终端进行视频通信时，实时地检测终端的抖动，并动态地调整视频图像的偏移方向和偏移量，使受话人收到稳定的视频图像。具体地，参见图1，为本发明实施例的用于消除图像抖动的视频图像处理方法流程图。其控制过程如下:
[0032]步骤SI，采集正在进行视频通信的终端的抖动参数，所述抖动参数包括所述终端的角位移和线位移。
[0033 ]步骤S2，比较所述的抖动参数和第一阈值的大小。
[0034]在本发明中，根据发生抖动的场景，设置两个阈值，一个是当突然发生的大抖动，如终端使用者被人意外碰到，或发生偶然性的抖动，如摔倒，跌落等，此时的角位移和线位移很大，且为偶然性发生的。另一种是角位移和线位移不是很大，如走路、乘车等，这种抖动一但发生，会持续相对一段时间，且抖动是有规律的。因此，针对这两种情况，设置两个阈值，第一阈值代表大角位移和线位移，第二阈值代表小角位移和线位移。如果大于第一阈值，说明发生了前述的偶然发生的情况，如果在这两个阈值之间，说明存在这样一种周期性抖动规律，如果小于第二阈值，说明角位移和线位移很小，不至于影响受话人的观看，因而没有必要进行调整。
[0035]当抖动参数大于第一阈值时，说明发生了如上所述的情况。则转到步骤S6。在步骤S6，根据抖动参数获得用来修正图像的修正参数，然后转到步骤S5。如果所述抖动参数小于所述的第一阈值，则转到步骤S3。
[0036]步骤S3，继续比较所述的抖动参数与其第二阈值，如果所述抖动参数大于所述的第二阈值，则转到步骤S4。如果所述抖动参数小于所述的第二阈值，不做任何图像的调整处理，回到步骤SI，继续采集抖动参数。
[0037]步骤S4，此时，说明存在规律性的抖动，因而可以预测下一时刻抖动时的修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一。
[0038]步骤S5，根据得到的修正参数修正待显示的视频图像。
[0039]在步骤SI中，可以通过设置在终端内的加速度传感器(G-Sensor，有时也称为重力传感器)来采集抖动参数。加速度传感器感测终端的加速度矢量，通过对加速度矢量的积分运算可以获得抖动参数。所述抖动参数包括所述终端的角位移和线位移至少之一。在步骤S6中，具体可以对所述的抖动参数取反、分解，从而得到用来修正图像的修正参数，所述修正参数为角修正矢量和线修正矢量至少之一。
[0040]在步骤S5中，通过将所述的修正参数叠加到输出的视频图像上来修正图像的旋转、平移等。具体地，针对视频图像的单个像素或单个像素区域，将所述修正参数分解成水平移动分量和垂直移动分量。通过沿水平方向和垂直方向，移动单个像素或单个像素区域，从而纠正了图像的旋转方向和水平、垂直(上、下、左、右)移动分量。因而受话人接到的图像仍是稳定的、主画面位于屏幕中央的图像。
[0041]在步骤S4中，即当前终端处于一种规律性的抖动时，如果此时已建立起周期性抖动曲线，则根据当前的抖动参数，参考所述的周期性抖动曲线，从而得到下一时刻的抖动参数。在一个实例中，根据在当前采集周期之前的多个采集周期采集的抖动参数与采集时间的关系获得周期性抖动曲线。
[0042]如果在步骤S4中，还没有建立起来所述的周期性抖动曲线，则需要花一段很短的时间来建立所述的周期性抖动曲线。然后再进行以下的预测等步骤。
[0043]本发明还提供了一种视频图像处理装置，如图2所示，为本发明实施例的视频图像处理装置一实施例的原理框图。在本实施例中，所述的视频图像处理装置包括抖动参数采集模块la，计算模块2a和数据修正模块3a。其中，所述的抖动参数采集模块Ia可以为加速度传感器，其位于终端内部，用来感知终端的位置变化，将终端的位置变化转变为加速度矢量，并且根据连续时刻的加速度矢量的变化获得所述抖动参数。所述抖动参数包括所述终端的角位移和线位移至少之一。抖动参数采集模块Ia将抖动参数发送给所述的计算模块2a，计算模块2a根据所述抖动参数计算修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一。具体地，计算模块2a对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。数据修正模块3a根据所述修正参数修正所述终端待显示的视频图像，所述修正包括根据角修正矢量旋转图像和根据线修正矢量平移图像至少之一，使得修正后的所述视频图像的主画面保持在整个画面的预定位置。
[0044]如图3所示，为本发明实施例的视频图像处理装置另一实施例的原理框图。在本实施例中，所述的视频图像处理装置包括抖动参数采集模块lb、计算模块2b、数据修正模块3b和第一判断模块4b和第二判断模块5b。
[0045]其中，抖动参数采集模块Ib采集正在进行视频通信的终端的抖动参数，所述抖动参数包括所述终端的角位移和线位移至少之一。如前一实施例，抖动参数采集模块Ib采用加速度传感器获得所述终端的加速度矢量，该加速度矢量包括角位移和线位移，而所述角位移和所述线位移分别是具有位移方向和位移量的矢量。在采集正在进行视频通信的终端的抖动参数之后，第一判断模块4b判断所述位移量是否大于或等于预设的第一阈值;如果所述位移量大于或等于所述第一阈值，则触发所述计算模块根据所述抖动参数计算修正参数。如前述方法中所述，当位移量大于或等于预设的第一阈值时，说明此时发生了大的抖动，因而此时根据第一修正模式进行修正。即:由计算模块对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。数据修正模块3b根据所述的角修正矢量和线修正矢量来修改待输出的图像。当第一判断模块4b判断所述位移量不大于预设的第一阈值，触发第二判断模块5b。
[0046]第二判断模块5b判断所述位移量与第二阈值的大小，如果所述位移量大于或等于所述第二阈值且小于所述第一阈值，如前述方法所述，说明此时发生了规律性的抖动，则触发计算模块按照第二修正模式计算修正参数。所述第二修正模式为:根据周期性抖动曲线获得与随后视频图像相对应的修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一。所述的数据修正模块3b将所述的修正参数，即角修正矢量和线修正矢量，叠加到输出的视频图像上，从而改变了输出图像的方向和/或水平、垂直位移。如果所述位移量小于所述第二阈值，说明此时的抖动不大，不会对画面造成太大的影响，因而不需要进行修正。
[0047]本发明还提供了一种移动终端，包括:摄像头，用于获得视频图像;如前所述的视频图像处理装置，其从所述摄像头接收所述视频图像，并且将所述视频图像处理成修正的视频图像；以及显示屏，用于显示所述修正的视频图像。
[0048]依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明的保护范围应当以本发明权利要求所界定的范围为准。
【主权项】
1.一种用于消除图像抖动的视频图像处理方法，其中，包括: 采集正在进行视频通信的终端的抖动参数，所述抖动参数包括所述终端的角位移和线位移至少之一； 根据所述抖动参数计算修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一；以及 根据所述修正参数修正所述终端待显示的视频图像，所述修正包括根据角修正矢量旋转图像和根据线修正矢量平移图像至少之一，使得修正后的所述视频图像的主画面保持在整个画面的预定位置。2.根据权利要求1所述的用于消除图像抖动的视频图像处理方法，其中，所述采集正在进行视频通信的终端的抖动参数包括:采用加速度传感器获得所述终端的加速度矢量，并且根据连续时刻的加速度矢量的变化获得所述抖动参数。3.根据权利要求1所述的用于消除图像抖动的视频图像处理方法，其中，根据所述抖动参数计算修正参数包括:对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。4.根据权利要求3所述的用于消除图像抖动的视频图像处理方法，其中，所述视频图像包括多个像素，根据所述抖动参数计算修正参数为:针对单个像素或单个像素区域，根据所述抖动参数计算修正参数。5.根据权利要求4所述的用于消除图像抖动的视频图像处理方法，其中，针对所述单个像素或所述单个像素区域，将所述修正参数分解成水平移动分量和垂直移动量。6.根据权利要求1所述的用于消除图像抖动的视频图像处理方法，其中，所述角位移和所述线位移分别是具有位移方向和位移量的矢量，在所述采集正在进行视频通信的终端的抖动参数之后，还包括: 判断所述位移量是否大于或等于预设的第一阈值，如果所述位移量大于或等于所述第一阈值，则按照第一修正模式执行根据所述抖动参数计算修正参数的步骤； 所述第一修正模式为:对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。7.根据权利要求6所述的用于消除图像抖动的视频图像处理方法，其中，在所述采集正在进行视频通信的终端的抖动参数之后，如果所述位移量小于所述第一阈值，还包括: 判断所述位移量是否大于或等于预设的第二阈值;如果所述位移量大于或等于所述第二阈值，则按照第二修正模式执行根据所述抖动参数计算修正参数的步骤； 所述第二修正模式为:根据周期性抖动曲线获得与随后视频图像相对应的抖动参数，所述第一阈值大于所述第二阈值。8.根据权利要求7所述的用于消除图像抖动的视频图像处理方法，其中，还包括:根据在当前采集周期之前的多个采集周期采集的抖动参数及修正参数的关系获得周期性抖动曲线。9.根据权利要求1所述的用于消除图像抖动的视频图像处理方法，其中，还包括: 根据在当前采集周期采集到的抖动参数以及所述周期性抖动曲线数据，预测下一个采集周期的抖动参数，以便后续根据下一个采集周期的抖动参数计算修正参数，以及根据所述修正参数修正所述终端待显示的视频图像。10.—种用于消除图像抖动的视频图像处理装置，其中，包括: 抖动参数采集模块，用于采集正在进行视频通信的终端的抖动参数，所述抖动参数包括所述终端的角位移和线位移至少之一； 计算模块，与所述抖动参数采集模块相连接，用于根据所述抖动参数计算修正参数，所述修正参数包括图像的角修正矢量和线修正矢量至少之一； 数据修正模块，与所述计算模块相连接，用于根据所述修正参数修正所述终端待显示的视频图像，所述修正包括根据角修正矢量旋转图像和根据线修正矢量平移图像至少之一，使得修正后的所述视频图像的主画面保持在整个画面的预定位置。11.根据权利要求10所述的视频图像处理装置，其中，所述抖动参数采集模块用于，采用加速度传感器获得所述终端的加速度矢量，并且根据连续时刻的加速度矢量的变化获得所述抖动参数。12.根据权利要求10所述的视频图像处理装置，其中，所述计算模块用于，对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。13.根据权利要求10所述的视频图像处理装置，其中，所述角位移和所述线位移分别是具有位移方向和位移量的矢量，还包括: 第一判断模块，用于在采集正在进行视频通信的终端的抖动参数之后，判断所述位移量是否大于或等于预设的第一阈值;如果所述位移量大于或等于所述第一阈值，则触发所述计算模块根据第一修正模式计算修正参数； 所述第一修正模式为:对所述抖动参数求反，使得所述角修正矢量与所述角位移是互反矢量，所述线修正矢量与所述线位移是互反矢量。14.根据权利要求13所述的视频图像处理装置，其中，还包括: 第二判断模块，用于在所述位移量小于预设的第一阈值时，判断所述位移量是否大于或等于预设的第二阈值，如果所述位移量大于或等于所述第二阈值，则触发计算模块按照第二修正模式计算修正参数； 所述第二修正模式为:根据周期性抖动曲线获得与随后视频图像相对应的修正参数，所述第一阈值大于所述第二阈值，所述第一阈值大于所述第二阈值。15.一种移动终端，包括: 摄像头，用于采集视频图像； 根据权利要求10至14中任一项所述的用于消除图像抖动的视频图像处理装置；以及 显示屏，用于显示修正后的视频图像。
【文档编号】H04N5/14GK105872309SQ201511032618
【公开日】2016年8月17日
【申请日】2015年12月31日
【发明人】肖剑飞
【申请人】乐视移动智能信息技术（北京）有限公司