一种基于单神经元pid控制器的数字稳像方法及装置制造方法
【专利摘要】本发明实施例公开了一种基于单神经元PID控制器的数字稳像方法及装置，用于生成精确的补偿运动矢量。本发明实施例方法包括：将当前帧图像对应的单神经元PID控制器参考输入r(n)与前一帧图像对应的补偿运动矢量CMV(n-1)的差值r(n)-CMV(n-1)作为当前帧图像对应的单神经元PID控制器误差输入e(n)；根据所述当前帧图像对应的单神经元PID控制器误差输入e(n)生成当前帧图像对应的单神经元PID控制器输出u(n)；根据所述当前帧图像对应的单神经元PID控制器输出u(n)和当前帧图像对应的全局运动矢量GMV(n)生成当前帧图像对应的补偿运动矢量CMV(n)。通过实施本发明方案，能够生成精确的补偿运动矢量，有效消除稳态滞后效应，提高数字稳像的效果。
【专利说明】—种基于单神经元PID控制器的数字稳像方法及装置
【技术领域】
[0001]本发明涉及视频处理【技术领域】，尤其涉及一种基于单神经元PID控制器的数字稳像方法及装置。
【背景技术】
[0002]视频采集过程中，摄像设备自身晃动导致视频抖动问题。在数字摄像领域中，通常采用数字稳像技术处理视频抖动。数字稳像技术的原理是:首先，由数字稳像装置中的运动矢量估计单元计算视频相邻巾贞图像之间的全局运动矢量(GMV,Global Motion Vector),然后，再由运动补偿单元根据该全局运动矢量生成补偿运动矢量(CMV, Compensating MotionVector)，最后，该数字稳像装置根据该补偿运动矢量对视频当前帧图像进行视频校正，从而消除视频抖动，获得稳定的视频输出。
[0003]目前，运动补偿单元主要利用运动矢量累积法(MVI, Motion VectorIntegration)生成补偿运动矢量。请参见图1，为现有技术的运动矢量累积法原理图，该方法通过对视频相邻帧图像之间的全局运动矢量进行累加，该累加过程等效于一阶无限冲激响应(IIR，Infinite Impulse Response)滤波器，通过滤波得到当前巾贞的抖动运动矢量(JMV, Jittering Motion Vector)。其数学表达式为:CMV(n) = JMV(η)=a JMV (n-1)+GMV (η)。其中，GMV (n)为视频当前帧图像的全局运动矢量，JMV (η)为视频当前帧图像的抖动运动矢量，JMV(η)直接作为视频当前帧图像的补偿运动矢量CMV(η)，α为阻尼系数，其作用是控制误差累积以及抑制稳态滞后效应。
[0004]但是，当摄像设备进行主动扫描运动时，全局运动矢量中还会引入扫描运动矢量(SMV, Scanning Motion Vector),导致稳像后的视频出现稳态滞后效应,虽然阻尼系数α能够抑制稳态滞后效应，但是α通常是根据技术人员的经验设定的，α过大会无法抑制稳态滞后效应，α过小则会使抖动运动矢量精度较差。故无法生成精确的补偿运动矢量，从而无法有效消除稳态滞后效应，降低了数字稳像的效果。
【发明内容】
[0005]为了解决上述问题，本发明实施例提供了一种数字稳像方法及装置，用于生成精确的补偿运动矢量。通过实施本发明方案，能够生成精确的补偿运动矢量，有效消除稳态滞后效应，提闻数字稳像的效果。
[0006]一种基于单神经兀 PID(Proportion-1ntegration_Differentiation,比例-积分-微分)控制器的数字稳像方法，包括:
[0007]将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV (n-Ι)的差值r (n)-CMV (n-1)作为当前帧图像对应的单神经元PID控制器误差输入e (η)；
[0008]根据所述当前帧图像对应的单神经元PID控制器误差输入e (η)生成当前帧图像对应的单神经元PID控制器输出u (η)；[0009]根据所述当前帧图像对应的单神经元PID控制器输出u(n)和当前帧图像对应的全局运动矢量GMV (η)生成当前帧图像对应的补偿运动矢量CMV (η)。
[0010]一种基于单神经元PID控制器的数字稳像装置，包括:
[0011 ] 第一计算单元，用于将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV(n-Ι)的差值r (n)-CMV(n-1)作为当前帧图像对应的单神经元PID控制器误差输入e (η)；
[0012]单神经元PID控制器，用于根据所述当前帧图像对应的单神经元PID控制器误差输入e(n)生成当前帧图像对应的单神经元PID控制器输出u (η)；
[0013]运动补偿单元，用于根据所述当前帧图像对应的单神经元PID控制器输出u(n)和当前帧图像对应的全局运动矢量GMV (η)生成当前帧图像对应的补偿运动矢量CMV (η)。
[0014]从以上技术方案可以看出，本发明实施例具有以下优点:
[0015]当前帧图像对应的单神经元PID控制器输出u(n)由单神经元PID控制器根据当前帧图像对应的单神经元PID控制器误差输入e (η)生成，运动补偿单元在生成当前帧图像对应的补偿运动矢量CMV (η)过程中引入u (η)作为输入，相当于在生成CMV (η)的过程中引入基于单神经元PID控制器的控制环节。通过实施前述方法，能够使得运动补偿单元生成精确的补偿运动矢量，从而有效消除稳态滞后效应，提高数字稳像的效果。
【专利附图】
【附图说明】
[0016]图1为现有技术的运动矢量累积法原理图；
[0017]图2为本发明第一实施例的基于单神经元PID控制器的数字稳像方法流程图；
[0018]图3为本发明的运动矢量累积法原理图；
[0019]图4为本发明第二实施例的基于单神经元PID控制器的数字稳像方法流程图；
[0020]图5为本发明第三实施例的基于单神经元PID控制器的数字稳像装置结构图；
[0021]图6为本发明第四实施例的基于单神经元PID控制器的数字稳像装置结构图。
【具体实施方式】
[0022]下面将结合本发明中的说明书附图，对发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023]本发明实施例提供了基于单神经元PID控制器的数字稳像方法及装置，用于生成精确的补偿运动矢量。通过实施本发明方案，能够生成精确的补偿运动矢量，有效消除稳态滞后效应，提高数字稳像的效果。
[0024]其中，单神经兀PID(Proportion-1ntegration-Differentiation,比例-积分-微分)控制器是一种具有自学习、自适应、鲁棒性强等特性的控制器，通过调整连接权值Wi和单神经元PID控制器比例系数K，能够构成自适应PID控制器。技术人员预先设定单神经元PID控制器参考输入r，单神经元PID控制器将r与上一时刻的系统输出y'的差值r_y'作为单神经元PID控制器误差输入e，并根据该e生成单神经元PID控制器输出U。u是当前时刻的系统输出I的生成依据之一。单神经元PID控制器根据e生成u的内部计算过程属于本领域公知技术，这里不再赘述。
[0025]另外，一段数字视频由若干图像帧构成，每一帧图像依据时间先后次序排列，因此每一帧图像对应一个固定时刻。本发明实施例选取当前帧图像作为处理对象，要求对当前帧图像进行视频校正。并且所有前一帧图像对应的量都是已知量。设定当前帧图像的序号为n，则前一帧图像的序号为n-Ι。因此，本实施例所述的数字稳像方法能够适用于数字视频中的任意一帧图像。
[0026]本发明第一实施例将对一种基于单神经元PID控制器的数字稳像方法进行详细说明，本实施例所述数字稳像方法的具体流程请参见图2，包括步骤:
[0027]201、将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV (n-Ι)的差值r (n)-CMV (n-1)作为当前帧图像对应的单神经元PID控制器误差输入e (η)。
[0028]在本步骤中，已知量为前一帧图像对应的补偿运动矢量CMV(n-Ι)，该前一帧图像对应的补偿运动矢量CMV(n-Ι)已用于对前一帧图像进行视频校正。单神经元PID控制器将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV (n-Ι)的差值r (n)-CMV (n-1)作为当前帧图像对应的单神经元PID控制器误差输入e(n)。即有e(n) = r (n)-CMV (n-1) 0单神经元PID控制器误差输入e (n)为单神经元PID控制器的输入。
[0029]其中，由于补偿运动矢量CMV是随机数，且其均值为0，因此一般预设单神经元PID控制器的单神经元PID控制器参考输入! 为O。在本实施例中，若预设当前帧图像对应的单神经元PID控制器参考输入r (η)为0，则有e(n) = -CMV(n-1) 0
[0030]202、单神经元PID控制器根据当前帧图像对应的单神经元PID控制器误差输入e (η)生成当前帧图像对应的单神经元PID控制器输出u (η)。
[0031]在本步骤中，单神经元PID控制 器根据步骤201所述的当前帧图像对应的单神经元PID控制器误差输入e (η)生成当前帧图像对应的单神经元PID控制器输出u (η)。单神经元PID控制器输出u (η)为单神经元PID控制器的输出。
[0032]其中，单神经元PID控制器根据当前帧图像对应的单神经元PID控制器误差输入e(n)生成当前帧图像对应的单神经元PID控制器输出u (η)的内部计算过程将在后面的实施例中进行具体说明。
[0033]203、运动补偿单元根据当前帧图像对应的单神经元PID控制器输出u(n)和当前帧图像对应的全局运动矢量GMV (η)生成当前帧图像对应的补偿运动矢量CMV (η)。
[0034]在本步骤中，运动补偿单元根据步骤202中单神经元PID控制器所生成的当前帧图像对应的单神经元PID控制器输出u(n)，结合当前帧图像对应的全局运动矢量GMV(η)生成当前帧图像对应的补偿运动矢量CMV (η)。
[0035]其中，当前帧图像对应的全局运动矢量GMV(η)由运动矢量估计单元获取。现有技术中使用的计算式为:CMV(n) =JMV (η) = a JMV (n_l)+GMV (η)，设置阻尼系数α为本领域常用的技术手段，因此在本实施例中引入单神经元PID控制器的控制环节后，当前帧图像对应的补偿运动矢量CMV (η)的计算式为:CMV(n) = a CMV (n-1)+u (n) +GMV (η) ?
[0036]此后，视频校正的相关单元根据所述当前帧图像对应的补偿运动矢量CMV(η)对所述当前帧图像进行视频校正。[0037]请参见图3，为本发明改良后的运动矢量累积法原理图，u(n)由单神经元PID控制器根据e(n)生成，而e(n)由第一加法器累加r(n)和-CMV(η)所得到，运动补偿单元在生成CMV(η)过程中引入u(n)作为第二加法器的其中一个输入，相当于在生成CMV(η)的过程中引入基于单神经元PID控制器的控制环节，第二加法器的另一个输入为GMV(η)，最后运动补偿单元根据第二加法器的输出生成CMV (η)。
[0038]在本实施例中，通过引入上述控制环节能够使得运动补偿单元生成精确的补偿运动矢量，从而有效消除稳态滞后效应，提高数字稳像的效果。
[0039]本发明第二实施例将对第一实施例所述的基于单神经元PID控制器的数字稳像方法进行补充说明，本实施例所述的数字稳像方法具体流程请参见图4，包括步骤:
[0040]401、将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV (n-Ι)的差值r (n)-CMV (n-1)作为当前帧图像对应的单神经元PID控制器误差输入e (η)。
[0041]在本步骤中，已知量为前一帧图像对应的补偿运动矢量CMV(n-Ι)，该前一帧图像对应的补偿运动矢量CMV(n-Ι)已用于对前一帧图像进行视频校正。单神经元PID控制器将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV (n-Ι)的差值r (n)-CMV (n-1)作为当前帧图像对应的单神经元PID控制器误差输入e(n)。即有e(n) = r (n)-CMV (n_l)。单神经元PID控制器误差输入e (η)为单神经元PID控制器的输入。
[0042]402、单神经元PID控制器根据当前帧图像对应的单神经元PID控制器误差输入e(n)计算当前帧图像对应的状态量Xi (η)。
[0043]其中，当前帧图像对应的状态量Xi (η)包括状态量X1 (η)、状态量X2 (η)和状态量X3(η)。
[0044]具体计算式为:
[0045]
【权利要求】
1.一种基于单神经元PID控制器的数字稳像方法，其特征在于，包括: 将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV(n-l)的差值r(n)-CMV(n-l)作为当前帧图像对应的单神经元PID控制器误差输入e (η)； 根据所述当前帧图像对应的单神经元PID控制器误差输入e (η)生成当前帧图像对应的单神经元PID控制器输出u (η)； 根据所述当前帧图像对应的单神经元PID控制器输出u (η)和当前帧图像对应的全局运动矢量GMV(η)生成当前帧图像对应的补偿运动矢量CMV(η)。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像对应的单神经元PID控制器输出u(n)和当前帧图像对应的全局运动矢量GMV(η)生成当前帧图像对应的补偿运动矢量CMV (η)包括: 计算阻尼系数α乘以前一帧图像对应的补偿运动矢量CMV(n-l)所得到的积a CMV (η-1)、所述当前帧图像对应的单神经元PID控制器输出u (n)以及当前帧图像对应的全局运动矢量 GMV (ηn)的和值
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述当前帧图像对应的单神经元PID控制器输出u (n)和当前帧图像对应的全局运动矢量GMV (n)生成当前帧图像对应的补偿运动矢量CMV (n)之后进一步包括: 根据所述当前帧图像对应的补偿运动矢量CMV(n)对所述当前帧图像进行视频校正。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述当前帧图像对应的单神经元PID控制器输出u (n)和当前帧图像对应的全局运动矢量GMV (n)生成当前帧图像对应的补偿运动矢量CMV (n)之前进一步包括: 获取当前帧图像对应的全局运动矢量GMV (n)。
5.根据权利要求1或2所述的方法，其特征在于，所述根据所述当前帧图像对应的单神经元PID控制器误差输入e (n)生成当前帧图像对应的单神经元PID控制器输出u (n)包括: 根据所述当前帧图像对应的单神经元PID控制器误差输入e (η)计算当前帧图像对应的状态量Xi (η)； 根据所述当前帧图像对应的状态量Xi (n)、所述当前帧图像对应的单神经元PID控制器误差输入e (η)、前一帧图像对应的单神经元PID控制器输出u (n_l)、单神经元PID控制器学习速率H以及前一帧图像对应的连接权值Wi(I1-1)计算当前帧图像对应的连接权值Wi(η)； 根据所述当前帧图像对应的连接权值Wi (η)计算当前帧图像对应的平均连接权值Wi(Il); 根据所述当前帧图像对应的平均连接权值所述当前帧图像对应的状态量Xi (η)以及单神经元PID控制器比例系数K计算当前帧图像对应的单神经元PID控制器输出增量Au (n)； 根据所述当前帧图像对应的单神经元PID控制器输出增量Λ u (η)和前一帧图像对应的单神经元PID控制器输出u (n-Ι)计算当前帧图像对应的单神经元PID控制器输出u (η)。
6.一种基于单神经元PID控制器的数字稳像装置，其特征在于，包括: 第一计算单元，用于将当前帧图像对应的单神经元PID控制器参考输入r (η)与前一帧图像对应的补偿运动矢量CMV(n-Ι)的差值r (n)-CMV(η-1)作为当前帧图像对应的单神经兀PID控制器误差输入e (η)； 单神经元PID控制器，用于根据所述当前帧图像对应的单神经元PID控制器误差输入e(n)生成当前帧图像对应的单神经元PID控制器输出u (η)； 运动补偿单元，用于根据所述当前帧图像对应的单神经元PID控制器输出u(n)和当前帧图像对应的全局运动矢量GMV (η)生成当前帧图像对应的补偿运动矢量CMV (η)。
7.根据权利要求6所述的装置，其特征在于，所述运动补偿单元进一步包括: 第一计算子单元，用于计算阻尼系数α乘以前一帧图像对应的补偿运动矢量CMV (n-Ι)所得到的积aCMV(n-l)、所述当前帧图像对应的单神经元PID控制器输出u(n)以及当前帧图像对应的全局运动矢量GMV (η)的和值aCMV(n-l)+u(n)+GMV(n)； 补偿运动矢量确定单元，用于将所述和值a CMV(n-1)+u(n)+GMV(η)作为当前帧图像对应的补偿运动矢量CMV (η)。
8.根据权利要求6或7所述的装置，其特征在于，所述基于单神经元PID控制器的数字稳像装置进一步包括: 视频校正单元，用于根据所述当前帧图像对应的补偿运动矢量CMV(η)对所述当前帧图像进行视频校正。
9.根据权利要求6或7所述的装置，其特征在于，所述基于单神经元PID控制器的数字稳像装置进一步包括: 运动矢量估计单元，用于获取当前帧图像对应的全局运动矢量GMV(η)。
10.根据权利要求6或7所述的装置，其特征在于，所述单神经元PID控制器进一步包括: 第二计算子单元，用于根据所述当前帧图像对应的单神经元PID控制器误差输入e (η)计算当前帧图像对应的状态量Xi (η)； 第三计算子单元，用于根据所述当前帧图像对应的状态量Xi (η)、所述当前帧图像对应的单神经元PID控制器误差输入e(n)、前一帧图像对应的单神经元PID控制器输出u (n-Ι)、单神经元PID控制器学习速率η以及前一帧图像对应的连接权值Wi (n_l)计算当前帧图像对应的连接权值Wi(Il)； 第四计算子单元，用于根据所述当前帧图像对应的连接权值Wi(Il)计算当前帧图像对应的平均连接权值 第五计算子单元，用于根据所述当前帧图像对应的平均连接权值Wi (n)、所述当前帧图像对应的状态量Xi (n)以及单神经元PID控制器比例系数K计算当前帧图像对应的单神经元PID控制器输出增量Au(Ii); 第六计算子单元，用于根据所述当前帧图像对应的单神经元PID控制器输出增量Au(n)和前一帧图像对应的单神经元PID控制器输出u(n-1)计算当前帧图像对应的单神经元PID控制器输出u (n)。
【文档编号】H04N5/21GK103581506SQ201210255914
【公开日】2014年2月12日 申请日期:2012年7月23日 优先权日:2012年7月23日
【发明者】马晓红, 梁维伟, 左坤隆 申请人:华为技术有限公司, 大连理工大学