实时视频防抖的方法及视频防抖装置与流程

1.本发明大致涉及视频处理技术领域，尤其涉及一种实时视频防抖的方法及视频防抖装置。


背景技术：

2.在使用近眼显示设备观看画面时，难以避免地存在画面抖动的问题，尤其在画面被放大、拉近(变焦)的情况下，佩戴者轻微的抖动可能造成画面剧烈的抖动，画面的抖动容易使人感到眩晕不适，因此需引入防抖技术来予以改善。
3.现有技术中，电子防抖是较为经济的选择，电子防抖通常通过运动估计和运动补偿实现，利用数字图像处理技术去除帧间的抖动。
4.采用何种算法可以达到更好的视频防抖效果，尤其是在近眼显示设备的佩戴者异常抖动时，使投射在佩戴者视野中的画面稳定、变化平缓，是一个亟待解决的技术问题。
5.背景技术部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。


技术实现要素：

6.有鉴于现有技术的至少一个缺陷，本发明提供一种实时视频防抖的方法，包括：
7.s101：对所述视频的帧画面进行特征检测；
8.s102：根据当前帧画面和前一帧画面的特征检测结果，匹配得到第一仿射矩阵；
9.s103：对所述第一仿射矩阵进行卡尔曼滤波，得到第二仿射矩阵；
10.s104：判断当前帧画面的抖动是否超过阈值；
11.s105：当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵；
12.s106：以所述纠正矩阵对当前帧画面进行防抖处理。
13.根据本发明的一个方面，其中步骤s106进一步包括：
14.将所述当前帧的前一帧的原始画面乘以所述纠正矩阵得到防抖处理后的当前帧画面。
15.根据本发明的一个方面，其中步骤s105进一步包括：
16.当所述当前帧画面的抖动大于所述阈值时，以所述最近一个未超过阈值的帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵。
17.根据本发明的一个方面，其中步骤s105进一步包括：
18.当所述当前帧画面的抖动大于所述阈值时，将所述最近一个未超过阈值的帧画面的第二仿射矩阵减去预设值得到当前帧画面的纠正矩阵。
19.根据本发明的一个方面，其中步骤s101进一步包括：
20.对所述视频的每一帧画面进行特征点的提取。
21.根据本发明的一个方面，其中步骤s102进一步包括：
22.匹配当前帧画面和前一帧画面的特征点，计算第一仿射矩阵，所述第一仿射矩阵包括所述特征点的水平方向上的位移量、竖直方向上的位移量和角位移量。
23.根据本发明的一个方面，其中步骤s103进一步包括：
24.对所述水平方向上的位移量、竖直方向上的位移量和角位移量进行卡尔曼滤波。
25.根据本发明的一个方面，其中步骤s104进一步包括：
26.根据所述水平方向上的位移量、竖直方向上的位移量和角位移量进行判断。
27.本发明还提供一种视频防抖装置，包括：
28.对所述视频的帧画面进行特征检测的单元；
29.根据当前帧画面和前一帧画面的特征检测结果匹配得到第一仿射矩阵的单元；
30.对所述第一仿射矩阵进行卡尔曼滤波得到第二仿射矩阵的单元；
31.判断当前帧画面的抖动是否超过阈值的单元；
32.纠正矩阵生成单元，配置成当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵；
33.以所述纠正矩阵对当前帧画面进行防抖处理的单元。
34.本发明还提供一种移动设备，包括：
35.摄像头，配置成可实时采集周围环境的视频；
36.图像处理装置，配置成可实施如上所述的实时视频防抖的方法，并输出经过防抖处理的图像帧序列；和
37.投射装置，与所述图像处理装置通讯，并配置成可向用户投射所述经过防抖处理的图像帧序列。
38.根据本发明的一个方面，其中所述移动设备是虚拟现实设备、增强现实设备、混合现实设备或助视器。
39.本发明还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的实时视频防抖的方法。
40.本发明的优选实施例提供了一种实时视频防抖的方法，通过仿射变换和卡尔曼滤波，生成针对当前帧画面的第二仿射矩阵，并根据当前帧画面的抖动速度，选择当前帧画面或上一个未超速帧画面的第二仿射矩阵作为纠正矩阵，对当前帧画面进行纠正。本发明的优选实施例既实现了减少视频的帧间抖动，又在佩戴者异常抖动的情况下，保持画面稳定、变化平缓，有效防止了画面出现明显的跳动的情形。
附图说明
41.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
42.图1示出了根据本发明的一个优选实施例的实时视频防抖的方法；
43.图2a示意性地示出了画面抖动以及帧内特征点位置的移动；
44.图2b示意性地示出了画面抖动以及帧内特征点位置的移动；
45.图2c示意性地示出了画面抖动以及帧内特征点位置的移动；
46.图2d示意性地示出了画面抖动以及帧内特征点位置的移动；
47.图3示意性地示出了画面异常抖动的情况；
48.图4a示出了根据本发明的一个优选实施例的防抖处理效果；
49.图4b示出了根据本发明的一个优选实施例的防抖处理效果；
50.图5示意性地示出了根据本发明的一个优选实施例的移动设备；
51.图6a示出了根据本发明的一个优选实施例的计算机指令执行流程图；
52.图6b示出了根据本发明的一个优选实施例的计算机指令执行流程图。
具体实施方式
53.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
54.在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
55.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
56.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度低于第二特征。
57.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
58.以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用
于说明和解释本发明，并不用于限定本发明。
59.与常规的视频防抖技术相比，本发明的优选实施例首先通过对仿射矩阵进行卡尔曼滤波，使得画面抖动幅度减小且画面移动更为平缓，并进一步的，在画面发生超速抖动的情况下，通过设置算法减小位移量，由此防止画面出现明显的跳动。
60.如图1所示，根据本发明一个优选实施例，本发明提供一种实时视频防抖的方法10，包括：
61.在步骤s101中，对所述视频的帧画面进行特征检测。优选地，所述特征检测包括对于所述视频的帧画面内边缘、角、区域、脊等的检测，并对所述视频的每一帧画面进行特征点的提取。
62.在步骤s102中，根据当前帧画面和前一帧画面的特征检测结果，匹配得到第一仿射矩阵。优选地，通过匹配当前帧画面(frame-curr)和前一帧画面(frame-prev)的特征点，计算第一仿射矩阵t。如图2a-图2d所示，当当前帧画面(frame-curr)相对于前一帧画面(frame-prev)发生抖动时，相同的特征点在画面中的位置产生偏移。图2a示出了由于佩戴者沿水平方向向左发生抖动，致使画面沿水平方向向右产生偏移；图2b示出了由于佩戴者沿竖直方向向下发生抖动，致使画面沿竖直方向向上产生偏移；图2c示出了由于佩戴者轻微转动，致使画面绕旋转轴产生角度偏移；图2d示出了由于佩戴者在水平方向上、竖直方向上、绕旋转轴的方向上均发生抖动，致使画面产生了三个维度上的偏移。因此，第一仿射矩阵t包括所述匹配特征点三个维度上的位移量：以dx表示水平方向上的位移量，dy表示竖直方向上的位移量，da表示绕旋转轴旋转的角位移量。dx、dy、da三个维度上的移动积累，生成第一仿射矩阵，用于滤波防抖。
63.回到图1，在步骤s103中，对所述第一仿射矩阵进行卡尔曼滤波，得到第二仿射矩阵。卡尔曼滤波是以最小均方误差为估计的最佳准则，来寻求递推估计的算法，其采用信号与噪声的状态空间模型，利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计，求出现时刻的估计值。优选地，对第一仿射矩阵t中的水平方向上的位移量dx、竖直方向上的位移量dy和角位移量da三个维度进行卡尔曼滤波，得到第二仿射矩阵t'。与第一仿射矩阵t相比，第二仿射矩阵t'的过滤效果包括进一步减小抖动，和/或使画面的移动变慢，缓缓静止。
64.在步骤s104中，判断当前帧画面的抖动是否超过阈值。
65.如图2a-图2d所示，当画面的抖动幅度较小时，前一帧画面(frame-prev)中的特征点大部分仍存在于当前帧画面(frame-curr)之中，因而可实现特征点匹配；如图3所示，当画面的抖动幅度较大时，当前帧画面(frame-curr)与前一帧画面(frame-prev)相同特征点的数量减少，即无法提取到相当数量的相同特征点，从而无法完成特征点匹配，或以匹配结果生成的仿射矩阵对当前帧画面(frame-curr)进行纠正时会产生严重的偏差。
66.此外，由于通常情况下，近眼显示设备拍摄视频的帧速一定，因此相邻帧之间的位移量可以转换为抖动速度，优选地，判断当前帧画面的抖动的阈值可以设置为速度阈值。
67.回到图1，在步骤s105中，当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵。
68.如图2a-图2d所示，当画面的抖动幅度较小时，前一帧画面(frame-prev)中的特征点大部分仍存在于当前帧画面(frame-curr)之中，通过特征点的匹配，生成第一仿射矩阵t，再对第一仿射矩阵t中的水平方向上的位移量dx、竖直方向上的位移量dy和绕旋转轴转动的角位移量da进行卡尔曼滤波，生成第二仿射矩阵t'，以减缓画面的变化速度。在此情况下，将该第二仿射矩阵t'作为当前帧画面(frame-curr)的纠正矩阵对当前帧画面(frame-curr)进行纠正，可以达到实时视频防抖的效果。
69.如图3所示，当画面的抖动幅度较大时，当前帧画面(frame-curr)与前一帧画面(frame-prev)相同特征点的数量减少，即已无法提取到相当数量的相同特征点，从而无法完成特征点匹配，或以匹配结果生成的仿射矩阵对当前帧画面(frame-curr)进行纠正时会产生严重的偏差。在这种情况下，需要采用其他处理方法对当前帧画面(frame-curr)的抖动进行纠正。
70.根据本发明的一个优选实施例，当当前帧画面(frame-curr)的抖动大于所述阈值(优选地，为速度阈值)时，根据最近一个未超过阈值的帧画面的第二仿射矩阵t'生成当前帧画面的纠正矩阵。
71.即当当前帧画面(frame-curr)的抖动速度超出阈值时，切换为超速处理模式，并通过以下两种优选方式之一进行处理：
72.(1)当当前帧画面(frame-curr)的抖动大于所述阈值时，以最近一个未超过所述阈值的帧画面的第二仿射矩阵t'作为当前帧画面(frame-curr)的纠正矩阵；
73.(2)当当前帧画面(frame-curr)的抖动大于所述阈值时，将最近一个未超过所述阈值的帧画面的第二仿射矩阵t'减去预设值e，得到当前帧画面(frame-curr)的纠正矩阵。
74.回到图1，在步骤s106中，以所述纠正矩阵对当前帧画面进行防抖处理。优选地，该防抖处理包括：将当前帧的前一帧的原始画面乘以所述纠正矩阵得到防抖处理后的当前帧画面。
75.通过纠正矩阵对当前帧画面(frame-curr)进行防抖处理，优选地可例如将所述纠正矩阵乘上前一帧画面(frame-prev)而得到纠正后的显示画面。此处所述的前一帧画面(frame-prev)为前一帧的原始画面，即近眼显示设备的摄像头拍摄到的前一帧的画面，而非前一帧经过防抖处理后的显示画面。
76.综上所述，本发明的优选实施例中，当当前帧画面(frame-curr)的抖动速度低于阈值时，采用常规防抖模式：通过含卡尔曼滤波的第二仿射矩阵t'对当前帧画面(frame-curr)进行仿射变换，得到当前显示画面，由此实现防抖效果。当当前帧画面(frame-curr)的抖动速度超出阈值时，切换为超速处理模式，并通过以下两种方式之一进行处理：
77.方式1：保持最近一个未超速的帧的第二仿射矩阵t'；
78.方式2：将最近一个未超速的帧的第二仿射矩阵t'减去一预设值e。
79.对于方式1，当前帧的画面通过此前最近一个未超速的帧的仿射矩阵t'对前一帧的原始画面进行仿射变换得到。举例而言，假设帧f0和f1时未超速，而帧f2和f3时出现超速，那么f1＝f
0,ori
*t
0,1
'(t
0,1
'表示由帧f0和f1得到的包含卡尔曼滤波的第二仿射矩阵t')，f2＝f
1,ori
*t
0,1
'(注意此处为帧f1的真实画面f
1,ori
而不是上述经处理得到的f1)，f3＝f
2,ori
*t
0,1
'(注意此处为帧f2的真实画面f
2,ori
而不是上述经处理得到的f2)。
80.对于方式2，当前帧的画面通过将此前最近一个未超速的帧的仿射矩阵t'先“移
除”一预设量(即e)后，对前一帧的原始画面进行仿射变换得到。举例而言，假设帧f0和f1时未超速，而帧f2时超速，那么f1＝f
0,ori
*t
0,1
'(t
0,1
'表示由帧f0和f1得到的包含卡尔曼滤波的第二仿射矩阵t')，f2＝f
1,ori
*(t
0,1
'-e)(注意此处为帧f1的真实画面f
1,ori
而不是上述经处理得到的f1)。在预设量e大小设置合适的情况下，经上述处理后的下一帧即可切换回常规防抖模式，因此理论上不再存在下一帧f3仍然超速的情况。
81.与方式1相比，方式2的有利之处在于一旦检测到超速，可确保经处理后的下一帧及时回到常规防抖模式。
82.图4a、图4b示出了未经防抖处理以及经过本发明的优选实施例所提供的实时视频防抖的方法10处理后的特征点的位移量曲线。曲线1表示未经防抖处理下的位移量dx，曲线2表示经本发明所提供的实时视频防抖的方法10处理下的位移量dx；图4a示出了0至60帧的对比情况，图4b示出了0至150帧的对比情况。通过对比可见，与未经防抖处理的位移量相比，通过本发明所提供的实时视频防抖的方法10处理的位移量既减小了位移量的幅度，在视频画面上即表现为抖动幅度减小；又使曲线变化更为平滑，基本上没有尖锐的拐点，在视频画面上即表现为移动平缓。
83.对于超速情况下的处理效果亦体现在图4a和图4b中，例如图4a中的约第50至51帧，以及图4b中的约第106至107帧即为根据本发明所提供的实时视频防抖的方法10对于超速抖动的帧进行防抖处理的结果。
84.根据本发明的一个优选实施例，对于当前帧画面的抖动是否超过阈值的判断可以通过所述水平方向上的位移量dx、竖直方向上的位移量dy和角位移量da计算得出。
85.根据本发明的一个优选实施例，本发明还提供一种视频防抖装置，包括：
86.对所述视频的帧画面进行特征检测的单元；
87.根据当前帧画面和前一帧画面的特征检测结果匹配得到第一仿射矩阵的单元；
88.对所述第一仿射矩阵进行卡尔曼滤波得到第二仿射矩阵的单元；
89.判断当前帧画面的抖动是否超过阈值的单元；
90.纠正矩阵生成单元，配置成当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵；
91.以所述纠正矩阵对当前帧画面进行防抖处理的单元。
92.根据本发明的一个优选实施例，如图5所示，本发明还提供一种移动设备100，包括：
93.摄像头110，配置成可实时采集周围环境的视频；
94.图像处理装置120，配置成可实施如上所述的实时视频防抖的方法10，并输出经过防抖处理的图像帧序列；和
95.投射装置130，与所述图像处理装置120通讯，并配置成可向用户投射所述经过防抖处理的图像帧序列。
96.根据本发明的一个优选实施例，所述移动设备100包括虚拟现实设备、增强现实设备、混合现实设备或助视器。
97.根据本发明的一个优选实施例，本发明还提供一种计算机可读存储介质,包括存
储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的实时视频防抖的方法10，存储于所述计算机可读存储介质上的计算机可执行指令的执行流程图例如图6a、图6b所示。
98.本发明的优选实施例提供了一种实时视频防抖的方法，通过仿射变换和卡尔曼滤波，生成针对当前帧画面的第二仿射矩阵，并根据当前帧画面的抖动速度，选择当前帧画面或上一个未超速帧画面的第二仿射矩阵作为纠正矩阵，对当前帧画面进行纠正。本发明的优选实施例既实现了减少视频的帧间抖动，又在佩戴者异常抖动的情况下，保持画面稳定、变化平缓，有效防止了画面出现明显的跳动的情形。
99.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。