摄像头和陀螺仪夹角的在线标定方法、装置和存储介质与流程

1.本技术涉及电子稳像技术领域，尤其是摄像头和陀螺仪夹角的在线标定方法、装置和存储介质。


背景技术：

2.近年来，随着摄像设备的普及，视频越来越多地出现在各类信息服务中，数字图像处理在实际中也得到了广泛的应用。由于拍摄者或拍摄设备的不规则运动，在自然条件下拍摄的视频存在不同形式的旋转和位移，称之为抖动。视频抖动导致图像信息不稳定、模糊，限制了图像信息的有效利用。相较于机械平台稳像和机身光学稳像技术要采用特殊的结构和专用的元件，电子稳像技术有成本低、精度高、速度快、方法灵活的特点。基于特征匹配的电子稳像方法计算量大一般无法满足实时需求。同时也无法解决平滑背景中没有显著特征的问题；另一方面其也无法区分视频内容的运动抑或是摄像设备的运动；这使得基于特征匹配的电子稳像方法在特定的场景遭遇失效甚至适得其反。陀螺仪稳像技术很好地克服了这些缺点，具有计算量小、实时性高、能直接反映摄像设备的运动姿态、不受视频内容干扰等优点，正日益受到重视。然而由于设备安装工艺的局限性，摄像头的三个坐标轴和陀螺仪的三个坐标轴很难做到一致。这就导致了要么需要使用精密仪器设备用于安装摄像头和陀螺仪，费工费时、成本高昂、不利于推广，要么从陀螺仪获取的三轴角加速度数据并不能完全刻画摄像头的姿态变换，使得稳像的效果大打折扣，更甚者非但达不到稳像的目的反而加剧了视频的抖动。
3.因此，相关技术存在的上述技术问题亟待解决。


技术实现要素：

4.本技术旨在解决相关技术中的技术问题之一。为此，本技术实施例提供摄像头和陀螺仪夹角的在线标定方法、装置和存储介质，能够对电子稳像系统的摄像头和陀螺仪夹角进行在线标定。
5.根据本技术实施例一方面，提供摄像头和陀螺仪夹角的在线标定方法，所述方法包括：
6.从图像中提取第一图像帧和第二图像帧的角点并匹配形成角点对；
7.通过所述角点对计算得到摄像头的旋转轴；
8.将第一图像帧和第二图像帧的陀螺仪数据进行积分，得到陀螺仪的旋转角；
9.通过所述旋转角计算得到陀螺仪的旋转轴；
10.根据所述摄像头旋转轴和所述陀螺仪的旋转轴计算得到摄像头到陀螺仪的旋转矩阵，根据所述旋转矩阵得到摄像头坐标系和陀螺仪坐标系的夹角。
11.在其中一个实施例中，所述从图像中提取第一图像帧和第二图像帧的角点并匹配形成角点对，包括：
12.缓存视频序列的第一图像帧和第二图像帧，所述第一图像帧和第二图像帧为连续
的两帧；
13.对所述第一图像帧和第二图像帧进行角点检测得到所述第一图像帧和第二图像帧的角点坐标序列；
14.根据角点坐标序列对所述第一图像帧的角点和所述第二图像帧的角点进行特征匹配，得到角点对。
15.在其中一个实施例中，将第一图像帧和第二图像帧的陀螺仪数据进行积分，得到陀螺仪的旋转角，包括：
16.对所述第一图像帧和第二图像帧之间的陀螺仪数据积分得到陀螺仪在当前时段的旋转角；
17.通过陀螺仪的旋转角计算陀螺仪的旋转轴。
18.在其中一个实施例中，所述通过所述角点对计算得到摄像头的旋转轴，包括：
19.通过所述角点对计算摄像头的旋转矩阵；
20.通过所述摄像头的旋转矩阵计算所述摄像头的旋转轴。
21.在其中一个实施例中，所述根据所述摄像头旋转轴和所述陀螺仪的旋转轴计算得到摄像头到陀螺仪的旋转矩阵，包括：
22.计算所述摄像头的旋转轴和所述陀螺仪的旋转轴的协方差矩阵并累加到初始矩阵，所述初始矩阵为3
×
3的零矩阵；
23.通过累加后的初始矩阵计算所述的旋转矩阵。
24.在其中一个实施例中，所述通过累加后的初始矩阵计算所述的旋转矩阵，包括：
25.对累加后的初始矩阵进行svd分解，得到所述的旋转矩阵。
26.在其中一个实施例中，所述根据所述旋转矩阵得到摄像头坐标系和陀螺仪坐标系的夹角，包括：
27.对所述旋转矩阵求解欧拉角；
28.将所述欧拉角确定为摄像头坐标系和陀螺仪坐标系的夹角。
29.根据本技术实施例一方面，提供摄像头和陀螺仪夹角的在线标定装置，所述装置包括：
30.第一模块，用于从图像中提取第一图像帧和第二图像帧的角点并匹配形成角点对；
31.第二模块，用于通过所述角点对计算得到摄像头的旋转轴；
32.第三模块，用于将第一图像帧和第二图像帧的陀螺仪数据进行积分，得到陀螺仪的旋转角；
33.第四模块，用于通过所述旋转角计算得到陀螺仪的旋转轴；
34.第五模块，用于根据所述摄像头旋转轴和所述陀螺仪的旋转轴计算得到摄像头到陀螺仪的旋转矩阵，根据所述旋转矩阵得到摄像头坐标系和陀螺仪坐标系的夹角。
35.根据本技术实施例一方面，提供摄像头和陀螺仪夹角的在线标定装置，所述装置包括：
36.至少一个处理器；
37.至少一个存储器，所述存储器用于存储至少一个程序；
38.当至少一个所述程序被至少一个所述处理器执行时实现如前面实施例所述的摄
像头和陀螺仪夹角的在线标定方法。
39.根据本技术实施例一方面，提供存储介质，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例所述的摄像头和陀螺仪夹角的在线标定方法。
40.本技术实施例提供的摄像头和陀螺仪夹角的在线标定方法、装置和存储介质的有益效果为：本技术从图像中提取第一图像帧和第二图像帧的角点并匹配形成角点对；通过所述角点对计算得到摄像头的旋转轴；将第一图像帧和第二图像帧的陀螺仪数据进行积分，得到陀螺仪的旋转角；通过所述旋转角计算得到陀螺仪的旋转轴；根据所述摄像头旋转轴和所述陀螺仪的旋转轴计算得到摄像头到陀螺仪的旋转矩阵，根据所述旋转矩阵得到摄像头坐标系和陀螺仪坐标系的夹角。本技术通过数字图像来标定陀螺仪的安装偏差，标定完成后无需再行调整陀螺仪的安装位姿，能够消除陀螺仪的角加速度的安装偏差，达到更理想的稳像效果。
41.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
42.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术实施例提供的一种摄像头和陀螺仪夹角的在线标定方法的流程图；
44.图2为本技术实施例提供的设备结构示意图；
45.图3为本技术实施例提供的一种摄像头和陀螺仪夹角的在线标定装置的示意图；
46.图4为本技术实施例提供的另一种摄像头和陀螺仪夹角的在线标定装置的示意图。
具体实施方式
47.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
48.本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
49.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
50.为了解决上述问题，本技术提出了一种摄像头和陀螺仪夹角的在线标定方法、装置和存储介质。
51.图1为本技术实施例提供的一种摄像头和陀螺仪夹角的在线标定方法的流程图。如图1所示，本技术提出的摄像头和陀螺仪夹角的在线标定方法包括：
52.s101、从图像中提取第一图像帧和第二图像帧的角点并匹配形成角点对。
53.s102、通过所述角点对计算得到摄像头的旋转轴。
54.s103、将第一图像帧和第二图像帧的陀螺仪数据进行积分，得到陀螺仪的旋转角。
55.s104、通过所述旋转角计算得到陀螺仪的旋转轴。
56.s105、根据所述摄像头旋转轴和所述陀螺仪的旋转轴计算得到摄像头到陀螺仪的旋转矩阵，根据所述旋转矩阵得到摄像头坐标系和陀螺仪坐标系的夹角。
57.步骤s101中的所述从图像中提取第一图像帧和第二图像帧的角点并匹配形成角点对，包括：缓存视频序列的第一图像帧和第二图像帧，所述第一图像帧和第二图像帧为连续的两帧；对所述第一图像帧和第二图像帧进行角点检测得到所述第一图像帧和第二图像帧的角点坐标序列；根据角点坐标序列对所述第一图像帧的角点和所述第二图像帧的角点进行特征匹配，得到角点对。
58.具体地，本实施例中将第一图像帧和第二图像帧的陀螺仪数据进行积分，得到陀螺仪的旋转角，包括：对所述第一图像帧和第二图像帧之间的陀螺仪数据积分得到陀螺仪在当前时段的旋转角；通过陀螺仪的旋转角计算陀螺仪的旋转轴。
59.步骤s102的所述通过所述角点对计算得到摄像头的旋转轴，包括：通过所述角点对计算摄像头的旋转矩阵；通过所述摄像头的旋转矩阵计算所述摄像头的旋转轴。
60.步骤s105的所述根据所述摄像头旋转轴和所述陀螺仪的旋转轴计算得到摄像头到陀螺仪的旋转矩阵，包括：计算所述摄像头的旋转轴和所述陀螺仪的旋转轴的协方差矩阵并累加到初始矩阵，所述初始矩阵为3
×
3的零矩阵；通过累加后的初始矩阵计算所述的旋转矩阵。
61.具体地，所述通过累加后的初始矩阵计算所述的旋转矩阵，包括：对累加后的初始矩阵进行svd分解，得到所述的旋转矩阵。
62.更多地，步骤s105的所述根据所述旋转矩阵得到摄像头坐标系和陀螺仪坐标系的夹角，包括：对所述旋转矩阵求解欧拉角；将所述欧拉角确定为摄像头坐标系和陀螺仪坐标系的夹角。
63.需要说明的是，本发明实施例同样适用于陀螺仪标定设备，该设备具有角点特征匹配的计算机程序。将第一图像帧的角点和第二图像帧的角点进行特征匹配，得到配对的角点对。
64.在发明的实施例中，为了便于描述，将缓存下来的相邻图像帧的前一帧图像记为第一图像帧，后一帧图像记为第二图像帧。对第一图像帧进行角点检测得到第一图像帧的角点坐标序列：
65.66.对第二图像帧进行角点检测得到第二图像帧的角点坐标序列：
[0067][0068]
在其中一个实施例中，对第一图像帧的角点序列和第二图像帧的角点序列进行特征匹配得到配对的角点序列
[0069][0070]
p1'和p2'下标相同的坐标值即为配对的角点对，即p1'的ki列和p2'的ki列为配对的角点对，其中i∈[1,n]。
[0071]
在其中一个实施例中，将p1'和p2'扩展为齐次坐标。
[0072][0073]
在本发明实施例中，对第一图像帧的角点序列和第二图像帧的角点序列进行特征匹配得到配对的角点序列p1'和p2'下标相同的坐标值即为配对的角点对，即p1'的ki列和p2'的ki列为配对的角点对，其中i∈[1,n]。
[0074]
具体地，在计算摄像头的旋转轴(即摄像头的旋转轴)时，具体计算过程为：将p1'和p2'扩展为齐次坐标，同时构造矩阵：
[0075][0076]
其中f为摄像头焦距，c
x
为图像中心列坐标，cy为图像中心行坐标。将p1'和p2'缩小f倍并将原点平移至图像中心。即p1＝k
×
p1'，p2＝k
×
p2'。以p1(i)表示p1的第i列，p2(i)表示p2的第i列，遍历p1、p2中的所有列，即遍历所有角点对，求协方差矩阵：
[0077][0078]
之后对w3×3进行svd分解[u,s,v]＝svd(w3×3)。即为摄像头的旋转矩阵，
[0079]
在其中一个实施例中，设计算其轴-角表示如下：
[0080]
[0081][0082]
对做归一化得到摄像头的旋转轴,即摄像头的旋转轴，
[0083]
具体地，在计算陀螺仪的旋转轴时，具体计算过程为：设第一图像帧的时间戳为it1，第二图像帧的时间戳为it2，在it1和it2之间的陀螺仪数据为g
t1
,g
t1
,
…
,g
tm
,其中it1＝t0≤t1,t2,
…
,tm≤t(m+1)＝it2。对it1和it2之间的陀螺仪数据进行积分得到陀螺仪在it1和it2旋转角为：
[0084][0085]
对做归一化处理后得到陀螺仪的旋转轴，
[0086]
具体地，本实施例步骤s105中对所述旋转矩阵求解欧拉角的具体过程包括：
[0087]
计算摄像头的旋转轴和陀螺仪的旋转轴的协方差矩阵并累加到初始化为零的3x3矩阵m3×3，通过m3×3计算摄像头的旋转轴和陀螺仪的旋转轴的旋转矩阵，根据摄像头的旋转轴到陀螺仪的旋转轴的旋转矩阵求摄像头坐标系和陀螺仪坐标系的夹角。在本发明实施例中，对和求解协方差矩阵并累加到m3×3。对m3×3做svd分解[u,s,v]＝svd(m3×3)，r3×3＝u
×vt
即为摄像头的旋转轴到陀螺仪的旋转轴的旋转矩阵。对旋转矩阵r3×3求解欧拉角，设三个欧拉角为α,β,γ，则：
[0088][0089]
或者
[0090][0091]
其中atan2(y,x)的定义如下：
[0092][0093]
α,β,γ即为摄像头坐标系和陀螺仪坐标系的夹角。
[0094]
此外，如图2所示，本技术还提出了摄像头和陀螺仪夹角的在线标定设备，具体包括处理器30、存储器31和计算机程序32。
[0095]
此外，本技术还提出了摄像头和陀螺仪夹角的在线标定装置，如图3所示，所述装置包括：
[0096]
第一模块301，用于从图像中提取第一图像帧和第二图像帧的角点并匹配形成角点对；
[0097]
第二模块302，用于通过所述角点对计算得到摄像头的旋转轴；
[0098]
第三模块303，用于将第一图像帧和第二图像帧的陀螺仪数据进行积分，得到陀螺仪的旋转角；
[0099]
第四模块304，用于通过所述旋转角计算得到陀螺仪的旋转轴；
[0100]
第五模块305，用于根据所述摄像头旋转轴和所述陀螺仪的旋转轴计算得到摄像头到陀螺仪的旋转矩阵，根据所述旋转矩阵得到摄像头坐标系和陀螺仪坐标系的夹角。
[0101]
此外，本技术还提出了摄像头和陀螺仪夹角的在线标定装置，如图4所示，所述装置包括：
[0102]
至少一个处理器401；
[0103]
至少一个存储器402，所述存储器402用于存储至少一个程序；
[0104]
当至少一个所述程序被至少一个所述处理器401执行时实现如前面实施例所述的摄像头和陀螺仪夹角的在线标定方法。
[0105]
此外，本技术还提出了存储介质，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例所述的摄像头和陀螺仪夹角的在线标定方法。
[0106]
同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0107]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本技术的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于
本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0108]
此外，虽然在功能性模块的背景下描述了本技术，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本技术是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本技术。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本技术的范围，本技术的范围由所附权利要求书及其等同方案的全部范围来决定。
[0109]
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0110]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0111]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
[0112]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0113]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结
构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0114]
尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。
[0115]
以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。