一种平面估计方法、装置、电子设备及存储介质与流程

1.本公开实施例涉及计算机技术领域，尤其涉及一种平面估计方法、装置、电子设备及存储介质。


背景技术：

2.现有技术中，各所述视频帧中的平面估计可应用于很多场景，例如可应用于三维重建等场景。对多帧图像进行平面估计时，传统方法通常为：先基于多帧的运动恢复结构(structure from motion，sfm)技术，得到三维点云数据；再根据三维点云数据进行平面估计。
3.传统方法的不足之处至少包括：三维点数据的质量依赖于sfm精度，当三维点数据质量较差时，导致平面估计效果较差。


技术实现要素：

4.本公开实施例提供了一种平面估计方法、装置、电子设备及存储介质，能够实现对多视频帧进行平面估计，且平面估计效果较好。
5.第一方面，本公开实施例提供了一种平面估计方法，包括：
6.获取目标视频的视频帧，对各所述视频帧中的特征点进行提取，并确定相同特征点在各所述视频帧中的位置信息；
7.基于随机抽样一致算法，根据各所述特征点在各所述视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵；
8.根据相邻视频帧间平面的单应矩阵，确定所述平面的参数信息。
9.第二方面，本公开实施例还提供了一种平面估计装置，包括：
10.位置信息确定模块，用以获取目标视频的视频帧，对各所述视频帧中的特征点进行提取，并确定相同特征点在各所述视频帧中的位置信息；
11.单应矩阵确定模块，用以基于随机抽样一致算法，根据各所述特征点在各所述视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵；
12.平面参数确定模块，用以根据相邻视频帧间平面的单应矩阵，确定所述平面的参数信息。
13.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
14.一个或多个处理器；
15.存储装置，用于存储一个或多个程序；
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的平面估计方法。
17.第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的平面估计方法。
18.本公开实施例的技术方案，获取目标视频的视频帧，对各视频帧中的特征点进行提取，并确定相同特征点在各视频帧中的位置信息；基于随机抽样一致算法，根据各特征点在相邻视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵；根据相邻视频帧间平面的单应矩阵，确定平面的参数信息。
19.通过在多视频帧维度下直接执行随机抽样一致算法，获取各视频帧中各平面的参数信息，能够避免使用sfm算法引入的误差。并且，由于多视频帧中包含更为丰富的平面信息，基于视频帧进行平面估计，不仅能够快速便捷地确定出多个平面的参数信息，而且平面估计效果更佳。
附图说明
20.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
21.图1为本公开实施例一所提供的一种平面估计方法的流程示意图；
22.图2为本公开实施例二所提供的一种平面估计方法的流程示意图；
23.图3为本公开实施例三所提供的一种平面估计方法的流程示意图；
24.图4为本公开实施例四所提供的一种平面估计装置的结构示意图；
25.图5为本公开实施例五所提供的一种电子设备的结构示意图。
具体实施方式
26.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
27.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
28.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
29.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
30.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
31.实施例一
32.图1为本公开实施例一所提供的一种平面估计方法的流程示意图。本公开实施例适用于对多帧图像进行平面估计的情形，例如适用于对视频中多视频帧进行多个平面估计的情形。该方法可以由平面估计装置来执行，该装置可以通过软件和/或硬件的形式实现，
该装置可配置于电子设备中，例如配置于计算机中。
33.如图1所示，本实施例提供的平面估计方法，包括：
34.s110、获取目标视频的视频帧，对各视频帧中的特征点进行提取，并确定相同特征点在各视频帧中的位置信息。
35.其中，目标视频可以认为是需要确定其中所包含的平面信息的视频。其中，可以从预设存储位置获取目标视频，也可以将实时拍摄的视频作为目标视频。
36.其中，获取目标视频的视频帧的方式，可以包括但不限于：使用ffmpeg等开源程序解析目标视频的每一帧，以获得视频帧；或者，通过预先编写的java程序，每隔预定时间提取目标视频的视频帧等。
37.其中，可以对获取的视频帧直接进行特征点的提取，也可以先对视频帧进行过滤，再对过滤后的视频帧进行特征点的提取。其中，可以基于视频帧包含的图像内容相似度，进行视频帧过滤(例如，对于相邻的内容相似度大于预设数值的视频帧，只保留其中一张)；或者，基于视频帧的间隔时长，进行视频帧过滤(例如，一定时间间隔内，只保留一张视频帧)；也可以基于其他方式进行视频帧过滤，具体可根据应用场景进行选择，在此不做穷举。通过过滤视频帧，可以在保证平面估计效果的基础上，保证平面估计效率。
38.其中，视频帧中的特征点可以包括但不限于，角点和/或局部像素特征点(例如像素最大值点、像素最小值点等)，具体可根据应用场景设置待提取的特征点的种类。其中，待提取的特征点的种类不同，可以采用不同的提取算法进行提取。例如，当特征点为角点时，可以采用harris角点检测算法进行角点提取；当特征点为局部像素特征点时，可以采用高斯函数差分(difference of gaussian，dog)算子进行局部像素特征的提取，在此不做穷举。
39.其中，特征点在视频帧中的位置信息，可以认为是特征点在视频帧中的像素坐标。在确定每帧视频帧的特征点后，可以对相同特征点在每帧视频帧中的位置进行追踪。进而，可以确定每个特征点，在每帧视频帧中的位置信息。
40.其中，可以基于光流算法，例如klt跟踪算法(kanade-lucas-tomasi tracking method)，来追踪同一特征点在每帧视频帧中的位置。或者，也可以基于定向快速旋转(oriented fast and rotated brief，orb)特征原理，来进行特征点匹配，从而确定相同特征点在各视频帧中的位置信息，在此不做穷举。
41.在一些可选方式中，可以针对每个特征点生成一个轨迹(track)，以用于表征该特征点在各视频帧中的位置信息。示例性的，当视频帧为n帧时，特征点1对应的track可以为[x
11
,y
11
,x
21
,y
21
,x
31
,y
31
...x
n1
,y
n1
]；其中x可表征像素横坐标；y可表征像素纵坐标；x和y的下标中，首个数字可以表征视频帧的帧序号，第二个数字可以表征特征点标号，例如x
21
可以表征特征点1在第2帧视频帧中的像素横坐标。
[0042]
s120、基于随机抽样一致算法，根据各特征点在各视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵。
[0043]
其中，随机抽样一致算法，可以认为是根据一组包含正常数据和异常数据的样本数据集，计算出符合正常数据的数学模型参数的算法。而在本公开实施例中，针对确定相邻视频帧间某一平面的单应矩阵的情况，可以将特征点的track作为样本数据集；可以将特征点中属于该平面的特征点的track作为正常数据，将不属于该平面的特征点的track作为异
常数据；可以将相邻视频帧间该平面的单应矩阵，作为计算出的符合正常数据的数学模型参数。
[0044]
示例性的，当视频帧为n帧时，平面1对应的数学模型参数可以包括，第1帧视频帧与第2帧视频帧之间该平面的单应矩阵，第2帧视频帧到第3帧视频帧之间该平面的单应矩阵，
……
，第n-1帧视频帧到第n帧之间该平面的单应矩阵。可以将上述n-1个单应矩阵，作为平面1的符合正常数据的数学模型参数。
[0045]
其中，平面的单应矩阵，可以认为是平面的透视变换矩阵，可以用于表示从一视图到另一视图中平面的透视变换。其中，单应矩阵中可以定义有采集视频使用的相机的内参(例如相机焦距、镜头畸变等)和外参(例如旋转矩阵、平移矩阵)。其中，可以根据两帧之间相同特征点的位置信息，计算出单应矩阵中的参数。可以认为，基于track中包含的特征点在各视频帧中的位置信息，可以计算出每两个相邻视频帧间平面的单应矩阵。
[0046]
本公开实施例中，可以将各特征点在各视频帧中的位置信息，作为随机抽样一致算法的输入。以基于随机抽样一致算法对特征点进行随机抽样，以对属于某平面的特征点进行确定，并基于确定的属于该平面的特征点的track，输出相邻视频帧间平面的单应矩阵。通过对整个视频直接执行随机抽样一致，获取平面的单应矩阵，能够为确定平面的参数信息奠定基础。
[0047]
s130、根据相邻视频帧间平面的单应矩阵，确定平面的参数信息。
[0048]
其中，平面的参数信息可以认为是，平面在空间坐标系内的表达式中的参数。示例性的，平面1在空间坐标系内的表达式为ax+by+cz+d＝0，则a、b、c和d可以认为是平面的参数信息。
[0049]
本公开实施例中，可以对相邻视频帧间平面的单应矩阵进行分解，得到其中定义的相机内参和外参。进而，可以根据平面在视频帧中的位置信息，以及相机的内参和外参，得到平面在空间坐标系内表达式的参数，以得到平面的参数信息。
[0050]
其中，对可以通过多种分解方式对相邻视频帧间平面的单应矩阵进行分解，例如包括：可以通过orb-slam2中的faugeras(1988)的方法实现单应矩阵分解；或者，可以通过opencv中decompose homography mat函数实现单应矩阵分解，其中decompose homography mat函数可以是用inria(2007)的方法实现，在此不做穷举。
[0051]
通过在多视频帧维度下直接执行随机抽样一致算法，获取各视频帧中各平面的参数信息，能够避免使用sfm算法引入的误差。并且，由于多视频帧中包含更为丰富的平面信息，基于视频帧进行平面估计，不仅能够快速便捷地确定出多个平面的参数信息，而且平面估计效果更佳。
[0052]
在一些可选的实现方式中，在确定平面的参数信息之后，还包括：根据平面的参数信息，确定虚拟物体的位置姿态信息；根据位置姿态信息，在预设视频帧中将虚拟物体与平面关联显示。
[0053]
其中，虚拟物体例如可以为虚拟人工智能(artificial intelligence，ai)的外观形象，又如可以为可进行交互的虚拟控件等。其中，虚拟物体的位置姿态信息，可以包括但不限于虚拟物体在空间坐标系中的位置和旋转角度等信息。其中，预设视频帧例如可以是包含需要进行关联显示的平面的视频帧，又如可以是预设时间段内的视频帧等。其中，关联显示的方式可以包括但不限于，虚拟物体显示在平面下，悬浮在平面上等位置相关联的显
示方式。
[0054]
在确定平面的参数信息后，还可以根据平面在空间坐标系的表达式，以及虚拟物体和平面的关联显示的方式，确定虚拟物体在空间坐标系中的位置和旋转角度等信息。例如，若关联显示的方式为虚拟物体显示在平面上，则在空间坐标系中，虚拟物体可以在平面对应的位置和旋转角度基础上竖直正向位移一定数值即可。
[0055]
在确定虚拟物体的位置姿态信息后，还可以根据虚拟物体在空间坐标系中的位置和旋转角度等信息，以及平面在空间坐标系和预设视频帧中像素坐标系的转化关系，确定虚拟物体在预设视频帧中的像素位置、旋转角度等信息。进而，可以根据虚拟物体在预设视频帧中的像素位置、旋转角度等信息，对虚拟物体进行渲染。由于虚拟物体在空间坐标系中的位置姿态信息，为根据虚拟物体与平面的关联显示方式确定的，对虚拟物体进行渲染可以实现在预设视频帧中将虚拟物体与平面关联显示。
[0056]
在这些可选的实现方式中，通过根据确定的视频中包含的平面，可以应用于渲染虚拟物体，从而可以实现对视频帧进行增强现实，以提高用户体验。
[0057]
本公开实施例的技术方案，获取目标视频的视频帧，对各视频帧中的特征点进行提取，并确定相同特征点在各视频帧中的位置信息；基于随机抽样一致算法，根据各特征点在相邻视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵；根据相邻视频帧间平面的单应矩阵，确定平面的参数信息。
[0058]
通过在多视频帧维度下直接执行随机抽样一致算法，获取各视频帧中各平面的参数信息，能够避免使用sfm算法引入的误差。并且，由于多视频帧中包含更为丰富的平面信息，基于视频帧进行平面估计，不仅能够快速便捷地确定出多个平面的参数信息，而且平面估计效果更佳。
[0059]
实施例二
[0060]
本公开实施例与上述实施例中所提供的平面估计方法中各个可选方案可以结合。本实施例所提供的平面估计方法，对相邻视频帧间平面的单应矩阵的确定步骤进行了详细描述。通过循环抽取预设数量的第一特征点进行初始单应矩阵的估计，并根据初始单应矩阵确定第二特征点中内点数量，能够迭代出内点数量最多的情况；进而，可以根据内点数量最多情况下各内点的位置信息，进行该些内点所属平面的单应矩阵的确定。从而能够实现对视频直接执行随机抽样一致，以快速便捷地确定出多帧图像中多个平面的参数信息。
[0061]
图2为本公开实施例二所提供的一种平面估计方法的流程示意图。如图2所示，本实施例提供的平面估计方法，包括：
[0062]
s210、获取目标视频的视频帧，对各视频帧中的特征点进行提取，并确定相同特征点在各视频帧中的位置信息。
[0063]
s220、循环抽取预设数量的特征点作为第一特征点，并将未被抽取的特征点作为第二特征点。
[0064]
其中，基于随机抽样一致，根据各特征点在各视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵，可以包括s220-s250的步骤。其中，由于单应矩阵有8个自由度，为确定单应矩阵中的8个未知参数，则预设数量至少需要4个。可以认为，在每次循环过程中，皆可以随机抽取预设数量的第一特征点。
[0065]
s230、根据第一特征点在相邻视频帧中的位置信息，确定相邻视频帧间平面的初
始单应矩阵。
[0066]
其中，可以根据预设数量的第一特征点的track，确定预设数量的第一特征点在每两个相邻视频帧中的位置信息。进而，可以根据预设数量的第一特征点在每两个相邻视频帧中的位置信息，确定相邻视频帧间平面的初始单应矩阵。
[0067]
s240、根据第二特征点在相邻视频帧中的位置信息，以及初始单应矩阵，判断第二特征点是否与各初始单应矩阵匹配。
[0068]
其中，在确定了一组初始单应矩阵后，可以用各第二特征点来验证该组初始单应矩阵的是否最优。具体例如可以是，若某第二特征点的track中，每两个相邻视频帧中的位置信息符合该组初始单应矩阵表征的映射关系，则可以认为该第二特征点与该组中各初始单应矩阵匹配。若与各初始单应矩阵的匹配的第二特征点的数量越多，则可以认为该组初始单应矩阵越优，可以认为该组初始单应矩阵越能够正确的表征某平面在各视频帧之间的投影关系。
[0069]
在一些可选的实现方式中，根据第二特征点在相邻视频帧中的位置信息，以及初始单应矩阵，判断第二特征点是否与各初始单应矩阵匹配，包括：根据第二特征点在相邻视频帧中，排序靠前的视频帧中的位置信息，以及相邻视频帧间平面的初始单应矩阵，确定第二特征点在相邻视频帧中，排序靠后的视频帧中的重投影位置信息；根据第二特征点在相邻视频帧中，排序靠后的视频帧中的位置信息，和重投影位置信息，确定重投影误差；根据第二特征点在每两个相邻的视频帧的重投影误差，判断第二特征点是否与各初始单应矩阵匹配。
[0070]
其中，首先可以将第二特征点在相邻视频帧中，排序靠前的视频帧中的位置信息，代入相邻视频帧间平面的初始单应矩阵，得到第二特征点在相邻视频帧中，排序靠后的视频帧中的重投影位置信息。其次，可以根据根据第二特征点在相邻视频帧中，排序靠后的视频帧中的位置信息，和重投影位置信息之间的像素距离(例如像素坐标的欧式距离)，确定重投影误差。再次，可以采用根据各重投影误差，计算平均重投影误差、确定重投影误差中位数，或者选择重投影误差中最大/小误差的方式，确定最终的误差值。最后，可以根据最终的误差值，判断第二特征点是否与各初始单应矩阵匹配，例如若最终的误差值小于某设定值，则判断第二特征点与各初始单应矩阵匹配。
[0071]
示例性的，假设视频帧为n帧，第1帧视频帧与第2帧视频帧之间平面的初始单应矩阵为h1，
……
，第n-1帧视频帧到第n帧之间平面的初始单应矩阵为h
n-1
，共确定n-1个初始单应矩阵。特征点1属于第二特征点，且特征点1对应的track可以为[x
11
,y
11
,x
21
,y
21
,x
31
,y
31
...x
n1
,y
n1
]。
[0072]
那么，判断特征点1是否与初始单应矩阵h
1-h
n-1
匹配，可以包括：针对h1，将特征点1在第一帧的位置信息x
11
,y
11
代入h1，得到第二帧中的重投影位置信息x
21’,y
21’；计算x
21
,y
21
和x
21’,y
21’之间的重投影误差w1(例如两点之间的欧氏距离等)；根据上述步骤，适应性计算h
2-h
n-1
对应的重投影误差w
2-w
n-1
；根据w
1-w
n-1
，确定特征点1是否与初始单应矩阵h
1-h
n-1
匹配。
[0073]
其中，根据第二特征点在每两个相邻的视频帧的重投影误差，判断第二特征点是否与各初始单应矩阵匹配，包括：根据第二特征点在每两个相邻视频帧的重投影误差，确定平均重投影误差；根据平均重投影误差和预设阈值，判断第二特征点是否与各初始单应矩
阵匹配。具体例如可以为，当平均重投影误差小于预设阈值时，判断第二特征点与各初始单应矩阵匹配。其中，预设阈值可以根据实验值或经验值进行设置。
[0074]
在这些可选的实现方式中，通过根据第二特征点的track和各初始单应矩阵，确定各重投影误差，能够实现根据各重投影误差判断第二特征点是否与各初始单应矩阵匹配。
[0075]
s250、若是，则将第二特征点作为内点，则直至循环次数达到预设次数时停止循环抽取，并确定各次循环中内点的数量最多的目标循环。
[0076]
本实施例中，随机抽取的预设数量的第一特征点，可以为属于同一平面上的特征点，也可以为不属于同一平面上的特征点。通常，当第一特征点属于同一平面上时，属于该平面上的各第二特征点可与各初始单应矩阵相匹配；当第一特征点不属于同一平面上时，则基本上仅有少数的第二特征点可以与各初始单应矩阵相匹配。
[0077]
其中，循环次数可以根据经验或实验值预先设置。通过进行预设次数次循环，每次循环过程中皆可以抽取第一特征点、确定平面的各初始单应矩阵，并确定作为内点的第二特征点数量，能够基于内点数量最多的循环中各内点在相邻视频帧中的位置信息，确定各初始单应矩阵，从而可得到初始单应矩阵的最优解。
[0078]
s260、根据目标循环中确定的内点在相邻视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵。
[0079]
本实施例中，在确定各初始单应矩阵的最优解后，可以联合所有内点的track，对各初始初始单应矩阵进行优化，得到最终的相邻视频帧间平面的单应矩阵。
[0080]
s270、根据相邻视频帧间平面的单应矩阵，确定平面的参数信息。
[0081]
本公开实施例的技术方案，对相邻视频帧间平面的单应矩阵的确定步骤进行了详细描述。通过循环抽取预设数量的第一特征点进行初始单应矩阵的估计，并根据初始单应矩阵确定第二特征点中内点数量，能够迭代出内点数量最多的情况；进而，可以根据内点数量最多情况下各内点的位置信息，进行该些内点所属平面的单应矩阵的确定。从而能够实现对视频直接执行随机抽样一致，以快速便捷地确定出多帧图像中的平面参数信息。
[0082]
此外，本公开实施例提供的平面估计方法与上述实施例提供的平面估计方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。
[0083]
实施例三
[0084]
本公开实施例与上述实施例中所提供的平面估计方法中各个可选方案可以结合。本实施例所提供的平面估计方法，对视频中多个平面的单应矩阵的确定步骤进行了描述。通过在确定视频中任意一个平面的参数信息后，可以将确定该平面使用的特征点进行去除，并利用剩余的特征点循环执行随机抽样一致，能够实现对视频中出现的多个平面进行估计。从而能够快速便捷地确定出的视频中多个平面的参数信息。
[0085]
图3为本公开实施例三所提供的一种平面估计方法的流程示意图。如图3所示，本实施例提供的平面估计方法，包括：
[0086]
s310、获取目标视频的视频帧，对各视频帧中的特征点进行提取，并确定相同特征点在各视频帧中的位置信息。
[0087]
s320、基于随机抽样一致算法，根据各特征点在各视频帧中的位置信息，确定相邻视频帧间当前平面的单应矩阵。
[0088]
其中，可以将当前确定的某平面在相邻视频帧间的单应矩阵，作为相邻视频帧间当前平面的单应矩阵。其中，确定相邻视频帧间当前平面的单应矩阵的方法，可与确定相邻视频帧间任一平面的单应矩阵的方法相同，具体可参考上述描述，在此不做赘述。
[0089]
s330、循环从特征点中去除用于确定当前平面的单应矩阵的特征点，得到剩余特征点。
[0090]
本实施例中，由于视频中可以包含多个平面的平面信息，在确定当前平面在相邻视频帧间的单应矩阵之后，还可以在去除用于确定当前平面的单应矩阵的特征点，并继续执行随机抽样一致算法，以确定其他平面的参数信息。
[0091]
s340、基于随机抽样一致算法，根据各剩余特征点在相邻视频帧中的位置信息，确定相邻视频帧中新的平面的单应矩阵，直至剩余特征点的数量小于预设数量时停止循环去除。
[0092]
本实施例中，其中预设数量可以根据实验值或经验值进行设置。当剩余特征点的数量小于预设数量时，可以认为视频中包含的可进行评估的平面，皆已评估出参数信息。此时，可以停止去除用于确定当前平面的单应矩阵的特征点，并停止执行随机抽样一致算法。
[0093]
s350、根据相邻视频帧间平面的单应矩阵，确定平面的参数信息。
[0094]
本实施例中，可以在每确定一个平面在相邻视频帧间的单应矩阵时，确定该平面的参数信息；也可以在确定完全部平面的参数信息时，确定各平面的参数信息。
[0095]
本公开实施例的技术方案，对视频中多个平面的单应矩阵的确定步骤进行了描述。通过在确定视频中任意一个平面的参数信息后，可以将确定该平面使用的特征点进行去除，并利用剩余的特征点循环执行随机抽样一致，能够实现对视频中出现的多个平面进行估计。从而能够快速便捷地确定出的视频中多个平面的参数信息。
[0096]
此外，本公开实施例提供的平面估计方法与上述实施例提供的平面估计方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。
[0097]
实施例四
[0098]
图4为本公开实施例四所提供的一种平面估计装置的结构示意图。本实施例提供的平面估计装置适用于对多帧图像进行平面估计的情形，例如适用于对视频进行多个平面估计的情形。
[0099]
如图4所示，本实施例提供的平面估计装置，包括：
[0100]
位置信息确定模块410，用以获取目标视频的视频帧，对各视频帧中的特征点进行提取，并确定相同特征点在各视频帧中的位置信息；
[0101]
单应矩阵确定模块420，用以基于随机抽样一致算法，根据各特征点在各视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵；
[0102]
平面参数确定模块430，用以根据相邻视频帧间平面的单应矩阵，确定平面的参数信息
[0103]
在一些可选的实现方式中，单应矩阵确定模块，包括：
[0104]
抽取单元，用以循环抽取预设数量的特征点作为第一特征点，并将未被抽取的特征点作为第二特征点；
[0105]
初始矩阵确定单元，用以根据第一特征点在相邻视频帧中的位置信息，确定相邻
视频帧间平面的初始单应矩阵；
[0106]
判断单元，用以根据第二特征点在相邻视频帧中的位置信息，以及初始单应矩阵，判断第二特征点是否与各初始单应矩阵匹配；
[0107]
内点确定单元，用以若第二特征点与各初始单应矩阵匹配，则将第二特征点作为内点，直至循环次数达到预设次数时停止循环抽取，并确定各次循环中内点的数量最多的目标循环；
[0108]
最终矩阵确定单元，用以根据目标循环中确定的内点在相邻视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵。
[0109]
在一些可选的实现方式中，判断单元，包括：
[0110]
重投影子单元，用以根据第二特征点在相邻视频帧中，排序靠前的视频帧中的位置信息，以及相邻视频帧间平面的初始单应矩阵，确定第二特征点在相邻视频帧中，排序靠后的视频帧中的重投影位置信息；
[0111]
误差确定子单元，用以根据第二特征点在相邻视频帧中，排序靠后的视频帧中的位置信息，和重投影位置信息，确定重投影误差；
[0112]
判断子单元，用以根据第二特征点在每两个相邻的视频帧的重投影误差，判断第二特征点是否与各初始单应矩阵匹配。
[0113]
在一些可选的实现方式中，判断子单元，具体用以：
[0114]
根据第二特征点在每两个相邻视频帧的重投影误差，确定平均重投影误差；根据平均重投影误差和预设阈值，判断第二特征点是否与各初始单应矩阵匹配。
[0115]
在一些可选的实现方式中，单应矩阵确定模块，包括：
[0116]
去除单元，用以在确定相邻视频帧间当前平面的单应矩阵之后，循环从特征点中去除用于确定当前平面的单应矩阵的特征点，得到剩余特征点；
[0117]
矩阵确定单元，用以基于随机抽样一致算法，根据各剩余特征点在相邻视频帧中的位置信息，确定相邻视频帧中新的平面的单应矩阵，直至剩余特征点的数量小于预设数量时停止循环去除。
[0118]
在一些可选的实现方式中，平面估计装置，还包括：
[0119]
虚拟显示模块，用以根据平面的参数信息，确定虚拟物体的位置姿态信息；根据位置姿态信息，在预设视频帧中将虚拟物体与平面关联显示。
[0120]
本公开实施例所提供的平面估计装置，可执行本公开任意实施例所提供的平面估计方法，具备执行方法相应的功能模块和有益效果。
[0121]
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
[0122]
实施例五
[0123]
下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如图5中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用
范围带来任何限制。
[0124]
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(read-only memory，rom)502中的程序或者从存储装置506加载到随机访问存储器(random access memory，ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0125]
通常，以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
[0126]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置506被安装，或者从rom502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的平面估计方法中限定的上述功能。
[0127]
本公开实施例提供的电子设备与上述实施例提供的平面估计方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
[0128]
实施例六
[0129]
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的平面估计方法。
[0130]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read-only memory，eprom)或闪存(flash)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传
输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0131]
在一些实施方式中，客户端、服务器可以利用诸如http(hyper text transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
[0132]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
[0133]
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
[0134]
获取目标视频的视频帧，对各视频帧中的特征点进行提取，并确定相同特征点在各视频帧中的位置信息；基于随机抽样一致算法，根据各特征点在各视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵；根据相邻视频帧间平面的单应矩阵，确定平面的参数信息。
[0135]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0136]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0137]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元、模块的名称在某种情况下并不构成对该单元、模块本身的限定。
[0138]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(field programmable gate array，fpga)、专用集成电路(application specific integrated circuit，asic)、专用标准产品(application specific standard parts，assp)、片上系统(system on chip，soc)、复杂可编程逻辑设备(cpld)等等。
[0139]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0140]
根据本公开的一个或多个实施例，【示例一】提供了一种平面估计方法，该方法包括：
[0141]
获取目标视频的视频帧，对各所述视频帧中的特征点进行提取，并确定相同特征点在各所述视频帧中的位置信息；
[0142]
基于随机抽样一致算法，根据各所述特征点在各所述视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵；
[0143]
根据相邻视频帧间平面的单应矩阵，确定所述平面的参数信息。
[0144]
根据本公开的一个或多个实施例，【示例二】提供了一种平面估计方法，还包括：
[0145]
在一些可选的实现方式中，所述基于随机抽样一致算法，根据各所述特征点在各所述视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵，包括：
[0146]
循环抽取预设数量的特征点作为第一特征点，并将未被抽取的特征点作为第二特征点；
[0147]
根据所述第一特征点在相邻视频帧中的位置信息，确定相邻视频帧间平面的初始单应矩阵；
[0148]
根据所述第二特征点在相邻视频帧中的位置信息，以及所述初始单应矩阵，判断所述第二特征点是否与各所述初始单应矩阵匹配；
[0149]
若是，则将所述第二特征点作为内点，直至循环次数达到预设次数时停止循环抽取，并确定各次循环中所述内点的数量最多的目标循环；
[0150]
根据所述目标循环中确定的内点在相邻视频帧中的位置信息，确定相邻视频帧间平面的单应矩阵。
[0151]
根据本公开的一个或多个实施例，【示例三】提供了一种平面估计方法，还包括：
[0152]
在一些可选的实现方式中，所述根据所述第二特征点在相邻视频帧中的位置信息，以及所述初始单应矩阵，判断所述第二特征点是否与各所述初始单应矩阵匹配，包括：
[0153]
根据所述第二特征点在相邻视频帧中，排序靠前的视频帧中的位置信息，以及相邻视频帧间平面的初始单应矩阵，确定所述第二特征点在相邻视频帧中，排序靠后的视频帧中的重投影位置信息；
[0154]
根据所述第二特征点在相邻视频帧中，排序靠后的视频帧中的位置信息，和所述重投影位置信息，确定重投影误差；
[0155]
根据所述第二特征点在每两个相邻的视频帧的重投影误差，判断所述第二特征点是否与各所述初始单应矩阵匹配。
[0156]
根据本公开的一个或多个实施例，【示例四】提供了一种平面估计方法，还包括：
[0157]
在一些可选的实现方式中，所述根据所述第二特征点在每两个相邻的视频帧的重投影误差，判断所述第二特征点是否与各所述初始单应矩阵匹配，包括：
[0158]
根据所述第二特征点在每两个相邻视频帧的重投影误差，确定平均重投影误差；
[0159]
根据所述平均重投影误差和预设阈值，判断所述第二特征点是否与各所述初始单应矩阵匹配。
[0160]
根据本公开的一个或多个实施例，【示例五】提供了一种平面估计方法，还包括：
[0161]
在一些可选的实现方式中，所述确定相邻视频帧间平面的单应矩阵，包括：
[0162]
在确定相邻视频帧间当前平面的单应矩阵之后，循环从所述特征点中去除用于确定所述当前平面的单应矩阵的特征点，得到剩余特征点；
[0163]
基于随机抽样一致算法，根据各所述剩余特征点在相邻视频帧中的位置信息，确定相邻视频帧中新的平面的单应矩阵，直至所述剩余特征点的数量小于预设数量时停止循环去除。
[0164]
根据本公开的一个或多个实施例，【示例六】提供了一种平面估计方法，还包括：
[0165]
在一些可选的实现方式中，在确定所述平面的参数信息之后，还包括：
[0166]
根据所述平面的参数信息，确定虚拟物体的位置姿态信息；
[0167]
根据所述位置姿态信息，在预设视频帧中将所述虚拟物体与所述平面关联显示。
[0168]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
[0169]
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
[0170]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。