一种实时360度全景视频拼接方法和设备方案

本发明涉及计算机视觉和图像处理领域，具体的，本发明涉及一种基于特征提取的实时全景视频拼接方案和拼接设备装置。

背景技术：

1、随着计算机视觉技术的快速发展，许多场合都需要对多视角摄像机进行实时视频拼接。目前，全景成像系统主要分为单摄像机成像系统和多摄像机成像系统两种。单摄像机成像系统中全景图像不需要拼接，但分辨率和清晰度较低，适用范围受限。多摄像机成像系统一般通过拼接多个摄像机拍摄的不同方位的视频图像来形成全景视频，相比单摄像机成像系统来说分辨率和清晰度较高，应用范围更广。

2、视频拼接技术就是将数段有重叠部分的视频拼成一段大型的无缝高分辨率视频的技术，该技术需要两个及以上摄像头，获取各摄像头每帧图像，然后对相邻摄像头对应图像进行特征提取和匹配，通过变换实现图像拼接，将拼接好的各帧全景图像按时间序列组合成视频序列。

3、目前大多数视频拼接是线性拼接，即全景视频的视角较小，没有很好地实现360度全景视频拼接；现有的视频拼接方案中，往往无法兼顾全景视频的实时性和图像质量，所以就不能很好地为后续的智能识别工作提供帮助。此外，现有的拼接方案中各摄像头拍摄画面在最终合成的全景视频中的位置一般是固定的，无法做到将当前关键性画面调至中心视角。

技术实现思路

1、为了克服现有技术的不足，本发明在兼顾拼接实时性和图像质量的前提下，实现360度的全景视频拼接以及中心视角的转换。

2、本发明解决其技术问题所采用的技术方法是：一种全景实时视频拼接方案，其特征在于，所述拼接方案包括以下的步骤：s1、获取视频流，确定拼接顺序，计算每两帧图像之间的帧间差分；s2、采用基于图像内容的关键帧提取算法，选取关键帧输出图像；s3、读取输入图像，进行特征点的提取与匹配；s4、拼接处理后的图像，采用基于特征点的图像配准方法进行全景图像拼接；s5、进一步处理图像，变换图像以确定图像间的重叠区域，将待融和图像映射到一幅新的空白图像中形成拼接图。

3、在上述方法中，所述步骤s1不断重复，获取相应的视频流，并计算帧间差分；

4、在上述方法中，所述步骤s2，包括以下的步骤：

5、将从两个摄像头中获取的第一帧图像暂时设定为关键帧，对第一帧图像和第二帧图像进行差分，计算这两幅图像的帧间差分强度；

6、s22、若帧间差分强度大于设定阈值，则将第二帧图像作为关键帧。后续视频流中的图像依次与前一帧图像计算帧间差分强度，直至视频流读取结束。

7、为提高关键帧提取的效率，利用相邻两帧图像中所有像素点值对应作差获取差分图像，并将其二值化，经过设定的阈值限制来获取关键帧提取判断值，由此来衡量帧间差分强度，公式如下：

8、

9、其中，d(x，y)代表关键帧提取判断值，fk(x，y)和fk+1(x，y)分别表示第k帧和第k+1帧图像，t代表设定的阈值。

10、在上述方法中，所述步骤s22，进一步可以使用局部最大值，选择具有平均帧间差分强度局部最大值的帧作为视频的关键帧。这种方法的提取结果在丰富度上表现更好一些，提取结果均匀分散在视频中。

11、在上述方法中，所述步骤s3，为了使拼接具有良好的精度和鲁棒性，同时又使其具有较好的实时性，本发明提出了sruf-flann复合算法完成图像序列特征点的提取和匹配。包括以下的步骤：

12、s31、检测尺度空间极值；

13、s32、精炼特征点位置；

14、s33、计算特征点的描述信息；

15、s34、生成描述特征点的特征向量；

16、s35、调用flann(快速最近邻逼近搜索函数库)进行特征匹配。

17、在上述方法中，所述步骤s4，采用基于特征点的图像配准方法，即通过匹配点对构建图像序列之间的变换矩阵，从而完成全景图像的拼接，包括以下的步骤：

18、s41、检测每幅图像中的特征点；

19、s42、计算特征点之间的匹配；

20、s43、计算图像间变换矩阵的初始值；

21、s44、迭代精炼h变换矩阵；

22、s45、引导匹配，用估计的h定义对极线附近的搜索区域，进一步确定特征点的对应；

23、重复迭代步骤s44和步骤s45，直到对应点的数目稳定为止。

24、在上述方法中，所述步骤s45，h矩阵表示如下：

25、

26、其中lxx表示i(x，y)图像函数与高斯函数二阶微分在像素点(x，y)处的卷积，lxy和lyy同理。

27、在上述方法中，所述步骤s4，进一步为了提高图像配准的精度，采用ransac算法对图像变换矩阵进行求解与精炼，达到了较好的图像拼接效果。

28、本发明还提供了一种全景实时视频拼接设备装置，其步骤如下：

29、选取4个相同规格的摄像头(1)-(4)，摄像头的水平视角在130度左右，以保证相邻摄像头所拍摄的视频画面有20％到50％的重叠区域，从而可以提取足够多的特征点，保证拼接的精度；

30、将4个摄像头固定在设备外壳(5)上，各相邻摄像头之间的夹角为90度，以保证各相邻摄像头所拍摄视频画面的重叠区域的均匀性。

31、本发明有益效果：选取大视角的摄像头，使得实现全景实时视频拼接所需摄像头数目减少，大大提高了拼接效率。图像的特征提取选择surf算法，其速度优于sift算法，稳定性和准确性优于orb等其他算法，特征匹配选择flann算法，也大大提高了匹配速度，这种特征提取和匹配的算法组合大大提高了图像拼接的效率。通过对视频流进行关键帧提取，减少单应性矩阵的计算量，提高了视频拼接的效率。可以实现中心视角的按需转换，方便后续的识别工作。

技术特征：

1.一种全景视频实时拼接方案，其特征在于，所述拼接方案包括以下的步骤：

2.如权利要求1所述的一种全景视频实时拼接方案，其特征在于：所述步骤s1不断重复，获取相应的视频流，并计算帧间差分。

3.如权利要求1所述的一种全景视频实时拼接方案，其特征在于：所述步骤s2，包括以下的步骤：

4.如权利要求1所述的一种全景视频实时拼接方案，其特征在于：所述步骤s22，进一步可以使用局部最大值，选择具有平均帧间差分强度局部最大值的帧作为视频的关键帧。这种方法的提取结果在丰富度上表现更好一些，提取结果均匀分散在视频中。

5.如权利要求1所述的一种全景视频实时拼接方案，其特征在于：所述步骤s3，为了使拼接具有良好的精度和鲁棒性，同时又使其具有较好的实时性，提出surf-flann复合算法完成图像序列特征点的提取和匹配。包括以下的步骤：

6.如权利要求1所述的一种全景视频实时拼接方案，其特征在于：所述步骤s4，采用基于特征点的图像配准方法，即通过匹配点对构建图像序列之间的变换矩阵，从而完成全景图像的拼接，包括以下的步骤：

7.如权利要求1所述的一种全景视频实时拼接方案，其特征在于：所述步骤s45，h矩阵表示如下：

8.如权利要求1所述的一种全景视频实时拼接方案，其特征在于：所述步骤s4，进一步为了提高图像配准的精度，可采用ransac算法对图像变换矩阵进行求解与精炼，以取得更好的图像拼接效果。

9.一种全景实时视频拼接设备装置，其特征在于：包括选取4个相同规格的摄像头(1)-(4)，摄像头的水平视角在130度左右，以保证相邻摄像头所拍摄的视频画面有20％到50％的重叠区域，从而可以提取足够多的特征点，保证拼接的精度；将4个摄像头固定在设备外壳(5)上，各相邻摄像头之间的夹角为90度，以保证各相邻摄像头所拍摄视频画面的重叠区域的均匀性。

技术总结
本发明提出了一种实时360度全景视频拼接方案和设备装置，所述方案与装置包括：利用四个摄像头组成的装置获取视频流，确定拼接顺序，计算每两帧图像之间的帧间差分；采用基于图像内容的关键帧提取算法，选取关键帧输出图像；读取输入图像，进行特征点的提取与匹配；拼接处理后的图像，采用基于特征点的图像配准方法进行全景图像拼接；进一步处理图像，变换图像以确定图像间的重叠区域，将待融和图像映射到一幅新的图像中形成拼接的全景图像。

技术研发人员：范泉涌,李家旋,丰雁宇,许斌,韩渭辛
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/1/14