深海高清视频实时拼接系统

本发明属于深海视频监测，具体涉及一种深海高清视频实时拼接系统，可用于实时监测艇前环境，保证潜艇安全行驶。

背景技术：

1、在水下环境尤其是深海环境中，可见光传感器是获得外界环境信息的一项重要设备，在视频监测技术领域对更宽视角场景信息的需求不断增加，高分辨率宽视场视频的构建逐渐成为近年来研究的热点。视频拼接技术由此而生，其中图像拼接技术就是使用有重叠区域的一组图像进行配准对齐再融合成一张没有拼接缝的宽视场图像，视频拼接正是基于图像拼接，因为视频是多张图像的累积存储形式，视频拼接能够将多路视频流无缝拼接成一个视觉效果良好的宽视角视频流。目前视频拼接的高分辨率和低延时仍然是视频拼接的主要难点之一。视频拼接的基本流程包括视频流采集与同步、帧图像预处理、帧图像配准对齐和帧图像融合五个步骤。对能拍摄到重叠区域的多个相机进行视频流同步采集得到多张同步的视频帧，对视频帧进行一系列预处理使其能便于图像配准，经过预处理的图像进行图像配准对齐得到图像间映射关系和摄像机运动关系，配准对齐完成后，为了消除拼接后图像的拼接缝、亮度差异并进一步提升视觉效果，可以采用图像融合算法实现重叠区域的平稳过渡。

2、王吴等发表在hpcc会议上的文章，“a video stitching system of underwaterimage”中提出的针对水下图像的视频拼接系统，其通过两个手持的gopro相机拍摄100帧的高清视频，并通过相对全局直方图拉伸的水下图像增强方法对图像进行增强，采用sift特征点匹配的方法寻找特征点，将视频分为前景视频和背景视频，分别进行拼接再融合，最后采用erp投影产生可以观察的拼接视频。该系统由于其整个拼接过程是离线的，且水下增强和拼接过程耗时较长，即在pc机上对于每张2704x1520分辨率的视频帧进行水下图像增强耗时90s，拼接过程耗时45s，无法达到实时性的要求，不能适用于潜艇环境。

3、郭威在其学位论文，“视频拼接的关键问题研究与系统实现”中提出了一个视频拼接的方案，其采用两个海康的网络摄像头作为输入源，通过pc机的gpu进行rtsp流的解码和视频帧的拼接，实现双路的实时拼接系统，此外提出了保护视频序列连续性的最佳缝合线算法以及改进的直方图匹配算法。但是并未在最终的拼接系统上实现这两种算法，且拼接系统的具体处理平台是pc机，功耗高体积大，不适用于对功耗和体积有严格要求的潜艇环境，而且拼接系统未针对水下环境做出处理，不能在水下得到良好的视觉效果。

4、申请号为201911358323.7的专利文献，公开了“一种水下全景视频拼接系统和方法”，其系统包括摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器。摄像头采集水下图像并发送给全景拼接处理器；全景拼接处理器用于根据水下图像和预设查找表文件进行实时拼接和编码，并将编码后的水下图像通过网口发送给工控机，工控机解码水下图像并拆分成多路视频帧发送到显示器中用作实时显示。其提出的针对水下移动平台的全景视频拼接系统，但是此方案不能直接适用于深海环境，且体积较大，安装不便，不适合潜艇环境。

5、综上，现有的拼接器或者拼接系统的设计，均不能在体积受限和功耗受限的前提下实现，无法适用于深海环境，不能辅助潜航员在潜艇航行中做出判断，以及辅助机械手作业，影响潜航员的安全作业和潜艇的安全行驶。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出一种深海高清视频实时拼接系统，以减少拼接器的体积和拼接功耗，实现在深海环境中对三路高清视频的实时拼接，辅助潜航员做出环境判断和辅助机械手作业，保证潜航员的安全作业和潜艇的安全行驶。

2、为实现上述目的本发明所述的深海高清视频实时拼接系统，包括相机模组1、视频处理器2、显示器3，其特征在于：

3、所述相机模组1，包括多个高清相机11、一个结构件12和一个舵机13，每个高清相机均通过结构件与舵机连接，舵机转动控制相机在竖直方向围绕转轴转动采集不同俯仰角度的视频图像；

4、所述视频处理器2，采用集成有cpu、gpu和硬件编码器的嵌入式核心板，以减小拼接系统的体积，其包括：

5、图像处理模块21，用于对多个高清相机采集得到的视频图像进行增强，并将其拼接为单路宽视野视频流；

6、图像传输模块22，用于对单路宽视野视频流进行编码压缩，并将编码后的视频流通过千兆网口传输到上位机；

7、所述显示器3，其包括：

8、解码显示模块31，用于解码单路宽视野视频流，并播放视频；

9、软件控制模块32，用于向视频处理器发送控制信号，对视频流的参数和相机模组的俯仰角进行控制，并对多个高清相机的参数单独调节。

10、作为优选，所述相机模组1中的相机位于相同高度，两两成像平面角度为60°，且所有相机的光轴相交于同一光点。

11、作为优选，所述相机模组1与视频处理器2紧凑连接，并固定在防水耐压外壳中，用于深海环境。

12、作为优选，所述图像处理模块21部署在核心板中的gpu上，以减少处理延时，其包括：

13、相机标定子模块211，用于采用张氏标定的方法，标定得到相机的内参矩阵、畸变参数、外参矩阵，并借助所述相机参数得到相机的畸变映射表和投影映射表；

14、图像增强子模块212，用于采用自适应的三维查找表3d-lut、指数对比度增强方法对多个高清相机拍摄的水下图像进行图像增强处理；

15、畸变校正子模块213，用于采用所述相机的畸变映射表对图像增强处理后的水下图像进行畸变校正；

16、投影变换子模块214，用于采用所述相机的投影映射表对畸变校正处理后的水下图像进行投影变换；

17、拼缝融合子模块215，用于采用线性融合方法对投影变换处理后的水下图像在重叠区域进行拼接融合，并对融合处理后的单张水下图像进行黑边裁剪，得到规则的融合图像。

18、作为优选，所述图像传输模块22，采用核心板集成的硬件编码器，用于对所述融合图像进行高效节能的硬件编码，以减少系统延时并降低系统功耗。

19、作为优选，所述显示器3采用笔记本电脑或台式电脑。

20、作为优选，所述软件控制模块32部署在上位机上，其包含：

21、视频流控制子模块321，用于向视频处理器发送视频流控制信号，控制视频流的分辨率和码率；

22、舵机控制子模块322，用于向视频处理器发送舵机控制信号，控制舵机的转动，进而控制相机模组的俯仰角度；

23、相机参数控制子模块323，用于向视频处理器发送相机参数控制信号，控制相机内部isp功能的参数。

24、本发明与现有技术相比，具有如下优点：

25、1)由于采用多个高清相机11、一个结构件12和一个舵机13组成相机模组1，且每个相机采用集中紧凑的安装方式，既减小了相机模组的尺寸，便于安装，又减小了拼接系统的体积，且能获得水平方向的宽视野；

26、2)本发明由于通过舵机13控制相机在垂直方向围绕转轴转动，可在小体积相机模组1的基础上，实现在垂直方向的宽视野；

27、3)本发明的视频处理器2由于采用集成有cpu、gpu和硬件编码器的嵌入式核心板，使用嵌入式板卡做拼接系统的主体，进一步减小了拼接系统的体积和功耗；

28、4)本发明的视频处理器2由于将图像处理模块21的功能单元部署在gpu中，能充分发挥gpu并行计算的能力高效进行图像操作，且由于采用离线计算的三维查找表3d-lut和映射配准表进行图像增强和映射配准，可将原本图像增强和映射配准步骤中重复复杂的计算操作变为快速的内存访问操作，实现了对多路高清视频的实时增强和实时拼接；

29、5)本发明的视频处理器由于将图像传输模块22的功能单元部署在硬件编码器中，硬件编码器能对融合处理后视频进行高效节能的硬件编码，可大大减少系统延时并降低系统功耗；

30、6)本发明由于通过软件控制模块32向视频处理器发送控制命令，可实现如下三个方面的控制功能，提高拼接系统的易用性：

31、一是可以在不同的网络条件下对视频流分辨率和码率进行控制；

32、二是通过视频处理器对相机模组俯仰角进行控制，实现不同俯仰角度的宽视野快速切换；

33、三是通过视频处理器实现对相机内部isp参数的调节，保证在不同外界环境下的成像质量。