一种通过单芯片实现多镜头多图像融合的方法与流程

本发明涉及图像处理领域，特别涉及一种通过单芯片实现多镜头多图像融合的方法。

背景技术：

1、多镜头是指在某一摄像机设备内拥有着多个摄像头，多图像融合技术是指把两两摄像头见所拍摄到的重叠区域自然的融合在一起，多镜头多图像拼接技术是制造多镜头摄像机的技术前提，多镜头摄像机是大广角、低畸变以及全景照片和视频的相机设备。

2、多镜头摄像机可以提供完整的环境信息和立体感，使得观众可以获得身临其境的体验，多镜头摄像机的应用领域非常广泛，例如在虚拟现实、智慧办公、智能家居、旅游、安防等领域都有很多的应用。

3、目前市面上的多镜头摄像机实现全景融合技术不仅需要通过主控芯片，还需要有相应的mcu模块、ai模块等等、甚至是gpu模块来实现，除此之外，大多全景摄像机还需要经过后期pc端上的app剪辑和处理，上述方法大大增加了全景摄像机的制造和使用成本。

技术实现思路

1、本发明的目的在于提供一种通过单芯片实现多镜头多图像融合的方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种通过单芯片实现多镜头多图像融合的方法，包括以下具体步骤：

3、s1：多镜头数据采集；

4、s2：多图像校正；

5、s3：多路图像的全景融合；

6、s3.1：将多张校正、变形后的图像交由全景拼接模块处理，根据几何运动模型，将图像映射到同一个坐标系上，完成图像拼接；

7、s3.2：全景融合模块针对过渡区，对图像拼接的区域进行融合，采取多频滤波+渐进渐出的算法来做融合，不同频带的过渡区不同，它对两张图像之间的重叠区作扩展，让缝接后的图像过渡更加自然；

8、s3.3：通过多视频组合模块，把多个图像按着一定规则、有序的排列在一个画面之中，各个画面独立显示和刷新，且相互之间不会串扰；

9、s4：通过输出配置与管理的软件模块，达到图像的调度组合的管理作用，再交由芯片输出模块处理，最终形成完整的soc单芯片完成多镜头多图像融合。

10、优选的，所述s1中的多镜头数据采集是从sensor采集raw/yuv422 data数据后传给isp通道处理，采用了多镜头多通道架构，各通道可支持对应1路1080p，该芯片最多可支持五路拼接，实现多镜头的同步同帧同分辨率输入。

11、优选的，所述s2中的多图像校正是由于多个摄像头不同位置、角度的差异，需要对采集的图像进行校正，对多图像拼接进行预处理，通过镜头间立体坐标复杂关系的校正计算，得到畸变、映射与变形参数，从而同步、实时完成多图像映射变换、变形和裁剪操作，使得不同摄像头采集到的图像在重叠区域内完全对齐，以便于后续多路图像的全景融合处理。

12、优选的，所述s3中每一路的图像会分别经过4行line buffer形成窗口数据，输入给多频滤波器，多频滤波器对图像的亮度分量作处理，分出高、中、低频3个频带数据，和原图像数据一起输出到图像融合模块，在图像融合模块里，它对过渡区域采取渐入渐出的融合，对非过渡区则输出原图像像素，从而拼接成一幅全景图像。

13、优选的，包括soc单芯片模块，所述soc单芯片模块包括数据采集模块、图像校正模块、全景融合模块和输出处理模块；

14、所述数据采集模块包括sensor采集模块、isp通道处理模块、通道拼接模块和多镜头输入模块；

15、所述全景融合模块包括全景拼接模块、多频滤波处理模块、渐进渐出算法模块和多视频组合模块；

16、所述输出处理模块包括输出配置模块和管理软件模块。

17、优选的，所述图像校正模块用于对采集的图像进行进行校正，对多图像拼接进行预处理，通过镜头间立体坐标复杂关系的校正计算，得到畸变、映射与变形参数。

18、优选的，所述sensor采集模块用于多镜头的多个图像采集；

19、所述isp通道处理模块和通道拼接模块用于图像采集信息的输送，其最多可支持五路拼接，实现多镜头的同步同帧同分辨率输入；

20、多镜头输入模块用于多个图像信息同步同帧输入。

21、优选的，所述全景拼接模块用于对根据几何运动模型，将图像映射到同一个坐标系上，使两两相邻图像重合区域进行拼接，完成图像拼接；

22、所述多频滤波处理模块和渐进渐出算法模块用于对图像的亮度分量作处理，分出高、中、低频3个频带数据，和原图像数据一起输出到图像融合模块，在图像融合模块里，它对过渡区域采取渐入渐出的融合，对非过渡区则输出原图像像素，从而拼接成一幅全景图像；

23、多视频组合模块用于对多个单个的图像和拼接融合的图像进行排版展示，便于图像信息的展示；

24、输出配置模块和管理软件模块用于图像的调度组合的管理作用，形成完整的单芯片完成多镜头多图像融合。

25、本发明的技术效果和优点：

26、本发明利用一种通过单芯片实现多镜头多图像融合的方法，仅需在前期通过pc配置参数后，再通过一颗soc就可以完成，大大降低了全景摄像机的制造和使用成本，通过多视频组合模块，把多个图像按着一定规则、有序的排列在一个画面之中，各个画面独立显示和刷新。

技术特征：

1.一种通过单芯片实现多镜头多图像融合的方法，其特征在于，包括以下具体步骤：

2.根据权利要求1所述的一种通过单芯片实现多镜头多图像融合的方法，其特征在于，所述s1中的多镜头数据采集是从sensor采集raw/yuv422data数据后传给isp通道处理，采用了多镜头多通道架构，各通道可支持对应1路1080p，该芯片最多可支持五路拼接，实现多镜头的同步同帧同分辨率输入。

3.根据权利要求1所述的一种通过单芯片实现多镜头多图像融合的方法，其特征在于，所述s2中的多图像校正是由于多个摄像头不同位置、角度的差异，需要对采集的图像进行校正，对多图像拼接进行预处理，通过镜头间立体坐标复杂关系的校正计算，得到畸变、映射与变形参数，从而同步、实时完成多图像映射变换、变形和裁剪操作，使得不同摄像头采集到的图像在重叠区域内完全对齐，以便于后续多路图像的全景融合处理。

4.根据权利要求1所述的一种通过单芯片实现多镜头多图像融合的方法，其特征在于，所述s3中每一路的图像会分别经过4行line buffer形成窗口数据，输入给多频滤波器，多频滤波器对图像的亮度分量作处理，分出高、中、低频3个频带数据，和原图像数据一起输出到图像融合模块，在图像融合模块里，它对过渡区域采取渐入渐出的融合，对非过渡区则输出原图像像素，从而拼接成一幅全景图像。

5.一种通过单芯片实现多镜头多图像融合系统，其特征在于，包括soc单芯片模块，所述soc单芯片模块包括数据采集模块、图像校正模块、全景融合模块和输出处理模块；

6.根据权利要求5所述的一种通过单芯片实现多镜头多图像融合系统，其特征在于，所述图像校正模块用于对采集的图像进行进行校正，对多图像拼接进行预处理，通过镜头间立体坐标复杂关系的校正计算，得到畸变、映射与变形参数。

7.根据权利要求5所述的一种通过单芯片实现多镜头多图像融合系统，其特征在于，所述sensor采集模块用于多镜头的多个图像采集；

8.根据权利要求5所述的一种通过单芯片实现多镜头多图像融合系统，其特征在于，所述全景拼接模块用于对根据几何运动模型，将图像映射到同一个坐标系上，使两两相邻图像重合区域进行拼接，完成图像拼接；

技术总结
本发明公开了一种通过单芯片实现多镜头多图像融合的方法，包括多镜头数据采集，多图像校正，多路图像的全景融合，将多张校正、变形后的图像交由全景拼接模块处理，根据几何运动模型，将图像映射到同一个坐标系上，完成图像拼接，全景融合模块针对过渡区，对图像拼接的区域进行融合，采取多频滤波+渐进渐出的算法来做融合，把多个图像按着一定规则、有序的排列在一个画面之中，通过输出配置与管理的软件模块，形成完整的SoC单芯片完成多镜头多图像融合。本发明利用一种通过单芯片实现多镜头多图像融合的方法，仅需在前期通过PC配置参数后，再通过一颗SoC就可以完成，大大降低了全景摄像机的制造和使用成本。

技术研发人员：谢华达,巫家嫩,薛灿尧
受保护的技术使用者：扬州蜻蜓智能科技有限公司
技术研发日：
技术公布日：2024/3/27