技术特征:
1.一种基于最优映射矩阵的全景图像拼接方法,其特征在于,包括:采集n路摄像设备对以机场场景区域同时拍摄得到的n个视频流;每个摄像设备拍摄一部分场景,每个摄像设备拍摄的场景与相邻摄像设备拍摄的场景具有重叠区;n为大于1的正整数;根据预设的各个摄像设备的畸变系数,对n个视频流中图像帧进行畸变校正;采用特征描述子处理校正后的同一时刻的图像帧,得到各个图像帧之间的最优映射矩阵;根据映射矩阵将该时刻的图像帧拼接,得到机场的全景图像。2.根据权利要求1所述的方法,其特征在于,校正后的同一时刻的图像帧中相邻的左图和右图,采用特征描述子处理校正后的所有同一时刻的图像帧,得到各个图像帧之间的最优映射矩阵,包括:基于双线性差值的亚像素技术提取左图和右图重叠区域的特征点,特征点处于左图叫做左特征点,组成左特征点集,特征点处于右图叫做右特征点,组成右特征点集;从左右特征点集中取m对描述子,一对描述子包括一个左特征点和对应的右特征点;m为正整数;将m对描述子随机分为组,计算每组的映射矩阵将第1组映射矩阵带入左特征点集,计算出新右特征点集;判断右特征点集和新右特征点集中对应特征点之间的距离是否大于一个像素;若小于一个像素的距离相对于上述计算出的距离的占比大于或等于预设占比,则删除大于或等于一个像素的距离所对应左右特征点集的特征点;用左特征点集中剩余的左特征点和右特征点集中剩余的右特征点计算映射矩阵,将该映射矩阵作为左右图之间的最优映射矩阵;若小于一个像素的距离相对于上述计算出的距离的占比小于或等于预设占比,将2组映射矩阵带入左特征点集,直到计算出最优映射矩阵。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:当最后一组也未得到左右图之间的最优映射矩阵之后,重新从左右特征点集中取m对描述子。4.根据权利要求2所述的方法,其特征在于,根据映射矩阵将该时刻的图像帧拼接,得到机场的全景图像之后,所述方法还包括:校正后的同一时刻的图像帧按地平线分割成上下两个区域;将这两个区域共同作为采样点,来参与对全景图像的色差矫正。5.根据权利要求2所述的方法,其特征在于,所述方法还包括:根据每个相机成像不同,对全景图像的h、s、v三个通道单独平滑处理。6.根据权利要求5所述的方法,其特征在于,平滑处理具体操作如下:首先对左右图像求全局的h、s、v三通道的直方图统计,并求出每个通道的均值与求出三通道平均值的差值,根据每个通道的差值来对拼接拼缝附近进行加权补足,使得图像平滑度过。7.根据权利要求6所述的方法,其特征在于,具体加权策略包括:
如果则需要对h通道进行加权,加权系数可根据实际情况调节,否则不需要处理;如果则需要对s通道进行加权,加权系数可根据实际情况调节,否则不需要处理;如果则需要对v通道进行加权,加权系数可根据实际情况调节,否则不需要处理。8.一种基于最优映射矩阵的全景图像拼接装置,其特征在于,包括:采集模块,用于采集n路摄像设备对以机场场景区域同时拍摄得到的n个视频流;每个摄像设备拍摄一部分场景,每个摄像设备拍摄的场景与相邻摄像设备拍摄的场景具有重叠区;n为大于1的正整数;校正模块,用于根据预设的各个摄像设备的畸变系数,对n个视频流中图像帧进行畸变校正;处理模块,用于采用特征描述子处理校正后的同一时刻的图像帧,得到各个图像帧之间的最优映射矩阵;拼接模块,用于根据映射矩阵将该时刻的图像帧拼接,得到机场的全景图像。9.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
技术总结
本发明属于视频图像拼接与融合领域,具体是一种基于最优映射矩阵的全景图像拼接方法及装置。该方法包括:采集n路摄像设备对以机场场景区域同时拍摄得到的n个视频流;每个摄像设备拍摄一部分场景,每个摄像设备拍摄的场景与相邻摄像设备拍摄的场景具有重叠区;n为大于1的正整数;根据预设的各个摄像设备的畸变系数,对n个视频流中图像帧进行畸变校正;采用特征描述子处理校正后的同一时刻的图像帧,得到各个图像帧之间的最优映射矩阵;根据映射矩阵将该时刻的图像帧拼接,得到机场的全景图像。像。像。
技术研发人员:杜海浪 李宏刚 唐文君 杜双 赵超
受保护的技术使用者:中国飞行试验研究院
技术研发日:2021.12.15
技术公布日:2022/4/12