一种基于阵列式亿级像素图像感知的超高型铁塔全景监控的制作方法

本发明涉及图像处理，具体为一种基于阵列式亿级像素图像感知的超高型铁塔全景监控。

背景技术：

1、阵列式相机通过多个小镜头代替一个大镜头的拍摄效果，其原理是通过同时控制多台相机进行拍摄的技术，相比于传统的相机来说，亿像素阵列式相机的视野更广，拍出的照片也更大，同时其体积更小。图像配准是图像拼接的关键，图像配准旨在找出两张图像中的相同区域，以计算图像间的坐标变化，图像配准的精度直接决定着图像的拼接质量。现有技术中，通常采用对图像本身进行灰度处理、角度变换、边缘处理等方式来实现图像配准，忽略了拍摄目标和拍摄装置的移动所造成的图像偏差，导致图像拼接精度低，因此本发明提供了一种基于阵列式亿级像素图像感知的超高型铁塔全景监控。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，解决了上述背景技术中提出的问题。

3、(二)技术方案

4、为实现以上目的，本发明提供如下技术方案：一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取所述亿像素阵列式相机的第一移动速度；获取所述目标对象的第二移动速度；基于所述第一移动速度和所述第二移动速度，计算偏移率；所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率r：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率r：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

5、优选的，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像,所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

6、优选的，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：

7、s1＝|vx1-vx2|*δt

8、s2＝|vd1-vd2|*δt

9、其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。

10、优选的，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：其中，表示坐标转换值，表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；q表示旋转矩阵，t表示平移矩阵，[qt]表示亿像素阵列式相机的外参矩阵；r表示偏移率，表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

11、优选的，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对,所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像。

12、优选的，包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；速度确定模块，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度；偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；所述偏移率计算模块，进一步用于分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率r：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率r：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

13、(三)有益效果

14、与现有技术相比，本发明提供了一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，具备以下有益效果：

15、该基于阵列式亿级像素图像感知的超高型铁塔全景监控，通过采用亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。其中，偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点；通过该方式采集的图像数据质量较高，同时能够提高图像拼接效率和精度。

技术特征：

1.一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，其特征在于：包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取所述亿像素阵列式相机的第一移动速度；获取所述目标对象的第二移动速度；基于所述第一移动速度和所述第二移动速度，计算偏移率；所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率r：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率r：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

2.根据权利要求1所述的一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，其特征在于：所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像,所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

3.根据权利要求1所述的一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，其特征在于：所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：

4.根据权利要求1所述的一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，其特征在于：基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：其中，表示坐标转换值，表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；q表示旋转矩阵，t表示平移矩阵，[qt]表示亿像素阵列式相机的外参矩阵；r表示偏移率，表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

5.根据权利要求1所述的一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，其特征在于：所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对,所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像。

6.根据权利要求1所述的一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，其特征在于：包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；速度确定模块，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度；偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；所述偏移率计算模块，进一步用于分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率r：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率r：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

技术总结
本发明涉及图像处理技术领域，且公开了一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，包括亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。通过上述方式，本发明能够提高图像拼接效率和精度。

技术研发人员：杜长青,王章轩,刘志伟,韩超,刘寅莹,林冬阳,张洋,沈文韬,朱姣,范舟,张献蒙
受保护的技术使用者：国网江苏省电力有限公司建设分公司
技术研发日：
技术公布日：2024/1/15