一种机器人视觉的多帧运动图像融合方法及系统

文档序号:26053000发布日期:2021-07-27 15:29阅读:来源:国知局

技术特征:

1.一种机器人视觉的多帧运动图像融合方法,其特征在于,包括:

获取机器人的运动幅度,根据运动幅度设置长短不同的曝光时间;

获取预设成像周期内机器人的视觉传感器输出的图像,根据清晰度对获取的图像进行质量评估,筛选出清晰度大于预设清晰度阈值的图像;

将筛选出的图像进行邻帧图像配准,得到配准后的图像;

将配准后的图像进行邻帧图像融合,得到多帧图像的融合结果。

2.如权利要求1所述的机器人视觉的多帧运动图像融合方法,其特征在于,所述获取机器人的运动幅度,根据运动幅度设置长短不同的曝光时间,包括:

利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度;其中,所述惯性传感器安装在机器人的视觉传感器上,且所述惯性传感器与所述视觉传感器同轴系设置;

根据检测到的角速度和线加速度,通过预积分方式计算视觉传感器的六自由度的位姿数据;

根据计算出的位姿数据估计视觉传感器的合运动,将估计出的合运动的幅度值与预设幅度值进行比较,并根据比较结果设置长短不同的曝光时间。

3.如权利要求1所述的机器人视觉的多帧运动图像融合方法,其特征在于,所述根据清晰度对获取的图像进行质量评估,包括:

采用nrss非参考图像评价方法对获取的图像进行质量评估。

4.如权利要求1所述的机器人视觉的多帧运动图像融合方法,其特征在于,在筛选出清晰度大于预设清晰度阈值的图像之后,所述方法还包括:

获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据;

所述将筛选出的图像进行邻帧图像配准,得到配准后的图像,包括:

根据待配准的两张图像所对应的视觉传感器的位姿数据,计算出位姿转换矩阵;

根据所述位姿转换矩阵将前一帧图像投影到后一帧上,得到第一配准图像:

其中,fi2(ui,vi)表示所述第一配准图像,k表示机器人的视觉传感器的内部参数,rt表示3×3的视觉传感器的姿态转换矩阵,tt表示1×3的视觉传感器的位置转换矩阵,fi1(ui,vi)表示待配准的前一帧图像;

基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵,根据所述单应性矩阵实现第一配准图像和后一帧图像的配准,得到第二配准图像:

利用预设的频域相位算法,实现所述第二配准图像与后一帧图像的配准。

5.如权利要求4所述的机器人视觉的多帧运动图像融合方法,其特征在于,所述根据所述单应性矩阵实现第一配准图像和后一帧图像的配准,包括:

以后一帧图像的特征点为中心,采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点,在平面坐标系通过所述单应性矩阵实现图像配准。

6.一种机器人视觉的多帧运动图像融合系统,其特征在于,包括:

曝光时间自适应调整模块,用于获取机器人的运动幅度,根据运动幅度设置长短不同的曝光时间;

图像质量评估及筛选模块,用于获取预设成像周期内机器人的视觉传感器输出的图像,根据清晰度对获取的图像进行质量评估,筛选出清晰度大于预设清晰度阈值的图像;

图像配准模块,用于将所述图像质量评估及筛选模块筛选出的图像进行邻帧图像配准,得到配准后的图像;

图像融合模块,用于将经过所述图像配准模块配准后的图像进行邻帧图像融合,得到多帧图像的融合结果。

7.如权利要求6所述的机器人视觉的多帧运动图像融合系统,其特征在于,所述曝光时间自适应调整模块具体用于:

利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度;其中,所述惯性传感器安装在机器人的视觉传感器上,且所述惯性传感器与所述视觉传感器同轴系设置;

根据检测到的角速度和线加速度,通过预积分方式计算视觉传感器的六自由度的位姿数据;

根据计算出的位姿数据估计视觉传感器的合运动,将估计出的合运动的幅度值与预设幅度值进行比较,并根据比较结果设置长短不同的曝光时间。

8.如权利要求6所述的机器人视觉的多帧运动图像融合系统,其特征在于,所述图像质量评估及筛选模块具体用于:

采用nrss非参考图像评价方法对获取的图像进行质量评估。

9.如权利要求6所述的机器人视觉的多帧运动图像融合系统,其特征在于,所述图像质量评估及筛选模块还用于:

获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据;

所述图像配准模块具体用于:

根据待配准的两张图像所对应的视觉传感器的位姿数据,计算出位姿转换矩阵;

根据所述位姿转换矩阵将前一帧图像投影到后一帧上,得到第一配准图像:

其中,fi2(ui,vi)表示所述第一配准图像,k表示机器人的视觉传感器的内部参数,rt表示3×3的视觉传感器的姿态转换矩阵,tt表示1×3的视觉传感器的位置转换矩阵,fi1(ui,vi)表示待配准的前一帧图像;

基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵,根据所述单应性矩阵实现第一配准图像和后一帧图像的配准,得到第二配准图像:

利用预设的频域相位算法,实现所述第二配准图像与后一帧图像的配准。

10.如权利要求9所述的机器人视觉的多帧运动图像融合系统,其特征在于,所述图像配准模块具体还用于:

以后一帧图像的特征点为中心,采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点,在平面坐标系通过所述单应性矩阵实现图像配准。


技术总结
本发明公开了一种机器人视觉的多帧运动图像融合方法及系统,该方法包括:获取机器人的运动幅度,根据运动幅度设置长短不同的曝光时间;获取预设成像周期内机器人的视觉传感器输出的图像,根据清晰度对获取的图像进行质量评估,筛选出清晰度大于预设清晰度阈值的图像;将筛选出的图像进行邻帧图像配准,得到配准后的图像;将配准后的图像进行邻帧图像融合,得到多帧图像的融合结果,从而实现高质量的图像。本发明解决了机器人六自由度的随机运动引起图像模糊的技术问题,可以广泛应用于机器人视频图像处理领域。

技术研发人员:潘京辉;彭开香;潘月斗
受保护的技术使用者:北京科技大学
技术研发日:2021.04.01
技术公布日:2021.07.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1