一种基于图像序列的目标物体三维点云生成方法

文档序号:25428171发布日期:2021-06-11 21:42阅读:来源:国知局

技术特征:

1.一种基于图像序列的目标物体三维点云生成方法,其特征在于,包括以下步骤:

获取源图像序列,计算源图像序列的灰度图像序列;

对灰度图像序列中的每一图像进行阈值分割,确定最佳分割阈值,依据最佳分割阈值对灰度图像序列进行分割,保留大于最佳分割阈值的像素作为目标物体像素,得到目标灰度图像序列,对应保留源图像序列中的目标物体像素,得到目标图像序列;

对目标图像序列进行特征点检测,提取保存特征点,计算特征点的模值及方向;

组件目标图像序列中的有效准匹配对,所述有效准匹配对中的两个特征点的模值及方向相等,记为目标图像序列中第p图像与第p+1图像的第q个有效准匹配对;从有效准匹配对中删除误匹配对,得到有效匹配对;

根据得到的有效匹配对计算第p图像与第p+1图像间的基础矩阵fp;获取相机的内部参数矩阵k;根据得到的基础矩阵fp计算本征矩阵ep,对本征矩阵ep进行奇异值分解计算出第p图像及第p+1图像间的相机的外部参数旋转矩阵rp、平移矩阵tp:

根据旋转矩阵rp、平移矩阵tp计算第p图像和第p+1图像间有效匹配对的点云数据位置:

其中,x′=(x′,y′,1)为有效匹配对中第p+1图像中的特征点的位置;

将所有有效匹配对全部算出,组成点云数据组,将得到的点云数据组变换到同一坐标系下,剔除重复数据点,生成目标物体三维点云。

2.根据权利要求1所述的基于图像序列的目标物体三维点云生成方法,其特征在于,源图像序列的灰度图像序列的计算方法为:

对源图像序列中每一图像的每一像素点,做灰度值计算:

gray=0.299r+0.587g+0.114b(2)

gray为灰度值,r、g、b分别为像素点的r、g、b三通道值;

将每个像素点的灰度值存储在对应源图像序列像素点的新图像序列的像素点中,将新图像序列作为灰度图像序列。

3.根据权利要求1或2所述的基于图像序列的目标物体三维点云生成方法,其特征在于,最佳分割阈值的确定方法为:

(a1)统计灰度图像序列中0~255各灰度色阶对应的像素个数,记μ(t)(t=0,1,2,…,255)为灰度值t对应的像素个数;

(a2)计算图像的灰度值的均值

式中,p[μ(t)]为灰度值为t的像素个数μ(t)的概率函数;

(a3)计算图像中待分割物体目标图像像素c0的平均灰度μ1:

其中,pr(i|c0)表示灰度值为i的像素个数占分割物体目标图像像素c0的概率,pi为灰度值为i的像素占总像素个数的概率;

(a4)计算图像中待分割物体目标图像像素c0的像素数所占比例ω1:

其中,n1为目标图像c0像素数,sum为图像像素总数;

(a5)计算图像中背景图像像素c1的平均灰度μ2:

其中,pr(i|c1)表示灰度值为i的像素个数占背景图像像素c1的概率,pi为灰度值为i的像素占总像素个数的概率;

(a6)计算图像中背景图像像素c1的像素数所占比例ω2:

其中,n2为背景图像c1像素数;

(a7)计算最佳分割阈值tbest,所述最佳分割阈值tbest为使类间方差g(t)最大的t值,

其中,α∈(0,1)视每一张图像分割二值化效果图调整取值。

4.根据权利要求1或2所述的基于图像序列的目标物体三维点云生成方法,其特征在于,特征点的检测方法为:

对目标灰度图像序列中的每一图像像素值f(x,y)进行如下处理:

(b1)将图像像素值f(x,y)在不同的高斯平滑参数σ下进行高斯滤波gσ计算:

(b2)计算图像像素值f(x,y)的dog响应图像dogf:

dogf(x,y)=dog*f(x,y)=g1(x,y)-g2(x,y)(10)

(b3)重复(b1)、(b2)步骤得到dogf1(x,y)、dogf2(x,y)、dogf3(x,y);

对dogf2(x,y)中所有值进行检测,若某个dogf2(x,y)在dogfi(x+n,y+m)(i=1,2,3;n=-1,0,1;m=-1,0,1)中为极大或极小值,则标记该像素点为特征点,记为目标图像序列中第m个图像的第k个特征点,特征点的位置为(x,y)。

5.根据权利要求4所述的基于图像序列的目标物体三维点云生成方法,其特征在于,令所述特征点的模值为m,计算方法为:

其中,l所用的尺度为特征点所在的尺度,有:

l(x,y,σ)=g(x,y,σ)*i(x,y)(12)

中,σ为自主选定的参数,且在所有特征点中保持不变。

6.根据权利要求5所述的基于图像序列的目标物体三维点云生成方法,其特征在于,令所述特征点的方向为θ,计算方法为:

θ(x,y)=tan-1((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))(13)。

7.根据权利要求1或2所述的基于图像序列的目标物体三维点云生成方法,其特征在于,删除误匹配对的方法为:

(c1)从有效准匹配对kpmq′中选取前m个不共线的样本数据,m≥4,由式计算出最佳单应性矩阵,记为模型m;

其中(x,y)、(x',y')分别表示有效准匹配对kpmq′中两对特征点的位置,s为尺度参数,通常令h33=1来归一化矩阵;

(c2)基于模型m,计算有效准匹配对kpmq′中所有数据的投影误差e:

若e<0.75,则保留数据,否则剔除;

(c3)设最优有效匹配对kpm′best,kpm′best的初始值=kpm1′,如果当前有效准匹配对kpmq′元素个数大于最优有效匹配对kpm′best,则kpm′best=kpmq′,同时更新迭代次数kk:

其中,p为置信度,取值0.995,w=kpm′best元素个数/kpmq′元素个数,初始迭代次数kk0中kpm′best的元素个数为1;

(c4)如果迭代次数大于kk,则退出循环,记kpmq为有效匹配对kpmq=kpm′best;否则迭代次数加1,并重复上述步骤(c3)。

8.根据权利要求1或2所述的基于图像序列的目标物体三维点云生成方法,其特征在于,所述相机的内部参数矩阵为:

其中,fx,fy为焦距,x0、y0为主点坐标,s为坐标轴倾斜参数。

9.根据权利要求1或2所述的基于图像序列的目标物体三维点云生成方法,其特征在于,第p图像与第p+1图像间的基础矩阵fp的计算方法为:

其中,x=k-1(x,y,1),x′=k-1(x′,y′,1)为有效匹配对中的一对匹配点归一化后的像坐标,原点位于图像中心。


技术总结
本发明公开了一种基于图像序列的目标物体三维点云生成方法,以分割图像为基础,对分割出的目标图像序列进行特征点检测、提取、匹配以及减少误匹配对,得到有效匹配对,再对有效匹配对进行三维点云重建,以得到较高质量及精度的目标物体三维点云模型。本发明能有效提高三维建模流程的效率,提高三维点云模型的质量,降低各环节处理误差出现的概率,适用于智能机器人开发的研制,对智能机器人作业,尤其是水下机器人作业的效率有着重要的工程价值和理论指导意义。

技术研发人员:袁利毫;昝英飞;韩端锋;祝海涛;钟声华;秦浩
受保护的技术使用者:哈尔滨工程大学
技术研发日:2021.03.01
技术公布日:2021.06.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1