技术特征：
1.一种基于折反射全景相机的多视图三维重建方法，其特征是，该方法包括如下步骤：步骤一，采集全景相机序列图像并对全景图像进行预处理；利用折反射全景相机进行采集序列图像，对序列图像中的冗余信息进行掩膜；掩膜后剔除大量边缘错误的特征点，从而有利于提升重建精度；步骤二，求取内参；利用matlab对全景相机进行标定，从而得到折反射全景相机的内参；步骤三，求取相机间的旋转矩阵r和平移向量t；提取orb特征点及匹配，把全景图像序列与标定好的相机内参输入预处理模块对图像进行特征提取与匹配，把匹配好的特征点反投影到单位球，然后把反投影到单位球的特征向量输入位姿解算模块，通过球面对极几何进行初始化和通过pnp算法进行跟踪求解，最后输出图像间的旋转矩阵r和平移向量t；步骤四，稠密点云重建及优化，多视图立体视觉算法进行稠密点云重建；对图像的像素点进行匹配，得到能满足重建需要的密集点云；步骤五，进行点云深度信息融合；利用光度立体算法求解目标物的深度信息，并与已经求得的点云进行融合；改善弱纹理区域三维重建的完整度低的问题；步骤六，使用meshlab进行网格贴图；显示三维效果。2.根据权利要求1所述的一种基于折反射全景相机的多视图三维重建方法，其特征在于，所述步骤三的具体求解步骤如下：(1)特征提取与匹配；(2)球面对极几何进行初始化；根据球面对极几何求基础矩阵e，根据本质矩阵e来恢复折反射全景相机的初始位姿，在初始帧中随机抽样匹配点对，并用八点法计算单次采样的本质矩阵，经过多次ransac抽样，去除无效点，计算出最优的本质矩阵e；空间点x对应到相机c1和c2的球面上的点分别为x1，x2；向量p1，p2分别为空间点x对应的两个特征点反投影的法向量；为求取相机c1到相机c2的运动，假设他们的运动关系用旋转矩阵r和平移向量t来表示；设x点的空间位置为x＝[x,y,z]
t
，两个特征点对应到单位球面的两个法向量p1，p2与空间点x的对应关系为s1p1＝x(1)s2p2＝rx+t(2)当采用齐次坐标来表示空间点坐标时，式(1)、(2)具有尺度意义下的相等，可记作这时有：p1；x(3)p2；rx+t(4)经化简得p
2t
t^p2；p
2t
t^rp1(5)式(5)中等式左侧为0，此时就得到了全景相机模型下的球面对极几何公式：p
2t
t^rp1＝0(6)
在已知p1，p2的情况下可以求出e，然后根据e恢复出相机的位姿；(3)全景相机位姿求解及三角化；利用计算出的本质矩阵e，恢复出折反射全景相机的初始位姿，并把第一幅图像的相机坐标系作为世界坐标系，采用直接线性求解方法对待估计特征点对应的归一化向量进行三角化，恢复出对应的三维坐标；同时进行ba优化；通过集束调整对相机矩阵和点云模型进行优化；得到更准确的结果。
技术总结
一种基于折反射全景相机的多视图三维重建方法，属于三维重建技术领域，为了解决弱纹理区域的三维重建完整度低的问题，该方法采集全景相机序列图像并对全景图像进行预处理；利用折反射全景相机进行采集序列图像，对序列图像中的冗余信息进行掩膜；求取内参；利用matlab对全景相机进行标定，从而得到折反射全景相机的内参；求取相机间的旋转矩阵R和平移向量t；稠密点云重建及优化，多视图立体视觉算法进行稠密点云重建；对图像的像素点进行匹配，得到能满足重建需要的密集点云；进行点云深度信息融合；利用光度立体算法求解目标物的深度信息，并与已经求得的点云进行融合；改善弱纹理区域三维重建的完整度低的问题；使用meshlab进行网格贴图；显示三维效果。显示三维效果。显示三维效果。
技术研发人员：张裕 陈蔓菲 曹猛 李梦迪 孟锦 张越 于子雯 张恺霖 陈天楷 张宁
受保护的技术使用者：长春理工大学
技术研发日：2021.07.19
技术公布日：2022/8/4