一种适用于快速点云三维重建的颜色映射方法及装置的制造方法
【技术领域】
[0001] 本发明属于三维重建技术领域，特别涉及一种适用于三维重建的颜色映射方法方 法及其装置。
【背景技术】
[0002] 现有三维信息的获取方式主要可以归纳为以下三种：
[0003] 第一种方法，利用激光扫描仪、kinect等设备直接获取深度。以深度摄像头 Kinect距离，它通过T0F(Time of Flight)的方法确定环境的深度。具体来讲，就是传感器 发出经过调制的近红外光，遇到物体后近红外光被反射，传感器通过计算光线发射和反射 的时间差和相位差，来换算被拍摄物体的距离，以产生深度信息，此外再结合传统的相机拍 摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。其测量范围 可达数米、精度小于2cm，每秒更新频率可达30~60fps。这种方法具有简单易操作的优点， 而且速度快，精度适中，只需要用设备扫描需要拍摄的场景，随后可以对拍摄的深度视频进 行线下的处理从而得到深度图。
[0004] 第二种方法，利用建模软件构建物体的三维模型。比如使用3Dsmax、maya、autoCAD 等工程制图软件，就可以在虚拟世界中建立三维场景。这种方法在游戏设计和动画设计中 非常常用。其缺点是需要大量的人工操作，如上色，贴图等。其次，虚拟世界的场景无法重 建出太多的现实细节，尤其是对于不规则物体的创建。这也就局限了第二种方法的应用。
[0005] 第三种是基于二维图像的三维重建方法。采用图像和视频流的三维重建技术，利 用相机的投影和位置关系，可以通过双目视觉的方法反算某一点在三维世界中的坐标，从 而得到稠密的三维点云。这种方法的优点是其使用的设备很灵活，比如一台或几台照相机， 或者一台摄像机，成本很低；采集的地点也很随意，室外和是内场景均可。可以说是一种性 价比很高的方法。但是其缺点是后期的算法需要经过精细的设计，需要很强大的后期算法 支持作为重建的保证。这也就降低或者抹杀了这种方法在实时场景重建方面的应用。
[0006] 关于三维场景的颜色映射方法主要可以归纳为下面两种：
[0007] 第一种方法，使用点云自带的RGB信息进行融合，在输出的三维场景将自带颜色。 这种方法意在解决点云融合部分的颜色重复和去冗余问题，主要手段有泊松blending。这 种方法可以将不同视角的带颜色的点云融合成一片点云。其优点是对于点云密度较高的输 入，blending可以有效地弥合光照的变化，使得颜色均勾，同时对于冗余的部分，blending 方法可以非常好地将冗余点去除，得到较为精细的三维场景。
[0008] 第二种方法是拍摄场景的二维图像并记录拍摄时相机的内外参数，在获得无序无 色点云后使用映射方法将二维纹理映射到三维点云上，将三维场景的数据和相机位参，对 应场景的RGB纹理分别读入，而后通过判断遮挡将可信部分通过内外参数直接映射至三维 场景。这种方法的优点在于对于低密度点云和较低分辨率的RGB纹理，本方法可以有效地 保留尽可能多的细节，避免由于点云过于稀疏所造成的对纹理下采样的情况发生。
【发明内容】
[0009] 基于以上现有技术，本发明的目的在于提供一种全新的适用于快速点云三维重建 的颜色映射方法及装置，有效地填补了快速重建领域的颜色映射方法的空白，特别对稀疏 点云的颜色映射有着非常好的效果。
[0010] 实现本发明目的的技术解决方案为：
[0011] -种适用于快速点云三维重建的颜色映射方法，具体步骤如下：
[0012] S1，将无序点云进行快速三角化，得到基于面片的三维模型；
[0013] S2,读入场景的RGB纹理信息和拍摄纹理信息时相机的位参并进行预处理，将对 应位置的RGB信息和对应相机的位参信息按对应位置读入相应数组；使用图像平滑及直方 图均衡化方法将多幅RGB纹理信息进行彩色矫正；
[0014] S3 :取步骤Sl的面片作为输入面片，判断面片在某视角下是否可见并标记，将输 入面片索引依次使用内外参数映射至当前视角，判断是否在相机视角内，如果在视角内，那 么标记为视场内可见并输出；
[0015] S4:检视前面所有视角，判断当前视角内面片是否被前面视角遮挡，并改变标记， 依次取步骤S3输出的视角内可见的面片，判断前面所有视角已染色好的面片与需要投影 的面片的遮挡关系，如被遮挡，去掉标记，否则保留标记；
[0016] S5:将视角内且未被遮挡的面片与当前视角的RGB纹理建立映射，使用内外参数 将在视场内且未被遮挡的面片投影至RGB的三角面片上，建立映射关系；
[0017] S6 :取出所有未被标记的面片压入下一个视角作为步骤S3的输入面片，将步骤 S3~S5中未被标记的面片作为新视角的输入，重复进行步骤S3直到所有视角均已映射完 毕；
[0018] S7 :所有视角映射结束后，按映射关系将点云上色，使用步骤S3~S6所建立的三 维面片和RGB纹理的映射关系映射点云，输出彩色三维场景。
[0019] 步骤S2中图像预处理的方法为：根据图像拍摄所自带的时间连续性，输入拍摄的 图像组，依次对图像进行直方图均衡化处理，得到光照较为一致的RGB纹理，便于后面进行 映射。
[0020] 步骤S3的具体步骤包括：将面片的三个顶点乘以内外参矩阵，得到在该视角下的 投影二维坐标，判断二维坐标是否在拍摄的图片像素坐标范围内，如果三个顶点都在，那么 将面片标记为视场内可见，否则标记为视场内不可见。
[0021] -种实现上述方法的装置，包括依次相连的点云快速三角化模块、输入读取模块、 图像预处理模块、纹理映射模块、遮挡判断模块和上色点云输出模块；所述遮挡判断模块与 纹理映射模块相连构成循环；所述点云快速三角化模块中，点云被读入后使用网格三角化 的方式将无序点云转化为三角面片形式，并可以建立面片索引；所述输入读取模块中，从不 同位置拍摄的场景RGB纹理和相机位参被顺序对应读入，作为后面模块中映射的依据；所 述图像预处理模块中，读入的RGB纹理需要进行直方图均衡化和平滑滤波的操作，以平衡 和消除场景光照多样性对纹理映射效果的影响；所述纹理映射模块中，将标记的面片乘以 相机的内外参数映射到二维平面下，寻找对应的纹理，记录二维平面对应的三个顶点的坐 标，并将二维平面和三维平面的定点相关联建立映射；所述遮挡判断模块中，将已经上色的 面片映射入当前视角，取视角内面片设为面片组1，取需要上色的且在视角内的面片设为面 片组2 ;取每一个面片组1中的面片X，使用kdtree搜索面片组2中相邻的面片Y ;若面片 Y的深度比面片X的大，且面片Y在映射后其顶点在面片X映射后的三角形内，那么取消 标记，判断为遮挡；所述上色点云输出模块中，将所有建立映射的点云和对应的面片进行融 合，输出彩色三维场景。
[0022] 进一步地，所述遮挡判断模块标记一部分面片进行映射后，将剩下的取消标记的 面片和前面未标记的面片合并，所述纹理映射模块作为下一个视角纹理映射的输入。
[0023] 本发明提出了一种全新的适用于快速点云三维重建的颜色映射方法。它针对快速 重建产生的无 RGB信息的三维无序稀疏点云，不采取差值方法，而采取三角面片化的方法， 通过使用内外参矩阵映射的方式进行场景贴图，通过直方图均衡化的方式在二维场景