法为每个检测出来的关键点求解一个主方向，以便可以通过主方 向对特征描述向量进行对准。
[0036] 特征提取的最后一步是计算特征描述向量，为了实现旋转不变性，我们需要把坐 标系对准到关键点的方向，将描述符坐标和梯度方向根据关键点主方向进行旋转，最后对 描述向量进行归一化，作为匹配时选取特征的依据。
[0037] SIFT特征匹配算法是对每幅图片进行特征提取后，寻找图像对之间的匹配点， SIFT算法选用欧氏距离作为图像特征间匹配的标准，我们这里采用比测试的方法：对于一 幅图像的每一个特征点，找出另一张图片中与其距离最近的两个特征点，如果距离最小值 和次小值之间的比值小于某个阈值，则认为它们可以匹配。
[0038] 图4是本发明方法的光束平差法为核心的算法流程图，空间三维点的坐标是未知 的，相机参数也是未知的，已知的是空间点在图像中的成像位置，光束平差法就是要同时迭 代优化相机参数和三维点信息，也就是最小化所有三维点到可见图像的总的重投影误差来 估计相机姿态和三维点坐标。
[0039] 如果是m幅图像，n个三维空间点，如果三维点j对于相机i可见，则根据投影关 系有：
[0040] Pi= 1，? ? ?，m，j= 1，? ??，n
[0041] 式中投影矩阵Pi由相机内外参数共同组成，其中相机外参数就对应相机中心C和 主平面朝向R总共6个未知参数。而内参中假定相机像素长宽比为1，倾斜度为0,所以只 剩下以像素为单位的焦距f一个变量，本发明中用n维的向量C和m维的向量X分别表示 整个相机参数和三维点坐标的集合。qu表示三维点j在图像i中对应的特征像素坐标。这 样目标函数为：
[0042]
[0043] 其中Wl]取1时代表三维点j在相机i中可见，光束平差法的核心思想就是迭代优 化相机参数C和三维点坐标X使上述目标函数最小。
[0044] 图5是本发明方法的基于块模型的PMVS算法流程图。PMVS采取的做法是将原始 图像集划分成若干个小图像集分别进行计算，该算法将图像平面划分成2*2单元，块扩展 的目标是对每个像素单元Q(x，y)至少重建一个块，通过可见图像跟踪重建出的块信息在 附近单元生成新的块，下面是PMVS块扩展算法的流程的具体实现。
[0045] (1)找出用于块扩展的图像单元，对于一个已重建出的块p，在其所有可见图像中 找相邻单元筛选出候选扩展单元集C(p)
[0046] C (p) = {C；(x' , y') | p G Qi (x, y), | x~x' | +1 y-y' | = 1}
[0047] (2)执行块扩展生成新的块，首先对新块p'进行初始化，令n(p'）=n(p)，R(p'） =R(p)，V(p'）=V(p) :c(p'）；优化c(p'）和n(p'），接着往V(p'）中添加新的可见图片，对 f(p'）更新，也就完成了块扩展。其中，块中心c(p)，朝向相机视点的单位法向量n(p)，可 见的图像R(P)，可见图像集V(p)，块元素集Q(x，y)。
[0048]图6是本发明方法的基于图像集划分的分部重构算法流程图。对于数量非常大的 照片集，由于内存等问题无法同时进行重建，本发明在这里采用图像集划分的方法，将大量 照片分成有小的重叠的组，对每一组应用重建算法，然后将重建结果合并，得到最终的重建 模型。CMVS的图像集划分基于光束平差计算出的稀疏点云信息，基本思想是使得划分后每 个子集图片数小于某个上限N_并且任意一个稀疏点Pi都能在至少一个子集中被重建出 来。算法的输入是校正的图像集合，对每个聚类应用由运动到结构的重建算法计算出相机 姿态和稀疏点云，然后用CMVS加密算法进行处理，聚类目的就是找到重叠的图像集，使得 每个重建点能够通过一个聚类准确地重构，这也是该算法的一个优点。划分时基于三个准 贝1J:第一，每个子集中不包含冗余图像；最小化集群Ek|Ck|;第二，每个子集的图片数量都 足够小使得能满足PMVS的运行要求；第三，综合所有子集的重建结果相较于整个图像集的 重建结果损失最小。
[0049] 本发明的重叠聚类方法定义如下：
[0050]
约束条件：
[0051] ?^:k[Ck\<-a
[0052] ?W{虢覆塗点坶/{总点薮将2房
[0053] 对犯罪现场重建来说，有时候需要恢复场景中某些部分的精准信息，而且图片数 量可能也是很大的，就要用此方法进行精确建模。
[0054] 图7是本发明的一个模拟犯罪现场的实验效果图。实验中提取了 54张视图进行 三维重构，图7 (a)是模拟犯罪现场得到的54张图片，图7 (b)是由二维图像点生成的稀疏 的空间点云，包含10894个点，图7 (c)是经过CMVS算法加密生成的密集点云模型，大小为 48. 8M的点云，包含776376个点；经过CMVS和PMVS结合算法得到最终稠密的三维模型，点 云大小为110M，包含1345992个点，图7(d)到图7 (m)是从生成的三维模型中截取的10个 不同角度的图片，实验结果说明最后生成的是一个三维立体的场景，可以从任意角度观察， 能够提供直观的、连续的立体场景，为破案提供依据。
[0055] 以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范 围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方 案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【主权项】
1. 一种基于立体视觉的犯罪现场重构装置，其特征在于：所述装置由360度全景云台、 数码相机和上位机组成；数码相机安装在360度全景云台上，数码相机通过USB数据线与上 位机连接；数码相机进行全景球面拍摄，所摄图片实时传给上位机，上位机对图片进行处理 和场景重建。2. -种基于立体视觉的犯罪现场重构方法，其特征在于：通过数码相机进行全景球面 拍摄，所得图片实时传送至上位机，在上位机内对获取的图片进行图片匹配算法，利用SIFT 特征检测和匹配，并用光束平差法进行处理，经过光束平差法标定出相机参数后，计算出每 个特征点的三维信息，利用三维重构算法对每个特征点三维信息，生成密集点云，再对密集 点云三角化等处理生成点云模型，重建现场图像。3. 根据权利要求2所述的一种基于立体视觉的犯罪现场重构方法，其特征在于：所述 图片匹配算法是利用SIFT特征检测和匹配算法，利用尺度不变特征变换的特性，提取每个 图片中的关键点，再通过比测试的方法测试两两图像对特征的相似度进行匹配。4. 根据权利要求2所述的一种基于立体视觉的犯罪现场重构方法，其特征在于：所述 三维重构算法是PMVS和CMVS算法，通过PMVS和CMVS加密算法生成密集点云，利用立体 匹配得到的匹配点，根据空间坐标系和摄像机坐标系之间的关系，通过一个光束平差法来 得到二维点反投影到空间中的三维坐标，大量的匹配点最终会得到三维点云模型；所述的 PMVS算法是基于块扩展，所述的CMVS算法是对计算出的稀疏点云加密。5. 根据权利要求2和4所述的一种基于立体视觉的犯罪现场重构方法，其特征在于： 所述光束平差法是基于SIFT特征匹配得到的像素点对应关系迭代地运行一个由运动到结 构的SFM步骤计算相机参数，迭代优化估计相机参数和空间三维点坐标。
【专利摘要】本发明涉及一种基于立体视觉的场景重构装置及方法，所述装置由360度全景云台、数码相机和上位机组成；所述方法是通过数码相机对场景进行拍摄，将照片传给上位机，上位机用不同算法对这些图片进行处理。提出了处理大数量图片的CMVS和PMVS算法，该算法根据图片的特点将其分成小的子集，再对这些分成的小的子集精确建模，最后将这些子集的重建模型融合得到最终的重建。本发明可根据需要提供准确的重建信息，对特殊部位和物体进行精确建模，构造一个直观、连续、整体的犯罪现场，为破案提供依据。
【IPC分类】G06T17/00
【公开号】CN105023291
【申请号】CN201510266373
【发明人】张立国, 赵会宾, 董旺
【申请人】燕山大学
【公开日】2015年11月4日
【申请日】2015年5月22日