一种基于立体视觉的犯罪现场重构装置及方法
【技术领域】
[0001] 本发明涉及影像重现领域，尤其是一种应用于犯罪现场的基于立体视觉效果的影 像重构装置及方法。
【背景技术】
[0002] 犯罪现场重建技术作为侦查学中现场勘查一个新的研究理论，自上世纪90年代 以来逐渐受到各国侦查学界的重视。在实践中，公安部门也在一些案件的侦办中运用到了 犯罪现场重建的方法，并成功侦破一些大案。所谓场景重建主要是现场空间环境及物品的 位置、状态等的整体布局的静态描述和显现。犯罪现场的状态采集对于掌握破案的第一手 资料，确定破案的方向具有极其重要的作用。
[0003] 采取立体视觉的方法，通过软硬件设计，对犯罪现场进行立体重构，构建一个直观 的、连续的、整体的现场环境，为破案提供依据。现今较为成熟的犯罪现场重建方法大都是 处于照片的阶段，建立在对现场采集的照片的分析基础上，人为模拟犯罪现场，这种方法收 集的照片通常是散乱而非直观的，提供的线索具有很大的限制，而且工作繁琐，需要昂贵的 器材和专业人员。随着科技的发展，虚拟现实技术得到了广泛应用，利用虚拟现实技术，计 算机可以产生和再现一个三维的虚拟案发环境和现场，让侦查人员产生身临其境的感觉。 但以上两种方法仅关注了对现场整体环境的重建，并不是真实的犯罪现场再现，不能对某 些关键部位进行精确建模，所以也不能为破案提供准确的依据，影响案情的侦查。
【发明内容】
[0004] 本发明目的在于克服现有技术中的不足，提供一种融合立体视觉和三维重建技 术、重建犯罪现场三维模型的基于立体视觉的犯罪现场重构装置及方法。
[0005] 为实现上述目的，采用了以下技术方案：
[0006] 本发明所述装置由360度全景云台、数码相机和上位机组成；数码相机安装在360 度全景云台上，数码相机通过USB数据线与上位机连接；数码相机进行全景球面拍摄，所摄 图片实时传给上位机，上位机对图片进行处理和场景重建。
[0007] 本发明所述方法是通过数码相机进行全景球面拍摄，所得图片实时传送至上位 机，在上位机内对获取的图片进行图片匹配算法，利用SIFT特征检测和匹配，并用光束平 差法进行处理，经过光束平差法标定出相机参数后，计算出每个特征点的三维信息，利用三 维重构算法对每个特征点三维信息，生成密集点云，再对密集点云三角化等处理生成点云 模型，重建现场图像。
[0008] 其中，所述图片匹配算法是利用SIFT特征检测和匹配算法，利用尺度不变特征变 换的特性，提取每个图片中的关键点，再通过比测试的方法测试两两图像对特征的相似度 进行匹配。
[0009] 所述三维重构算法是PMVS和CMVS算法，通过PMVS和CMVS加密算法生成密集点 云，利用立体匹配得到的匹配点，根据空间坐标系和摄像机坐标系之间的关系，通过一个光 束平差法来得到二维点反投影到空间中的三维坐标，大量的匹配点最终会得到三维点云模 型；所述的PMVS算法是基于块扩展，所述的CMVS算法是对计算出的稀疏点云加密。
[0010] 所述光束平差法是基于SIFT特征匹配得到的像素点对应关系迭代地运行一个由 运动到结构的SFM步骤计算相机参数，迭代优化估计相机参数和空间三维点坐标。
[0011] 工作过程大致如下：
[0012] 数码相机安装在360度全景云台上，利用数码相机根据需要拍摄犯罪现场任意方 向的场景，并对某些特殊部位拍摄多幅图片以用于精密重构，获取的图片信息通过USB数 据线传输给上位机，在上位机中利用SIFT特征检测和匹配对图片信息进行处理，并用光束 平差法再进行处理，经过光束平差法标定出相机参数后，计算出每个特征点的三维信息，利 用三维重构算法对每个特征点三维信息，生成密集点云，再对密集点云三角化等处理生成 点云模型，重建现场图像。另外，可控制全景云台的旋转速度等参数来控制基线选取的大 小。
[0013] 与现有技术相比，本发明具有如下优点：
[0014] 1、采取立体视觉的方法，通过软硬件的设计，对犯罪现场进行立体重构，构建一个 直观的、连续的、整体的犯罪现场环境，为破案提供更准确依据。
[0015] 2、在处理图片匹配信息时可根据需要删去冗余图片和错误匹配点，节省时间成本 并能有效提尚准确性。
【附图说明】
[0016] 图1是本发明装置的硬件连接框图。
[0017] 图2是本发明方法的算法流程图。
[0018] 图3是本发明方法的立体匹配算法流程图。
[0019] 图4是本发明方法的光束平差法为核心的算法流程图。
[0020] 图5是本发明方法的基于块模型的PMVS算法流程图。
[0021] 图6是本发明方法的基于图像集划分的分部重构算法流程图。
[0022] 图7是本发明的一个模拟犯罪现场的实验效果图。
【具体实施方式】
[0023] 下面结合附图对本发明做进一步说明：
[0024] 如图1所示的本发明的硬件连接框图中，本发明所述装置由360度全景云台、数码 相机和上位机组成；数码相机安装在360度全景云台上，数码相机通过USB数据线与上位机 连接；数码相机进行全景球面拍摄，所摄图片实时传给上位机，上位机对图片进行处理和场 景重建。
[0025] 本发明所述方法是通过数码相机进行全景球面拍摄，所得图片实时传送至上位 机，在上位机内对获取的图片进行图片匹配算法，利用SIFT特征检测和匹配，并用光束平 差法进行处理，经过光束平差法标定出相机参数后，计算出每个特征点的三维信息，利用三 维重构算法对每个特征点三维信息，生成密集点云，再对密集点云三角化等处理生成点云 模型，重建现场图像。
[0026] 其中，所述图片匹配算法是利用SIFT特征检测和匹配算法，利用尺度不变特征变 换的特性，提取每个图片中的关键点，再通过比测试的方法测试两两图像对特征的相似度 进行匹配。
[0027] 所述三维重构算法是PMVS和CMVS算法，通过PMVS和CMVS加密算法生成密集点 云，利用立体匹配得到的匹配点，根据空间坐标系和摄像机坐标系之间的关系，通过一个光 束平差法来得到二维点反投影到空间中的三维坐标，大量的匹配点最终会得到三维点云模 型；所述的PMVS算法是基于块扩展，所述的CMVS算法是对计算出的稀疏点云加密。
[0028] 所述光束平差法是基于SIFT特征匹配得到的像素点对应关系迭代地运行一个由 运动到结构的SFM步骤计算相机参数，迭代优化估计相机参数和空间三维点坐标。对于这 个问题，空间三维点的坐标是未知的，相机参数也是未知的，已知的是空间点在图像中的成 像位置，该算法就是要同时迭代优化相机参数和三维点信息，也就是最小化所有三维点到 可见图像的总的重投影误差来估计相机姿态和三维点坐标。
[0029] 由于犯罪现场是一个立体的空间，针对该发明我们将相机连接到一个全景云台， 随着云台旋转可以拍摄任意角度和方向的场景。对场景中可能出现的重复重构和相机失真 等问题，本发明在算法中做了改进，以消除这些重复重构和失真。
[0030] 以下结合附图做进一步说明。
[0031]图1为本发明装置的硬件连接框图，采用数码相机对场景进行多角度任意数量的 拍摄，经过USB数据线传输到上位机做下一步的处理。
[0032] 图2为本发明方法的算法流程图，在上位机中对数码相机获取的图片进行SIFT特 征匹配，并用光束平差法进行处理，计算每个特征点的三维信息，通过CMVS和PMVS加密算 法生成密集点云，再对密集点云三角化等处理生成点云模型。
[0033] 图3是本发明方法的立体匹配算法流程图，其中图3(a)是一个立体视觉模型，图 3(b)是算法步骤，图3(c)是一个简单的实验效果图。立体匹配就是通过找到两个相机获取 的左图像和右图像中的特征点，匹配这些特征。
[0034] SIFT特征提取算法的第一步就是在图像中查找不同尺度空间下都稳定存在的特 征，得到这些特征的位置和对应关系。
[0035] SIFT提取特征的第二步是精确定位极值点，第三步是计算关键点方向参数，为了 达到旋转不变性，SIFT算