用于3D图像扫描的系统和方法

背景技术：

1、a.本发明技术领域

2、本发明一般涉及一种用于实时动态3d表面成像的3d图像扫描仪的方法和系统，本发明使用投影结构光来重建物体的深度和纹理信息。

3、b.相关技术说明

4、3d表面成像在业内是众所周知的。然而，渲染质量、速度和成本方面的限制目前限制了3d表面成像的实际应用。

5、皮肤癌是美国最常见的癌症类型，2019年诊断出超过550万新病例。大约五分之一的美国人一生中会患皮肤癌。皮肤癌发病率稳步上升，而其他癌症的发病率在同一时期有所下降。特别是，黑色素瘤是最致命的皮肤癌，其发病率在过去30年中翻了一倍多。在2015年的一项比较2007-2011年和2002-2006年癌症治疗费用的研究中，cdc和国家癌症研究所的研究人员发现，治疗皮肤癌的平均年总费用增加了126％，而其他癌症的费用增加了25％。

6、皮肤癌如果早期发现，是可以治疗的。研究表明，连续全身扫描是早期检测皮肤癌的有效方法，这可以挽救生命，改善治疗结果，并且降低医疗成本。根据风险因素，建议皮肤科医生每三个月、六个月或十二个月对患者进行全身扫描检查。只有患者遵循该指引，才能显著提高早期发现皮肤癌的机会。皮肤科医生可以通过比较同一患者在不同时间采集的扫描图像，有效地识别皮肤中的高危点，并在连续扫描中检测这些点的变化。然而，现有的使用2d摄像机的数字成像产品在实现这些目标方面效率低下，成本高昂，导致皮肤科医生及其患者采用率低。

7、立体定向全身放射治疗(sbrt)是一种针对肿瘤的高剂量癌症治疗方法。目标是提供尽可能高的剂量来杀死癌症，同时尽量减少健康器官的暴露。由于如果不对癌细胞进行精确的照射，极高的辐射剂量可能会对患者造成伤害，因此sbrt要求接受治疗的患者必须在每次治疗期间处于相同的位置，并且在治疗期间目标区域不会移动。由于每次治疗持续30分钟至1小时，这一要求对接受治疗的患者和负责持续监测患者体位以确保患者安全的临床医生来说都是一个重大挑战。

8、有几种技术试图解决这个问题。不幸的是，它们都有缺点。一些癌症诊所在治疗室设置了视频监视器，并且完全依赖治疗师来识别任何实时视频运动。治疗师通常需要同时监测多个接受治疗的患者，这会分散他们的注意力，并且进一步降低这种方法的有效性。x射线已经被用来通过配对骨骼解剖来检查整体对齐情况。它导致患者的辐射暴露增加，而且不能用于治疗期间的持续监测。放射肿瘤学家还使用激光识别患者身上的皮肤标记或纹身。研究表明，对于皮肤松弛的患者，皮肤标记或纹身在确定身体位置时是不可靠的。此外，根据需要治疗的部位，由于担心癌症相关的污名或审美吸引力，患者可能对皮肤上的永久性标记/纹身有抵抗力。

9、光学表面成像在用于患者设置和监测的放射治疗中越来越流行。它可以实时反馈患者在治疗计划期间捕获的关于参考表面的位置，允许临床医生在房间内评估和重新调整患者的设置，而无需使用辐射或皮肤标记。然而，目前市场上可用的光学表面成像系统使用2d摄像机采集图像，无法实时、高精度地捕捉人体的动态3d表面变化。未检测到的排列不一致，如髋关节或上身旋转(如前列腺癌或乳腺癌治疗)或治疗区域的微小移动(如脑瘤)，可能导致患者剂量增加、设置时间延长，并且最严重的是，对健康器官造成损害。

10、全身序列成像的广泛采用需要针对两个技术挑战的实用解决方案。第一，需要实时、高精度地捕捉动态皮肤表面。虽然目前市场上可用的高分辨率2d摄像机可以捕捉人类皮肤的颜色和纹理，但它们无法获取皮肤表面的深度信息。皮肤科医生面临的第二个痛点是使用2d摄像机系统的图像准确识别可疑病变并检查病变特征变化，这是一个费时费力的过程。由于患者对皮肤科护理的强烈需求，大多数皮肤科医生没有时间在一次扫描中检查这些成像系统产生的图像，更不用说与以前的扫描进行比较了。由于这些图像的2d特性，开发可靠的图像配准方法来精确比较在不同时间拍摄的序列图像仍然是一个重大的技术挑战。

11、改进的3d图像扫描系统和方法在这些应用和其他应用中是有益的，其中高速高质量的3d图像可以克服以前系统的局限性。

技术实现思路

1、为了解决背景部分描述的传统方法的缺点，本系统和方法的示例性实施例提供了用于实时动态3d表面成像的3d扫描仪方法和系统。该系统和方法实现了自动表面配准，并允许以更高的精度测量和对齐三维物体。

2、本文所述系统和方法的实施例提供了用于3d面部扫描的系统和方法。该系统和方法是一种高速、高分辨率的3d面部扫描系统，可通过动态表情捕获几何体和纹理。该系统和方法是便携的且容易使用，并具有精确和稳健的几何处理工具。该系统和方法适用于电影和游戏中的面部表情跟踪、vr/ar内容生成，且对于黑色素瘤检测、正畸和整形手术非常有用。

3、该系统和方法包括医疗领域的硬件和软件，可用于皮肤科医生、牙医、整形外科医生等。该系统和方法也可用于安全，以被政府官员或警察使用。该系统和方法可用于面部表情捕获系统、电影/游戏研究、vr/ar制作人、数字艺术家。

4、该系统和方法基于结构光，而且包括数字摄像机系统、数字投影仪和编程为以新颖方式操作该系统的计算机。投影仪将条纹图案投射到3d物体上，摄像机系统捕捉被结构光照射的物体的图像。投影条纹图案中的每个等相线都被畸变成3d物体上的曲线，并投影到摄像机图像上的曲线。根据相线的畸变以及投影仪、摄像机和世界之间的相对几何关系，计算算法对摄像机图像进行处理，以重建3d几何结构和纹理。

5、对捕获的条纹图像进行处理，提取相位图和纹理图像。该算法可以从相位图中计算出深度信息，并恢复物体的几何结构。这个3d扫描系统可以以高分辨率和高速捕获包括具有动态表情的表面的面部表面。

6、该系统和方法允许高速3d表面图像捕获，这在许多应用中都很有用，应用包括扫描带有动态表情的面部。该系统和方法使用的几何处理软件比传统系统更精确、更健全。

7、示例性实施例提供用于三维扫描的计算机实现的系统和方法。该系统可以包括配置为将结构光投射到三维物体上的投影仪。可以提供并配置灰度摄像机，以捕捉物体的条纹图像。该系统还可以提供配置为捕获物体的彩色图像的彩色摄像机。处理器优选配置为处理条纹图像以提取相位图和纹理图像，以从相位图计算深度信息，并基于深度信息和纹理图像执行3d表面重建。

8、根据本系统的一个示例性实施例，图像由用于捕获三维物体的条纹图像的第一摄像机和用于捕获物体的彩色纹理图像的第二摄像机捕获。优选地，第一和第二摄像机的曝光周期同步。在一个示例中，第一摄像机被触发以在每个关闭周期捕获图像，而第二摄像机被触发以在每三个周期捕获图像。

9、根据进一步的示例性实施例，结构光由正弦条纹图案组成，每个条纹图案具有通道；条纹图案为散焦图样；条纹图案具有低于8位的质量。

10、根据进一步的示例性实施例，处理器基于考虑条纹图像的强度偏置(环境)分量、条纹图像的调制分量和条纹图像的包裹相位来生成相位图；处理器根据包裹相位确定展开相位，利用希尔伯特变换(hilbert transformation)使用单个图像来实现平滑几何表面的再现，例如再现人脸。处理器可以通过重复以下步骤，使用质量引导路径跟踪算法(quality-guidance path following algorithm)确定展开相位：选择第一像素；确定第一像素的包裹相位φ(x,y)；将与第一像素相邻的像素放入优先级队列；从优先级队列中选择质量最高的第二像素。处理器可以使用双波长相位展开算法确定展开相位，其中投影仪投影具有第一波长λ1的第一条纹图案以及具有第二波长λ2的第二条纹图案，而且λ1<λ2，并且处理器基于每个波长的两个包裹相位确定展开相位。此外，处理器使用马尔可夫(markov)随机场方法确定展开相位。此外，双波长相位展开算法可以与马尔可夫随机场方法相结合，以提高展开相位的确定质量。

11、根据进一步的示例性实施例，纹理图像用于通过处理器使用基于深度学习的计算机视觉算法，例如通过使用单点检测器(ssd)结构网络进行面部检测和面部标记，来查找面部特征点并执行面部特征提取。由纹理图像生成面部皮肤区域的质量图和掩模，并且质量图和掩模由处理器输入到相位展开算法中以确定展开相位。

12、根据进一步的示例性实施例，处理器将点的世界坐标转换为摄像机坐标。处理器可以将摄像机坐标转换为摄像机投影坐标。处理器可以进一步将摄像机投影坐标转换为畸变的摄像机投影坐标，并将畸变的摄像机射影坐标转换为摄像机图像坐标。

13、根据进一步的示例性实施例，使用目标板校准摄像机的外部和内部参数。目标板可以包括包含多个较大的圆形恒星的恒星-行星图案(star-planet pattern)，每个恒星被较小的圆形行星包围，其中每个行星是实心或空心圆中的一个。摄像机的外部和内部参数可以作为优化过程进行校准。在一个示例中，使用张氏算法(zhang's algorithm)和梯度下降算法校准摄像机的外部和内部参数。摄像机的外部和内部参数的校准可考虑将多颗恒星中的每颗恒星的中心位置作为优化过程中的变量。

14、根据进一步的示例性实施例，畸变参数由处理器使用海基尔公式(heikkil'sformula)确定。

15、根据进一步的示例性实施例，处理器基于深度信息生成至少一个点云，并且处理器处理该点云以形成高质量三角形网格。处理器可以进一步执行用于图像和形状分析以及实时跟踪应用的共形几何方法。在生成至少一个点云的过程中，可以使用环境、调制和投影仪参数来估计表面法线信息。持久同源算法也可用于计算句柄循环(handle loops)和通道循环(tunnel loops)以进行拓扑去噪。此外，执行共形参数化，并将德劳内三角剖分(delaunay triangulation)和/或形心泰森多边形镶嵌(centroidal voronoitessellation)应用于共形参数的输出，以生成高质量的三角形网格。

16、根据又一示例性实施例，从两个不同的视角捕获图像以获得立体深度信息，其中处理器使用马尔可夫随机场方法来：i)确定每个像素的绝对相位以根从条纹图案确定深度信息，以及ii)并执行立体配对方法以获取立体深度信息。此外，深度信息和立体深度信息被用作生成至少一个点云的输入。

17、根据进一步的示例性实施例，第一条纹图像在第一次被捕获并由处理器用于执行第一3d表面重建，第二条纹图像在第二次被捕获并且由处理器用于进行第二3d重建，并且注册第一和第二3d重建以进行比较。使用共形几何将第二3d重建注册到第一3d重建。通过将表面映射到平面并比较得到的平面图像，将第二3d重建注册到第一3d重建。比较通过至少一个最优传输映射确定。将快速傅里叶变换(fft)应用于至少一个最优传输映射。从第一和第二条纹图像中提取纹理特征和几何特征。该比较使用泰克穆勒映射(teichmullermaps)来加强从第一和第二条纹图像中提取的特征的对齐，并减少畸变。

18、根据进一步的示例性实施例，至少一个棱镜用于改变投影仪或摄像机之一的路径。

19、根据进一步的示例性实施例，相位-高度映射建模为摄像机的每个像素处的多项式函数，并且多项式的系数在摄像机-投影仪校准过程中使用优化算法进行估计。此外，相位高度的多项式表示被存储为配置文件。

20、这些优点和其他优点将在下面的详细描述中进一步描述。