用于使用滚动快门相机来执行3D表面扫描和/或纹理获取的系统、装置和方法与流程

本发明总体上涉及三维(3d)计量领域，并且更具体地，涉及手持3d扫描系统和扫描仪。本文件中描述的扫描仪、系统和方法可以用于各种各样的实际应用中，包括但不限于制造、制造件的质量控制和反向工程。

背景技术：

1、对象的表面几何形状的三维(3d)扫描和数字化通常用于许多行业和服务中。使用测量传感器与表面上的点集合之间的距离的光学传感器来扫描和数字化对象的形状。

2、传统上，在手持3d扫描仪中，光学传感器包括一个、两个或更多个“定位”或“几何测量”相机，其彼此并排布置并且被配置用于获取几何和定位数据，使得能够导出表面点的测量。在一些扫描仪中，为了具有与该相同表面相关的一些纹理(也称为颜色)信息，可以在扫描仪上与一个、两个或更多个“几何测量”相机并排设置纹理(颜色)相机。

3、在高端计量分级3d手持扫描仪中，由于扫描仪在扫描处理期间移位，因此期望在结构化光图案被投射到被扫描的表面上的同时，当一个(或多个)相机的所有像素同时曝光时捕获图像。出于该原因，全局快门相机通常用于一个、两个或更多个“几何测量”相机以及用于一个或多个纹理相机。全局快门相机的关键特征是所有像素同时开始和停止整合光，并且因此即使在存在扫描仪的移动的情况下，手持扫描仪也可以获得更准确的表面测量。全局快门相机的缺点是它们通常是制造起来复杂的设备，并且与一些替代方案相比更昂贵。虽然成本对于某些高端应用可能是可接受的，但是对于其他应用情况并非如此，这对采用这种扫描仪造成了障碍。

4、可以用于一个、两个或更多个“几何测量”相机和纹理相机的另一种类型的相机是滚动快门相机。滚动快门存在于使用互补金属氧化物半导体(cmos)传感器的图像捕获设备中，诸如数字静态和视频相机、蜂窝电话相机、cctv相机和条形码读取器。利用滚动快门，通过在场景上快速扫描来捕获图片，无论是垂直地、水平地还是旋转地。与在同一时刻捕获整个帧的全局快门相反，并非场景图像的所有部分都在同一时刻用滚动快门记录。尽管捕获中存在时间滞后，但是场景的整个图像被一次显示，就好像它表示单个时刻一样。

5、滚动快门相机具有比全局快门相机便宜的优点，但是仅适用于在图像被获取时相机基本保持位置固定的应用。特别地，由于像素仅由滚动快门相机顺序地获取，因此滚动快门相机在图像获取期间存在相机移动的情况下是不理想的，如与扫描仪的(多个)相机的公共坐标系相比背景和对象移动的手持扫描仪的情况。出于这个原因，这种类型的相机不适合于高端手持扫描仪。由滚动快门相机的使用引起的数据获取中的延迟导致图像中的时间失真。此外，由于像素暴露于光的持续时间相对较长，这种相机的使用通常导致环境光与由扫描仪发射的光的照明图案之间的低对比度。

6、在上述背景下，显然，行业中仍然需要提供对低成本手持3d扫描仪的改进解决方案，其减轻滚动快门相机应用于手持3d扫描仪中的至少一些缺陷。

技术实现思路

1、提供本
技术实现要素：
是为了以简化的形式介绍构思的选择，这些构思将在下面的具体实施方式中进一步描述。本发明内容并非旨在识别所要求保护的主题的所有关键方面和/或必要方面。

2、本公开提出手持扫描仪及相关联方法和系统，其使用滚动快门相机作为一个、两个、三个或更多个“几何测量”相机进行计量测量。为了减小滚动快门相机的时间延迟的影响，手持扫描仪被配置为使得结构化光图案的投射器的激活被延迟，直到相机的像素同时活动并暴露于光。在此之后，在特定时间段之后，停用结构化光图案。该处理在扫描期间重复多次，以便在多个帧上获取纹理、几何形状和定位数据。

3、在一些实施方式中，红外(ir)光源可以由投射器用于投射光图案，并且ir发光二极管(led)可以用于照射被扫描的表面上或附近的定位目标。ir光的使用可以帮助解决投射图案与环境光之间的对比度不足的问题，这是由于滚动快门相机的光的长时间整合而发生的(当与全局快门相机相比时)。在一些实施方式中，在滚动快门几何相机透镜前面使用ir带通或长通滤光器以拒绝除ir之外的光的波长。ir投射光的使用有利地不与作为扫描仪的一部分的彩色相机的使用相冲突。

4、在一些实施例中，手持扫描仪可以包括与一个、两个、三个或更多个“几何测量”相机并排定位的彩色相机。与几何测量相机一样，彩色相机也被配置为滚动快门相机。另外，在一些实施方案中，彩色相机可以配备有液晶设备(lcd)快门，所述液晶设备(lcd)快门被配置为允许光以某些特定时间间隔通过相机传感器并由相机传感器捕获并且在其他时间间隔期间阻挡光。与彩色相机一起使用的短通滤光器(或带阻滤光器或被设计为仅透射大约400-700nm的可见光谱的带通滤光器)可以允许白光入射在lcd快门上，同时阻挡ir光谱范围内的光。lcd快门可以被配置为透射白光以获取与几何测量相机同步或与几何测量相机的获取具有延迟的彩色纹理图像。在具体实施方式中，lcd快门可以包括覆盖整个显示区域的单个光学单元，并且能够在打开状态(允许光通过的清澈状态)与关闭状态(部分或完全阻挡光通过的不透明状态)之间切换。不同的状态可以以本领域已知的不同方式实现，例如通过施加方波驱动电压以打开和关闭lcd快门。

5、根据本公开的一个方面，提供了一种用于生成与目标物体的表面相关的3d数据的扫描仪，包括：a)扫描仪框架结构，所述扫描仪框架结构安装有成像模块组，包括：i.光投射器单元，用于将结构化光图案投射到目标对象的表面上；ii.相机组，所述相机组定位于光投射器单元旁边，所述相机组包括一个或多个滚动快门相机，用于捕获传送图像组的数据，所述图像组包括投射到目标对象的表面上的光图案的反射，所述一个或多个滚动快门相机具有限定多个像素线的传感器表面；以及b)与所述成像模块组通信的一个或多个处理器，用于接收和处理传送所述图像组的数据，其中所述一个或多个处理器还被配置为向光投射器单元发送控制信号，以根据特定序列间歇地投射结构化光图案。

6、一些特定实施例可以包括一个或多个以下特征：所述一个或多个处理器可以被配置为向所述光投射器单元发送控制信号，以根据所述特定序列间歇地投射所述结构化光图案来使所述光投射器单元在以下状态之间切换：i.激活模式状态，在所述激活模式状态期间，所述光投射器单元将所述结构化光图案投射到所述目标对象的表面上；ii.停用模式状态，在所述停用模式状态期间，所述光投射器单元：1)省略将结构化光图案投射到目标对象的表面上；或2)投射所述结构化光图案的总体上衰减的版本。可以根据作为捕获周期的一部分的操作模式来激活一个或多个滚动快门相机的传感器表面，所述操作模式的特征在于：a.在其期间多个像素线中的各个像素线被同时曝光的当前特定捕获周期中的特定时间段；以及b.不同于所述特定时间段的、在其期间所述多个像素线中的各个像素线的特定子集停止被曝光用于所述当前特定捕获周期，其中，所述各个像素线的特定子集省略了多个像素线中的各个像素线的至少一个。所述各个像素线的特定子集可以省略所述多个像素线中的各个像素线的至少一些。所述光投射器单元的激活模式状态可以至少部分地与在其期间所述多个像素线中的各个像素线被同时曝光的所述特定时间段重合。所述光投射器单元的停用模式状态可以至少部分地与在其期间所述多个像素线中的各个像素线的子集停止被曝光用于所述当前特定捕获周期的时间段重合。所述一个或多个处理器可以被配置用于：a.向所述一个或多个滚动快门相机发送重置信号，以重新开始所述多个特定捕获周期中的新的特定捕获周期，在所述新的特定捕获周期期间所述多个像素线中的不同像素线被顺序地曝光用于新的特定捕获周期；b.在发送所述重置信号之后的第一延迟时段之后，向所述光投射器单元发送激活控制信号，以使所述光投射器单元切换到激活模式状态；c.在向所述光投射器单元发送激活信号之后的第二延迟时段之后，向所述光投射器单元发送停用控制信号，以使所述光投射器单元切换到停用模式状态。在一些实施方式中，所述光投射器单元可以包括光源，所述光源被配置为发射波长在特定波长范围内的光。所述一个或多个滚动快门相机可以包括至少一个滚动快门几何相机，用于生成图像数据以导出对象表面的3d测量，所述至少一个滚动快门几何相机被配置用于：a.允许波长在特定波长范围内的光通过到达传感器表面上；b.总体上衰减特定波长范围之外的光谱中的光。所述光源可以被配置为发射白光、红外光和蓝光中的至少一种。在非常具体的实施方式中，所述特定波长范围可以是红外波长范围。所述光源可以被配置为发射波长在405nm与1100nm之间的光。光源可以被体现在各种不同的设备中，包括例如但不限于，激光器和一个或多个发光二极管(led)。所述一个或多个滚动快门相机可以包括至少一个滚动快门几何相机，用于生成图像数据以导出对象表面的3d测量。所述至少一个滚动快门几何摄像机可以包括至少两个滚动快门几何摄像机。所述滚动快门几何照相机可以包括近红外照相机和/或可以包括红外滤光器，所述红外滤光器被配置为让红外光通过，并且总体上衰减红外之外的光谱中的光。

7、在一些实施例中，所述一个或多个滚动快门相机还可以包括滚动快门彩色相机，用于生成图像数据以导出与对象表面相关联的纹理信息。所述滚动快门式彩色相机可以包括液晶设备(lcd)快门。例如，所述彩色滚动快门相机包括：a.传感器；b.透镜；以及c.其中，液晶设备(lcd)快门被定位于所述传感器与所述透镜之间。所述一个或多个处理器可以被配置为向所述lcd快门发送控制信号，以在打开状态与关闭状态之间切换所述lcd快门，其中，在所述打开状态下，所述lcd快门是半透明的，并且在所述关闭状态下所述，所述lcd快门是至少部分不透明的。在一些具体实施方式中，在所述关闭状态下，所述lcd快门可以是完全不透明的，使得入射到所述lcd快门上的光总体上被阻挡而不能通过所述lcd快门。所述lcd快门在所述打开状态与所述关闭状态之间的切换可以至少部分地与光投射器单元在所述激活模式状态与所述停用模式状态之间的切换重合，使得：a.当所述光投射器单元处于所述激活模式状态时，所述lcd快门至少部分地同时处于所述打开状态；b.当所述光投射器单元处于所述停用模式状态时，所述lcd快门至少部分地同时处于所述关闭状态。所述光投射器单元可以是投射包括所述结构化光图案的第一类型的光的第一光投射器单元，并且其中，所述扫描仪可以包括第二光投射器单元，所述第二光投射器单元包括被配置用于将第二类型的光投射到所述物体的表面上的第二投射器光源。所述第二投射器光源是白光源，并且其中，所述第二类型的光是白光。例如，所述第二投射器光源可以包括一个或多个led和/或激光器。所述滚动快门式彩色相机可以包括滤光器，用于至少部分地阻挡与所述第一光投射器单元投射的光的波长相对应的光的波长，例如，所述滤光器可以被配置成阻挡红外光谱中的光。所述相机组中的一个或多个滚动快门相机可以被安装以具有至少部分彼此重叠的视场。所述一个或多个滚动快门相机可以包括两个滚动快门相机、三个滚动快门相机或更多相机。在一些非常具体的实施方式中，卷帘式快门照相机可以包括至少两个滚动快门几何相机和至少一个滚动快门彩色相机。

8、在一些实施例中，所述一个或多个处理器还可以被配置为向式破碎机光投射器单元发送控制信号，以根据特定序列间歇地投射结构化光图案，其中，所述特定序列是周期性序列，使得所述光投射器单元以规则的时间间隔将所述结构化光图案间歇地投射到所述物体的表面上。在一些实施方式中，所述一个或多个处理器可以被配置用于处理包括所述结构化光图案的反射的所述图像组，以执行所述目标对象的表面的3d重建过程。在一些替代实施方式中，所述一个或多个处理器被配置为将传送包括结构化光图案的反射的图像组的数据传输至不同于扫描仪的远程计算系统，所述远程计算系统被配置为使用传送包括光图案反射的图像组的数据来执行目标对象的表面的3d重建过程。在一些具体的实际实施方式中，例如，所述扫描仪可以是手持扫描仪或固定安装的扫描仪。

9、根据本公开的另一方面，一种用于生成与目标对象的表面相关的3d数据的扫描系统，所述扫描系统包括：a.如上所述的扫描仪；b.与所述扫描仪通信的计算系统，所述计算系统被配置用于：i.使用传送包括由扫描仪捕获的结构化光图案的反射的图像组的数据来执行目标对象的表面的3d重建过程；ii.在显示在显示设备上的图形用户界面上渲染由所述3d重建过程产生的所述目标对象的表面的至少一部分的视觉表示。

10、根据本公开的另一方面，提供了一种用于使用3d扫描仪生成与目标对象的表面相关的3d数据的方法，所述3d扫描仪具有成像模块组，包括光投射器和相机组，所述光投射器被配置为将结构化光图案投射到目标对象的表面上，所述相机组包括一个或多个滚动快门相机，用于捕获传送图像组的数据，所述图像组包括投射到目标对象的表面上的结构化光图案的反射，所述一个或多个滚动快门相机具有限定多个像素线的传感器表面，所述方法包括：a.向光投射器单元发送控制信号，以使其通过在以下状态之间切换所述光投射器单元来根据特定序列间歇地投射结构化光图案：i.激活模式状态，在所述激活模式状态期间，所述光投射器单元将结构化光图案投射到目标对象的表面上；ii.停用模式状态，在所述停用模式状态期间，所述光投射器单元:1)省略将所述结构化光图案投射到目标对象的表面上；或2)投射所述结构化光图案的总体上衰减的版本；b.其中，所述光投射器单元的激活模式状态的出现至少部分地与在其期间所述多个像素线在相同捕获周期中被同时曝光的时间段重合；c.处理所述图像组以执行目标对象的表面的3d重建过程。

11、一些具体实施例可以包括一个或多个以下特征:根据作为当前特定捕获周期的一部分的操作模式来激活一个或多个滚动快门相机的传感器表面，所述操作模式的特征在于：a.在其期间所述多个像素线中的各个像素线在当前特定捕获周期中被同时曝光的特定时间段；以及b.不同于特定时间段的、在其期间所述多个像素线中的各个像素线的特定子集在当前特定捕获周期中停止被曝光的其他时间段，其中，所述各个像素线的特定子集省略了所述多个像素线中的各个像素线的至少一个。所述各个像素线的特定子集可以省略所述多个像素线中的各个像素线的至少一些。所述光投射器单元的激活模式状态可以至少部分地与在其期间所述多个像素线中的各个像素线被同时曝光的特定时间段重合。所述光投射器单元的停用模式状态至少部分地与在其期间所述多个像素线中的各个像素线的子集在当前特定捕获周期中停止被曝光的时间段重合。在一些实施例中，该方法还可以包括：a.向一个或多个滚动快门相机发送重置信号，以启动所述多个像素线的新的特定捕获周期，在其期间所述多个像素线中的像素线顺序地开始被曝光，用于新的特定捕获周期；b.在发送所述重置信号之后的第一延迟时段之后，向光投射器单元发送激活控制信号，以使其切换到激活模式状态；c.在向光投射器单元发送激活信号之后的第二延迟时段之后，向光投射器单元发送去激活控制信号，以使其切换到去激活模式状态。

12、在一些具体实施例中，所述一个或多个滚动快门相机可以包括滚动快门彩色相机，用于生成图像数据以导出与对象表面相关联的纹理信息，并且在一些情况下所述滚动快门彩色相机可以包括液晶设备(lcd)快门。所述方法可以包括向所述lcd快门发送控制信号，用于在打开状态与关闭状态之间切换所述lcd快门，其中，在所述打开状态下，所述lcd快门是半透明的，并且其中，在所述关闭状态下，所述lcd快门是至少部分不透明的。所述lcd快门在所述打开状态与所述关闭状态之间的切换可以至少部分地与所述光投射器单元在所述激活模式状态与所述停用模式状态之间的切换重合，使得：a.当所述光投射器单元处于所述激活模式状态时，所述lcd快门至少部分地同时处于所述打开状态；b.当所述光投射器单元处于所述停用模式状态时，所述lcd快门至少部分地同时处于所述关闭状态。

13、在一些实施例中，所述一个或多个处理器还可以被配置成向所述光投射器单元发送控制信号，以根据特定序列间歇地投射结构化光图案，其中，所述特定序列是周期性序列，使得所述光投射器单元以规则的时间间隔将所述结构化光图案间歇地投射到对象的表面上。在一些实施方式中，所述方法可以包括处理包括所述结构化光图案的反射的图像组，以执行目标对象的表面的3d重建过程。在一些替代实施方式中，所述方法可以包括将传送包括结构化光图案的反射的图像组的数据传输至不同于扫描仪的远程计算系统，所述远程计算系统被配置为使用传送包括光图案反射的图像组的数据来执行目标对象的表面的3d重建过程。

14、根据本公开的另一方面，提供了一种计算机程序产品，包括有形地存储在一个或多个有形计算机可读存储介质上的程序指令，当由一个或多个处理器执行时，所述计算机程序产品的指令使得3d扫描仪执行操作以生成与目标对象的表面相关的3d数据，所述3d扫描仪具有成像模块组，包括光投射器和相机组，所述光投射器被配置为将结构化光图案投射到目标对象的表面上，所述相机组包括一个或多个滚动快门相机，用于捕获传送图像组的数据，所述图像组包括投射到目标对象的表面上的结构化光图案的反射，所述一个或多个滚动快门相机具有限定多个像素线的传感器表面，所述操作实现上述方法。

15、根据本公开的另一方面，提供了一种用于生成与目标对象的表面相关的3d数据的扫描仪。所述扫描仪包括扫描仪框架结构，所述扫描仪框架结构安装有成像模块组，所述成像模块包括：(i)光投射器单元，用于将结构化光图案投射到目标对象的表面上，所述光投射器单元具有光源，所述光源被配置用于发射波长在特定波长范围内的光；以及(ii)相机组，所述相机组定位于光投射器单元旁边，所述相机组包括一个或多个滚动快门相机，用于捕获传送图像组的数据，所述图像组包括投射到目标对象的表面上的结构化光图案的反射，所述一个或多个滚动快门相机具有限定多个像素线的传感器表面，所述至少一个滚动快门几何相机被配置用于(1)允许波长在特定波长范围内的光通过到达传感器表面；(2)总体上衰减特定波长范围之外的光谱中的光；所述扫描仪还包括与所述成像模块组通信的一个或多个处理器，用于接收和处理传送所述图像组的数据，其中，所述一个或多个处理器还被配置为向光投射器单元发送控制信号，以根据特定序列间歇地投射结构化光图案，从而使光投射器单元在激活模式状态与停用模式状态之间切换：激活模式状态，在所述激活模式状态期间，所述光投射器单元将所述结构化光图案投射到所述目标对象的表面上；在所述停用模式状态期间，所述光投射器单元省略将结构化光图案投射到目标对象的表面上，或者投射所述结构化光图案的总体上衰减的版本。

16、根据本公开的另一方面，描述了一种用于生成与目标对象的表面相关的3d数据的扫描仪，所述扫描仪包括(a)扫描仪框架结构，所述扫描仪框架结构安装有成像模块组，包括(i)光投射器单元，用于将结构化光图案投射到目标对象的表面上，(ii)相机组，所述相机组定位于光投射器单元旁边，所述相机组包括一个或多个滚动快门相机，用于捕获传送图像组的数据，所述一个或多个滚动快门相机具有定义多个像素线的传感器表面，其中所述一个或多个滚动快门相机至少包括：1)滚动快门几何相机；和2)包括滚动液晶设备(lcd)快门的快门彩色相机，用于生成图像数据以导出与对象表面相关联的纹理信息。所述扫描仪还包括与所述成像模块组通信的一个或多个处理器，用于接收和处理传送所述图像组的数据，其中，所述一个或多个处理器还被配置为向光投射器单元发送控制信号，以根据特定序列间歇地投射结构化光图案，从而使光投射器单元在以下状态之间切换：(i)激活模式状态，在所述激活模式状态期间，所述光投射器单元将所述结构化光图案投射到所述目标对象的表面上，以及(ii)停用模式状态，在所述停用模式状态期间，所述光投射器单元(1)省略将结构化光图案投射到目标对象的表面上，或者(2)投射所述结构化光图案的总体上衰减的版本。

17、在本公开中描述的并且不相互排斥的示例性实施例的所有特征能够彼此组合。一个实施例或方面的元件能够在其他实施例/方面中使用，而无需进一步提及。通过结合附图阅读以下特定实施例的描述，本发明的其他方面和特征对于本领域普通技术人员将变得清楚。