一种三维成像系统和方法与流程

本发明属于测量技术领域，特别涉及一种三维成像系统和方法。

背景技术：

多光谱成像技术是新一代光电探测技术，兴起于20世纪80年代，于90年代后形成研发热潮，至今仍在迅速发展之中。不同于传统的单一宽波段成像技术，多光谱成像技术，将光谱技术与成像技术相结合，在原有的二维空间成像基础上，增加了一维光谱信息，是一种将光学、光谱学、精密机械、电子技术以及计算机技术融于一体的新型遥感技术。多光谱成像技术，极大的提高了对目标探测的准确性、灵敏度，扩展了传统成像系统的探测能力，是光电探测领域的一个重大飞跃，在地质勘探、目标侦查、生命状态观察、环境监测等众多领域得到了广泛的应用。

技术实现要素：

本发明实施例提供一种三维成像系统，目的是解决现有光谱成像领域无法用于三维成像系统的问题。

本发明实施例之一，一种三维成像系统，包括待测物体及多个不同光谱光源和光场相机，

将不同光谱光线分别照射至所述的待测物体，使用光场相机分别拍摄获取所述待测物在不同光谱下的图像，同时将不同光谱下的图像进行融合，用以对待测物进行深度计算。该检测的步骤包括：用光圈匹配后的光场相机拍摄多张散焦柔光板，进行光场白图像校准，并且完成微透镜中心校准；进行光场相机尺度校准，搭设多光谱光源；用光场相机拍摄在多光谱光源下的待测物图像，处理得到多视角及深度图像；最后得到待测物的三维点云图像。

本发明实施例的有益效果之一是相对于传统的单一波段光场成像系统,多光谱光场成像系统能够获得更为全面的目标光谱信息。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是根据本发明实施例之一的三维成像方法流程图。

图2是根据本发明实施例之一的三维成像系统中光场相机拍摄在多光谱光源照射下被测物体的示意图。

图3是根据本发明实施例之一的工件三维成像示例图，其中

3a是根据本发明实施例中的工件原图像，3b是工件的光场中心视角图像；

3c是对应的深度图像；3d是对应的三维点云图像。

图4是根据本发明实施例之一的接插件针脚三维成像示例图，其中

4a是根据本发明实施例中的针脚原图像，4b是工件的光场中心视角图像；

4c是对应的深度图像；4d是对应的三维点云图像。

其中，100——光场相机，

201——第一光源，202——第二光源，203——第三光源，

300——待测物。

具体实施方式

光场相机是近些年出现的一种新型相机，光场相机在常规相机的传感器和主镜头中间增加了微透镜阵列，进而记录光线的传播方向，形成独特的经过透镜阵列编码的光场图像，对该光场图像进行处理渲染，继而可以得到三维信息。在多光谱光线下，一方面相对于传统的单一波段光场成像系统,多光谱光场成像系统能够获得更为全面的目标光谱信息；另一方面多光谱光场三维成像系统以相对较少的波段数换取了更大的空间分辨率。多光谱光场三维成像系统相比于单一波段光场成像系统能够实现更好的三维成像。

根据一个或者多个实施例，一种三维成像系统，该系统包括待测物、光场相机、光场图像处理器和一个或者多个具有不同光谱光线的光源。

光场相机，用于拍摄所述待测物，获得所述待测物的光场图像；光场图像处理器，与所述光场相机耦接，接收所述光场相机获得的所述待测物的光场图像，通过对光场图像的处理对所述待测物进行三维成像；一个或者多个具有不同光谱光线的光源，用于当所述光场相机拍摄所述待测物时以不同光谱的光源照射所述待测物，使得所述光场相机获得所需的光场图像。

该系统对待测物进行三维成像的过程包括：

用光圈匹配后的光场相机拍摄多张散焦柔光板，进行光场白图像校准，并且完成微透镜中心校准；进行光场相机尺度校准，搭设多光谱光源；用光场相机在不同光谱光线下拍摄被测物体获取多张图像，将多张不同光谱图像进行融合，并处理得到多视角及深度图像，最终获得待测物体的三维信息。

根据一个或者多个实施例，如图2所示，一种多光谱光场三维成像系统。该系统包括：待检测物体；多光谱光源，用于将光线照射至所述的待测物体；光场相机，拍摄获取所述待测物体的图像，用以对待测物体的三维形貌进行重构。其中，多光谱光源可以是一个或者多个不同光谱的光源，例如采用红光的第一光源，采用绿光的第二光源，采用采用蓝光的第三光源。

该系统的三维成像步骤包括：用光圈匹配后的光场相机拍摄多张散焦柔光板，进行光场白图像校准，并且完成微透镜中心校准；进行光场相机尺度校准，搭设多光谱光源；用光场相机拍摄待测物体并处理得到多视角及深度图像，最终获得所述的待测物体的三维信息。

根据一个或者多个实施例，一种三维成像方法，包括以下步骤，

设置一个或者多个具有不同光谱光线的光源对待三维成像的待测物进行照射，

使用光场相机在经过设置的不同光谱光线光源照射下拍摄所述待测物，获得所述待测物的光场图像，

对所述光场图像进行处理，获得所述待测物的光场多视角图像和光场深度图像，计算得到所述待测物的三维形状数据，完成待测物的三维成像。

优选的，所述的待测物体的多光谱测量方法具体包括以下步骤：

a1，调节所述光场相机的焦距和光圈，拍摄多张散焦柔光纯色校准板，获取光场相机白图像，

根据光场相机白图像计算得到去渐晕矩阵和光场相机微透镜亚像素级中心坐标矩阵；

a2，使用所述光场相机拍摄多张已知空间三维位置的圆点校准板，并建立从三维坐标到视差之间的光场数学模型，完成光场相机的尺度校准；

a3，将所述多光谱光源照射待测物体，获取待测物在多光谱光源下的拍摄图像；

a4，使用所述光场相机拍摄所述待测物体并进行光场多视角渲染及深度计算，获得光场多视角图像和光场深度图像；

a5，计算得到所述待测物的三维形状信息。

进一步的，步骤a1还包括，

调节光场相机主镜头和光圈，使光场相机的原始光场白图像的微透镜阵列恰好或近似于相切；

令光场相机拍摄多张散焦柔光纯色校准板图像，该校准板位于光场相机散焦处的光强均匀的纯色背景板，其中，

去渐晕矩阵为多张原始光场白图像w(u,v)进行平均化及归一化处理后的矩阵

光场相机微透镜亚像素级中心坐标矩阵是对光场白图像进行每个微透镜局部最大值处理后，迭代优化处理得到亚像素级微透镜中心坐标。

进一步的，步骤a2中所述的圆点校准板上各个圆点的三维坐标为已知，用光场相机拍摄该校准板后获得该校准板圆点的弥散程度及对应的视差值，进而拟合校准得到视差值和三维坐标的关系。

进一步的，步骤a3中多光谱光源的角度设置，使得多光谱光源光线能够将待测物体照射清楚，保证光场相机对所述的待测物体在多光谱光线下均能进行成像。

进一步的，步骤a4中光场相机拍摄到待测物体后进行光场多视角渲染得到光场多视角图像和光场视差图像，通过步骤a2中校准得到的视差及三维坐标的转化关系，将视差图像转化为深度图像。

进一步的，步骤a5基于尺度校准结果将深度图像进行三维映射，获取待测物体的三维点云信息。

根据一个或者多个实施例，如图1所示，一种基于光场相机的多光谱三维成像系统，包含如下步骤：

a1，根据待测物体的区域大小和测量深度范围，选择适合焦距和放大倍率的光学镜头。调节镜头光圈至光场相机光圈匹配，即微透镜光圈和主镜头光圈匹配，具体表现为光场相机拍摄散焦柔光纯色校准板图像，该图像中微透镜阵列恰好或接近于相切状态。光场白图像，或者光场相机白图像是指光场相机拍摄的纯白背景图像，这时微透镜阵列的形状会在该图像上体现的特别明显。因此可以基于该图像调节光圈，确保微透镜图像恰好相切。

调节完毕后，拍摄多张位于光场相机散焦处的光强较为均匀的纯色背景板，即散焦柔光纯色校准板。对多张光场白图像进行平均化及归一化处理后得到去渐晕矩阵后续拍摄的全部光场原始图像均需要点除以该去渐晕矩阵，从而完成光场白图像校准。这里的光场原始图像是指相对于未经过光场多视角图像算法处理的光场图像。

完成光场包图像校准步骤后，对光场白图像使用滤波器进行处理，去除光场白图像噪声，并对滤波后的光场图像进行非极大值抑制；进而根据处理后的图像取局部最大值，该最大值恰好为光场相机微透镜的整数级中心；以整数级微透镜中心作为初始迭代值，迭代优化微透镜排列网格，最终获得微透镜排列的角度及间距，获得亚像素级微透镜中心。

a2，光场相机尺度校准步骤需要装配位移台及尺度校准板：首先固定尺度校准板在光场相机焦平面区域，从焦平面处不断移动校准板到固定空间距离，并进行拍摄，且校准板上点的空间位置已知，因此可以得到整个移动过程中校准板上点的空间位置。圆点校准点在光场图像上会形成弥散圆，处理得到弥散圆的直径进而计算得到弥散圆的视差值及弥散圆的像素坐标，根据光场相机尺度校准模型，拟合得到空间中三维坐标和光场相机像素坐标和视差值的关系。

a3，如图2所示多光谱光源从不同角度对待测物体进行照射，相机能够对不同光谱下的待测物体进行拍摄。

a4，基于融合后的多光谱原始光场图像，进行常规光场渲染及深度估计。首先进行光场多视角渲染，得到待测物体的光场多视角图像；然后进一步计算获得光场视差图像，根据光场相机尺度校准结果，将光场视差图像转为光场深度图像，该深度图像中同样待测物的深度信息，从而能对待测物进行三维测量。

本发明附有2种不同类型实施示例，分别是工件测量实施示例，接插件针脚测量实施示例。

第一个实施示例具体过程如下：

根据工件大小及高度，采用光场相机搭配1倍放大倍率的镜头进行拍摄；光场相机搭配合适光圈和焦距的镜头后拍摄散焦柔光纯色校准板，进行光场白图像校准和微透镜中心校准；光场相机拍摄多张空间位置不同的尺度校准板进行光场相机尺度校准；搭配多光谱光源从不同角度置于工件上方，以至于工件在各光谱光源下均能在光场相机上良好成像；将多光谱图像进行融合且进行光场多视角渲染及深度计算，得到对应工件的中心视角图像(图3b)及对应的深度图像(图3c)；最后得到工件的点云信息及尺寸信息(图3d)。

第二个实施示例具体过程如下：

根据针脚大小及高度，本实施例采用光场相机搭配1倍放大倍率的镜头进行拍摄；光场相机搭配合适光圈和焦距的镜头后拍摄散焦柔光纯色校准板，进行光场白图像校准和微透镜中心校准；光场相机拍摄多张空间位置不同的尺度校准板进行光场相机尺度校准；搭配多光谱光源从不同角度置于针脚上方，以至于针脚在各光谱光源下均能在光场相机上良好成像；将多光谱图像进行融合且进行光场多视角渲染及深度计算，得到对应针脚的中心视角图像(图4b)及对应的深度图像(图4c)；最后得到工件的点云信息及尺寸信息(图4d)。

本发明实施例的有益效果包括：

1、光场相机在多光谱光源下，对同一观测目标的多个波段同时进行光场成像比对,以实现对其成分组成、分布状态等特性进行观测分析。相对于传统的单一波段光场成像系统,多光谱光场成像系统能够获得更为全面的目标光谱信息。

2、多光谱光场三维成像系统以相对较少的波段数换取了更大的空间分辨率，使它既保持了高光谱成像系统光谱分辨率高、识别地物能力强的优点，又具有单一波段面阵相机空间分辨率高、畸变小的特点，相较于以往的单一光源，能够获得更好的三维成像结果。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。