单表面三维重构方法、装置和系统与流程

本发明涉及计算机视觉技术，尤其涉及一种单表面三维重构方法、装置和系统。

背景技术：

三维重构是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

在计算机视觉中，目标的三维重构技术一直是机器视觉领域中的热点话题，在最近几年中得到了不断的发展，并提出了多种三维重构方法，如基于变形失真的重构方法、光路三角测量、偏振分析等方法。

但这些三维重构方法均关注于能量信息或几何信息中的一种，也就使得这一些三维重构方法大都需要复杂的计算。

具体来说，在这些三维重构方法中，偏振分析和光路三角测量由于其具有较强的灵活性和适用性而受到研究人员的广泛关注。偏振分析由Daisuke Miyazaki等人提出，展现了优秀的适用性和测量精度。然而，该方法确定光线的法向量之后缺少必要的几何信息，所以要进行一系列的迭代运算来获取深度信息。光路三角测量方法，通过系统的特征例如观察点的数目来描述一系列重构场景，并取得了了多种实际结果。该方法原理简单并可得到较高精度。然而由于缺少能量信息，该测量需要沿着光路得到一系列不同的深度点，通过比较以论证正确的深度。

因此，现有技术中的目标的三维重构技术均关注于能量信息或几何信息中的一种，导致计算量较大，效率较低。

技术实现要素：

本发明提供一种单表面三维重构方法、装置和系统，用于解决现有技术中进行三维重构时计算量较大，效率较低的技术问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种单表面三维重构方法，用于在三角测量光路中对目标的具有镜面反射的前表面进行三维重构，所述三角测量光路的发光端采用自然光作为入射光照射所述前表面，所述三角测量光路的相机端获得所述前表面所反射出的反射光，所述方法包括：

根据所述反射光的偏振度，计算所述反射光对应的法向量；

由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量；

利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量；

根据所述三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置；

根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面。

其中，所述根据所述三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置，可以包括：

在所述三角测量光路中，预先对所述发光端与相机端之间进行像素点标定，获得所述发光端的光源平面上各像素点与所述相机端的像平面上各像素点之间的对应关系；

根据所述相机端的像平面上对于所述反射光成像的第一像素点，查询像素点标定所获得的对应关系，获得在所述发光端的光源平面上出射对应入射光的第二像素点；

根据所述第一像素点位置以及所述反射光的方向向量，确定所述反射光的空间位置，以及根据所述第二像素点位置以及所述入射光的方向向量，确定所述入射光的空间位置。

其中，所述预先对所述发光端与相机端之间进行像素点标定，可以包括：

在所述三角测量光路中，采用所述发光端的光源平面向所述前表面投射编码结构光的方式，进行像素点标定。

其中，所述编码可以包括格雷码。

其中，所述由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量，可以包括：

预先对所述三角测量光路进行相机标定，确定所述相机端的像平面上各像素点所对应的世界坐标系中的坐标点；

将所述反射光在所述相机端的像平面上所成像的第一像素点对应的世界坐标系中坐标点，与所述像平面光心所对应的世界坐标系坐标点连线；

将所述连线的方向向量作为所述反射光的方向向量。

其中，所述根据所述反射光的偏振度，计算所述反射光对应的法向量可以包括：

将测量所获得的所述反射光的偏振度ρ，代入偏振度与入射角之间的函数关系，获得所述反射光对应入射光的入射角θ；

依据所述反射光的偏振方向与所述入射光所在入射面的方位角Ф相垂直，确定指向所述三角测量光路的入射面的方位角Ф；

根据所述入射光的入射角θ，以及所述入射面的方位角Ф，确定所述法向量

其中，所述偏振度ρ与入射角θ之间的函数关系可以为：

其中，n为所述目标的材料相对折射率。

其中，所述利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量可以包括：

将所述反射光的方向向量和所述法向量代入公式获得所述入射光的方向向量

其中，所述目标可以为透明状态，与所述前表面相对的后表面设置有吸光层。

第二方面，提供了一种单表面三维重构装置，用于在三角测量光路中对目标的具有镜面反射的前表面进行三维重构，所述三角测量光路的发光端采用自然光作为入射光照射所述前表面，所述三角测量光路的相机端获得所述前表面所反射出的反射光，所述装置包括：

法向量计算模块，用于根据所述反射光的偏振度，计算所述反射光对应的法向量；

方向向量计算模块，用于由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量；利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量；

空间位置计算模块，用于根据所述三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置；

重构模块，用于根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面。

第三方面，提供了一种单表面三维重构系统，所述系统用于对目标的具有镜面反射的前表面进行三维重构，所述系统包括：发光端、相机端，以及第二方面所述目标的单表面三维重构装置；

所述发光端采用自然光作为入射光照射所述目标的前表面，所述入射光经由所述前表面反射获得反射光，所述反射光入射到所述相机端；所述入射光和所述反射光之间具有夹角；

所述单表面三维重构装置，与所述相机端连接，用于采集所述相机端所接收的反射光，以根据所述反射光对所述前表面进行重构。

其中，所述相机端可以包括相机和偏振片；

所述偏振片，设置于所述相机的入光方向，所述偏振片的表面与所述相机的像平面平行，用于通过旋转偏振角度测量所述反射光的偏振度。

其中，所述发光端可以采用面光源方式出射入射光。

其中，所述目标可以为透明目标，与所述前表面相对的后表面设置有吸光层。

本发明实施例提供的单表面三维重构方法、装置和系统，通过在三角测量光路中，测量目标前表面反射光的偏振度之后，根据偏振度计算出该反射光对应的法向量，进而由三角测量光路所预先进行的相机标定，确定出该反射光的方向向量，以及利用反射光的方向向量和前述步骤中所获得的法向量，计算入射光的方向向量。在分别获得入射光和反射光的方向向量之后，根据三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合该入射光的方向向量的入射光的空间位置，以及符合反射光的方向向量的反射光的空间位置，以根据入射光的空间位置和反射光的空间位置之间的交点，重构前表面。也就是说，一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例所提供的单表面三维重构系统的结构示意图；

图2为偏振度ρ的示意图；

图3为法向量示意图；

图4为格雷码像素点标定的示意图；

图5为单表面三维重构装置30的结构示意图；

图6为本发明实施例四提供的一种单表面三维重构方法的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面结合附图对本发明实施例提供的单表面三维重构方法、装置和系统进行详细描述。

实施例一

图1为本发明实施例所提供的单表面三维重构系统的结构示意图，如图1所示，包括：发光端10、相机端20和单表面三维重构装置30。

本实施例所提供的系统用于对目标40具有镜面反射的前表面进行三维重构。

具体来说，发光端10采用自然光作为入射光R₁照射目标的前表面，入射光R₁经由前表面反射获得反射光R₂，反射光R₂入射到相机端20。如图1所示，入射光R₁和所述反射光R₂之间具有夹角，从而发光端10、相机端20和目标40共同构成的三角测量光路。

在目标40为透明状态下，为了避免目标40的后表面对前表面重构造成影响，在目标40的后表面设置有吸光层。这是由于后表面与前表面相对设置，吸光层主要用于吸收掉发光端10透过前表面照射到后表面的光线，从而避免这些光线反射进入相机端20。

需要说明的是，本领域技术人员可以想到在光路四周增加吸光材料，吸收环境杂散光，以进一步提高测量精度，本实施例中对于吸光材料的设置方法不再赘述，可参见光学测量中的相关内容。

单表面三维重构装置30与相机端20连接，用于采集相机端20所接收的反射光R₂，以根据反射光R₂对前表面进行重构。

具体来说，单表面三维重构装置30用于采集相机端20所接收的反射光R₂，根据反射光R₂的偏振度，计算所述反射光R₂对应的法向量进而由三角测量光路所预先进行的相机标定，确定出反射光的方向向量利用反射光的方向向量和所述法向量计算所述入射光的方向向量根据三角测量光路所预先进行的发光端10与相机端20之间的像素点标定，确定符合入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置，由于入射光R₁和反射光R₂在前表面出发生反射，因此，在空间位置上，入射光R₁和反射光R₂之间的交点一定位于前表面上，据此，可以根据入射光的空间位置和反射光的空间位置之间的交点，重构前表面。

本实施例中，通过在三角测量光路中，测量目标前表面反射光的偏振度之后，根据偏振度计算出该反射光对应的法向量，进而由三角测量光路所预先进行的相机标定，确定出该反射光的方向向量，以及利用反射光的方向向量和前述步骤中所获得的法向量，计算入射光的方向向量。在分别获得入射光和反射光的方向向量之后，根据三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合该入射光的方向向量的入射光的空间位置，以及符合反射光的方向向量的反射光的空间位置，以根据入射光的空间位置和反射光的空间位置之间的交点，重构前表面。也就是说，一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

需要说明的是，在本实施例中未对发光端10采用面光源还是点光源进行限制。在发光端10采用点光源的情况下，由于每一次执行前述过程仅能够对前表面中的某个点进行重构，因此，需要以扫描方式，重复执行以上过程，从而完成整个前表面的重构。若发光端10采用面光源时，则避免了重复扫描的步骤，能够有效提高重构效率。

实施例二

在上一实施例中，并未对发光端10采用面光源还是点光源进行限制，本实施例中为了提高重构效率，发光端10采用面光源方式出射入射光R₁。具体来说，发光端10的光源平面上具有多个像素点，这里为了与相机端20中相机的第一像素点区分，称为第二像素点，光源平面上的第二像素点发出该入射光R₁，经由前表面反射后，相机端20接收到反射光R₂。

为了计算简便，这里将每一条入射光R₁对应一个发出该光线的第二像素点，以及将每一条反射光R₂对应一个接收该光线的第一像素点。为了进行前表面重构，我们需要确定每一条入射光R₁所对应的反射光R₂，以及入射光R₁和对应的反射光R₂的空间位置，以确定两者之间的交点。下面我们以一条入射光R₁以及所对应的反射光R₂为例，对重构过程进行详细说明。

如图1所示的相机端20的结构，相机端20包括相机21和偏振片22。偏振片22的表面与所述相机21的像平面平行，用于通过旋转偏振角度测量所述反射光R₂的偏振度。

由于在图1所示的系统中，在发射方向上，当一束自然光在被测表面上发生镜面反射时，自然光由于光波中的P波和S波的反射率不同，自然光的入射光R₁所反射的反射光R₂会变为部分偏振光，且反射光R₂主要含有S波的偏振光。可以通过对相机端20入光方向上所设置的偏振片22进行旋转，确定各偏振角度的光强。图2为偏振度ρ的示意图，如图2所示，可以根据各偏振角度的光强，计算出反射光R₂的偏振度ρ。

具体地，根据菲涅尔公式，可以获得偏振度ρ与入射角θ之间的函数关系：

其中，n为所述目标的材料相对折射率。并根据系统的搭建的入射角θ通常小于布儒斯特角，便可以唯一确定出入射角θ。

但确定入射角θ之后，还需要确定入射面的方位角Ф，才能够确定出法向量而对于入射面方位角Ф可以基于反射光S波的特性，具体来说，因为镜面反射中，S波占据有反射光R₂的主要成分，因此，使得反射光R₂的偏振方向与入射面的方位角Ф具有相互垂直的对应关系。通过旋转偏振片，找到光强最强的方向，这个方向便为反射光R₂的偏振方向。图3为法向量示意图，如图3所示，由于系统搭建已确定了如图1所示的光路与发光端10、相机端20以及目标40之间的相对位置关系，在此限制下，可以确定入射面的方位角Ф应当朝向反射方向上的发光端10和相机21，而不是与之相背对。可以由此唯一确定出入射面的方位角Ф。

在获得入射角θ和入射面的方位角Ф之后，可以代入到如下公式中：

计算获得法向量

依据预先对三角测量光路所预先进行的相机标定，确定出反射光的方向向量。具体地，预先对所述三角测量光路进行相机标定，确定相机端20的像平面上各像素点所对应的世界坐标系中的坐标点，将反射光R₁在相机端20的像平面上所成像的第一像素点对应的世界坐标系中坐标点，与像平面光心所对应的世界坐标系坐标点连线，将连线的方向向量作为反射光的方向向量

进而，利用反射光的方向向量和法向量计算入射光的方向向量具体地，将反射光的方向向量和法向量代入公式获得所述入射光的方向向量

然后，可以根据三角测量光路所预先进行的发光端10与相机端20之间的像素点标定，确定符合入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置。

具体来说，在三角测量光路中，预先对发光端10与相机端20之间进行像素点标定，获得发光端10的光源平面上各像素点与相机端20的像平面上各像素点之间的对应关系，根据相机端20的像平面上对于所述反射光R₂成像的第一像素点，查询像素点标定所获得的对应关系，获得在所述发光端10的光源平面上出射对应入射光的第二像素点。根据第一像素点位置以及反射光的方向向量确定所述反射光R₂的空间位置，以及根据所述第二像素点位置以及所述入射光的方向向量确定所述入射光R₁的空间位置。

根据入射光R₁的空间位置和反射光R₂的空间位置之间的交点，重构前表面。

这里仅描述了一条入射光R₁以及所对应的反射光R₂，在实际应用中，需要对全部入射光R₁以及所对应的反射光R₂进行求解，才能够对前表面进行完整重构。

需要说明的是，本实施例中，在进行发光端10与相机端20之间的像素点标定时，考虑到目标具有强烈的内反射，采用了向目标投射格雷码的方式，计算出第二像素中的直接成分和间接成分，比较光强与二者组成区间的关系，确定像素的0，1值，得到部分第一像素和第二像素之间的对应关系，再通过掩膜和迭代方式完成剩余像素之间的匹配。图4为格雷码像素点标定的示意图，本领域技术人员还可以采用其他编码结构光，本实施例中对此不做限定。

实施例三

为了清楚说明前述实施例中，所提及的单表面三维重构装置30，图5为单表面三维重构装置30的结构示意图，如图5所示，单表面三维重构装置30包括：法向量计算模块31，方向向量计算模块32，空间位置计算模块33和重构模块34。

法向量计算模块31，用于根据所述反射光的偏振度，计算所述反射光对应的法向量。

方向向量计算模块32，用于由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量，利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量。

空间位置计算模块33，用于根据所述三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置。

重构模块34，用于根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面。

单表面三维重构装置30主要用于在三角测量光路中对所述目标的前表面进行三维重构，其中，三角测量光路的发光端采用自然光作为入射光照射所述前表面，所述三角测量光路的相机端获得所述前表面所反射出的反射光。

由于单表面三维重构装置30一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

本实施例所提供的装置用于在实施例一和二所提供的系统中执行三维重构的相应步骤，步骤的具体实现参见前述实施例中的相关描述，本实施例中对此不再赘述。

实施例四

本实施例提供了一种单表面三维重构方法，用于在如图1所提供的系统中，进行单表面三维重构。本实施例所提供的方法可以具体由图1中相机端20的处理芯片执行。图6为本发明实施例四提供的一种单表面三维重构方法的流程示意图，如图6所示，方法包括：

步骤401，根据反射光的偏振度，计算反射光对应的法向量。

具体地，将测量所获得的所述反射光的偏振度ρ，代入偏振度与入射角之间的函数关系，获得所述反射光对应入射光的入射角θ；依据所述反射光的偏振方向与所述入射光所在入射面的方位角Ф相垂直，确定指向所述三角测量光路的入射面的方位角Ф；根据所述入射光的入射角θ，以及所述入射面的方位角Ф，确定所述法向量

其中，偏振度ρ与入射角θ之间的函数关系为：

n为所述目标的材料相对折射率。

步骤402，由三角测量光路所预先进行的相机标定，确定出反射光的方向向量。

具体地，预先对所述三角测量光路进行相机标定，确定所述相机端的像平面上各像素点所对应的世界坐标系中的坐标点；将所述反射光在所述相机端的像平面上所成像的第一像素点，与所述第一像素点所对应的坐标点连线；将所述连线的方向向量作为所述反射光的方向向量。

步骤403，利用反射光的方向向量和法向量，计算入射光的方向向量。

具体地，将所述反射光的方向向量和所述法向量代入公式获得所述入射光的方向向量

步骤404，根据所述三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置。

具体地，在所述三角测量光路中，预先对所述发光端与相机端之间进行像素点标定，获得所述发光端的光源平面上各像素点与所述相机端的像平面上各像素点之间的对应关系。根据所述相机端的像平面上对于所述反射光成像的第一像素点，查询像素点标定所获得的对应关系，获得在所述发光端的光源平面上出射对应入射光的第二像素点。根据所述第一像素点位置以及所述反射光的方向向量，确定所述反射光的空间位置，以及根据所述第二像素点位置以及所述入射光的方向向量，确定所述入射光的空间位置。

可选地，预先对所述发光端与相机端之间进行像素点标定可以采用在所述三角测量光路中，采用所述发光端的光源平面向所述前表面投射编码结构光的方式，进行像素点标定。其中，编码包括格雷码。

步骤405，根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面。

本实施例中，通过在三角测量光路中，测量目标前表面反射光的偏振度之后，根据偏振度计算出该反射光对应的法向量，进而由三角测量光路所预先进行的相机标定，确定出该反射光的方向向量，以及利用反射光的方向向量和前述步骤中所获得的法向量，计算入射光的方向向量。在分别获得入射光和反射光的方向向量之后，根据三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合该入射光的方向向量的入射光的空间位置，以及符合反射光的方向向量的反射光的空间位置，以根据入射光的空间位置和反射光的空间位置之间的交点，重构前表面。也就是说，一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。