一种基于光线跟踪算法的非视域成像方法与流程

本发明公开了一种基于光线跟踪算法的非视域成像方法，属于计算成像领域。

背景技术：

随着成像设备的不断增加，成像方式也在不断丰富化，自2009年出现以激光器和基于门控的iccd作为成像设备的非视域成像方法出现以来，非视域成像开始显现出在军事探测、危险场景探测以及自动驾驶相关的汽车盲区探测方面的应用潜力。随着研究人员的不断创新，非视域成像的方法不断增加，但大部分都摆脱不了激光器作为主动光源，在很大程度上限制了非视域成像在实验室以外的应用。直到近两年开始出现被动非视域成像的方式，非视域成像再一次迸发出在探测方面的应用潜力。

技术实现要素：

本发明的目：针对上述现有技术存在的问题和不足，本发明提出了一种基于光线跟踪算法的非视域成像方法，不使用激光等主动光源，成本较低，而且在实验室以外的环境仍可实现应用。

技术方案：一种基于光线跟踪算法的非视域成像方法，包括以下步骤：

步骤1：采用相机获取nlos场景在漫反射面上产生的漫反射图像；

步骤2：采用逆透视变换和重采样技术提取漫反射图像中对应实际空间中为矩形的区域内的图像并将该部分图像变换成指定分辨率的矩形图像；

步骤3：确定步骤2得到的矩形图像的尺寸及空间位置，根据矩形图像内存在的像素点个数，得到每颗像素点中心的空间坐标；

步骤4：确定待成像的nlos场景所在区域的尺寸及空间位置；

步骤5：由步骤3得到的矩形图像的尺寸及空间位置和步骤4得到的待成像的nlos场景所在区域的尺寸及空间位置建立光传输矩阵；所述光传输矩阵的维度取决于矩形图像的总像素数和待成像的nlos场景的总像素数，行数为步骤1得到的漫反射图像的总像素数，列数为待成像的nlos场景的总像素数；该光传输矩阵中的每个元素代表待成像的nlos场景中的一颗像素信息到漫反射图像的一颗像素信息的转换关系，所述转换关系由光线跟踪算法中光辐射传播公式计算得到；

步骤6：根据步骤2得到的矩形图像和步骤5得到的光传输矩阵建立优化问题，求解该优化问题得到nlos场景图像。

进一步的，在执行步骤3之前，可根据实际需求对矩形图像进行降采样。

进一步的，所述待成像的nlos场景所在区域的尺寸及空间位置与矩形图像的尺寸及空间位置在同一坐标系下确定。

进一步的，所述转换关系采用转换矩阵t表示：

式中，漫反射图像上的任意一颗像素点pi，其中i∈[1，m*n]，来自待成像的nlos场景图像上的任意一颗像素点p′j，其中j∈[1，x*y]，ρ表示漫反射面的反射率，θ′表示入射光线跟nlos场景表面法线的夹角，wi是入射光线的方向向量，wo是反射光线的方向向量，lo(p，wo)表示在漫反射面p点处沿wo方向反射光线的亮度，θi是入射光方向向量与漫反射材料在p处的法向量的夹角，s为待求解的nlos场景表面的面积；

假设漫反射图像表示为图像矩阵d，待成像的nlos场景表示为图像矩阵f，则关系表示如下：

d＝tf(9)

进一步的，所述步骤6具体包括以下子步骤：

判断转换矩阵t是否可逆，若可逆，则根据式(9)计算得到待成像的nlos场景对应的图像矩阵f；

f＝t^-1d(10)

若不可逆，则进行以下步骤：

得到转换矩阵的伪逆为f的最小二乘逼近；

根据漫反射图像类型建立对应的优化问题，并进行求解得到待成像的nlos场景对应的图像矩阵f：

f＝argmin(||tf-d||²+λ1||f||tv+λ2b)(12)

其中，||f||tv为图像矩阵f的总变差，其计算方式为：

b为桶形函数，其计算方式为：

其中，λ1,λ2为正则化系数，fi，j为图像矩阵f的i行j列像素值，x,y分别表示图像矩阵f的总行数和总列数。

进一步的，所述漫反射图像包括单通道灰度图像、rgb三通道彩色图像、拜尔滤波模式的rgbg四通道彩色图像中的任意一种；

若漫反射图像为单通道灰度图像，则建立一个优化问题，并求解得到nlos场景图像对应的矩阵f；若漫反射图像为rgb三通道彩色图像，则将三通道的数据分离，对三个通道分别建立优化问题，求解得到三通道数据，将三通道数据进行组合得到nlos场景图像对应的矩阵f；若漫反射图像为拜尔滤波模式的rgbg四通道彩色图像，则将四通道的数据分离，对两个g通道的数据进行平均得到三个通道的数据，针对三个通道建立优化问题，求解得到三通道数据，将三通道数据进行组合得到nlos场景图像对应的矩阵f。

有益效果：本发明的基于光线跟踪算法的非视域成像方法，相较于传统的主动式非视域成像方法，不需要激光的昂贵的主动光源以及特定的图像采集装置，同时相对于基于偏振信息的被动式成像的方式需要采集偏振信息采集装置和基于相干性信息的被动式成像的方式需要干涉仪采集相干性信息，本发明基于漫反射的强度信息只需要普通相机，大大提高了应用的可能性。

附图说明

图1为根据本发明实施例的非视域场景侧视图；

图2为根据本发明实施例的非视域场景俯视图；

图3为亮度传播计算示意图；

图4为漫反射面接收来自半球空间入射光示意图；

图5为漫反射面接收来自nlos场景光线示意图；

图6为相机fov内逆透视变换区域示意图；

图7为漫反射图像矩阵与nlos场景图像矩阵示意图。

具体实施方式

现结合附图和实施例进一步阐述本发明的技术方案。

本发明的基本思想为：现有的被动式非视域成像主要分为利用光线强度、偏振信息以及相干性信息三种原理，而本发明是一种利用漫反射强度信息来进行重建非视域场景的方法，无需借助昂贵的成像设备，只需一台普通的相机用来记录漫反射面上反射的非视域场景的强度信息(灰度或rgb信息)，然后利用光线跟踪算法中光线传播的原理来推导漫反射图像中每颗像素对应的光线的反向传播过程，从而重建出非视域场景的图像。

因此，本实施例利用非视域场景在其前的漫反射面上所产生的投影，该投影信息因场景光源的各向散射和漫反射面的无规则反射，已经失去原场景的具体信息，但仍包含非视域场景的一部分信息，利用该信息并结合光线跟踪算法中模拟光线传播的路径及漫反射面的双向反射率分布函数，仍有可能恢复非视域场景原图像。

在光线跟踪算法中，来自漫反射面的反射的进入相机的光线可以用计算机图形学公式(1)来描述：

式中，p是漫反射材料上的一点，p′是空间中其他物体上的点，wi是入射光线的方向向量，wo是反射光线的方向向量，lo(p，wo)表示在漫反射面p点处沿wo方向反射光线的亮度，fr(p，wi，wo)是漫反射材料在p点处入射光方向为wi反射光方向为wo时的双向反射率分布函数(brdf)值，li(p′，-wi)是从p′点发出(或反射的)并沿wi方向传播的光线的亮度，θi是入射光方向向量与漫反射材料在p处的法向量的夹角，dwi对2π立体角范围内进行积分，表示p点处的入射光来自于整个半球空间的所有入射光线的亮度，如图4所示。

根据立体角的定义：

可以将上述公式(1)对立体角的积分转换为面积积分：

式中，θ′表示入射光线跟nlos场景表面法线的夹角。而对于如图1所示的场景，可以假设环境中入射到漫反射面的光只有来自nlos场景的光，忽略其他反射光。这是因为场景中如果只有nlos场景中的物体发光，那么相对于直接来自nlos场景物体的光，其他反射光要弱很多，所以在保证计算结果的情况下可以忽略其他反射光，这实际上是借助了光线跟踪算法中的重要性采样定理。所以如果只考虑直接来自nlos场景的入射光线，如图5所示。那么上式(3)中的面积积分的范围就是nlos场景的面积。而实际上由于重建nlos场景图像时，假设了nlos场景就是一幅二维矩形图像，所以公式(3)的积分区域最终就变成了一个矩形区域。为了便于计算和理解，可以假设nlos场景就是一个显示屏上显示的图像，而非视域成像的任务就是利用漫反射信息重建这幅图像。

积分在实际编程计算中并不方便，此外由于光线跟踪算法是将每根光线离散化操作的。由此，借助微积分中的二维蒙特卡洛积分定理，将式(3)所示的面积积分转换为求和计算：

在光线跟踪算法中，理想漫反射面的双向反射率分布函数是一个与入射光和反射光以及表面点都无关的常数：

其中ρ表示漫反射面的反射率，由此可以将公式(4)转换为一个更加简洁的形式：

对于公式(6)，p点是漫反射面上的点，也就是相机所拍摄的漫反射图像中每颗像素点所对应的实际空间中的位置，p′点是nlos场景上的点。上式(6)建立由待恢复的nlos场景上的图像上的点的亮度(或rgb信息)到相机所拍摄的漫反射图像上的点的亮度之间的转换关系。

如图1所示，在一个实例中，相机与nlos场景之间存在一个隔板，导致相机无法直接获取nlos场景的图像，但相机能够捕获nlos场景在漫反射面上产生的投影图像。因nlos场景的投影信息主要在漫反射面上靠近nlos场景一侧，故为使相机捕获更多来自nlos场景的信息，应使相机向nlos场景一侧偏移一定的角度，如图2所示。由于相机偏转了一定的角度，故相机所拍摄的图像具有一定的景深信息，即相机的fov并非一个矩形区域。为了便于计算，可以提取fov内的一个矩形区域，该区域需要尽可能多的包含来自nlos场景的信息，故该区域需要尽可能靠近nlos场景一侧。假设该区域在漫反射面上已经进行了标注(即前期已经标定过)，那么可以利用逆透视变换提取出该区域的信息并变换为一幅矩形图像，该矩形图像如图6所示。

假设提取出的部分的是一幅分辨率为(m,n)的图像，实际计算过程中，如果(m,n)的数值较大，可以使用降采样技术将图像的分辨率一定程度的降低。假设待恢复的nlos场景图像的分辨率为(x,y)，如图6所示，这个分辨率可以根据需要在计算中自行设定，但如果太大会影响计算速度，而实际计算中x和y的数量级都在10～100之间，否则会大幅影响计算速度。

对于漫反射图像上的任意一颗像素点pi(i∈[1，m*n])的亮度值(或rgb值)，都来自nlos场景图像中所有像素点p′j(j∈[1，x*y])的亮度值，利用公式(6)可以表示为：

而两幅图像在数学上可以视为两个矩阵，如果两个矩阵之间存在转换关系，那么就可以使用一个转换矩阵来描述这种转换关系。因此，定义一个转换矩阵t来描述两幅图像之间转换关系。由上述公式可知，转换矩阵t的每一个元素应该描述pi到p′j的亮度转换关系，其中i∈[1，m*n]，j∈[1，x*y]，那么转换矩阵的维度应该为[m*n，x*y]，这个矩阵的维度非常大，所以对于漫反射图像需要降采样，而且待恢复的nlos场景图的分辨率也不能设置的过大，否则计算时间将非常长。综上转换矩阵t应该如下式：

建立转换矩阵后，漫反射图像和nlos场景图像之间的转换关系可以由矩阵运算来表示，假设漫反射图像为矩阵d(计算时需要将d的维度转换为[m*n，1])，nlos场景图像为矩阵f(计算时需要将f的维度转换为[x*y，1])，则关系如下式所示，

d＝tf(9)

但在实际运算过程中，由于能获取的信息为漫反射图像d，需要求解的是nlos场景图像f，所以上述公式必须进行反转，但这需要分成两种情况来讨论：

(1)当转换矩阵可逆时，根据式10求解得到nlos场景图像对应的矩阵f：

f＝t^-1d(10)

(2)当转换矩阵不可逆时，求解nlos场景图像对应的矩阵f时，需要建立优化问题进行求解。此时，可以先求转换矩阵的伪逆则为f的最小二乘逼近。另外还需建立优化问题进行求解f：

f＝argmin(||tf-d||²)(11)

但上述优化问题对于f的收敛条件限制的仍然太少，参考相关《凸优化》中正则化章节，借助图像中普遍存在的总变差最小，从而引入总变差正则化对优化问题的收敛进一步限制，此外，由于f是图像，为进一步加速收敛，需要将f限制在正数范围内，这里可以加入一个桶形函数将其限制在0～10000之间：

f＝argmin(||tf-d||²+λ1||f||tv+λ2b)(12)

其中||f||tv为f的总变差，其计算方式为：

b为桶形函数，其计算方式为：

本实施例具体操作步骤包括：

步骤1：由相机获取漫反射面上反射的来自nlos场景光线所产生的漫射图像；具体的，相机拍摄漫反射图像时，为获取更多漫反射信息，视角会向nlos一侧具有一定偏转角度，所拍摄的图像具有一定的景深信息，拍摄的矩形图像对应实际空间中不是一块矩形区域，后续处理过程中需要提取图像中对应实际场景为矩形区域的部分，并要求该部分尽可能多的包含漫反射信息。在实际应用时，相机拍摄的漫反射图像可能是单通道灰度图像、rgb三通道彩色图像、rgbg拜尔滤波模式四通道彩色图像的其中一种，取决于拍摄时所用相机类型，不同类型的图像在算法处理中会存在差异；

步骤2：使用逆透视变换以及重采样技术提取图像中对应至实际场景为矩形区域的部分；逆透视变换使用的参考点可以来自图像中已经存在的实际场景中为矩形的四角，也可以是事先在漫反射面上进行标定的矩形四角顶点，逆透视变换可以采用opencv中的相关api，也可以采用图像中roi区域提取再进行插值，从而变换成一张矩形图像；

步骤3：确定重采样后的图像对应实际场景中的矩形图像的尺寸及空间位置，确定矩形图像的空间位置和尺寸后，需计算该区域内存在的像素点个数，从而确定每颗像素点中心对应位置的实际空间坐标，这里的坐标指的是相对坐标，具体的空间坐标系可根据计算时自行建立，但需要确保与后续nlos场景确定位置和尺寸时使用的是相同的坐标系。此外，若拍摄的图像像素过高，为避免计算耗时过长，在不损失大部分精度的情况下，降低算法的计算量，需要先对图像进行降采样以降低图像的分辨率，再确定每颗像素点中心对应位置的实际空间坐标；

步骤4：确定待成像的nlos场景所在矩形区域的尺寸及空间位置；实际nlos场景可能是三维物体组成的场景，但在计算过程中可以假设nlos场景是一副平面矩形图像，一方面可以简化计算过程，另一方面也不会影响实际成像的效果。对于待成像的nlos场景所在矩形区域的尺寸及空间位置，在计算中可以对其作出一定的假设，也可以计算前完成标定。假设nlos场景所在的矩形区域的尺寸和空间位置只会影响最终成像的场景的范围，不会影响成像场景的内容。在不确定场景的具体位置时，可以将该矩形的尺寸假设的较大一些，以包含需要重建的nlos场景。如前所述，待成像的nlos场景所在矩形区域的尺寸及空间位置与漫射图像对应实际场景中的矩形区域的尺寸及空间位置是在同一坐标系下确定的。

步骤5：由漫射图像和nlos场景分别对应的实际矩形区域的尺寸及空间位置建立光传输矩阵；光传输矩阵的维度取决于矩形图像的总像素数和待恢复的nlos场景的总像素数，实际行数为漫反射图像的总像素数，列数为待恢复的nlos场景的总像素数。光传输矩阵的每个元素代表nlos场景图像中的一颗像素信息到漫反射图像的一颗像素信息的转换关系，由光线跟踪算法中光辐射传播公式进行计算。

步骤6：由重采样后的漫射图像和光传输矩阵建立优化问题并求解。优化问题的建立与所拍摄的漫反射图像类型有关，若拍摄的图像为单通道灰度图像，则只需建立一个优化问题；如果拍摄的图像为rgb三通道彩色图像，则需要将三通道的数据分离，并对三个通道分别建立优化问题；若拍摄的图像为拜尔滤波模式的rgbg四通道彩色图像，需要将四通道的数据分离，并对两个g通道的数据进行平均得到三个通道的数据，最后针对三个通道建立优化问题。针对彩色图像建立优化问题求解后，需要将求解出的三通道数据进行组合，从而得到求解出的彩色图像。