一种基于高动态范围成像的点云融合系统及方法与流程

1.本技术涉及点云重建、融合技术领域，尤其涉及一种基于高动态范围成像的点云融合系统及方法。


背景技术：

2.在机器视觉领域中，由于采集到的被测物体的2d图像中所包含的动态范围有限，即2d图像中能用于重建点云的数据只是被测物体数据的一部分。因此，需要通过重建、融合等图像处理方法计算并降低采集到的2d图像与被测物体本身的动态范围差异，即提高被测物体的点云数据完整性，一般采用基于结构光的3d点云重建技术重建被测物体的表面轮廓点云。
3.现有技术中，重建被测物体表面轮廓点云通常采用如图1所示的一种重建被测物体表面轮廓点云的系统，图1所示的系统包括偏振片、ccd相机、投影仪和计算单元，其中，偏振片设置在ccd相机的下方，ccd相机与计算单元通信连接，投影仪与计算单元通信连接。采用上述系统重建被测物体表面轮廓点云时，首先，将被测物体放置于偏振片的正下方，通过计算单元控制投影仪向被测物体投射编码结构光。结构光在被测物体表面经过漫反射后得到反射光，偏振片在接收到反射光后对其进行分解，即将反射光中的强反射光进行分离，实现对过曝光区域的去除。然后，通过ccd相机采集不同亮度下，经过偏振处理后被测物体的2d图像，并将其通过ccd相机内部的图像传感器传输至计算单元，其中，亮度通过投影仪向被测物体投射不同曝光条件的结构光进行改变。最后，采用计算单元对不同亮度下经过偏振处理后的多张2d图像采用3d点云重建技术重建被测物体表面轮廓点云。
4.然而，通过上述系统对被测物体的表面轮廓点云进行重建，由于对经过偏振处理后的多张2d图像进行处理的过程较复杂，并且2d图像中所包含的动态范围也较有限，因此，最终得到的被测物体表面轮廓点云中一般还会包含无效点云，导致重建得到被测物体表面轮廓点云中仍然存在部分点云信息缺失，即被测物体表面轮廓点云的动态范围远低于真实场景中所包含的动态范围。


技术实现要素：

5.本技术提供了一种基于高动态范围成像的点云融合系统及方法，以解决现有技术中存在的由于对经过偏振处理后的多张2d图像进行处理的过程较复杂，并且2d图像中所包含的动态范围也较有限，因此，最终得到的被测物体表面轮廓点云中一般还会包含无效点云，导致重建得到被测物体表面轮廓点云中仍然存在部分点云信息缺失，即被测物体表面轮廓点云的动态范围远低于真实场景中所包含的动态范围的问题。
6.第一方面，本技术提供一种基于高动态范围成像的点云融合系统，包括：投影设备、采集设备和计算单元，投影设备与计算单元通信连接，采集设备与计算单元通信连接；
7.其中，计算单元被配置为：
8.控制投影设备向被测物体投射结构光，所述投影设备按照计算单元设置的预设亮
度控制参数向被测物体投射结构光；
9.控制采集设备在不同预设亮度控制参数下采集被测物体的至少两组2d图像，且每组2d图像包括至少一张2d图像；
10.接收所述采集设备采集的被测物体的至少两组2d图像；
11.创建与每组2d图像对应的预定义图像；
12.根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；
13.对所述标记图像中的码值状态标记区域进行3d点云重建，得到与所述标记图像对应的点云图像；
14.计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2d图像质量评价指标和所述点云质量评价指标进行计算得到，所述2d图像质量评价指标通过对每组2d图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得；
15.将符合预设范围的评价权重所对应的点云图像作为输出点云。
16.在上述技术方案中，所述预定义图像与每组2d图像的图像分辨率相同，即预定义图像与构成每组2d图像的每一张2d图像的图像分辨率均相同，同一个像素点在预定义图像中的位置与该像素点在每一张2d图像中的位置相同。另外，所述码值状态与每组2d图像中像素点状态相对应，即码值状态与构成每组2d图像中的每一张2d图像中像素点状态相对应，若同一个像素点在每一张2d图像中均为有效，则该像素点在标记图像中属于码值状态标记为有效的码值状态标记区域；若同一个像素点在某一张2d图像中为过曝光或欠曝光，则该像素点在标记图像中属于码值状态标记为无效的码值状态标记区域。
17.第二方面，本技术提供一种基于高动态范围成像的点云融合方法，包括：
18.获取采集设备在不同结构光下采集得到的被测物体的至少两组2d图像，且每组2d图像中包括至少一张2d图像，不同结构光通过投影设备按照计算单元设置的不同预设亮度控制参数向被测物体投射；
19.创建与每组2d图像对应的预定义图像；
20.根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；
21.对所述标记图像中的码值状态标记区域进行3d点云重建，得到与所述标记图像对应的点云图像；
22.计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2d图像质量评价指标和所述点云质量评价指标进行计算得到，所述2d图像质量评价指标通过对每组2d图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得；
23.将符合预设范围的评价权重所对应的点云图像作为输出点云。
24.在本技术的较佳实施例中，计算每一个所述点云图像的评价权重，包括以下步骤：
25.计算2d图像质量评价归一值；
26.计算点云质量评价归一值；
27.将所述2d图像质量评价归一值和所述点云质量评价归一值进行加权处理，得到评价权重。
28.在本技术的较佳实施例中，计算2d图像质量评价归一值，包括：
29.计算2d图像质量评价指标，所述2d图像质量评价指标通过对有效像素点进行质量评价得到，所述有效像素点是每组2d图像中像素点状态均为正常曝光的像素点；
30.对不同预设亮度控制参数下得到的2d图像质量评价指标进行归一化处理，得到2d图像质量评价归一值。
31.在本技术的较佳实施例中，计算点云质量评价归一值，包括：
32.计算点云质量评价指标，所述点云质量评价指标通过对每一个所述点云图像中的有效点云进行质量评价得到，所述有效点云通过对有效区域进行3d点云重建得到，所述有效区域是标记图像中码值状态标记为有效的区域；
33.对不同预设亮度控制参数下得到的点云质量评价指标进行归一化处理，得到点云质量评价归一值。
34.在本技术的较佳实施例中，根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像，包括：
35.若所述每组2d图像中像素点的灰度值小于第一预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为过曝光，码值状态标记区域在所述标记图像中为过曝光区域；
36.若所述每组2d图像中像素点的灰度值大于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为欠曝光，码值状态标记区域在所述标记图像中为欠曝光区域；
37.若所述每组2d图像中像素点的灰度值大于第一预设阈值，且小于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为有效，码值状态标记区域在所述标记图像中为有效区域。
38.在本技术的较佳实施例中，根据预设阈值参数标记预定义图像中的码值状态，公式如下：
[0039][0040]
其中，mask(i,j)表示预定义标记值，即掩码标记值，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2d图像中所对应的灰度值，threshold1表示第一预设阈值，threshold2表示第二预设阈值。
[0041]
上述技术方案中，第一预设阈值表示欠曝光阈值，第二预设阈值表示过曝光阈值，若灰度值小于欠曝光阈值，则预定义标记值，即掩码标记值为0，在标记图像中为欠曝光区域；若灰度值大于过曝光阈值，则预定义标记值，即掩码标记值为1，在标记图像中为过曝光区域；若灰度值大于欠曝光阈值，且小于过曝光阈值，则预定义标记值，即掩码标记值为2，在标记图像中为有效区域。
[0042]
在本技术的较佳实施例中，通过比较2d图像的灰度信息与预设阈值参数，对所述2d图像进行质量评价。
[0043]
在本技术的较佳实施例中，通过比较2d图像的灰度信息与预设阈值参数，对所述2d图像进行质量评价，包括：
[0044]
若所述2d图像中像素点的灰度信息大于第三预设阈值，且小于第四预设阈值，则
2d图像质量评价指标通过该像素点的灰度信息与255的比值得到；
[0045]
若所述2d图像中像素点的灰度信息小于第三预设阈值，或大于第四预设阈值，则2d图像质量评价指标为0。
[0046]
在本技术的较佳实施例中，通过比较2d图像的灰度信息与预设阈值参数，对所述2d图像进行质量评价，公式如下：
[0047][0048]
其中，w1(i,j)表示2d图像质量评价指标，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2d图像中所对应的灰度值，threshold3表示第三预设阈值，threshold4表示第四预设阈值。
[0049]
上述技术方案中，第三预设阈值表示欠曝光阈值，若灰度值低于欠曝光阈值，则权重为0；第四预设阈值表示过曝光阈值，若灰度值高于过曝光阈值，则权重也为0；若灰度值大于欠曝光阈值且小于过曝光阈值，则权重通过灰度值除以饱和度得到。
[0050]
在本技术的较佳实施例中，将符合预设范围的评价权重所对应的点云图像作为输出点云，包括：
[0051]
将所述预设范围内的最大评价权重所对应的点云图像直接作为输出点云；
[0052]
将所述预设范围内的至少两个评价权重所对应的点云图像进行融合后，将融合后的点云图像作为输出点云。
[0053]
第三方面，本技术提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于高动态范围成像的点云融合方法的步骤。
[0054]
第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种基于高动态范围成像的点云融合方法的步骤。
[0055]
本技术提供的一种基于高动态范围成像的点云融合系统及方法，相较于现有技术而言，具有以下有益效果：
[0056]
本技术通过在预定义图像对欠曝光像素点、过曝光像素点和有效像素点分别进行标记，得到标记图像，并使用标记码值状态后的标记图像进行引导融合点云图像中的有效点云，其中，融合采用分别对2d图像和根据标记图像重建后的点云图像进行质量评价，最后，采用2d图像质量评价指标和点云图像质量评价指标计算最终的评价权重，输出评价权重最高的点云图像。本技术采用了2d图像质量评价指标和点云图像评价指标进行综合质量评价，相较于现有技术中只采用2d图像作为权重因子进行质量评价，融合效果更好，得到的点云图像完整性更高；并且，采用本技术的方案仅需要2次曝光或3次曝光就可以得到高完整性的点云图像，不需要采用偏振片进行分离强反射光，避免出现过曝光区域，也不需要对经过偏振处理后的2d图像进行一系列复杂的处理，节约了计算单元处理的时间，对被测物体表面轮廓点云的融合过程更简单。
附图说明
[0057]
为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简
单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0058]
图1是现有的点云融合系统结构示意框图；
[0059]
图2是本技术实施例1的一种基于高动态范围成像的点云融合系统结构示意框图；
[0060]
图3a是本技术实施例2的一种基于高动态范围成像的点云融合方法流程图；
[0061]
图3b是本技术实施例2的一种基于高动态范围成像的点云融合方法实现原理图；
[0062]
图4a是本技术应用例中采集到的2d图像示意图；
[0063]
图4b是本技术应用例中在欠曝光条件下的3d点云图像示意图；
[0064]
图4c是本技术应用例中在中曝光条件下的3d点云图像示意图；
[0065]
图4d是本技术应用例中在过曝光条件下的3d点云图像示意图；
[0066]
图4e是本技术应用例中根据融合算法得到的融合点云图像示意图；
[0067]
图5是本技术应用例中融合不同预设亮度控制参数下有效点云的原理示意图。
具体实施方式
[0068]
为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
[0069]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0070]
基于本技术描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术所附权利要求保护的范围。此外，虽然本技术中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
[0071]
需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
[0072]
为便于对申请的技术方案进行，以下首先在对本技术所涉及到的一些概念进行说明。
[0073]
动态范围：是场景中最亮部分与最暗部分，即最大值与最小值的比值，可以用以10为底的对数或者以2为底的对数表示。低动态范围(ldr)图像的动态范围一般在102左右，高动态范围(hdr)图像的动态范围可达到106。动态范围越低，场景中包含的亮度级越少；动态范围越高，场景中包含的亮度级越多。因此，真实场景中较暗或较亮的区域在2d图像中将呈现饱和现象，即全黑(欠曝光)或全白(过曝光)，导致较暗或较亮的区域存在图像信息丢失，最终造成基于2d图像重建得到的被测物体的表面轮廓点云中部分点云信息丢失，即被测物体的表面轮廓点云的动态范围较低。然而可以通过多次采集不同亮度下的2d图像弥补较暗或较亮区域的图像信息缺失；用较高亮度下采集到的2d图像弥补低亮度下采集到的2d图像中欠曝光造成的部分图像信息缺失；用较低亮度下采集到的2d图像弥补高亮度下采集到的
2d图像中过曝光造成的部分图像信息缺失。
[0074]
高动态范围成像技术的原理是通过不断改变相机的曝光时间，获得不同亮度范围的场景信息，再将不同亮度范围的场景信息加以结合，使得2d图像的动态范围更加接近人眼所观察到的真实场景中被测物体所包含的动态范围。高动态范围成像技术采集被测物体的2d图像的方法有两种，一种是基于硬件的单次曝光采集2d图像，该方法在单个成像传感器上实现包围曝光，但是会牺牲图像的空间分辨率，采集的2d图像中所包含的动态范围远达不到人眼视觉系统可感知的被测物体实际包含的动态范围。另一种是不同时的连续多次曝光采集2d图像，该方法通过控制相机的快门时间，控制场景亮度信息进入相机的光通量，拍摄不同曝光条件下的2d图像，使其包含被测物体不同亮度范围的细节信息，融合被测物体不同亮度范围的细节信息，得到hdr图像。
[0075]
图1和图2中为了描述方便，将被测物体也一起放入图中说明，但是系统并不包括被测物体，图1和图2中的双箭头表示通信连接，图1和图2的大的单向箭头，表示一个设备向另一个设备传输信息，但两个设备之间并无连接关系。例如，图1中投影仪向被测物体投射编码结构光，被测物体将反射光反射入偏振片，ccd相机采集经过偏振片处理的被测物体的2d图像，并通过图像传感器(图1中未示出)将采集到的2d图像传输至计算单元。图2中投影设备向被测物体投射结构光，被测物体将反射光直接反射到采集设备的镜头(图2中未示出)上，采集设备采集被测物体的2d图像，并通过图像传感器(图2中未示出)将采集到的2d图像传输至计算单元。
[0076]
实施例1
[0077]
参见图2，本技术提供一种基于高动态范围成像的点云融合系统，包括：投影设备、采集设备和计算单元，投影设备和计算单元通信连接(在图2中用双箭头表示)，采集设备和计算单元通信连接(在图2中用双箭头表示)；
[0078]
其中，计算单元控制投影设备向被测物体投射结构光，所述投影设备按照计算单元设置的预设亮度控制参数向被测物体投射结构光，预设亮度控制参数包括投影设备的曝光时间、曝光增益、曝光功率等；
[0079]
投影设备向被测物体投射结构光的同时，计算单元控制采集设备在不同预设亮度控制参数，即不同曝光条件的结构光照亮下，分别采集被测物体的至少两组2d图像；
[0080]
采集设备通过内部的图像传感器将采集到的至少两组2d图像传输至计算单元，每组2d图像中包括至少一张2d图像；需要说明的是，每组2d图像中2d图像的具体数量根据后续重建被测物体的表面轮廓一帧点云采用的重建算法而定；
[0081]
计算单元对每组2d图像分别创建一张对应的预定义图像；预定义图像的图像分辨率和组成每组2d图像的每一张2d图像的图像分辨率均相同，即同一个像素点在每一张2d图像中的坐标位置与该像素点预定义图像中的坐标位置相同，预定义图像由计算单元根据算法自动生成；
[0082]
根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；所述码值状态与每组2d图像中像素点状态相对应，即当每组2d图像中每一张2d图像中同一坐标位置的像素点均为有效像素点时，该像素点对应的码值状态为有效，该像素点在标记图像中属于码值状态标记有效区域；若每组2d图像中的任何一张2d图像中同一坐标位置的像素点属于过曝光像素点或欠曝光像素点，则该像素点对应的码值状态为过曝光或欠曝光，并且码
值状态标记为过曝光或欠曝光均为无效，该像素点在标记图像中属于码值状态标记无效区域；
[0083]
对所述标记图像中的码值状态标记区域进行3d点云重建，得到与所述标记图像对应的点云图像；即对码值状态标记区域为有效(正常)、过曝光及欠曝光的区域进行3d点云重建，得到对应的点云图像，在点云图像中，码值状态标记区域为有效(正常)的区域对应得到有效点云，码值状态标记区域为过曝光或欠曝光的区域对应得到无效点云；
[0084]
计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2d图像质量评价指标和所述点云质量评价指标进行计算得到，所述2d图像质量评价指标通过对每组2d图像进行质量评价获得，即每一张2d图像分别进行质量评价，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得，即对每一个所述点云图像中的每个有效点云分别进行质量评价；
[0085]
将符合预设范围的评价权重所对应的点云图像作为输出点云，具体地，若不同预设亮度控制参数下得到的点云图像中存在至少两张点云图像中包含有效点云，则根据步骤s105中评价权重的计算方法计算并判断评价权重最高的点云图像进行输出；若不同预设亮度控制参数下得到的点云图像中只有一张点云图像中包括有效点云，则直接将该点云图像作为输出点云；若不同预设亮度控制参数下得到的点云图像中不存在任何一张点云图像中包括有效点云，则不输出。
[0086]
进一步地，在本实施例1中，将符合预设范围的评价权重所对应的点云图像作为输出点云，还包括：
[0087]
将所述预设范围内的最大评价权重所对应的点云图像直接作为输出点云；
[0088]
将所述预设范围内的至少两个评价权重所对应的点云图像进行融合后，将融合后的点云图像作为输出点云。本领域技术人员可以根据实际情况需要，选择输出点云的方式，是输出最大评价权重所对应的点云图像，还是将多个预设范围内的评价权重所对应的点云图像融合后作为输出点云，其中，预设范围指的是点云动态范围较大的评价权重的数值范围，本领域技术人员也可根据具体需求或实际使用经验，进行相应的设置，本技术对其不做限制。
[0089]
实施例2
[0090]
与前述一种基于高动态范围成像的点云融合系统的实施例相对应，本技术还提供了一种基于高动态范围成像的点云融合方法的实施例。如图3a所示，该方法包括以下步骤：
[0091]
s101，获取采集设备在不同结构光下采集得到的被测物体的至少两组2d图像，且每组2d图像中包括至少一张2d图像，不同结构光通过投影设备按照计算单元设置的不同预设亮度控制参数向被测物体投射。
[0092]
在步骤s101中，预设亮度控制参数可以是投影设备的曝光时间、曝光增益、曝光功率的一种，本领域技术人员可根据实际需要选择一种参数，并改变其具体数值，得到若干组2d图像，在本实施例2中对预设亮度控制参数的选取不做任何限制。
[0093]
s102，创建与每组2d图像对应的预定义图像。
[0094]
在步骤s102中，预定义图像的图像分辨率和每组2d图像的图像分辨率均相同，即与每组2d图像中的每一张2d图像的图像分辨率均相同。因此，同一个像素点在每组2d图像的每一张2d图像中的坐标位置与该像素点在预定义图像中的坐标位置相同。其中，预定义
图像由计算单元根据算法自动生成，在本技术中对其不做具体阐述，本领域技术人员可根据本领域的常规技术手段创建与每组2d图像相对应的预定义图像。
[0095]
s103，根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像。
[0096]
在步骤s103中，标记图像为在计算单元创建的预定义图像中，根据每组2d图像中像素点的状态在预定义图像中标记码值状态后得到的图像，码值状态与每组2d图像中像素点状态相对应指的是当每组2d图像中每一张2d图像中同一坐标位置的像素点均为有效像素点时，该像素点在标记图像中对应的码值状态为有效，属于码值状态标记有效区域；若每组2d图像中的任何一张2d图像中同一坐标位置的像素点属于过曝光像素点或欠曝光像素点，则该像素点在标记图像中所对应的码值状态为过曝光或欠曝光，属于码值状态标记无效区域。
[0097]
在本实施例2的一种具体实施方式中，步骤s103包括以下标记过程：
[0098]
若所述每组2d图像中像素点的灰度值小于第一预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为过曝光，码值状态标记区域在所述标记图像中为过曝光区域；
[0099]
若所述每组2d图像中像素点的灰度值大于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为欠曝光，码值状态标记区域在所述标记图像中为欠曝光区域；
[0100]
若所述每组2d图像中像素点的灰度值大于第一预设阈值，且小于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为有效(正常)，码值状态标记区域在所述标记图像中为有效(正常)区域。
[0101]
进一步地，在本实施例2的一种具体实施方式中，步骤s103中根据预设阈值参数标记预定义图像中的码值状态，具体公式如下：
[0102][0103]
其中，mask(i,j)表示预定义标记值，即掩码标记值，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2d图像中所对应的灰度值，threshold1表示第一预设阈值，threshold2表示第二预设阈值；即在预定义图像中，mask标记为0，则表示欠曝光区域，mask标记为1，则表示过曝光区域，mask标记为2，则表示有效(正常)区域，标记完码值状态后的预定义图像，称为标记图像。
[0104]
需要特别说明的是，上述第一预设阈值表示欠曝光阈值，第二预设阈值表示过曝光阈值，且第一预设阈值和第二预设阈值属于预设阈值参数。若灰度值小于欠曝光阈值，则预定义标记值，即掩码标记值为0，在标记图像中为欠曝光区域；若灰度值大于过曝光阈值，则预定义标记值，即掩码标记值为1，在标记图像中为过曝光区域；若灰度值大于欠曝光阈值，且小于过曝光阈值，则预定义标记值，即掩码标记值为2，在标记图像中为有效区域。并且，第一预设阈值和第二预设阈值的具体数值可以是默认参数数值，也可以是用户自行设定的数值，具体的数值由本领域技术人员在实际使用情况中根据经验或本领域常规技术手段进行设置。在本实施例2中对其不做具体限制。
[0105]
s104，对所述标记图像中的码值状态标记区域进行3d点云重建，得到与所述标记
图像对应的点云图像。
[0106]
在本实施例2的一种具体实施方式中，可以采用相移法、格雷码法等对码值状态标记后的预定义图像，即标记图像进行3d点云重建，且是对于标记图像中码值状态标记为有效(正常)的像素点所在的码值状态标记有效区域进行3d点云重建，对应得到在点云图像中的有效点云，还包括对标记图像中码值状态标记为过曝光和欠曝光的像素点所在的码值状态标记无效区域进行3d点云重建，对应得到在点云图像中的无效点云。
[0107]
s105，计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2d图像质量评价指标和所述点云质量评价指标进行计算得到，所述2d图像质量评价指标通过对每组2d图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得。
[0108]
在本实施例2的一种具体实施方式中，步骤s015中计算每一个所述点云图像的评价权重的过程如下：
[0109]
计算2d图像质量评价归一值；
[0110]
计算点云质量评价归一值；
[0111]
将所述2d图像质量评价归一值和所述点云质量评价归一值进行加权处理，得到评价权重。
[0112]
进一步地，在本实施例2的一种具体实施方式中，计算2d图像质量评价归一值，包括：
[0113]
计算2d图像质量评价指标，所述2d图像质量评价指标通过对有效像素点进行质量评价得到，所述有效像素点是每组2d图像中像素点状态均为正常曝光的像素点；
[0114]
对不同预设亮度控制参数下得到的2d图像质量评价指标进行归一化处理，得到2d图像质量评价归一值。
[0115]
进一步地，在本实施例2的一种具体实施方式中，计算点云质量评价归一值，包括：
[0116]
计算点云质量评价指标，所述点云质量评价指标通过对每一个所述点云图像中的有效点云进行质量评价得到，所述有效点云通过对有效区域进行3d点云重建得到，所述有效区域是标记图像中码值状态标记为有效的区域；
[0117]
对不同预设亮度控制参数下得到的点云质量评价指标进行归一化处理，得到点云质量评价归一值。
[0118]
另外，需要特别说明的是，在上述计算每一个所述点云图像的评价权重的过程中，计算点云质量评价指标w2可以通过对每个点云与周围点云的距离进行评价得到，如若周围点云距离该点云的距离较远，则该点云的可靠性较低，若周围点云距离该点云的距离较近，则该点云的可靠性较高；还可根据其他评价方式计算点云质量评价指标。对2d图像质量评价归一值和点云质量评价归一值采用加权算法进行处理。加权算法包括线性权重、非线性权重等，在本实施例2中，采用线性权重进行评价，即将同一预设亮度控制参数下的2d图像质量评价归一值和点云质量评价归一值进行相乘，得到该预设亮度控制参数下点云图像的评价权重。
[0119]
进一步地，在本实施例2中，通过比较2d图像的灰度信息与预设阈值参数，对所述2d图像进行质量评价，即计算2d图像质量评价指标w1(i,j)，包括：
[0120]
若所述2d图像中像素点的灰度信息大于第三预设阈值，且小于第四预设阈值，则
2d图像质量评价指标通过该像素点的灰度信息与255的比值得到；
[0121]
若所述2d图像中像素点的灰度信息小于第三预设阈值，或大于第四预设阈值，则2d图像质量评价指标为0；2d图像质量评价指标w1(i,j)具体计算公式如下：
[0122][0123]
其中，w1(i,j)表示2d图像质量评价指标，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2d图像中所对应的灰度值，threshold3表示第三预设阈值，threshold4表示第四预设阈值。
[0124]
需要特别说明的是，在本实施例2中，上述2d图像质量评价指标采用的是每组2d图像中所有的2d图像的灰度信息进行质量评价。并且，只列出了计算2d图像质量评价指标的一种方式，即通过2d图像的灰度信息进行质量评价，但是在实际应用时，本领域技术人员还可根据本领域的常规技术手段，使用其他可以计算2d图像质量评价指标的方式，本技术对其不做具体限制。
[0125]
进一步要说明的是，上述第三预设阈值表示欠曝光阈值，若灰度值低于欠曝光阈值，则权重为0；第四预设阈值表示过曝光阈值，若灰度值高于过曝光阈值，则权重也为0；若灰度值大于欠曝光阈值且小于过曝光阈值，则权重通过灰度值除以饱和度得到。另外，且第三预设阈值和第四预设阈值也属于预设阈值参数，第三预设阈值和第四预设阈值的具体数值可以是默认参数数值，也可以是用户自行设定的数值，也可与码值状态标记中第一预设阈值和第二预设阈值设置为相同的数值，具体的数值由本领域技术人员在实际使用情况中根据经验或本领域常规技术手段进行设置。在本实施例2中对其不做具体限制。
[0126]
更进一步地，在本实施例2中，对不同预设亮度控制参数下得到的2d图像质量评价指标和点云质量评价指标进行归一化处理，均采用每次曝光得到的评价参数除以n次曝光评价参数的总和，不同预设亮度控制参数下得到的归一化值也不同，其中，评价参数包括2d图像质量评价指标和点云质量评价指标，具体公式为：
[0127][0128]
其中，normal_w
t
表示评价参数归一值，包括2d图像质量评价归一值和点云质量评价归一值；w表示评价参数，既可以是2d图像质量评价指标w1，也可以是点云质量评价指标w2；t表示某次曝光，即某一个预设亮度控制参数对应的曝光条件；n表示n次曝光，即n个预设亮度控制参数所对应的n次曝光。
[0129]
此外，在本实施例2中，对2d图像质量评价归一值和点云质量评价归一值的具体计算过程并未体现，但是本领域技术人员可根据本技术记载的技术方案结合实际应用场景对其进行计算，不会导致计算过程不清楚，出现不同计算结果的问题。
[0130]
s106，将符合预设范围的评价权重所对应的点云图像作为输出点云。
[0131]
在本实施例2的一种具体实施方式中，步骤s106还包括：
[0132]
将所述预设范围内的最大评价权重所对应的点云图像直接作为输出点云；
[0133]
将所述预设范围内的至少两个评价权重所对应的点云图像进行融合后，将融合后的点云图像作为输出点云。
[0134]
若不同预设亮度控制参数下得到的点云图像中存在至少两张点云图像中包含有效点云，则根据步骤s105中评价权重的计算方法计算并判断评价权重最高的点云图像进行输出；若不同预设亮度控制参数下得到的点云图像中只有一张点云图像中包括有效点云，则直接将该点云图像作为输出点云；若不同预设亮度控制参数下得到的点云图像中不存在任何一张点云图像中包括有效点云，则不输出。
[0135]
如图3b所示，为本实施例2的实现原理示意图，首先设置不同亮度控制参数，并在不同亮度控制参数下采集被测物体的2d图像，每一个亮度控制参数下对应采集一组2d图像，一共采集n组，即设置几个不同的亮度控制参数就采集几组2d图像，计算单元创建与每组2d图像对应的预定义图像，获取2d权重因子，即图3a所示步骤中的计算2d图像质量评价指标，并标记预定义图像中码值状态，对码值状态标记为有效的区域进行点云重建，获取点云权重因子，即图3a所示步骤中的计算点云图像质量评价指标，并对同一亮度控制参数下的2d权重因子和点云权重因子进行归一化和加权处理，得到评价权重，计算n次不同亮度控制参数下的n组评价权重，输出n组评价权重中最大评价权重对应的点云图像，或者将多个预设范围内的评价权重所对应的点云图像融合后作为输出点云(图3b未示出，仅示出了评价权重最大的一种情况)，其中，预设范围指的是点云动态范围较大的评价权重的数值范围，本领域技术人员也可根据具体需求或实际使用经验，进行相应的设置，本技术对其不做限制。
[0136]
在本技术的实施例1和实施例2中，投影设备按照计算单元预先设置好的不同预设亮度控制参数进行投射结构光，可以按照计算单元中预设的不同曝光时间进行投射结构光，例如曝光时间可以设置为500us、1000us和5000us等；还可以按照计算单元中预设的不同曝光功率进行投射结构光，例如曝光功率可以设置为100和200等。因此，在本技术的实施例1和实施例2中，可以选取计算单元中多个预设亮度控制参数的某一个参数，设置不同的参数值，以使得投影设备在不同曝光条件下投射结构光。
[0137]
需要特别说明的是，在本技术的实施例1和实施例2中，投影设备不限于投影仪、基于dmd的投影设备或基于lcos的投影设备；投影设备投射的结构光可以是基于mems的可调制结构光，也可以是散斑结构光。采集设备可以是线阵扫描相机，也可以是其他采集图像的器件。在实现本实施例技术方案的基础上，本技术对其均不做限制，本领域技术人员可以根据实际需要进行设备的选择。
[0138]
此外，在本技术的实施例1和实施例2中，采集设备采集到的每组2d图像中，2d图像的数量是完成一帧点云重建所需要的图像数量，但是当选择的重建算法不同时，每组图像中2d图像的数量会相应地改变，例如，采用三步相移算法作为重建算法时，则每组2d图像中包括3张2d图像。本技术中不限制重建算法的种类，每组2d图像的数量也根据本领域技术人员实际采用的重建算法进行改变。
[0139]
本技术提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例2中一种基于高动态范围成像的点云融合方法的步骤。
[0140]
本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例2中一种基于高动态范围成像的点云融合方法的步骤。
[0141]
应用例
[0142]
采用本技术实施例1的系统和实施例2的方法对如图4a所示的硬币进行表面轮廓点云重建、融合的具体过程如下：
[0143]
采用投影设备向硬币投射结构光，采集设备采集硬币在结构光下的2d图像，如图4a所示；然后，重建硬币的表面轮廓点云，得到欠曝光条件下存在很多由于曝光不足导致无法重建点云的黑色孔洞，如图4b所示；中曝光条件下存在些许由于过曝光导致无法重建点云的白色孔洞，如图4c所示；过曝光条件下存在由于过曝光导致无法重建点云的白色孔洞，如图4d所示；其中，图4b、图4c和图4d中黑色孔洞和白色空洞属于预定义图像，即掩码图像中码值状态(mask)标记为无效的像素点，即如图5所示的采用mask对每一个预定义图像，即掩码图像进行标记，得到各个标记图像(图5中的mask图像)，以及每一个标记图像中对应的欠曝区域、正常(有效)区域和过曝区域位置。进一步，对码值状态标记后的标记图像(图5中的mask图像)中码值状态标记为正常(有效)的区域进行3d点云重建，分别得到与如图4b所示的欠曝光图像对应的欠曝光点云，与如图4c所示的中曝光图像对应的中曝光点云，与如图4d所示的过曝光图像对应的过曝光点云，上述三个点云图像中均包括无效点云区域和有效点云区域。最后，如图5所示，在标记图像(图5中的mask图像)引导下，将不同预设亮度控制参数下得到的有效点云进行融合，融合过程包括判断不同预设亮度控制参数下得到的点云图像中是否包含有效点云，若不同预设亮度控制参数下得到的点云图像中存在至少两张点云图像中包含有效点云，则根据评价权重计算方法计算并判断评价权重最高的点云图像进行输出；若不同预设亮度控制参数下得到的点云图像中只有一张点云图像中包括有效点云，则输出该点云图像；图5中得到的点云图像中欠曝光点云和过曝光点云中均存在有效点云区域，因此，对其进行评价权重计算判断，并将不同预设亮度控制参数下的有效点云区域进行融合，得到融合后的图像中包含有效点云区域最多，即如图4e所示。从图4e中可看出，经过本技术实施例1的系统和实施例2的方法最终输出的融合点云图像中基本没有孔洞，硬币表面轮廓点云数据的完整性大幅度提高。
[0144]
由于图4a-图4e均为灰度图像，跟彩色图像效果可能存在较小的误差，但不影响对本技术技术方案效果的对比说明。因此，只能从图中看出硬币真实图像与最终图4e得到的融合后的点云图像还原度较高，可以清晰地显示硬币的所有部分，不像图4b中硬币的很大一部分全是黑色，图像信息缺失严重，也不像图4c和图4e中某些部分全是白色，部分图像信息缺失，即经过本技术技术方案的处理，得到的硬币表面轮廓点云更加完整。
[0145]
需要说明的是，在应用例中，仅是为了说明本技术的技术方案实现的原理及主要过程，仅示出了融合的一种方案，但是需要说明的是本领域技术人员不付出创造性的劳动基于本技术的技术方案，均属于本技术的保护范围。另外，对各个参数及每组2d图像的具体数量并未做具体限制，但其并不影响本技术技术方案的实施，因此，不存在本技术技术方案不清楚的问题。