距离信息补全方法、设备、存储介质和计算机程序产品与流程

1.本发明涉及数据处理技术领域，尤其涉及距离信息补全方法、设备、存储介质和计算机程序产品。


背景技术：

2.随着计算机技术的飞速发展，人工智能已经迎来了一波又一波的热潮，基于视觉的智能识别技术已经走进了人们的日常生活。在常规的目标检测识别过程中，首先通过rgb相机获得的平面图像确定物体的平面信息，再通过3d相机(可进行测距成像的相机或雷达)额外引入距离点来进行整体的空间定位。但是3d相机由于硬件本身存在缺陷或者强反光物体对内部感光元件造成的干扰，其成像效果往往不尽人意，部分图像区域无法获取得到准确有效的距离点信息，导致机器人抓取、导航测距等任务产生错误引导。
3.目前，对于缺失的距离点主要采用缺失点周围最相近的点进行补全的方法或通过补全网络模型进行全局点补全的方法。但是，采用前者方法由于物体相距相机的不同距离或角度而造成的视觉差，导致距离信息补全的准确性较低；若采用后者方法，由于需要经过大量数据训练并且是对全局点进行补全，导致距离信息补全的效率较低。


技术实现要素：

4.本发明旨在至少解决相关技术中存在的技术问题之一。为此，本发明提出一种距离信息补全方法，能够针对特定区域进行距离点补全，提高距离信息补全的准确性和效率。
5.本发明还提出一种电子设备。
6.本发明还提出一种存储介质。
7.本发明还提出一种计算机程序产品。
8.根据本发明第一方面实施例的距离信息补全方法，包括：
9.基于深度图像的待补全区域确定参考区域；
10.根据所述参考区域内的有效距离点的距离值确定候补距离值；
11.基于所述候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
12.其中，所述参考区域在所述深度图像之内；所述有效距离点为未发生距离值缺失的点。
13.根据本发明实施例的距离信息补全方法，通过对图像中特定区域进行距离缺失点的信息补全，提高了距离信息补全的效率，同时，通过综合考虑与待补全区域对应的参考区域内的有效距离点获取候补距离信息，提高了对待补全区域中的距离缺失点进行距离信息补全的准确性。
14.根据本发明的一个实施例，所述参考区域包括收缩区域和膨胀区域；其中，所述收缩区域和所述膨胀区域均在所述深度图像之内，且所述收缩区域位于所述待补全区域内部，所述膨胀区域位于所述待补全区域外部；
15.所述根据所述参考区域内的有效距离点的距离值确定候补距离值，包括：
16.根据所述收缩区域内的有效距离点的距离值确定第一候补距离值，并根据所述膨胀区域内的有效距离点的距离值确定第二候补距离值；
17.所述基于所述候补距离值对所述待补全区域中的距离缺失点进行距离值补全，包括：
18.基于所述第一候补距离值和所述第二候补距离值对所述待补全区域中的距离缺失点进行距离值补全。
19.根据本发明实施例的距离信息补全方法，通过综合考虑与待补全区域对应的收缩区域以及膨胀区域内的有效距离点获取候补距离信息，进一步提高了对待补全区域中的距离缺失点进行距离信息补全的准确性。
20.根据本发明的一个实施例，所述基于所述第一候补距离值和所述第二候补距离值对所述待补全区域中的距离缺失点进行距离值补全，包括：
21.确定所述第一候补距离值与所述第二候补距离值的相差值大于预设的差距阈值，并采用所述第一候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
22.确定所述第一候补距离值与所述第二候补距离值的相差值不大于所述差距阈值，并采用所述第一候补距离值与所述第二候补距离值的平均值，对所述待补全区域中的距离缺失点进行距离值补全。
23.根据本发明实施例的距离信息补全方法，通过根据第一候补距离值与第二候补距离值的相差值，分不同情况来对待补全区域中的距离缺失点进行距离值补全，从而进一步提高了距离信息补全的准确性。
24.根据本发明的一个实施例，所述待补全区域为多边形；
25.所述基于深度图像的待补全区域确定参考区域，包括：
26.在所述待补全区域的至少一条边线上确定一个延伸点，基于每一所述延伸点以及预设的内收距离确定所述收缩区域的若干个顶点，并根据所述若干个顶点得到所述收缩区域；
27.基于每一所述延伸点以及预设的外扩距离确定与所述延伸点对应的膨胀区域中心点，并根据所述膨胀区域中心点得到所述膨胀区域。
28.根据本发明实施例的距离信息补全方法，通过采用多边形来对待补全区域进行标记，并基于呈多边形的待补全区域的边线以及预设内收距离或外扩距离确定一个或多个收缩区域和一个或多个膨胀区域，从而能够均匀获取得到待补全区域附近的多个相关区域，并根据这些相关区域的距离有效值综合计算第一候补距离值和第二候补距离值，进一步提高了距离信息补全的准确性。
29.根据本发明的一个实施例，在所述基于深度图像的待补全区域确定参考区域之后，在所述根据所述收缩区域内的有效距离点的距离值确定第一候补距离值，并根据所述膨胀区域内的有效距离点的距离值确定第二候补距离值之前，还包括：
30.确定所述收缩区域内的有效距离点个数少于预设第一阈值，通过调整所述内收距离以重新确定所述收缩区域；
31.确定所述膨胀区域内的有效距离点个数少于预设第二阈值，通过调整所述外扩距离以重新确定所述膨胀区域。
32.根据本发明实施例的距离信息补全方法，当确定收缩区域或膨胀区域内的有效距
离点较少时，认为相关区域的距离信息不足以计算第一候补距离值或第二候补距离值，从而通过调整内收或外扩的程度重新确定收缩区域或膨胀区域，确保获取足够的距离信息来计算待补全区域的第一候补距离值和第二候补距离值，从而进一步提高了距离信息补全的准确性。
33.根据本发明的一个实施例，所述根据所述收缩区域内的有效距离点的距离值确定第一候补距离值，并根据所述膨胀区域内的有效距离点的距离值确定第二候补距离值，包括：
34.确定所述收缩区域的第一距离平均值，并根据所述第一距离平均值确定所述第一候补距离值；
35.确定所述膨胀区域的第二距离平均值，并根据所述第二距离平均值确定所述第二候补距离值；
36.其中，所述第一距离平均值为根据所述收缩区域内所有的有效距离点的距离值进行平均运算得到；所述第二距离平均值为根据所述膨胀区域内所有的有效距离点的距离值进行平均运算得到。
37.根据本发明实施例的距离信息补全方法，采用相关区域的有效距离值的平均值作为计算候补距离值的基础，其中，对于多个膨胀区域或多个收缩区域，先分别获取各个膨胀区域或收缩区域的有效距离值的平均值，再根据多个膨胀区域或多个收缩区域的距离平均值进行计算相应的候补距离值，从而能够均匀获取得到待补全区域周围相关区域的距离点信息，进一步提高距离信息补全的普适性和准确性。
38.根据本发明的一个实施例，在所述基于深度图像的待补全区域确定参考区域之前，还包括：
39.基于色彩成像图的目标识别区域的二维坐标信息，从所述深度图像中确定所述待补全区域；
40.其中，所述色彩成像图的坐标系与所述深度图像的坐标系预先经过相互配准；所述目标识别区域为待测物体所在的区域。
41.根据本发明实施例的距离信息补全方法，无需直接通过深度图像来获取待补全区域，而是通过相适配的色彩成像图的目标识别区域来确定深度图像中的待补全区域，由于色彩成像图相比深度图像能够更快速准确地识别出目标物体的区域，从而在整体上进一步提高了距离信息补全的效率和准确性。
42.根据本发明的一个实施例，在所述基于色彩成像图的目标识别区域的二维坐标信息，从所述深度图像中确定所述待补全区域之前，还包括：
43.将所述色彩成像图输入至目标识别模型，获得所述目标识别模型输出的标记有目标识别区域的色彩成像图；
44.其中，所述目标识别模型是基于样本色彩成像图以及所述样本色彩成像图对应的目标识别区域结果进行训练得到的。
45.根据本发明实施例的距离信息补全方法，采用训练好的目标识别模型来识别出色彩成像图中的目标物体区域，能够进一步提高框选出待补全区域的准确性，从而进一步提高距离信息补全的准确性。
46.根据本发明第二方面实施例的电子设备，包括存储器、处理器及存储在存储器上
并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述距离信息补全方法。
47.根据本发明第三方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述距离信息补全方法。
48.根据本发明第四方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述距离信息补全方法。
49.本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
50.通过对图像中特定区域进行距离缺失点的信息补全，提高了距离信息补全的效率，同时，通过综合考虑与待补全区域对应的参考区域内的有效距离点获取候补距离信息，提高了对待补全区域中的距离缺失点进行距离信息补全的准确性。
51.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
52.为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1是本发明实施例提供的距离信息补全方法的流程示意图；
54.图2是本发明实施例提供的距离信息补全方法的整体流程示意图；
55.图3是本发明实施例提供的区域求解示意图；
56.图4是本发明实施例提供的距离信息补全装置的结构示意图；
57.图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
58.下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
59.图1是本发明实施例提供的距离信息补全方法的流程示意图之一。参照图1，本发明实施例提供一种距离信息补全方法，包括步骤：
60.s1、基于深度图像的待补全区域确定参考区域；其中，所述参考区域在所述深度图像之内。
61.可以理解的是，由于3d相机硬件本身存在缺陷或者强反光物体对内部感光元件造成的干扰，利用3d相机所获取的深度图像(depth图，表示物体距离相机的距离成像图)存在部分距离点缺失的情况，导致无法获取图像中某些物体的真实空间位置信息，影响后续的机器人抓取、导航测距等任务。现有技术中，对于距离缺失点的补全，直接采用周围最相近的距离点进行补充，忽略了物体在3d空间中距离相机远近而测量出的不同距离点，存在一定的视觉差，所补充的距离点并不符合当前有效距离。另外，若采用3d数据补全网络模型来进行补全时，需要在gpu上经过大量数据训练，且是全局点补全的方式，并不能针对特定的点进行补全，额外耗费过多的计算资源，并且模型预测耗时且不稳定。
62.在本发明实施例中，待补全区域是需要进行距离信息补全的区域，其可以是针对某个物体、某个部件或某个物体部位进行框选的区域。对于框选出的待补全区域，本发明实施例利用该待补全区域内部或外部的参考区域的距离点信息进行综合计算，对待补全区域中的距离缺失点进行距离信息补全。其中，待补全区域可以是圆形、多边形或不规则图形等。
63.在本发明实施例中，参考区域可以是一个或多个。对于参考区域的确定，可以是以待补全区域的中心点作为想要获取的参考区域的中心点，基于该中心点以待补全区域的缩小若干倍数的区域作为参考区域；也可以在待补全区域的中心点周围取若干个小区域作为多个收缩区域。另外，也可以分别采用待补全区域进行不同倍数放大后形成的两个周线之间围成的区域作为参考区域；也可以在待补全区域外部周围取若干个均匀分布的小区域作为多个参考区域。具体的参考区域的获取方式可以根据实际需求进行设置。
64.s2、根据所述参考区域内的有效距离点的距离值确定候补距离值。其中，所述有效距离点为未发生距离值缺失的点。
65.在本发明实施例中，对于确定的参考区域，根据参考区域内部的有效距离点的距离值进行计算(可以进行平均计算，也可以根据每一距离点相距该参考区域的中心点的距离确定权值进行加权平均)得到候补距离值。
66.s3基于所述候补距离值对所述待补全区域中的距离缺失点进行距离值补全。
67.需要说明的是，在获取到参考区域对应的候补距离值后，可以根据不同情况基于候补距离值对待补全区域中的距离缺失点进行距离值补全。例如，对于参考区域为多个的情况，可以采用多个参考区域对应的候补距离值的平均值作为待补全区域中的距离缺失点进行距离值，也可以对多个参考区域的候补距离值设置相应的权值进行加权平均，将加权平均获取的值作为待补全区域中的距离缺失点进行距离值。
68.根据本发明实施例的距离信息补全方法，通过对图像中特定区域进行距离缺失点的信息补全，无需对整个深度图像进行模型训练和全局补全，节省了大量的计算资源以及运算时间，从而提高了距离信息补全的效率；同时，通过根据待补全区域对应的参考区域的多个有效距离点来综合计算候补距离值，克服了现有技术采用目标点附近的单一距离点来进行距离值补充导致的准确性较低的问题，从而提高了对待补全区域中的距离缺失点进行距离信息补全的准确性。
69.在一个实施例中，所述参考区域包括收缩区域和膨胀区域；其中，所述收缩区域和所述膨胀区域均在所述深度图像之内，且所述收缩区域位于所述待补全区域内部，所述膨胀区域位于所述待补全区域外部；
70.步骤s2具体可以包括：
71.s21、根据所述收缩区域内的有效距离点的距离值确定第一候补距离值，并根据所述膨胀区域内的有效距离点的距离值确定第二候补距离值。
72.步骤s3具体可以包括：
73.s31、基于所述第一候补距离值和所述第二候补距离值对所述待补全区域中的距离缺失点进行距离值补全。
74.在本发明实施例中，通过同时获取待补全区域的收缩区域和膨胀区域来分别计算第一候补距离值和第二候补距离值，通过综合考虑待补全区域内外参考区域的有效距离点
来计算候补距离值。其中，对于收缩区域的确定，可以是以待补全区域的中心点作为收缩区域的中心点，以待补全区域的缩小若干倍数的区域作为收缩区域；也可以在待补全区域的中心点周围取若干个小区域作为多个收缩区域。对于膨胀区域，可以分别采用待补全区域进行不同倍数放大后形成的两个周线之间围成的区域作为膨胀区域；也可以在待补全区域外部周围取若干个均匀分布的小区域作为多个膨胀区域。收缩区域及膨胀区域的个数均可以是一个或多个，具体的收缩区域和膨胀区域的获取方式可以根据实际需求进行定义。
75.在本发明实施例中，对于确定的收缩区域和膨胀区域，分别根据两种区域内部的有效距离点的距离值进行计算(可以进行平均计算，也可以根据每一距离点相距该区域的中心点的距离确定权值进行加权平均)得到第一候补距离值和第二候补距离值；若收缩区域为多个，则根据多个收缩区域对应的候补距离值进一步进行平均计算或加权平均，以计算得到第一候补距离值；同理，若膨胀区域为多个，根据多个膨胀区域对应的候补距离值进一步进行平均计算或加权平均，以计算得到第一候补距离值。
76.需要说明的是，在获取到收缩区域对应的第一候补距离值以及膨胀区域对应的第二候补距离值后，可以根据不同情况基于第一候补距离值和第二候补距离值对待补全区域中的距离缺失点进行距离值补全。例如，可以采用第一候补距离值和第二候补距离值的平均值作为待补全区域中的距离缺失点进行距离值，也可以对第一候补距离值和第二候补距离值设置相应的权值进行加权平均，将加权平均获取的值作为待补全区域中的距离缺失点进行距离值。
77.根据本发明实施例的距离信息补全方法，通过根据待补全区域对应的收缩区域以及膨胀区域的多个有效距离点来综合计算候补距离值，通过综合考虑待补全区域的内外两种参考区域来进行距离信息补全，进一步提高了对待补全区域中的距离缺失点进行距离信息补全的准确性。
78.在一个实施例中，步骤s31可以包括步骤：
79.s311、确定所述第一候补距离值与所述第二候补距离值的相差值大于预设的差距阈值，并采用所述第一候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
80.s312、确定所述第一候补距离值与所述第二候补距离值的相差值不大于所述差距阈值，并采用所述第一候补距离值与所述第二候补距离值的平均值，对所述待补全区域中的距离缺失点进行距离值补全。
81.需要说明的是，在本发明实施例中可以根据第一候补距离值与第二候补距离值的相差值，分不同情况对待补全区域中的距离缺失点进行距离值补全。
82.具体地，当第一候补距离值与第二候补距离值的相差值大于预设差距阈值时，认为待补全区域外部的膨胀区域的距离点信息对于待补全区域距离补全的参考价值较少，因此直接采用收缩区域对应的第一候补距离值来对待补全区域的距离缺失点进行距离值补全。
83.对应地，当第一候补距离值与第二候补距离值的相差值不大于差距阈值时，认为待补全区域外部的膨胀区域的距离点信息对于待补全区域距离补全有一定参考价值，因此需要综合第一候补距离值与第二候补距离值进行平均运算，来对待补全区域的距离缺失点进行距离值补全。
84.根据本发明实施例的距离信息补全方法，通过根据第一候补距离值与第二候补距
离值的相差值，分不同情况来对待补全区域中的距离缺失点进行距离值补全，使得对待补全区域补全的距离信息更贴近实际场景，从而进一步提高了距离信息补全的准确性。
85.在其他实施例中，也可以根据第一候补距离值与第二候补距离值的相差值，确定位于待补全区域外部的膨胀区域对于待补全区域距离补全的参考价值权重，进而根据参考价值的权重确定第一候补距离值和第二候补距离值的计算权值。例如，预先设置不同的阈值区间，每一阈值区间对应不同的内外参考区域权重比，确定第一候补距离值与第二候补距离值的相差值所对应的目标阈值区间，即可匹配相应的内外参考区域权重比来对第一候补距离值与第二候补距离值进行加权平均计算，以对距离缺失点进行距离信息补全。
86.在一个实施例中，所述待补全区域为多边形；
87.步骤s1可以包括步骤：
88.s11、在所述待补全区域的至少一条边线上确定一个延伸点，基于每一所述延伸点以及预设的内收距离确定所述收缩区域的若干个顶点，并根据所述若干个顶点得到所述收缩区域；
89.s12、基于每一所述延伸点以及预设的外扩距离确定与所述延伸点对应的膨胀区域中心点，并根据所述膨胀区域中心点得到所述膨胀区域。
90.需要说明的是，对于待补全区域的框选，可以采用多边形来标记，进一步地，可以利用矩形进行标记。下面以呈矩形的待补全区域为例进行说明，对于收缩区域，可以以矩形的四个边线的中心点作为延伸点，以预设的内收距离从这些延伸点(优选地以垂直边线的方向)向待补全区域内部延伸，得到四个延伸的终点，将这四个终点相连即可得到一个菱形区域，该菱形区域即为收缩区域。对于膨胀区域，同样根据上述的矩形的四个边线上的延伸点，以预设的外扩距离从这些延伸点(优选地以垂直边线的方向)向待补全区域外部延伸，得到四个延伸的终点，以这些终点作为中心点，再根据预设的边长即可构成得到对应的四个膨胀区域。需要说明的是，不同延伸点对应的内收距离(外扩距离)可以不同，当不同延伸点对应的内收距离不同时，所形成的收缩区域可以为不规则图形。在其他实施例中，也可以基于不同个数的延伸点以及不同的内收距离或外扩距离，确定得到一个或多个收缩区域以及一个或多个膨胀区域。
91.根据本发明实施例的距离信息补全方法，通过采用多边形来对待补全区域进行标记，并基于呈多边形的待补全区域的边线以及预设内收距离或外扩距离确定收缩区域和若干个膨胀区域，从而能够均匀获取得到待补全区域附近的多个相关区域，并根据这些相关区域的距离有效值综合计算第一候补距离值和第二候补距离值，进一步提高了距离信息补全的准确性。
92.在一个实施例中，在步骤s1之后，在步骤s21之前，还可以包括步骤：
93.s13、确定所述收缩区域内的有效距离点个数少于预设第一阈值，通过调整所述内收距离以重新确定所述收缩区域；
94.s14、确定所述膨胀区域内的有效距离点个数少于预设第二阈值，通过调整所述外扩距离以重新确定所述膨胀区域。
95.可以理解的是，当步骤s1确定得到的收缩区域或膨胀区域范围比较小时，很有可能在收缩区域或膨胀区域中的有效距离点个数较少，甚至为0，因此为了确保能够获取足够多的有效距离点进行候补距离值计算，本发明实施例通过设定第一阈值和第二阈值，当收
缩区域内的有效距离点个数少于第一阈值时，通过调整内收距离来重新确定收缩区域(缩小内收距离即可获取得到更大的收缩区域)；当至少有其中一个膨胀区域内的有效距离点个数少于预设第二阈值，则通过调整外扩距离来重新确定多个膨胀区域(通过扩大外扩距离，可以获取得到离待补全区域更远处的膨胀区域)，也可以通过调整边长来扩大膨胀区域的范围。
96.根据本发明实施例的距离信息补全方法，当确定收缩区域或膨胀区域内的有效距离点较少时，认为相关区域的距离信息不足以计算第一候补距离值或第二候补距离值，从而通过调整内收或外扩的程度重新确定收缩区域或膨胀区域，确保获取足够的距离信息来计算待补全区域的第一候补距离值和第二候补距离值，从而进一步提高了距离信息补全的准确性。
97.在一个实施例中，步骤s21可以包括步骤：
98.s21、确定所述收缩区域的第一距离平均值，并根据所述第一距离平均值确定所述第一候补距离值；
99.s22、确定所述膨胀区域的第二距离平均值，并根据所述第二距离平均值确定所述第二候补距离值；
100.其中，所述第一距离平均值为根据所述收缩区域内所有的有效距离点的距离值进行平均运算得到；所述第二距离平均值为根据所述膨胀区域内所有的有效距离点的距离值进行平均运算得到。
101.需要说明的是，在本发明实施例中，采用平均值运算的方式来获取第一候补距离值和第二候补距离值，具体地，对于只有一个收缩区域和一个膨胀区域的情况，采用收缩区域内或膨胀区域内所有的有效距离点的距离值计算得到平均值作为第一候补距离值或第二候补距离值；对于收缩区域或膨胀区域为多个的情况，首先分别计算每一收缩区域(膨胀区域)内所有有效距离点的距离平均值，再根据多个收缩区域(膨胀区域)的距离平均值进行计算(可以是求平均值，也可以根据不同方向的区域确定不同的权重进行加权平均)得到第二候补距离值。
102.根据本发明实施例的距离信息补全方法，采用相关区域的有效距离值的平均值作为计算候补距离值的基础，其中，对于多个收缩或膨胀区域，先分别获取各个区域的有效距离值的平均值，再根据多个区域的距离平均值进行计算候补距离值，从而能够均匀获取得到待补全区域周围相关区域的距离点信息，进一步提高距离信息补全的普适性和准确性。
103.在一个实施例中，在步骤s1之前，还可以包括步骤：
104.s15、基于色彩成像图的目标识别区域的二维坐标信息，从所述深度图像中确定所述待补全区域；
105.其中，所述色彩成像图的坐标系与所述深度图像的坐标系预先经过相互配准；所述目标识别区域为待测物体所在的区域。
106.需要说明的是，在实际应用中一般通过色彩成像图和深度图像相结合来获取目标场景的距离信息，而由于色彩成像图相比深度图像能够更快速准确地识别出目标物体的区域，因此可以先将色彩成像图和深度图像的坐标系进行相互配准，再通过色彩成像图进行目标识别得到目标识别区域的二维坐标信息(如矩形框的四个顶点坐标)，再在深度图像中根据相同的坐标即可框选出对应的待补全区域。
107.根据本发明实施例的距离信息补全方法，无需直接通过深度图像来获取待补全区域，而是通过相适配的色彩成像图的目标识别区域来确定深度图像中的待补全区域，由于色彩成像图相比深度图像能够更快速准确地识别出目标物体的区域，从而在整体上进一步提高了距离信息补全的效率和准确性。
108.在一个实施例中，在步骤s15之前，还可以包括步骤：
109.s16、将所述色彩成像图输入至目标识别模型，获得所述目标识别模型输出的标记有目标识别区域的色彩成像图；
110.其中，所述目标识别模型是基于样本色彩成像图以及所述样本色彩成像图对应的目标识别区域结果进行训练得到的。
111.需要说明的是，对于色彩成像图中的目标识别，可以采用预先训练好的目标识别模型(如faster-rcnn系列、yolo系列等)进行识别。对于目标识别模型的训练，可以采用带有不同形态的目标物体(如杯子、箱子等)的样本色彩成像图，再结合标记的目标物体框进行模型训练得到。
112.根据本发明实施例的距离信息补全方法，采用训练好的目标识别模型来识别出色彩成像图中的目标物体区域，能够进一步提高框选出待补全区域的准确性，从而进一步提高距离信息补全的准确性。
113.请参见图2-3，基于上述方案，为便于更好的理解本发明实施例提供的距离信息补全方法，以下列举具体实例进行详细说明：
114.为解决现有技术对距离缺失点进行补全存在的效率低下和准确性不高的问题，本发明实施例提供的距离信息补全方法通过采用待补全区域的收缩区域的部分距离点来估计目标距离点，这样不会依赖单一距离，具有一定冗余性，同时采用待补全区域的膨胀区域的部分距离点进行估计目标距离点，利用空间上的结构特征可对区域内估计的距离点进行修正，获得更加准确的目标距离点进行补全。需要说明的是，通过采用在空间结构上进行多方位计算获得的补全距离点，不依赖强大的gpu，无需消耗额外的计算资源，所估计的目标距离点更加稳定，方便移植到各种识别算法框架中。本发明实施例具体步骤如下：
115.1)通过3d相机等设备捕获当前场景数据，获得经过配准后的rgb图(色彩成像图)和depth图(深度图像)，分别用s1和s2表示。
116.2)利用目标识别模型对当前采集的rgb图进行训练和预测，其中目标识别模型可以是任意标准的2d目标检测网络(如，faster-rcnn系列、yolo系列等)，可在目标周围预测出矩形框(也可以是其他图形，本实例以矩形作为举例)，利用该矩形框标记目标物体所在区域。本发明实施例不限制2d目标检测网络的类型。令rgb图左上角为坐标原点，从左到右为x轴正方向，上到下为y轴正方，预测得到的包含目标物体区域的矩形框的角点坐标为其中和分别表示矩形框的左上角坐标，和分别表示矩形框的右下角坐标。同样的，在depth图上设置与rgb图中相同的坐标系，这样可将矩形框的角点b直接迁移到depth图中，获得depth图中的待补全区域。在depth图中每个坐标值下会对应实际的距离点p，故可在depth图的待补全区域内选择目标距离点p
*
。
117.3)根据depth图和待补全区域坐标，基于与待补全区域对应的收缩区域和膨胀区域计算出对待补全区域中缺失点进行距离信息补全的候补点。具体的区域求解如附图中的图3所示。
118.a)计算收缩区域范围的候补距离值。首先计算出待补全区域的矩形框四个边的中点和和设置四个收缩因子(内收距离)[cg0》0,cg1》0,cg2》0,cg3》0]，可获取新的收缩后的菱形区域，其菱形区域的四个角点分别为形区域的四个角点分别为和其中其中和采用收缩后的菱形区域计算候补距离值相比于直接收缩矩形更能有效过滤掉无关区域。设收缩后的菱形区域点的距离值集合为采用如下公式计算收缩区域对应的候补距离值
[0119][0120]
其中，k为集合中存在的所有有效距离点(距离值未缺失)的个数。当k＝0时(也可设为少于预设值)，即区域中不存在有效距离点，可通过调整收缩因子[cg0,cg1,cg2,cg3]来获取新的菱形区域进行计算。
[0121]
采用同样的计算方式，可将收缩后的菱形区域顶点与待补全区域边线上的延伸点相连，形成菱形区域与待补全区域之间四个方位的区域的有效点集合相连，形成菱形区域与待补全区域之间四个方位的区域的有效点集合和对每个集合进行计算候补距离，再取均值获得最终的候补距离值。
[0122]
b)计算膨胀区域范围的候补距离值。根据上述步骤a)中的矩形框四个边的中点和根据当前场景下设置四个膨胀因子(外扩距离)[ep0》0,ep1》0,ep2》0,ep3》0]，可获得膨胀后的距离点的坐标》0]，可获得膨胀后的距离点的坐标和其中其中和防止膨胀后选择的距离点因设备、角度等客观因素导致的出现距离值为0的无效缺失值或突变值，分别设以为中心，边长为d的四个膨胀区域点的距离值集合为和采用如下公式计算膨胀区域对应的候补距离值
[0123][0124]
其中，m为集合中所有有效距离点的个数；n为集合中所有有效距离点的个数；w为集合中所有有效距离点的个数；u为集合中所有有效距离点的个数。当m、n、w、u存在为0(也可设为预设值)的情况时，可调整膨胀因子[ep0,ep1,ep2,ep3](或调整边长)来获取新的膨胀区域进行计算。通过四方位综合计算出的候补距离值能够有效利用目标周围的空间信息获得更为准确的距离。
[0125]
4)对待补全区域内的距离缺失点进行距离值补全。首先判断设备直接采集后的目
标距离点p
*
的距离值是否存在，当p
*
的距离值不存在时(距离缺失点)采用候补距离值进行计算。设置阈值φ》0，当则目标距离点当目标距离点对待补全区域内所有距离值缺失的目标距离点p
*
完成补全。
[0126]
需要说明的是，上述实施例描述了同时参考收缩区域和膨胀区域的有效距离值来实现距离信息补全的方案，在其他实施例中，也可以单独参考收缩区域的有效距离值来实现距离信息补全，其中收缩区域的获取可以参考上述实施例所描述的收缩区域确定方式；另外，也可以单独参考膨胀区域的有效距离值来实现距离信息补全，其中膨胀区域的获取可以参考上述实施例所描述的收缩区域确定方式。
[0127]
需要说明的是，本发明实施例可适用于多种带有视觉感知的平台的部署：智能手机、机器人(如家庭服务机器人)、监控摄像头、智能电器等。多种传感器采集的数据可作为输入：rgb-d红外相机、rgb相机+激光雷达、rgb相机+毫米波雷达、rgb相机+红外相机等可进行rgb成像和测距成像的元件。
[0128]
与现有技术相比，本发明实施例具有如下有益效果：
[0129]
1)本发明实施例的计算稳定且速度快，但又不依赖高性能的计算资源，方便移植到设备中。
[0130]
2)本发明实施例可实现即插即用，能够灵活适配现有的识别算法中。
[0131]
3)本发明实施例利用特定区域的距离点来进行补全，可以针对不同的场景任务自由调整特定区域，具有一定的普适性。
[0132]
4)本发明实施例不会过于依赖3d相机的成像性能，节省了硬件的成本开销。
[0133]
参考图4，图4是本发明实施例提供的距离信息补全装置的模块示意图，本发明实施例提供的距离信息补全装置，包括：
[0134]
区域确定模块1，用于基于深度图像的待补全区域确定参考区域；
[0135]
信息候补模块2，用于根据所述参考区域内的有效距离点的距离值确定候补距离值；
[0136]
信息补全模块3，用于基于所述候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
[0137]
其中，所述参考区域在所述深度图像之内；所述有效距离点为未发生距离值缺失的点。
[0138]
在一个实施例中，所述参考区域包括收缩区域和膨胀区域；其中，所述收缩区域和所述膨胀区域均在所述深度图像之内，且所述收缩区域位于所述待补全区域内部，所述膨胀区域位于所述待补全区域外部；
[0139]
所述信息候补模块2具体用于：
[0140]
根据所述收缩区域内的有效距离点的距离值确定第一候补距离值，并根据所述膨胀区域内的有效距离点的距离值确定第二候补距离值；
[0141]
所述信息补全模块3具体用于：
[0142]
基于所述第一候补距离值和所述第二候补距离值对所述待补全区域中的距离缺失点进行距离值补全。
[0143]
在一个实施例中，所述信息补全模块3具体用于：
[0144]
确定所述第一候补距离值与所述第二候补距离值的相差值大于预设的差距阈值，并采用所述第一候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
[0145]
确定所述第一候补距离值与所述第二候补距离值的相差值不大于所述差距阈值，并采用所述第一候补距离值与所述第二候补距离值的平均值，对所述待补全区域中的距离缺失点进行距离值补全。
[0146]
在一个实施例中，所述待补全区域为多边形；
[0147]
所述区域确定模块1具体用于：
[0148]
在所述待补全区域的至少一条边线上确定一个延伸点，基于每一所述延伸点以及预设的内收距离确定所述收缩区域的若干个顶点，并根据所述若干个顶点得到所述收缩区域；
[0149]
基于每一所述延伸点以及预设的外扩距离确定与所述延伸点对应的膨胀区域中心点，并根据所述膨胀区域中心点得到所述膨胀区域。
[0150]
在一个实施例中，所述装置还包括区域调整模块，其用于：
[0151]
确定所述收缩区域内的有效距离点个数少于预设第一阈值，通过调整所述内收距离以重新确定所述收缩区域；
[0152]
确定所述膨胀区域内的有效距离点个数少于预设第二阈值，通过调整所述外扩距离以重新确定若干个所述膨胀区域。
[0153]
在一个实施例中，所述信息候补模块2具体用于：
[0154]
确定所述收缩区域的第一距离平均值，并根据所述第一距离平均值确定所述第一候补距离值；
[0155]
确定所述膨胀区域的第二距离平均值，并根据所述第二距离平均值确定所述第二候补距离值；
[0156]
其中，所述第一距离平均值为根据所述收缩区域内所有的有效距离点的距离值进行平均运算得到；所述第二距离平均值为根据所述膨胀区域内所有的有效距离点的距离值进行平均运算得到。
[0157]
在一个实施例中，所述装置还包括区域匹配模块，其用于：
[0158]
基于色彩成像图的目标识别区域的二维坐标信息，从所述深度图像中确定所述待补全区域；
[0159]
其中，所述色彩成像图的坐标系与所述深度图像的坐标系预先经过相互配准；所述目标识别区域为待测物体所在的区域。
[0160]
在一个实施例中，所述装置还包括目标识别模块，其用于：
[0161]
将所述色彩成像图输入至目标识别模型，获得所述目标识别模型输出的标记有目标识别区域的色彩成像图；
[0162]
其中，所述目标识别模型是基于样本色彩成像图以及所述样本色彩成像图对应的目标识别区域结果进行训练得到的。
[0163]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通
信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：
[0164]
s1、基于深度图像的待补全区域确定参考区域；
[0165]
s2、根据所述参考区域内的有效距离点的距离值确定候补距离值；
[0166]
s3、基于所述候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
[0167]
其中，所述参考区域在所述深度图像之内；所述有效距离点为未发生距离值缺失的点。
[0168]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0169]
另一方面，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
[0170]
s1、基于深度图像的待补全区域确定参考区域；
[0171]
s2、根据所述参考区域内的有效距离点的距离值确定候补距离值；
[0172]
s3、基于所述候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
[0173]
其中，所述参考区域在所述深度图像之内；所述有效距离点为未发生距离值缺失的点。
[0174]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
[0175]
s1、基于深度图像的待补全区域确定参考区域；
[0176]
s2、根据所述参考区域内的有效距离点的距离值确定候补距离值；
[0177]
s3、基于所述候补距离值对所述待补全区域中的距离缺失点进行距离值补全；
[0178]
其中，所述参考区域在所述深度图像之内；所述有效距离点为未发生距离值缺失的点。
[0179]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0180]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指
令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0181]
最后应说明的是，以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。