点云配准方法、装置、设备及存储介质与流程

1.本技术涉及三维重建技术领域，尤其涉及一种点云配准方法、装置、设备及存储介质。


背景技术：

2.点云配准是计算两个点云之间的相对位姿(刚性变换或欧式变换)，将源点云(source cloud)变换到目标点云(target cloud)相同的坐标系下的过程。目前，为了得到理想的点云配准结果，可以通过尺度不变特征变换(scale-invariant feature transform，sift)、快速特征点提取和描述(oriented fast and rotated brief，orb)和直方图特征(signatures of histograms，shot)等特征描述子获得足够多的特征匹配对，进而基于特征匹配对进行点云配准，确定两个点云之间的相对位姿。然而，采用特征匹配对的方法求解相对位姿，会导致求解相对位姿的准确率较低，影响最终点云配准的结果。


技术实现要素：

3.本技术的多个方面提供一种点云配准方法、装置、设备及存储介质，用以提高点云配准的准确率。
4.本技术实施例提供一种点云配准方法，包括：获取多个空间对象中在各采集点位上采集到的三维点云数据集和二维实景图像，每个三维点云数据集和每张二维实景图像中包含其所属空间对象中的至少一个门体信息；其中，多个空间对象属于目标物理空间，每个空间对象中设置有一个或多个采集点位；根据雷达坐标系与摄像头坐标系之间的转换关系，将每张二维实景图像中的二维门点信息转换至该二维实景图像对应的三维点云数据集中，得到三维点云数据集的三维门点信息，二维门点信息是门体信息中拐角点与地面的交点信息；根据每个三维点云数据集的三维门点信息，结合各采集点位的三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息，以实现各采集点位的三维点云数据集之间的点云配准。
5.本技术实施例还提供一种点云配准装置，包括：获取模块、转换模块和确定模块；获取模块，用于获取多个空间对象中在各采集点位上采集到的三维点云数据集和二维实景图像，每个三维点云数据集和每张二维实景图像中包含其所属空间对象中的至少一个门体信息；其中，多个空间对象属于目标物理空间，每个空间对象中设置有一个或多个采集点位；转换模块，用于根据雷达坐标系与摄像头坐标系之间的转换关系，将每张二维实景图像中的二维门点信息转换至该二维实景图像对应的三维点云数据集中，得到三维点云数据集的三维门点信息，二维门点信息是门体信息中拐角点与地面的交点信息；确定模块，用于根据每个三维点云数据集的三维门点信息，结合各采集点位的三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息，以实现各采集点位的三维点云数据集之间的点云配准。
6.本技术实施例还提供一种点云配准设备，包括：存储器和处理器；存储器，用于存
储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以实现本技术实施例提供的点云配准方法中的步骤。
7.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本技术实施例提供的点云配准方法中的步骤。
8.在本技术实施例中，基于空间对象中的门体信息，结合三维点云数据集之间的门体连接信息，对各采集点位的三维点云数据集进行位姿估计，具体地，检测二维实景图像中的二维门点信息，将二维门点信息转换成三维门点信息，基于三维点云数据集的三维门点信息，结合门体连接信息，估计三维点云数据集之间的相对位姿信息，整个过程中，无需足够多的特征匹配对，根据门体信息对应的三维门点信息进行点云配准，提高了确定相对位姿信息准确率。
附图说明
9.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
10.图1为本技术示例性实施例提供的一种点云配准方法的流程示意图；
11.图2为本技术示例性实施例提供的一种点云配准装置的结构示意图；
12.图3为本技术示例性实施例提供的一种点云配准设备的结构示意图。
具体实施方式
13.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
14.针对现有技术中点云配准准确率低的问题，在本技术实施例中，基于空间对象中的门体信息，结合三维点云数据集之间的门体连接信息，对各采集点位的三维点云数据集进行位姿估计，具体地，检测二维实景图像中的二维门点信息，将二维门点信息转换成三维门点信息，基于三维点云数据集的三维门点信息，结合门体连接信息，估计三维点云数据集之间的相对位姿信息，整个过程中，无需足够多的特征匹配对，根据门体信息对应的三维门点信息进行点云配准，提高了确定相对位姿信息准确率。
15.以下结合附图，详细说明本技术各实施例提供的技术方案。
16.图1为本技术示例性实施例提供的一种点云配准方法的流程示意图。如图1所示，该方法包括：
17.101、获取多个空间对象中在各采集点位上采集到的三维点云数据集和二维实景图像，每个三维点云数据集和每张二维实景图像中包含其所属空间对象中的至少一个门体信息；其中，多个空间对象属于目标物理空间，每个空间对象中设置有一个或多个采集点位；
18.102、根据雷达坐标系与摄像头坐标系之间的转换关系，将每张二维实景图像中的二维门点信息转换至该二维实景图像对应的三维点云数据集中，得到三维点云数据集的三维门点信息，二维门点信息是门体信息中拐角点与地面的交点信息；
19.103、根据每个三维点云数据集的三维门点信息，结合各采集点位的三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息，以实现各采集点位的三维点云数据集之间的点云配准。
20.在本实施例中，目标物理空间指的是特定的空间区域，该空间区域中包含多个空间对象，换句话说，多个空间对象组成了目标物理空间。例如，目标物理空间是指一套住房，住房中包括的多个空间对象可以是厨房、卧室、客厅或卫生间等。可以在每个空间对象中设置一个或多个采集点位，具体采集点位的数量可视空间对象的大小、形状或者物理空间中物体摆放情况而定。
21.在本实施例中，在各采集点位上可以采集三维点云数据集。其中，可以采用激光雷达(laser radar)在每个采集点位上采集其所属空间对象的三维点云数据集。其中，激光雷达是以发射激光束探测目标物理空间的空间结构的系统。其工作原理是在各采集点位上向目标物理空间的物体(如墙体、门体或窗体等)发射探测信号(激光束)，然后，将接收到的从物体反射回来的信号(回波)与发射的信号进行比较，获得物体的相关信息，如距离、方位、高度、速度、姿态以及形状等参数。其中，当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，边扫描边记录反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成三维点云数据集。
22.其中，可以采用摄像头采集二维实景图像。根据摄像头的不同，二维实景图像的实现方式也有所不同，例如，摄像头实现为全景相机的摄像头，则二维实景图像实现为全景图像，再例如，摄像头实现为鱼眼相机的摄像头，则二维实景图像实现为鱼眼图像。
23.其中，并不对摄像头和激光雷达的安装位置进行限定。例如，摄像头和激光雷达之间在水平方向具有一定的角度，例如，90度、180度或270度等，摄像头和激光雷达之间在垂直方向也具有一定的距离，例如，0cm、1cm或5cm等。其中，摄像头和激光雷达还可以固定在支架的云台设备上，随着云台设备的旋转而旋转，在云台设备旋转过程中，激光雷达在采集点位上获取空间对象对应的三维点云数据集，摄像头在采集点位上采集空间对象对应的二维实景图像。其中，根据摄像头和激光雷达的安装位置，可以得到雷达坐标系与摄像头坐标系之间的转换关系。
24.在本实施例中，每个空间对象中包含至少一个门体信息。例如，客厅包含三个门体信息，客厅分别与主卧、次卧和卫生间具有相同的门体信息，主卧包含一个门体信息，次卧包含一个门体信息，卫生间包含一个门体信息。基于此，基于激光雷达采集到的三维点云数据集以及基于摄像头采集的二维实景图像包含空间对象中的至少一个门体信息。
25.其中，二维实景图像中包含二维门点信息，二维门点信息是门体信息中拐角点与地面的交点信息，通常情况下，一个门体信息具有四个拐角点，四个拐角点中与地面相交的点有两个，即二维门点信息对应有门体信息中的两个拐角点信息。
26.在本实施例中，可以针对每张二维实景图像进行门窗检测，得到每张二维实景图像中包含的二维门点信息。例如，通过目标检测算法对每张二维实景图像进行门窗检测，目标检测算法包含但不限于：快速区域卷积神经网络(fast region-convolutional neural networks，fast-r-cnn)、例如你只能看一次(you only look once，yolo)模型或者单镜头多盒检测器(single shot multibox detector，ssd)等。
27.在检测到二维实景图像中的二维门点信息之后，可以将二维门点信息从摄像头坐
标系转换至雷达坐标系中，得到该二维实景图像对应的三维点云数据集中的三维门点信息。其中，二维实景图像对应的三维点云数据集是与该二维实景图像在同一采集点位采集的三维点云数据集。具体地，根据雷达坐标系与摄像头坐标系之间的转换关系，将每张二维实景图像中的二维门点信息转换至该二维实景图像对应的三维点云数据集中，得到三维点云数据集的三维门点信息。
28.例如，二维实景图像实现为全景图的情况下，二维门点信息在图像坐标系中的坐标为(c,r)；根据图像坐标系与球面坐标系的转换关系，将图像坐标系下的二维门点信息转换至球面坐标系下，得到球面坐标系下的三维门点信息pb＝(xb,yb,zb)；假设摄像头的高度为hc，将球面坐标系下的三维门点信息转换至摄像头坐标系下，得到pc＝hc/yb*pb＝hc/yb(xb,yb,zb)；假设摄像头坐标系与雷达坐标系的标定矩阵为tm，则三维门点信息在雷达坐标下的坐标为pl＝pc*tm＝hc/yb*pb*tm＝hc/yb*rm*pb+tm，其中，rm和tm分别为标定矩阵tm的旋转矩阵和平移矩阵。
29.在本实施例中，考虑到两个三维点云数据集之间进行点云配准涉及旋转或者平移变换，因此，点云配准问题实际上是非线性非凸函数，且具有大量局部极值的优化问题，为了得到理想的点云配准结果，可以通过sift、orb、shot等特征描述子获得足够多的特征匹配对，进而求解两个三维点云数据集之间的相对位姿。其中，采用特征匹配对的方法求解相对位姿可能受限于特征匹配对数量较少，这些都会导致求解相对位姿信息的准确率较低。
30.考虑到目标物理空间包含多个门体，每个门体可以连接两个空间对象，如果一个空间对象的每个门体都已经与其它空间对象连接，则认为该空间对象不需要与其它空间对象进行连接，即该空间对象对应的三维点云数据集不需要与其它空间对象对应的三维点云数据集进行配准。基于此，在本实施例中，根据门体信息对应的三维门点信息，并结合三维点云数据集之间的门体连接关系，对三维点云数据集之间的相对位姿进行估计，不再受限于特征匹配对的数量，提高了位姿信息估计的准确率。具体地，根据每个三维点云数据集的三维门点信息，结合三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息。
31.其中，门体连接信息可以体现一个空间对象中的门体与其它空间对象的连接关系，每个空间对象包含一个或多个门体信息。例如，目标物理空间包含：门体a1、门体a2以及门体a3，客厅包含三个门体信息，分别为门体a1、门体a2以及门体a3，主卧包含门体a1，次卧包含门体a2，卫生间包含门体a3；门体连接信息可以是客厅与主卧通过门体a1连接，客厅与次卧通过门体a2连接，客厅与卫生间通过门体a3连接等等，同时门体连接信息还可以体现每个空间对象，或者，门体连接信息可以是客厅对应的三维点云数据集e1和主卧对应的三维点云数据集e2通过门体a1连接，客厅对应的三维点云数据集e1与次卧对应的三维点云数据集e3通过门体a2连接，客厅对应的三维点云数据集e1与卫生间对应的三维点云数据集e4通过门体a3连接。
32.其中，门体连接信息可以是预先设定好的，例如，门体连接信息可以包含目标物理空间中各门体信息的连接关系信息；或者，门体连接信息可以是一边对三维点云数据集进行点云配准，一边建立起来的，例如，每次对两个三维点云数据集进行点云配准之后，建立该两个三维点云数据集之间的门体连接信息，后续若三维点云数据集m1中的门体均与其它三维点云数据集建立门体连接信息，则该三维点云数据集m1将不再参与后续相对位姿信息
的估计，减少了位姿估计的计算量。例如，可以根据三维点云数据集之间的门体连接信息，确定可以参与位姿估计的三维点云数据集；根据可以参与位姿估计的三维点云数据集的三维门点信息，确定三维点云数据集之间的第一相对位姿信息。
33.例如，三维点云数据集之间的门体连接信息指示空间对象f1和空间对象f2之间具有相同的门体信息，则可以确定与空间对象f1对应的二维实景图像b1，以及与空间对象f2对应的二维实景图像b2，二维实景图像b1中的门体x与二维实景图像b2中的门体y对应，获取二维实景图像b1和二维实景图像b2中的二维门点信息，并分别将二维实景图像b1和二维实景图像b2中的二维门点信息转换成三维点云数据集c1和三维点云数据集c2中的三维门点信息；根据三维点云数据集c1和三维点云数据集c2中的三维门点信息，确定三维点云数据集c1和三维点云数据集c2之间的第一相对位姿信息。
34.又例如，目标物理空间中包括三维点云数据集g1、三维点云数据集g2和三维点云数据集g3，门体连接信息指示三维点云数据集g1和三维点云数据集g2具有相同的门体信息，三维点云数据集g1和三维点云数据集g3也具有相同的门体信息，且三维点云数据集g2的所有门体信息均与其它三维点云数据集中的门体建立连接关系，则可以根据三维点云数据集g1的三维门点信息和三维点云数据集g3的三维门点信息，确定三维点云数据集g1与三维点云数据集g3之间的第一相对位姿信息。
35.可选地，在各采集点位的三维点云数据集之间的第一相对位姿信息之后，可以根据该第一相对位置信息，对各采集点位的三维点云数据集进行点云融合，得到目标物理空间对应的三维点云数据集。或者在各采集点位的三维点云数据集之间的第一相对位姿信息之后，可以将该第一相对位置信息作为三维点云数据集之间的初始相对位姿信息，采用迭代最近点(iterative closest point，icp)算法或者正态分布转换(normal distributions transform，ndt)算法，对各采集点位的三维点云数据集进行精配准，基于精配准得到的各采集点位的三维点云数据集的位姿信息，对各采集点位的三维点云数据集进行融合，得到目标物理空间对应的三维点云数据集。
36.在本技术实施例中，基于空间对象中的门体信息，结合三维点云数据集之间的门体连接信息，对各采集点位的三维点云数据集进行位姿估计，具体地，检测二维实景图像中的二维门点信息，将二维门点信息转换成三维门点信息，基于三维点云数据集的三维门点信息，结合门体连接信息，估计三维点云数据集之间的相对位姿信息，整个过程中，无需足够多的特征匹配对，根据门体信息对应的三维门点信息进行点云配准，提高了确定相对位姿信息准确率。
37.在一可选实施例中，一种根据每个三维点云数据集的三维门点信息，结合各采集点位的三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息的实施方式，包括：按照设定的点云配准顺序，依次确定目的点云数据集；设定的点云配准顺序可以是采集三维点云数据集的顺序，也可以是根据多个空间对象的相对位置关系，设定三维点云数据集之间的点云配准顺序；根据各采集点位的三维点云数据集之间的门体连接信息，确定至少一个候选点云数据集。其中，每个三维点云数据集中可能包含一个门体信息，也可能包含多个门体信息，每个门体信息均维护有门体连接信息，表示该门体信息与其它三维点云数据集中的门体信息建立了连接关系，至少一个候选点云数据集是门体信息尚未与其它三维点云数据集的门体信息建立连接关系的三维点云数据集。根
据目的点云数据集和每个候选点云数据集的三维门点信息，估计每个候选点云数据集对应的第二相对位姿信息；根据每个候选点云数据集对应的第二相对位姿信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集；将第一候选点云数据集对应的第二相对位姿信息作为源点云数据集与目的点云数据集之间的第一相对位姿信息。其中，第一候选点云数据集对应的第二相对位姿信息是使得候选点云数据集与目的点云数据集之间的点云误差最小的第二相对位姿信息。
38.可选地，一种根据每个候选点云数据集对应的第二相对位姿信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集的实施方式，包括：根据每个候选点云数据集对应的第二相对位姿信息对每个候选点云数据集进行位姿转换，计算位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息。其中，计算位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息的方式并不限定，例如，可以针对位姿转换后的每个候选点云数据集的三维点pi，获得三维点pi在目的点云数据集中最近邻的三维点qi，该三维点qi处的法向量为ni，由此，可以计算三维点pi与三维点qi所在平面的点面距离考虑到配准的候选点云数据集和目的点云数据集之间往往存在大量外点，为了增强对于外点的鲁棒性，设置第三距离阈值dm，点面距离d若超过该第三距离阈值，则将第三距离阈值dm作为点面距离d，然后计算多个三维点pi与三维点qi之间的点面距离并取平均，作为候选点云数据集和目的点云数据集之间的第一距离信息，可以将该第一距离信息作为候选点云数据集对应的第二相对位姿信息的配准质量评分(score)，即：其中，mi表示候选点云数据集和目的点云数据集中配准点云的三维点数目，该评分反应了候选点云数据集和目的点云数据集的契合程度。
39.在计算位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息之后，可根据目的点云数据集和位姿转换后的每个候选点云数据集之间的第一距离信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集。例如，可以将最小的第一距离信息对应的候选点云数据集作为第一候选点云数据集，并第一候选点云数据集作为源点云数据集。又例如，可以确定超过设定第一距离阈值的第一距离信息对应的多个候选点云数据集，根据空间对象的相对位置关系，从多个三维点云数据集中选择第一候选点云数据集作为源点云数据集；其中，空间对象的相对位置关系通过其它传感器获取，例如，gps定位模块、wifi定位模块或者还可以是采用即时定位与地图构建(simultaneous localization and mapping，slam)模块获取。在一可选实施例中，可以在对三维点云数据集进行点云配准之后，建立已配准三维点云之间的门体连接信息，具体地，根据源点云数据集和目的点云数据集之间的第一相对位姿信息，计算源点云数据集和目的点云数据集中的三维门点信息之间的第二距离信息，例如，根据第一相对位姿信息对源点云数据集中的三维门点信息进行位姿变换，计算位姿变换后的三维门点信息与目的点云数据集中的三维门点信息之间的第二距离信息；若第二距离信息小于设定的第二距离阈值，则认为源点云数据集与目的点云数据集中的三维门点信息匹配成功，可以建立源点云数据集和目的点云数据集中的三维门点信息之间的门体连接信息。
40.可选地，每个三维门点信息包括：两个三维拐角点信息，可以针对源点云数据集与
目的点云数据集，分别计算每个三维门点信息中两个三维拐角点信息的中心点信息，分别得到源中心点信息和目的中心点信息；其中，源点云数据集中包含一个或多个三维门点信息，针对每个三维门点信息，计算该三维门点信息中两个三维拐角点信息的中心点信息，称为源中心点信息；同理，目的点云数据集中也可能包含一个或多个三维门点信息，针对每个三维门点信息，计算该三维门点信息中两个三维拐角点信息的中心点信息，称为目的中心点信息；根据源点云数据集和目的点云数据集之间的第一相对位姿信息，计算源中心点信息和目的中心点信息之间的第三距离信息；例如，通过第一相对位姿信息，对源中心点信息进行位姿变换，计算位姿变换后的源中心点信息与目的中心点信息之间的第三距离信息；将第三距离信息作为源点云数据集和目的点云数据集中的三维门点信息之间的第二距离信息。
41.可选地，若第二距离信息大于或等于设定的第二距离阈值，则认为源点云数据集和目的点云数据集中的三维门点信息未匹配成功，表示目的点云数据集与源点云数据集进行点云配准的准确率较低，可以获取其它传感器提供的目的点云数据集和至少一个候选点云数据集的位姿信息；其它传感器至少包括：wifi传感器、gps传感器或者slam模块；根据多个空间对象的相对位置关系，从至少一个候选点云数据集选择与目的点云数据对应的源点云数据集；根据其它传感器提供的目的点云数据集和源点云数据集的位姿信息，确定目的点云数据集和源点云数据集之间的第一相对位姿信息。
42.在一可选实施例中，一种根据三维点云数据集之间的门体连接信息，确定至少一个候选点云数据集的实施方式，包括：在首次对目标空间对象中的三维点云数据集进行点云配准的情况下，三维点云数据集之间的三维门点信息并未建立连接关系，此时，可以将各采集点位对应的三维点云数据集中，除了目的点云数据集之外的三维点云数据集作为至少一个候选点云数据集。在非首次对目标空间对象中的三维点云数据集进行点云配准的情况下，先前的点云配准过程，已经建立了已参与点云配准的三维门点信息之间的连接关系，即可以获取到已参与点云配准的三维门点信息之间的门体连接信息，若门体连接信息指示第一三维点云数据集中包含的三维门点信息均已经与其它三维点云数据集建立连接关系，表示该第一三维点云数据集不能再与其它三维点云数据集进行点云配准，则可以将各采集点位对应的三维点云数据集中，除了目的点云数据集和第一三维点云数据集之外的三维点云数据集作为至少一个候选点云数据集。
43.在一可选实施例中，一种根据目的点云数据集和每个候选点云数据集的三维门点信息，估计目的点云数据集和每个候选点云数据集之间的第二相对位姿信息的实施方式，包括：根据目的点云数据集和每个候选点云数据集中各自的三维门点信息，匹配至少两个门点对信息；根据至少两个门点对信息，估计目的点云数据集和每个候选三维点云数据集的第二相对位姿信息。
44.例如，目的点云数据集中可能包含一个或多个三维门点信息，每个三维门点信息包括两个三维拐角点信息，同理，候选点云数据集中也可能包含一个或多个三维门点信息；例如，目的点云数据集中的一个三维门点信息h0包括三维拐角点信息h1和三维拐角点信息h2，候选点云数据集中的一个三维门点信息j0包括三维拐角点信息j1和三维拐角点信息j2，将三维门点信息h0与三维门点信息j0进行匹配，可以得到两个门点对信息，分别为：门点对信息k1(h1，j1)和门点对信息k2(h2，j2)；若目的点云数据集中或者候选点云数据集包
含多个三维门点信息，则可以得到多(偶数)个门点对信息。
45.其中，考虑到激光雷达可以固定在支架的旋转轴或者云台设备上，随着旋转轴或者云台设备的旋转而旋转，从而在采集点位采集三维点云数据集，其中，对三维点云数据集进行旋转操作是绕着竖直轴进行旋转，对三维点云数据集执行平移操作是对采集点位在水平面上进行平移操作，三维点云数据集之间的相对位姿信息属于二维的刚体变换，有三个自由度(旋转时y轴的自由度以及平移时，x轴和z轴的自由度)，其中，上述匹配得到的每个门点对可以提供2个线性方程，基于每个门点对可以估算候选点云数据集对应的一个第二相对位姿信息；也就是说，针对目的点云数据集与候选点云数据集中各自的一个三维门点信息，可以匹配得到两个门点对信息，从而可以得到候选点云数据集对应的两个第二相对位姿信息。
46.相应地，可以针对候选点云数据集对应的两个第二相对位姿信息，分别对该候选点云数据集进行位姿转换，并计算位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息；其中，可以根据多个候选点云数据集计算位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息，将最小的第一距离信息对应的候选点云数据集作为源点云数据集，将计算最小的第一距离信息使用的第二相对位姿信息作为源点云数据集与目的点云数据集之间的第一相对位姿信息。
47.在一可选实施例中，三维点云数据集中可能会存在一个外点，例如，在客厅和餐厅分别采集了三维点云数据集，这两个采集点位共视的三维点主要在客厅餐厅这个空间内，客厅和餐厅所属空间之外的三维点大概率是外点，例如，客厅或餐厅的门外的三维点。基于此，可以根据三维点云数据集中的三维门点信息，对该三维门点信息对应的门体信息之外的三维点进行滤除。具体地，根据每个三维点云数据集各自的三维门点信息，结合三维点云数据集之间的门体连接信息，估计三维点云数据集之间的第一相对位姿信息之前，还可以根据每个三维点云数据集的三维门点信息，确定三维门点信息对应的门体所在的平面；根据该三维点云数据集中的三维点与门体所在的平面的位置关系，对该三维点云数据集对应的空间对象之外的三维点进行滤除。例如，三维点云数据集中的三维门点信息与其所在的竖直方向可以估计门体所在的平面，假设估计的门体所在的平面为：其中，n是门体所在平面的法向量，ρ是一个常量，用于表征门体所在平面的位置，x是三维点云数据集中的三维点。若满足则认为该三维点在门外，需要对该三维点进行滤除；若表示三维点位于门体所在平面上，或者位于门内，则不需要对该三维点进行滤除。
48.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备a；又比如，步骤101和102的执行主体可以为设备a，步骤103的执行主体可以为设备b；等等。
49.另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、
模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
50.图2为本技术示例性实施例提供的一种点云配准装置的结构示意图，如图2所示该点云配准装置，包括：获取模块21、转换模块22和确定模块23。
51.获取模块21，用于获取多个空间对象中在各采集点位上采集到的三维点云数据集和二维实景图像，每个三维点云数据集和每张二维实景图像中包含其所属空间对象中的至少一个门体信息；其中，多个空间对象属于目标物理空间，每个空间对象中设置有一个或多个采集点位；
52.转换模块22，用于根据雷达坐标系与摄像头坐标系之间的转换关系，将每张二维实景图像中的二维门点信息转换至该二维实景图像对应的三维点云数据集中，得到三维点云数据集的三维门点信息，二维门点信息是门体信息中拐角点与地面的交点信息；
53.确定模块23，用于根据每个三维点云数据集的三维门点信息，结合各采集点位的三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息，以实现各采集点位的三维点云数据集之间的点云配准。
54.在一可选实施例中，确定模块具体用于：按照设定点云配准顺序，依次确定目的点云数据集；根据各采集点位的三维点云数据集之间的门体连接信息，确定至少一个候选点云数据集；根据目的点云数据集和每个候选点云数据集的三维门点信息，估计每个候选点云数据集对应的第二相对位姿信息；根据每个候选点云数据集对应的第二相对位姿信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集；将第一候选点云数据集对应的第二相对位姿信息作为源点云数据集与目的点云数据集之间的第一相对位姿信息。
55.在一可选实施例中，确定模块具体用于：根据每个候选点云数据集对应的第二相对位姿信息，对每个候选点云数据集进行位姿转换，并计算位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息；根据位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集。
56.在一可选实施例中，确定模块具体用于：在首次对目标物理空间中的三维点云数据集进行点云配准的情况下，将除目的点云数据集之外的三维点云数据集作为至少一个候选点云数据集；在非首次对目标物理空间中的三维点云数据集进行点云配准的情况下，若已参与点云配准的三维点云数据集之间的门体连接信息指示第一三维点云数据集中包含的三维门点信息均已经与其它三维点云数据集建立连接关系，则将除目的点云数据集和第一三维点云数据集之外的三维点云数据集作为至少一个候选点云数据集。
57.在一可选实施例中，确定模块具体用于：根据目的点云数据集和每个候选点云数据集中各自的三维门点信息，匹配至少两个门点对信息；根据至少两个门点对信息，估计每个候选三维点云数据集对应的第二相对位姿信息。
58.在一可选实施例中，点云配准装置还包括：计算模块和建立模块；计算模块，用于根据源点云数据集和目的点云数据集之间的第一相对位姿信息，计算源点云数据集和目的点云数据集中的三维门点信息之间的第二距离信息；建立模块，用于若第二距离信息小于设定的第二距离阈值，则建立源点云数据集和目的点云数据集中的三维门点信息之间的门体连接信息。
59.在一可选实施例中，三维门点信息包括：两个三维拐角点信息；计算模块具体用于：针对源点云数据集与目的点云数据集，分别计算每个三维门点信息中两个三维拐角点信息的中心点信息，分别得到源中心点信息和目的中心点信息；根据源点云数据集和目的点云数据集之间的第一相对位姿信息，计算源中心点信息和目的中心点信息之间的第三距离信息；将第三距离信息作为源点云数据集和目的点云数据集中的三维门点信息之间的第二距离信息。
60.在一可选实施例中，点云配准装置还包括：选择模块；获取模块还用于：若第二距离信息大于或等于设定的第二距离阈值，则获取其它传感器提供的目的点云数据集和至少一个候选点云数据集的位姿信息；其它传感器至少包括：无线通信传感器、定位传感器或者即时定位与地图构建模块；选择模块，用于根据多个空间对象的相对位置关系，从至少一个候选点云数据集选择与目的点云数据对应的源点云数据集；确定模块还用于：根据其它传感器提供的目的点云数据集和源点云数据集的位姿信息，确定目的点云数据集和源点云数据集之间的第一相对位姿信息。
61.在一可选实施例中，点云配准装置还包括：滤除模块；在根据每个三维点云数据集各自的三维门点信息，结合三维点云数据集之间的门体连接信息，估计三维点云数据集之间的第一相对位姿信息之前，确定模块还用于：根据每个三维点云数据集的三维门点信息，确定三维门点信息对应的门体所在的平面；滤除模块用于：根据该三维点云数据集中的三维点与门体所在的平面的位置关系，对该三维点云数据集对应的空间对象之外的三维点进行滤除。
62.其中，关于点云配准装置的详细实施内容，可参见前述实施例，在此不再赘述。
63.本技术实施例提供的点云配准装置，基于空间对象中的门体信息，结合三维点云数据集之间的门体连接信息，对各采集点位的三维点云数据集进行位姿估计，具体地，检测二维实景图像中的二维门点信息，将二维门点信息转换成三维门点信息，基于三维点云数据集的三维门点信息，结合门体连接信息，估计三维点云数据集之间的相对位姿信息，整个过程中，无需足够多的特征匹配对，根据门体信息对应的三维门点信息进行点云配准，提高了确定相对位姿信息准确率。
64.图3为本技术示例性实施例提供的一种点云配准设备的结构示意图。如图3所示，该设备包括：存储器34和处理器35。
65.存储器34，用于存储计算机程序，并可被配置为存储其它各种数据以支持在点云配准设备上的操作。这些数据的示例包括用于在点云配准设备上操作的任何应用程序或方法的指令。
66.存储器34可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
67.处理器35，与存储器34耦合，用于执行存储器34中的计算机程序，以用于：获取多个空间对象中在各采集点位上采集到的三维点云数据集和二维实景图像，每个三维点云数据集和每张二维实景图像中包含其所属空间对象中的至少一个门体信息；其中，多个空间对象属于目标物理空间，每个空间对象中设置有一个或多个采集点位；根据雷达坐标系与
摄像头坐标系之间的转换关系，将每张二维实景图像中的二维门点信息转换至该二维实景图像对应的三维点云数据集中，得到三维点云数据集的三维门点信息，二维门点信息是门体信息中拐角点与地面的交点信息；根据每个三维点云数据集的三维门点信息，结合各采集点位的三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息，以实现各采集点位的三维点云数据集之间的点云配准。
68.在一可选实施例中，处理器35在根据每个三维点云数据集的三维门点信息，结合各采集点位的三维点云数据集之间的门体连接信息，确定各采集点位的三维点云数据集之间的第一相对位姿信息时，具体用于：按照设定点云配准顺序，依次确定目的点云数据集；根据各采集点位的三维点云数据集之间的门体连接信息，确定至少一个候选点云数据集；根据目的点云数据集和每个候选点云数据集的三维门点信息，估计每个候选点云数据集对应的第二相对位姿信息；根据每个候选点云数据集对应的第二相对位姿信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集；将第一候选点云数据集对应的第二相对位姿信息作为源点云数据集与目的点云数据集之间的第一相对位姿信息。
69.在一可选实施例中，处理器35在根据每个候选点云数据集对应的第二相对位姿信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集时，具体用于：根据每个候选点云数据集对应的第二相对位姿信息，对每个候选点云数据集进行位姿转换，并计算位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息；根据位姿转换后的每个候选点云数据集与目的点云数据集之间的第一距离信息，从至少一个候选点云数据集中选择第一候选点云数据集作为源点云数据集。
70.在一可选实施例中，处理器35在根据各采集点位的三维点云数据集之间的门体连接信息，确定至少一个候选点云数据集时，具体用于：在首次对目标物理空间中的三维点云数据集进行点云配准的情况下，将除目的点云数据集之外的三维点云数据集作为至少一个候选点云数据集；在非首次对目标物理空间中的三维点云数据集进行点云配准的情况下，若已参与点云配准的三维点云数据集之间的门体连接信息指示第一三维点云数据集中包含的三维门点信息均已经与其它三维点云数据集建立连接关系，则将除目的点云数据集和第一三维点云数据集之外的三维点云数据集作为至少一个候选点云数据集。
71.在一可选实施例中，处理器35在根据目的点云数据集和每个候选点云数据集的三维门点信息，估计每个候选点云数据集对应的第二相对位姿信息时，具体用于：根据目的点云数据集和每个候选点云数据集中各自的三维门点信息，匹配至少两个门点对信息；根据至少两个门点对信息，估计每个候选三维点云数据集对应的第二相对位姿信息。
72.在一可选实施例中，处理器35还用于：根据源点云数据集和目的点云数据集之间的第一相对位姿信息，计算源点云数据集和目的点云数据集中的三维门点信息之间的第二距离信息；若第二距离信息小于设定的第二距离阈值，则建立源点云数据集和目的点云数据集中的三维门点信息之间的门体连接信息。
73.在一可选实施例中，三维门点信息包括：两个三维拐角点信息；处理器35在根据源点云数据集和目的点云数据集之间的第一相对位姿信息，计算源点云数据集和目的点云数据集中的三维门点信息之间的第二距离信息时，具体用于：针对源点云数据集与目的点云数据集，分别计算每个三维门点信息中两个三维拐角点信息的中心点信息，分别得到源中心点信息和目的中心点信息；根据源点云数据集和目的点云数据集之间的第一相对位姿信
息，计算源中心点信息和目的中心点信息之间的第三距离信息；将第三距离信息作为源点云数据集和目的点云数据集中的三维门点信息之间的第二距离信息。
74.在一可选实施例中，处理器35还用于：若第二距离信息大于或等于设定的第二距离阈值，则获取其它传感器提供的目的点云数据集和至少一个候选点云数据集的位姿信息；其它传感器至少包括：无线通信传感器、定位传感器或者即时定位与地图构建模块；根据多个空间对象的相对位置关系，从至少一个候选点云数据集选择与目的点云数据对应的源点云数据集；根据其它传感器提供的目的点云数据集和源点云数据集的位姿信息，确定目的点云数据集和源点云数据集之间的第一相对位姿信息。
75.在一可选实施例中，处理器35在根据每个三维点云数据集各自的三维门点信息，结合三维点云数据集之间的门体连接信息，估计三维点云数据集之间的第一相对位姿信息之前，还用于：根据每个三维点云数据集的三维门点信息，确定三维门点信息对应的门体所在的平面；根据该三维点云数据集中的三维点与门体所在的平面的位置关系，对该三维点云数据集对应的空间对象之外的三维点进行滤除。
76.其中，关于点云配准设备的详细实施内容，可参见前述实施例，在此不再赘述。
77.本技术实施例提供的点云配准设备，基于空间对象中的门体信息，结合三维点云数据集之间的门体连接信息，对各采集点位的三维点云数据集进行位姿估计，具体地，检测二维实景图像中的二维门点信息，将二维门点信息转换成三维门点信息，基于三维点云数据集的三维门点信息，结合门体连接信息，估计三维点云数据集之间的相对位姿信息，整个过程中，无需足够多的特征匹配对，根据门体信息对应的三维门点信息进行点云配准，提高了确定相对位姿信息准确率。
78.进一步，如图3所示，该点云配准设备还包括：通信组件36、显示器37、电源组件38、音频组件39等其它组件。图3中仅示意性给出部分组件，并不意味着点云配准设备只包括图3所示组件。需要说明的是，图3中虚线框内的组件为可选组件，而非必选组件，具体可视点云配准设备的产品形态而定。
79.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本技术实施例提供的图1所示方法中的各步骤。
80.上述图3中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
81.上述图3中的显示器包括屏幕，其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
82.上述图3中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以
包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
83.上述图3中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(mic)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
84.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
85.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
86.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
87.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
88.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
89.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
90.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
91.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
92.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。