处理三维点云的方法、装置及存储介质

1.本技术涉及数据处理领域，具体涉及一种处理三维点云的方法、装置及存储介质。


背景技术：

2.三维点云(point cloud)是指三维空间中多个点的集合，三维点云中的每个点均可以看作三维向量。三维点云可以通过点的集合在三维空间表征对象的形状、颜色等对象的语义特征。基于此，对三维点云进行处理以获得对象的形状等数据，在三维空间进行对象的分类和识别等提供了参数依据。
3.现有处理三维点云的方法包括：基于多视角映射的方法、基于体素转换的方法和基于深度学习直接建模的方法等，但这些方法处理三维点云的计算过程都比较复杂，而且这些方法在处理三维点云的过程中均会造成不同程度的几何信息缺失，从而导致根据三维点云得到的数据不准确。


技术实现要素：

4.针对现有技术中的上述技术问题，本技术实施例提出了一种处理三维点云的方法、装置及存储介质，以解决这些方法处理三维点云的计算过程都比较复杂，而且分别从这些方法中的三维点云中提取出来的几何信息在不同的维度上均有信息缺失的问题。
5.本技术实施例的第一方面提供了一种处理三维点云的方法，应用于包括至少两个处理模块的处理模型，所述至少两个处理模块层级式设置，所述方法包括：
6.针对所述至少两个处理模块中的任一处理模块，接收三维点数据集，所述三维点数据集来自于所述处理模块之前所有层级的处理模块；
7.分别获取所述三维点数据集中至少两个空间区域的区域特征数据；
8.聚集所述至少两个空间区域的区域特征数据得到所述三维点数据集的特征数据；
9.若所述处理模块是所述处理模型中中间层的处理模块，将所述三维点数据集的特征数据分别输出至到所述处理模块之后每一层的处理模块中；
10.若所述处理模块是所述处理模型中最后一层处理模块，将所述三维点数据集的特征数据作为所述三维点云对应的几何表征。
11.优选地，所述分别获取所述三维点数据集中至少两个空间区域的区域特征数据，包括：
12.按照预设规则将所述三维点数据集划分为所述至少两个空间区域，其中每个空间区域包含至少两个三维点数据；
13.根据空间区域内所包含的三维点数据得到相应空间区域的区域特征数据。
14.优选地，所述按照预设规则将所述三维点数据集划分为所述至少两个空间区域，包括：
15.按照预设采样率确定所述三维点数据集中的多个采样点；
16.分别以所述多个采样点中的每个采样点为中心，将该采样点及该采样点周围相邻
的点确定为空间区域。
17.优选地，针对任一空间区域，根据空间区域内所包含的三维点数据得到相应空间区域的区域特征数据，包括：
18.提取所述空间区域中各三维点数据的特征；
19.聚集所述各三维点数据的特征得到所述空间区域的区域特征数据。
20.优选地，所述方法还包括：
21.当所述处理模块是所述处理模型第一层的处理模块时，所述三维点数据集为所述三维点云数据；
22.当所述处理模块是所述处理模型非第一层的处理模块时，所述三维点数据集为所述处理模块之前所有层的处理模块的特征数据。
23.优选地，其特征在于，所述方法还包括：
24.所述至少两个处理模块为卷积模块。
25.优选地，所述至少两个处理模块为卷积模块，包括：
26.所述至少两个处理模块随层级的顺次增加，提取特征的通道数顺次增加。
27.优选地，所述方法还包括：
28.所述几何表征指示所述三维点云所包含各类对象的几何信息及类别特征。
29.本技术实施例的第二方面提供了一种处理三维点云的装置，包括：至少两个处理模块的处理模型，所述至少两个处理模块层级式设置，其中，任一处理模块包括：接收单元、获取单元、聚集单元、输出单元和确定单元，其中，
30.所述接收单元，用于接收三维点数据集，所述三维点数据集来自于所述处理模块之前所有层级的处理模块；
31.所述获取单元，用于分别获取所述三维点数据集中至少两个空间区域的区域特征数据；
32.所述聚集单元，用于聚集所述至少两个空间区域的区域特征数据得到所述三维点数据集的特征数据；
33.所述输出单元，用于若所述处理模块是所述处理模型中中间层的处理模块，将所述三维点数据集的特征数据分别输出至到所述处理模块之后每一层的处理模块中；
34.所述确定单元，用于若所述处理模块是所述处理模型中最后一层处理模块，将所述三维点数据集的特征数据作为所述三维点云对应的几何表征。
35.本技术实施例的第三方面提供了一种存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
36.本技术通过针对所述至少两个处理模块中的任一处理模块，接收三维点数据集，所述三维点数据集来自于所述处理模块之前所有层级的处理模块，分别获取所述三维点数据集中至少两个空间区域的区域特征数据，聚集所述至少两个空间区域的区域特征数据得到所述三维点数据集的特征数据，从而降低了三维点云的计算过程较复杂度，提高了计算速度，若所述处理模块是所述处理模型中中间层的处理模块，将所述三维点数据集的特征数据分别输出至到所述处理模块之后每一层的处理模块中，若所述处理模块是所述处理模型中最后一层处理模块，将所述三维点数据集的特征数据作为所述三维点云对应的几何表征，从而不会出现几何信息缺失，提升了三维点云得到的数据准确率。
附图说明
37.通过参考附图会更加清楚的理解本技术的特征和优点，附图是示意性的而不应理解为对本技术进行任何限制，在附图中：
38.图1是根据本技术的一些实施例所示的一种处理三维点云的方法的处理模块示意图；
39.图2是根据本技术的一些实施例所示的一种处理三维点云的方法的流程示意图。
具体实施方式
40.在下面的详细描述中，通过示例阐述了本技术的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本技术显而易见的可以在没有这些细节的情况下实施。应当理解的是，本技术中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
41.应当理解的是，当设备、单元或模块被称为“在
……
上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本技术所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
42.本技术所用术语仅为了描述特定实施例，而非限制本技术范围。如本技术说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
43.参看下面的说明以及附图，本技术的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本技术的保护范围。可以理解的是，附图并非按比例绘制。
44.本技术中使用了多种结构图用来说明根据本技术的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本技术。本技术的保护范围以权利要求为准。
45.本技术提供了一种处理三维点云的方法，应用于如图1所示的处理模型，该包括至少两个处理模块的处理模型，至少两个处理模块层级式设置，也可以称为“级联式”。
46.可以理解的是，所述图1仅是对本技术涉及的三维点云处理模型的示例性表示，对本技术涉及的三维点云处理模型不构成限制。在其他一些实施方式中，三维点云处理模型还可以包含比图1更多或者更少的处理模块，其中，图1中的，n表示三维点个数，k表示处理模块层级。
47.如图2所示，所述方法包括：
48.步骤s10，针对所述至少两个处理模块中的任一处理模块，接收三维点数据集，所述三维点数据集来自于所述处理模块之前所有层级的处理模块。
49.其中，处理模块包括至少两个处理模块为卷积模块，所述至少两个处理模块随层级的顺次增加，提取特征的通道数顺次增加。
50.步骤s20，分别获取所述三维点数据集中至少两个空间区域的区域特征数据。
51.步骤s30，聚集所述至少两个空间区域的区域特征数据得到所述三维点数据集的特征数据。从而降低了三维点云的计算过程较复杂度，提高了计算速度。
52.可选的，例如可以采用以下算法获得三维点数据集的特征数据：可选的，例如可以采用以下算法获得三维点数据集的特征数据：其中，x和xn表示三维点，f表示特征向量，φ2表示单层感知器的特征分组,p表示单层感知器的特征聚集，ψ表示整合分组，f
n(x)
表示特征向量的单层聚集函数。
53.可见，通过上述算法，整合至少两个空间区域的区域特征数据，通过将分组所述三维点数据集分成至少两组的至少两个空间区域的区域特征数据，可以降低卷积运算的复杂度，进而降低网络整体的复杂度，同时保证网络的表达性能，而且分组的组数量，能够大幅增加区域特征数据的维度，从而增强其学习表达能力，同时保持网络的原始复杂度。
54.步骤s40，若所述处理模块是所述处理模型中中间层的处理模块，将所述三维点数据集的特征数据分别输出至到所述处理模块之后每一层的处理模块中。
55.通过深度神经网络能够提取层级化的视觉特征，即能够在至少两个空间区域的区域特征数据取层级化的视觉特征，处理模块的每一层均在输入的处理模块层上存在对应尺度的感受野，且随着层数的加深，感受野尺度大小逐级增加。
56.本技术在点云深度神经网络中构造级联式连接方案，即每个处理模块的每一层级的输入是前面所有处理模块的层级输出。因此，处理模块每一层的输入均具有多个尺度的感受野，对应多尺度的视觉上下文，并且不同尺度信息来自于不同的处理模块层，其尺度大小与上下文的语义层级一一对应。由此可以捕获到语义分级的点云视觉上下文。
57.步骤s50，若所述处理模块是所述处理模型中最后一层处理模块，将所述三维点数据集的特征数据作为所述三维点云对应的几何表征。
58.通过对最后一层处理模块得到的三维点数据集的特征数据聚集计算后得出所述三维点云对应的几何表征，不会出现几何信息缺失问题，而且提升了三维点云得到的数据准确率。
59.在一种实施例中，所述分别获取所述三维点数据集中至少两个空间区域的区域特征数据，包括：
60.按照预设规则将所述三维点数据集划分为所述至少两个空间区域，其中每个空间区域包含至少两个三维点数据，根据空间区域内所包含的三维点数据得到相应空间区域的区域特征数据。可选的，根据空间区域内所包含的三维点数据得到相应空间区域的区域特征数据包括，提取每个三维点数据的特征，之后，聚集各个三维点数据的特征得到相应空间区域的区域特征数据。
61.可选的，区域特征数据例如满足：其中，x和xn表示三维点，f表示特征向量，p表示单层感知器的特征聚集，φ1表示每个三维点的特征变换，f
(xn)
表示三维点xn的特征向量，f
n(x)
表示特征向量的单层聚集函数。
62.在得到f
n(x)
之后，可以根据步骤s30涉及的算法之后，可以根据步骤s30涉及的算法得到三维点数据集的特征数据。在计算过程中将计算分割成多个部
分，从而减小了整体的运算复杂程度。
63.在一种实施例中，所述按照预设规则将所述三维点数据集划分为所述至少两个空间区域，包括：
64.按照预设采样率确定所述三维点数据集中的多个采样点，分别以所述多个采样点中的每个采样点为中心，将该采样点及该采样点周围相邻的点确定为空间区域。可选的，在公式中，是以采样点x作为中心，附近的点作为邻居点xn，通过每一个点使用函数φ1进行特征变换，进而得到每个空间区域的区域特征数据，再利用算法聚集据，再利用算法聚集聚集每个空间区域的区域特征数据，最后计算得到三维点数据集的特征数据。
65.在一种实施例中，针对任一空间区域，根据空间区域内所包含的三维点数据得到相应空间区域的区域特征数据，包括：
66.提取所述空间区域中各三维点数据的特征，聚集所述各三维点数据的特征得到所述空间区域的区域特征数据。具体的，在每个空间区域中均会聚集三维点数据的特征，得到各个空间区域的区域特征数据，然后聚集各个空间区域的区域特征数据得到三维点数据集的特征数据。
67.在一种实施例中，所述方法还包括：
68.当所述处理模块是所述处理模型第一层的处理模块时，所述三维点数据集为所述三维点云数据，当所述处理模块是所述处理模型非第一层的处理模块时，所述三维点数据集为所述处理模块之前所有层的处理模块的特征数据。通过每个处理模块之间级联式连接，使得每一层的输入三维点数据集是前面所有层的输出特征数据，从而能够获取不同尺度信息，即不会出现处理三维点云会造成不同程度的几何信息缺失的问题，得到的数据也较为准确。
69.在一种实施例中，所述方法还包括：所述几何表征指示所述三维点云所包含各类对象的几何信息及类别特征。
70.在另一实施例中，本技术还包括分类模块，将所述三维点云所包含各类对象的几何信息及类别特征输入到分类模块中，将几何信息进行分类，获取目标几何信息，且每个被分类的几何信息均会对应类别信息，从而方便获取目标几何信息的类别信息。
71.本技术还提供了一种处理三维点云的装置，包括：至少两个处理模块的处理模型，所述至少两个处理模块层级式设置，其中，任一处理模块包括：接收单元、获取单元、聚集单元、输出单元和确定单元，其中，
72.所述接收单元，用于接收三维点数据集，所述三维点数据集来自于所述处理模块之前所有层级的处理模块；
73.所述获取单元，用于分别获取所述三维点数据集中至少两个空间区域的区域特征数据；
74.所述聚集单元，用于聚集所述至少两个空间区域的区域特征数据得到所述三维点数据集的特征数据；
75.所述输出单元，用于若所述处理模块是所述处理模型中中间层的处理模块，将所述三维点数据集的特征数据分别输出至到所述处理模块之后每一层的处理模块中；
76.所述确定单元，用于若所述处理模块是所述处理模型中最后一层处理模块，将所述三维点数据集的特征数据作为所述三维点云对应的几何表征。
77.通过模块级联方式得到的特征数据有利于获得强辨识力的点云抽象几何特征，避免了几何信息的缺失。同时，减少计算过程中的复杂程度，优选的，分别获取所述三维点数据集中至少两个空间区域的区域特征数据，是可以通过滤波器将三维点数据集分组且至少两个空间区域的区域特征数据，即至少两组空间区域的区域特征数据，通过分组策略显著降低模型复杂度，并保证了模型的学习表达能力。
78.本技术还提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行于上述所有方法实施例中。
79.当理解的是，本技术的上述具体实施方式仅仅用于示例性说明或解释本技术的原理，而不构成对本技术的限制。因此，在不偏离本技术的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。此外，本技术所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。