点云实例分割方法和装置、电子设备和存储介质与流程

1.本公开涉及计算机视觉技术，尤其是一种点云实例分割方法和装置、电子设备和存储介质。


背景技术：

2.在计算机视觉中，实例分割任务首先对图像中的每个像素进行分类，形成语义分割结果，并在此基础上，对每一类下的像素根据所属的物体不同进行分类，用以区分每个像素所属的实例。实例分割在无人驾驶、家居机器人等领域有着非常广阔的应用。
3.三维(3d)视觉的实例分割在实际生活中具有重要意义，例如在自动驾驶中，除了要检测出道路中的车辆、行人外，还要对车辆和行人之间的距离进行精确的把控。在3d视觉中，点云是一种常见的数据形式。点云实例分割是在识别出给场景中的每个点所属的物体类别的基础上，把每个不同的物体分割出来，指出这个点所属的实例。点云实例分割是3d感知的基础。
4.现有技术中，主要采用基于候选区域(proposal
‑
based)的实例分割方法，进行点云实例分割，由于难以预测准确的3d包围盒(bounding boxes)原因，影响了点云实例分割结果的精度和准确性。
5.因此，如何从点云中区分不同物体的点云，进行精确的点云实例分割，是一个亟待解决的技术问题。


技术实现要素：

6.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种点云实例分割方法和装置、电子设备和存储介质。
7.根据本公开实施例的一个方面，提供了一种点云实例分割方法，包括：
8.分别预测目标场景的点云中的各点的语义标签；
9.基于所述各点的语义标签，对所述点云中的各点进行聚类，得到至少一个点集合；其中，所述至少一个点集合中，同一点集合中点的语义标签相同；
10.基于所述至少一个点集合的语义标签，对所述至少一个点集合进行聚类，得到第一实例分割结果，所述第一实例分割结果包括分别对应于至少一个实例的点集合；
11.分别预测所述第一实例分割结果中的各实例的置信度；
12.基于所述各实例的置信度对所述第一实例分割结果进行过滤，得到第二实例分割结果。
13.根据本公开实施例的一个方面，提供一种点云实例分割装置，包括：
14.第一预测模块，用于分别预测目标场景的点云中的各点的语义标签；
15.第一聚类模块，用于基于所述各点的语义标签，对所述点云中的各点进行聚类，得到至少一个点集合；其中，所述至少一个点集合中，同一点集合中点的语义标签相同；
16.第二聚类模块，用于基于所述至少一个点集合的语义标签，对所述至少一个点集
合进行聚类，得到第一实例分割结果，所述第一实例分割结果包括分别对应于至少一个实例的点集合；
17.第二预测模块，用于分别预测所述第一实例分割结果中的各实例的置信度；
18.过滤模块，用于基于所述各实例的置信度对所述第一实例分割结果进行过滤，得到第二实例分割结果。
19.根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的车辆碰撞中的点云实例分割方法。
20.根据本公开实施例的再一个方面，提供了一种电子设备，所述电子设备包括：
21.处理器；
22.用于存储所述处理器可执行指令的存储器；
23.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的车辆碰撞中的点云实例分割方法。
24.基于本公开上述实施例提供的车辆碰撞中的安全防护方法和装置、电子设备和介质，通过分别预测目标场景的点云中的各点的语义标签，并基于各点的语义标签，对点云中的各点进行聚类，得到至少一个点集合，其中，同一点集合中点的语义标签相同；然后，基于至少一个点集合的语义标签，对至少一个点集合进行聚类，得到第一实例分割结果，分别预测第一实例分割结果中的各实例的置信度，进而，基于各实例的置信度对第一实例分割结果进行过滤，得到第二实例分割结果。由此，本公开实施例使用分层级的聚类方式，首先在点(point
‑
level)的层级聚类形成点集合，再对点集合在集合(set
‑
level)的层级聚类形成初步的第一实例分割结果，然后预测各实例置信度，从第一实例分割结果中过滤掉置信度较低的实例的点集合，即过滤掉置信度较低的实例预测结果，从而得到精确的第二实例分割结果，能够生成更精细、更准确的实例分割结果，相对于基于区域提议的实例分割方法，提高了实例分割结果的精度和准确性。
25.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
26.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
27.图1是本公开所适用的场景图。
28.图2是本公开一示例性实施例提供的点云实例分割方法的流程示意图。
29.图3是本公开另一示例性实施例提供的点云实例分割方法的流程示意图。
30.图4是本公开又一示例性实施例提供的点云实例分割方法的流程示意图。
31.图5是本公开又一示例性实施例提供的点云实例分割方法的流程示意图。
32.图6是本公开再一示例性实施例提供的点云实例分割方法的流程示意图。
33.图7(a)是本公开一示例性应用实施例提供的点云实例分割方法的过程示意图。
34.图7(b)为图7(a)所述应用实施例中点云中部分点的变化过程。
35.图8是本公开一示例性实施例提供的点云实例分割装置的结构图。
36.图9是本公开另一示例性实施例提供的点云实例分割装置的结构图。
37.图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
38.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
39.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
40.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
41.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
42.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
43.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
44.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
45.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
46.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
47.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
48.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
49.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
50.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计
算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
51.申请概述
52.现有技术中，主要采用基于候选区域的实例分割方法，进行点云实例分割。基于区域提议的实例分割方法，先获取场景中的感兴趣的候选区域，如：3d等，并在候选区域内预测物体的实例掩码(mask)。
53.在实现本发明的过程中，本发明人通过研究发现，基于区域提议的实例分割方法，通常需要2个过程，先得到候选区域、再进行实例分割，分割过程繁琐；另外，由于得到候选区域的方式是简单估计物体的近似几何形状，如3d包围盒，但是3d包围盒不需要对底层对象的几何结构有很强的理解，这可能导致3d包围盒中包含了多物体或者只包含了单个物体的部分，因此，难以预测准确的候选区域，严重影响了实例分割结果的精度和准确性。
54.因此，如何从点云中区分不同物体的点云，进行精确的点云实例分割，是一个亟待解决的技术问题。
55.有鉴于此，本公开实施例提供一种点云实例分割方法和装置、电子设备和存储介质，使用分层级的聚类方式，首先在点的层级聚类形成点集合，再对点集合在集合的层级聚类形成初步的第一实例分割结果，然后从第一实例分割结果中过滤掉置信度较低的实例预测结果，来得到精确的第二实例分割结果，能够生成更精细、更准确的实例分割结果，相对于基于区域提议的实例分割方法，提高了实例分割结果的准确性。
56.示例性系统
57.本公开实施例可应用于能够应用于自动驾驶等车辆控制场景中，装修设计等点云编辑场景中，机器人控制场景中，增强现实(augmented reality，ar)地图的场景中，等等。
58.例如，在车辆控制场景中，自动驾驶中需要到达某个物体对应的位置，可以基于本公开实施例，对当前场景中的点云进行实例分割，准确确定该物体对应的位置。
59.又如，在装修设计等点云编辑场景中，用户想要将客厅的沙发替换为新的沙发，想要先看下新沙发摆放的效果。可以基于本公开实施例，精确的分割出客厅的原沙发并从点云中进行剔除，然后放进去新的沙发。
60.又如，在机器人控制场景中，用户给机器人发送指令，让机器人将苹果拿过来等，机器人可以采用本公开实施例提供的点云实例分割方法，对目标场景的点云进行精确的实例分割处理，找到苹果实例。
61.再如，在ar地图的场景中，用户带上ar眼镜，基于看到的场景，希望虚拟小狗去到玩具鸭子附近。电子设备接收到用户输入的请求，该请求携带玩具鸭子这一目标，该请求用于指示找到玩具鸭子，电子设备可以采用本公开实施例提供的点云实例分割方法，对该场景的点云进行精确的实例分割处理，找到目标玩具鸭子。
62.图1是本公开所适用的一个场景图。如图1所示，本公开实施例应用于车辆控制场景中时，由点云采集装置101针对目标场景采集得到目标场景的点云，输入本公开任一实施例的点云实例分割装置102。点云实例分割装置102分别预测目标场景的点云中的各点的语义标签，基于各点的语义标签，对点云中的各点进行聚类，得到至少一个点集合，并基于该至少一个点集合的语义标签对该至少一个点集合进行聚类，得到第一实例分割结果，包括
至少一个实例的点集合，然后，分别预测第一实例分割结果中的各实例的置信度，并基于各实例的置信度对第一实例分割结果进行过滤，得到第二实例分割结果，包括目标场景中各实例(例如行人1、行人2、
…
物体1、物体2、
…
等)语义标签、属于该实例的点的集合、各点的位置。车辆控制装置103基于第二实例分割结果，确定所要到达的目标场景中目标物体对应的位置，并控制车辆行驶至该目标物体对应的位置。进一步地，点云采集装置101例如颜色和深度(rgb
‑
d)设备、激光雷达(2d/3d)、立体摄像头(stereo camera)，越渡时间(time
‑
of
‑
flight camera，tof)相机等。
63.示例性方法
64.图2是本公开一示例性实施例提供的点云实例分割方法的流程示意图。本公开实施例可应用在用户终端、服务器等电子设备上，也可以应用于车辆等对象上。如图2所示，其中一个实施例的点云实例分割方法包括如下步骤：
65.步骤201，分别预测目标场景的点云中的各点的语义标签。
66.本公开实施例中，中的目标场景可以是装修场景、车辆驾驶场景、ar地图中的场景、机器人所在场景，等等，任意需要进行物体定位的场景。在其中一些可能的实现方式中，其目标场景可以是车辆外的驾驶场景、客厅、卧室、餐厅、厨房、卫生间等场景。本公开实施例可以针对任意目标场景执行，对具体应用的场景不做限制。
67.本公开实施例中，点云(point cloud)，是指在获取物体表面每个采样点的空间坐标后，得到的点的集合，即为点云。在其中一些实现方式中，点云可以由三维坐标系统中的一组向量的集合来表示，用来代表目标场景中物体的外表面形状。点云除了可以包括对应于目标场景中各人物上的各点的三维坐标(x，y，z)位置信息外，还可以包括：各点的rgb值、灰度值、深度信息等中的任意一项或多项颜色信息。
68.本公开实施例中的点云，可以是基于激光测量原理得到的点云，还可以是根据摄影测量原理得到的点云，例如，在其中一些实现方式中，可以通过采集设备，例如rgbd设备、激光雷达、立体摄像头，tof相机等，采集得到的点云。或者，本公开实施例中的点云还可以是通过其他方式获得的任意点云，本公开实施例对此不做具体限制。
69.本公开实施例中的语义标签(semantic label)，用于表示例如人、动物、桌子、椅子等所属类别。
70.步骤202，基于各点的语义标签，对点云中的各点进行聚类，得到至少一个点集合(set)。
71.其中，所述至少一个点集合中，同一点集合中点的语义标签相同，该点集合中各点的语义标签也即该点集合的语义标签；不同点集合之间点的语义标签可以相同，也可以不同。
72.基于该步骤202聚类得到的各点集合，可以包括该点集合的语义标签、该点集合中各点的位置信息和颜色信息。
73.步骤203，基于所述至少一个点集合的语义标签，对该至少一个点集合进行聚类，得到第一实例分割结果。
74.其中，第一实例分割结果包括分别对应于至少一个实例的点集合。
75.本公开实施例中的实例，是指将一个抽象的类别概念具体到该类别中的具体实物。也就是说，实例是在同一类别中精确区分的不同个体，可以是指任一实物等。例如，实例
为具体的人1、人2、
…
，桌子1、桌子2、
…
，椅子1、椅子2、
…
等具体个体。
76.基于该步骤202得到的第一实例分割结果，可以包括各实例的实例标识(id)和点集合。其中的实例id用于唯一标识目标场景中的一个对象，例如人1、人2、
…
，桌子1、桌子2、
…
，椅子1、椅子2、
…
等具体个体。
77.步骤204，分别预测第一实例分割结果中的各实例的置信度。
78.步骤205，基于各实例的置信度对第一实例分割结果进行过滤，得到第二实例分割结果。
79.基于本实施例，使用分层级的聚类方式，首先在点的层级聚类形成点集合，再对点集合在集合的层级聚类形成初步的第一实例分割结果，然后预测各实例置信度，从第一实例分割结果中过滤掉置信度较低的实例的点集合，即过滤掉置信度较低的实例预测结果，从而得到精确的第二实例分割结果，能够生成更精细、更准确的实例分割结果，相对于基于区域提议的实例分割方法，提高了实例分割结果的精度和准确性。
80.图3是本公开另一示例性实施例提供的点云实例分割方法的流程示意图。如图3所示，在上述图2所示实施例的基础上，步骤201可包括如下步骤：
81.步骤2011，分别对点云中的各点进行特征提取，得到各点的特征。
82.可选地，在其中一些实施方式中，可以利用神经网络，例如3d unet，分别对点云中的各点进行特征提取，得到各点的特征。其中的3d unet，可以是利用堆叠的3d稀疏卷积层组成的类unet结构的神经网络。
83.步骤2012，分别基于各点的特征预测各点的类别，得到各点的语义标签。
84.步骤2013，分别基于各点的特征，预测各点到所属实例中心的空间向量。
85.其中的实例中心为一个实例中所有点的坐标平均值。点到所属实例中心的空间向量表示从一个点到其实例中心的偏移量。
86.可选地，在其中一些实施方式中，可以通过一个神经网络，为便于区分，此处称为逐点预测网络(point
‑
wise prediction network)，对点云中的各点进行特征提取，得到各点的特征；并基于各点的特征预测各点的类别得到各点的语义标签(semantic label)以及该点到所属实例中心的空间向量(center shift vector)。
87.图4是本公开又一示例性实施例提供的点云实例分割方法的流程示意图。如图4所示，在上述图3所示实施例的基础上，步骤202可包括如下步骤：
88.步骤2021，分别基于各点到所属实例中心的空间向量，将各点向所属实例中心迁移，使属于同一实例的点在三维空间中更接近。
89.步骤2022，分别针对点云中向所属实例中心迁移的任意两个点，在这两个点之间的距离小于第一预设阈值、且这两个点的语义标签相同时，确定这两个点属于同一个集合，将点云中向所属实例中心迁移的各点划分为至少一个点集合。
90.其中的第一预设阈值的具体取值，可以根据实际预测需求设置，并可以根据实例预测精度的需求实时调整。
91.可选地，在其中一些实施方式中，可以通过一个神经网络，为便于区分，此处称为点层级聚类模块(point aggregation module)，利用各点到所属实例中心的空间向量，将各点向所属实例中心迁移。对于迁移后的任意两个点，若迁移后两这两个点之间的距离小于第一预设阈值、且这两个点的语义标签相同，则这两点属于同一集合，以此为依据，将整
个点云划分为一个个点集合(set)，其中的每个点集合都可以看作是一个初步预测的实例。
92.在三维空间中，同一实例的点是相邻的。基于本实施例，利用同一实例的点相邻这一特性作为约束条件，基于语义标签和中心位移向量对点云中的点进行一次聚类，在点的层级聚类形成点集合，以获取初始预测实例。
93.可选地，在其中一些实施方式中，在步骤203中，可以分别针对所述至少一个点集合中满足预设条件的任意两个点集合，在这两个点集合之间的距离小于第二预设阈值、且这两个点集合对应的语义标签相同时，将这两个点集合合并。
94.其中的第二预设阈值的具体取值，可以根据实际预测需求设置，并可以根据实例预测精度的需求实时调整。
95.可选地，在其中一些实施方式中，可以通过一个神经网络，为便于区分，此处称为集合层级聚类模块(set aggregation module)，对点集合在集合的层级进行进一步的聚类，形成初步的第一实例分割结果。
96.由于预测的点到所属实例中心的空间向量可能不是完全准确的，点的层级聚类不能保证将一个实例中的所有点都划分在一个集合中。大多数具有准确的点到所属实例中心的空间向量的点可以聚在一起形成不完整的实例预测，这些实例可以称为主实例(primary)。但是，少数点到所属实例中心的空间向量预测差的点与大多数点分离，形成这些小的实例，可以称为碎片(fragment)。碎片太小，不能被视为完整的实例，但可能是主实例的缺失部分。本实施例中，考虑到点集合的数量很大，直接用一个硬性阈值过滤点集合不合适，可能造成主实例部分缺失，可以在集合层级，对满足预设条件的任意两个点集合，在这两个点集合之间的距离小于第二预设阈值、且这两个点集合对应的语义标签相同时，可以认为这两个点集合为同一个实例的主实例和碎片，将这两个点集合合并，从而实现完整的实例预测。
97.可选地，在另一些实施方式中，在步骤203之前，还可以分别从所述至少一个点集合中确定满足预设条件的任意两个点集合。其中，满足预设条件的两个点集合例如可以包括但不限于：两个点集合中，一个点集合中点的数量大于第一预设数量，另一个点集合中点的数量小于第二预设数量，第一预设数量大于第二预设数量。
98.基于本实施例，可以认为的数量大于第一预设数量的一个点集合中为一个实例的主实例，点的数量小于第二预设数量是一个实例的碎片，基于上述方式，可以选取出主实例和碎片，再结合两个点集合之间的距离小于第二预设阈值、且两个点集合对应的语义标签相同，可以将一个实例的主实例和碎片合并，从而得到完整的实例。
99.图5是本公开又一示例性实施例提供的点云实例分割方法的流程示意图。如图5所示，在上述图2
‑
图4任一所示实施例的基础上，步骤204可分别针对第一实例分割结果中各实例，执行如下步骤：
100.步骤20411，对实例的点集合进行特征提取，得到实例内特征。
101.步骤20412，基于实例内特征，确定该实例的置信度。
102.基于本实施例，可以基于实例内特征提取的方式准确确定该实例的置信度。
103.图6是本公开再一示例性实施例提供的点云实例分割方法的流程示意图。如图6所示，在上述图2
‑
图4任一所示实施例的基础上，步骤204可分别针对第一实例分割结果中各实例，执行如下步骤：
104.步骤20421，对实例的点集合进行特征提取，得到实例内特征。
105.步骤20422，基于实例内特征预测该实例的掩码。
106.步骤20423，基于该实例的掩码，过滤掉该实例的点集合中不属于该实例的背景点，得到该实例的前景点集合。
107.其中，一个实例的前景点即属于该实例的点，不属于该实例的点则为该实例的背景点。
108.步骤20424，基于该实例的前景点集合对应的实例内特征，确定该实例的置信度(certainty)。
109.其中，一个实例的置信度表示属于该实例的概率，置信度越高，表示属于该实例的概率越大。
110.基于本实施例，可以通过提取实例内特征预测实例的掩码，过滤掉实例的背景点，仅利用前景点集合对应的实例内特征生成该实例的置信度，从而可以得到更准确的实例置信度，以便提高实例预测结果的准确性。
111.可选地，在其中一些实施方式中，在步骤205中，可以对第一实例分割结果中，置信度低于第三预设阈值的实例的点集合进行过滤，得到第二实例分割结果。
112.其中的第三预设阈值的具体取值，可以根据实际预测需求设置，并可以根据实例预测精度的需求实时调整。
113.基于本实施例，对第一实例分割结果中置信度低于第三预设阈值的实例的点集合进行过滤，可以得到准确的实例预测结果。
114.可选地，在其中一些实施方式中，可以通过一个神经网络，为便于区分，此处称为实例子网络(intra
‑
instance prediction network)，预测实例的置信度并对置信度低的实例进行过滤。例如，对实例的点集合进行特征提取得到实例内特征后，可以通过多层感知机(mlp)和sigmoid函数，基于实例内特征预测该实例的掩码，过滤背景点。然后通过另一个(mlp)和sigmoid函数生成该实例的置信度。
115.可选地，在本公开实施例中，可以预先通过多个训练样本，训练得到上述实例子网络。其中的每个训练样本包括点云样本对应的实例分割结果。
116.可选地，在其中一些实施方式中，可以通过如下方式，对实例子网络进行训练：分别针对各点云样本，将点云样本对应的实例分割结果输入实例子网络，由实例子网络对各点云样本对应的实例分割结果分别执行图6所示实施例中步骤20421
‑
20424的操作，得到各实例的掩码预测结果，获取各实例的掩码预测结果与点云样本中对应的实例掩码标注信息之间的交并比(intersection of union，iou)，基于该iou对实例子网络进行训练，直至满足预设训练完成条件，例如，训练次数达到预设训练次数。训练完成后，该实例子网络预测的置信度即表示预测实例与实际实例结果之间的iou。
117.图7(a)是本公开一示例性应用实施例提供的点云实例分割方法的过程示意图。图7(b)为图7(a)所述应用实施例中点云中部分点的变化过程。同时参考图7(a)和图7(b)，该应用实施例包括如下步骤：
118.步骤301，通过逐点预测网络中的3d unet，分别对点云(point cloud)中的各点进行特征提取，得到各点的特征(point feature)，然后进入两个分支：其中一个分支分别基于各点的特征预测各点的类别，得到各点的语义标签(semantic label)；另一个分支分别
基于各点的特征预测各点的类别，预测该点到所属实例中心的空间向量(center shift vector)。
119.如图7(b)中1所示，为点云中的部分点。其中，不同颜色的点属于不同的类别，颜色最深的黑点属于背景点。
120.步骤302，通过点层级聚类模块，分别基于各点到所属实例中心的空间向量，将各点向所属实例中心迁移，使属于同一实例的点在三维空间中更接近，如图7(b)中2所示；将点云中向所属实例中心迁移的各点划分为至少一个点集合，如图7(b)中3所示。
121.步骤303，通过集合层级聚类模块，在两个点集合之间的距离小于第二预设阈值、且两个点集合对应的语义标签相同时，将这两个点集合合并，即将同一个实例的主实例和碎片合并，使主实例(primary)吸收(aboring)周围的碎片(fragment)，从而形成完整的实例，如图7(b)中4所示。
122.步骤304，对实例的点集合进行特征提取，基于得到的实例内特征预测该实例的掩码，过滤掉(filtering)该实例的点集合中的背景点，得到该实例的前景点集合，基于该实例的前景点集合对应的实例内特征，确定该实例的置信度。
123.步骤305，对置信度低于第三预设阈值的实例的点集合进行过滤，得到精确的第二实例分割结果(instance predition)。
124.本公开实施例提供的任一种点云实例分割方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种点云实例分割方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种点云实例分割方法。下文不再赘述。
125.示例性装置
126.图8是本公开一示例性实施例提供的点云实例分割装置的结构图。该点云实例分割装置可以设置于终端设备、服务器、等电子设备中，或者车辆等对象上，执行本公开上述任一实施例的车辆碰撞中的点云实例分割装置。如图8所示，该实施例的点云实例分割装置包括：第一预测模块401，第一聚类模块402，第二聚类模块403，第二预测模块404和过滤模块405。其中：
127.第一预测模块401，用于分别预测目标场景的点云中的各点的语义标签。
128.第一聚类模块402，用于基于第一预测模块401预测到的各点的语义标签，对点云中的各点进行聚类，得到至少一个点集合。其中，所述至少一个点集合中，同一点集合中点的语义标签相同。
129.第二聚类模块403，用于基于第一聚类模块402聚类得到的所述至少一个点集合的语义标签，对所述至少一个点集合进行聚类，得到第一实例分割结果，第一实例分割结果包括分别对应于至少一个实例的点集合。
130.第二预测模块404，用于分别预测第二聚类模块403聚类得到的第一实例分割结果中的各实例的置信度。
131.第一过滤模块405，用于基于第二预测模块404预测到的各实例的置信度对第一实例分割结果进行过滤，得到第二实例分割结果。
132.基于本实施例，使用分层级的聚类方式，首先在点的层级聚类形成点集合，再对点集合在集合的层级聚类形成初步的第一实例分割结果，然后预测各实例置信度，从第一实
例分割结果中过滤掉置信度较低的实例的点集合，即过滤掉置信度较低的实例预测结果，从而得到精确的第二实例分割结果，能够生成更精细、更准确的实例分割结果，相对于基于区域提议的实例分割方法，提高了实例分割结果的精度和准确性。
133.图9是本公开另一示例性实施例提供的点云实例分割装置的结构图。如图9所示，在其中一些实施方式中，第一预测模块401可包括：第一特征提取单元，用于分别对点云中的各点进行特征提取，得到各点的特征；类别预测单元，用于分别基于各点的特征预测所述各点的类别，得到各点的语义标签；向量预测单元，用于分别基于各点的特征，预测各点到所属实例中心的空间向量。
134.另外，再参见图9，在其中一些实施方式中，第一聚类模块402可包括：迁移单元，用于分别基于各点到所属实例中心的空间向量，将各点向所属实例中心迁移；集合生成单元，用于分别针对点云中向所属实例中心迁移的任意两个点，在两个点之间的距离小于第一预设阈值、且所述两个点的语义标签相同时，确定两个点属于同一个集合，将点云中向所属实例中心迁移的各点划分为至少一个点集合。
135.可选地，在其中一些实施方式中，第二聚类模块403，具体用于：分别针对所述至少一个点集合中满足预设条件的任意两个点集合，在两个点集合之间的距离小于第二预设阈值、且两个点集合对应的语义标签相同时，将这两个点集合合并。
136.另外，再参见图9，在本公开又一示例性实施例提供的点云实例分割装置中，还可以包括：确定模块406，用于分别从所述至少一个点集合中确定满足预设条件的任意两个点集合，以用于第二聚类模块403进行点集合合并。其中，满足预设条件的两个点集合例如可以包括但不限于：两个点集合中，一个点集合中点的数量大于第一预设数量，另一个点集合中点的数量小于第二预设数量，第一预设数量大于第二预设数量。
137.另外，再参见图9，在其中一些实施方式中，第二预测模块404可包括：分别针对第一实例分割结果中各实例：第二特征提取单元，用于对实例的点集合进行特征提取，得到实例内特征；确定单元，用于基于实例内特征，确定所述实例的置信度。
138.另外，再参见图9，在本公开又一示例性实施例提供的点云实例分割装置中，还可以包括：第三预测模块407，用于基于第二特征提取单元提取的实例内特征，预测实例的掩码。第二过滤模块408，用于基于实例的掩码过滤掉该实例的点集合中不属于该实例的背景点，得到该实例的前景点集合。相应地，在该实施例中，确定单元具体用于：基于前景点集合对应的实例内特征，确定该实例的置信度。
139.可选地，在其中一些实施方式中，第一过滤模块405，具体用于对第一实例分割结果中，置信度低于第三预设阈值的实例的点集合进行过滤，得到第二实例分割结果。
140.示例性电子设备
141.下面，参考图10来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
142.图10图示了根据本公开实施例的电子设备的框图。如图10所示，电子设备包括一个或多个处理器501和存储器502。
143.处理器501可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
144.存储器502可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行所述程序指令，以实现上文所述的本公开的各个实施例的点云实例分割方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
145.在一个示例中，电子设备还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
146.例如，在该电子设备是第一设备或第二设备时，该输入装置503可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置503可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
147.此外，该输入设备503还可以包括例如键盘、鼠标等等。
148.该输出装置504可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
149.当然，为了简化，图10中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
150.示例性计算机程序产品和计算机可读存储介质
151.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的点云实例分割方法中的步骤。
152.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
153.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的点云实例分割方法中的步骤。
154.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
155.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中
提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
156.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
157.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
158.可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
159.还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
160.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
161.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。