点云数据的补全和点云数据的处理的制作方法

点云数据的补全和点云数据的处理
1.相关公开的交叉引用
2.本技术要求2021年3月30日递交的、申请号为10202103258s的新加坡专利申请的优先权，其全部内容通过引用并入本文。
技术领域
3.本公开涉及计计算机视觉技术领域，尤其涉及点云数据的补全方法、装置和系统以及点云数据的处理方法、装置和系统。


背景技术：

4.点云补全用于修补有所缺失的点云数据(即残缺点云数据)，从残缺点云数据出发估计完整点云数据。点云补全在自动驾驶、机器人导航等多个领域有着诸多应用。传统的点云补全方法大多以成对的残缺点云数据和完整点云数据作为训练数据，对点云补全网络进行全监督训练，再通过训练得到的点云补全网络对残缺点云数据进行补全。然而，残缺点云数据的形式由于传感器种类或者遮挡等情况往往多种多样，基于上述方式得到的点云补全网络很难泛化到其他形式的残缺点云数据，泛化性能较差。


技术实现要素：

5.根据本公开实施例的第一方面，提供一种点云数据的补全方法，所述方法包括：获取第一点云数据；采用点云补全网络对所述第一点云数据进行补全，得到第二点云数据；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成第三点云数据，所述第三点云数据经过预设的退化处理后得到的第四点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
6.在一些实施例中，所述方法还包括：获取点云采集装置从物理空间中采集的原始点云数据；对所述原始点云数据进行点云分割，以获取所述第一点云数据。
7.在一些实施例中，所述方法还包括：对多帧所述第二点云数据进行关联处理。
8.在一些实施例中，所述方法还包括：基于以下方式获取所述点云补全网络：基于样本完整点云数据对初始的点云补全网络进行训练；获取经训练的所述点云补全网络基于目标隐空间向量生成的第三点云数据；基于所述第三点云数据经过预设的退化处理后得到的第四点云数据以及所述真实点云数据，对经训练的所述点云补全网络进行优化处理，得到所述点云补全网络。
9.在一些实施例中，所述方法还包括：获取所述第三点云数据中的多个点云块；分别确定各个点云块中点的分布特征；基于所述各个点云块中点的分布特征，建立损失函数；基于所述损失函数对经训练的所述点云补全网络进行优化处理。
10.在一些实施例中，所述方法还包括：获取从隐空间中采样的多个初始隐空间向量；针对每个初始隐空间向量，基于所述初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数；基于各个初始隐空间向量的目标函数，从所述各
个初始隐空间向量中确定所述目标隐空间向量。
11.在一些实施例中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述第三点云数据中确定与所述目标点最邻近的至少一个点作为该目标点的邻近点；将所述真实点云数据中各个目标点的邻近点的并集确定为所述第三点云数据经预设的退化处理得到的所述第四点云数据。
12.根据本公开实施例的第二方面，提供一种点云补全网络的训练方法，所述方法包括：基于样本完整点云数据对初始的点云补全网络进行训练；获取经训练的所述点云补全网络基于目标隐空间向量生成的补全点云数据；基于所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据对经训练的所述点云补全网络进行优化处理，以使所述退化点云数据与所述真实点云数据之间的差异在预设的差异范围内。
13.在一些实施例中，所述方法还包括：获取从隐空间中采样的多个初始隐空间向量；分别获取经训练的所述点云补全网络针对各个初始隐空间向量生成的补全点云数据经预设的退化处理后得到的退化点云数据；基于所述初始隐空间向量对应的退化点云数据以及所述真实点云数据，确定所述初始隐空间向量对应的目标函数；基于各个初始隐空间向量对应的目标函数从所述各个初始隐空间向量中确定目标隐空间向量。
14.在一些实施例中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述样本完整点云数据中确定与所述目标点最邻近的至少一个点作为该目标点的邻近点；将所述真实点云数据中各个目标点的邻近点的并集确定为所述样本完整点云数据经预设的退化处理得到的退化点云数据。
15.根据本公开实施例的第三方面，提供一种点云数据的处理方法，所述方法包括：获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
16.在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏币；所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内放置的游戏币。
17.在一些实施例中，所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
18.在一些实施例中，所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据，包括：获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
19.在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全；或者所述
点云补全网络包括第一点云补全网络和第二点云补全网络，所述第一点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第二点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
20.根据本公开实施例的第四方面，提供一种点云数据的处理方法，所述方法包括：获取游戏区域内的目标对象的待处理点云数据；所述目标对象包括游戏参与者以及游戏对象中的至少一者；获取点云补全网络对所述待处理点云数据进行补全后得到的经处理的点云数据；基于所述经处理的点云数据识别所述目标对象；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
21.在一些实施例中，所述获取游戏区域内的目标对象的待处理点云数据，包括：获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；对所述初始点云数据进行点云分割，得到所述游戏区域内各个类别的目标对象的待处理点云数据。
22.在一些实施例中，所述点云补全网络用于对多个类别的目标对象的待处理点云数据进行补全；或者所述点云补全网络用于对特定类别的目标对象的待处理点云数据进行补全。
23.根据本公开实施例的第五方面，提供一种点云数据的补全装置，所述装置包括：第一获取模块，用于获取第一点云数据；点云补全模块，用于采用点云补全网络对所述第一点云数据进行补全，得到第二点云数据；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成第三点云数据，所述第三点云数据经过预设的退化处理后得到的第四点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
24.在一些实施例中，所述装置还包括：原始点云获取模块，用于获取点云采集装置从物理空间中采集的原始点云数据；点云分割模块，用于对所述原始点云数据进行点云分割，以获取所述第一点云数据。
25.在一些实施例中，所述装置还包括：关联处理模块，用于对多帧所述第二点云数据进行关联处理。
26.在一些实施例中，所述装置还包括：训练模块，用于基于样本完整点云数据对初始的点云补全网络进行训练；第三点云获取模块，用于获取经训练的所述点云补全网络基于目标隐空间向量生成的第三点云数据；第一优化处理模块，用于基于所述第三点云数据经过预设的退化处理后得到的第四点云数据以及所述真实点云数据，对经训练的所述点云补全网络进行优化处理，得到所述点云补全网络。
27.在一些实施例中，所述装置还包括：点云块获取模块，用于获取所述第三点云数据中的多个点云块；特征确定模块，用于分别确定各个点云块中点的分布特征；损失函数建立模块，用于基于所述各个点云块中点的分布特征，建立损失函数；第二优化处理模块，用于基于所述损失函数对经训练的所述点云补全网络进行优化处理。
28.在一些实施例中，所述装置还包括：向量获取模块，用于获取从隐空间中采样的多个初始隐空间向量；目标函数确定模块，用于针对每个初始隐空间向量，基于所述初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数；向量确定模块，用于基于各个初始隐空间向量的目标函数，从所述各个初始隐空间向量中确
定所述目标隐空间向量。
29.在一些实施例中，所述预设的退化处理基于以下模块实现：邻近点确定模块，用于对所述真实点云数据中的任意一个目标点，从所述第三点云数据中确定与所述目标点最邻近的至少一个点作为该目标点的邻近点；点云确定模块，用于将所述真实点云数据中各个目标点的邻近点的并集确定为所述第三点云数据经预设的退化处理得到的第四点云数据。
30.根据本公开实施例的第六方面，提供一种点云补全网络的训练装置，所述装置包括：训练模块，用于基于样本完整点云数据对初始的点云补全网络进行训练；第二获取模块，用于获取经训练的所述点云补全网络基于目标隐空间向量生成的补全点云数据；优化处理模块，用于基于所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据对经训练的所述点云补全网络进行优化处理，以使所述退化点云数据与所述真实点云数据之间的差异在预设的差异范围内。
31.在一些实施例中，所述装置还包括：向量获取模块，用于获取从隐空间中采样的多个初始隐空间向量；退化点云数据获取模块，用于分别获取经训练的所述点云补全网络针对各个初始隐空间向量生成的补全点云数据经预设的退化处理后得到的退化点云数据；目标函数确定模块，用于基于所述初始隐空间向量对应的退化点云数据以及所述真实点云数据，确定所述初始隐空间向量对应的目标函数；目标隐空间向量确定模块，用于基于各个初始隐空间向量对应的目标函数从所述各个初始隐空间向量中确定目标隐空间向量。
32.在一些实施例中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述样本完整点云数据中确定与所述目标点最邻近的至少一个点作为该目标点的邻近点；将所述真实点云数据中各个目标点的邻近点的并集确定为所述样本完整点云数据经预设的退化处理得到的退化点云数据。
33.根据本公开实施例的第七方面，提供一种点云数据的处理装置，所述装置包括：第三获取模块，用于获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；输入模块，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；关联处理模块，用于对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
34.在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏币；所述装置还包括：关联模块，用于基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内放置的游戏币。
35.在一些实施例中，所述装置还包括：动作确定模块，用于基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
36.在一些实施例中，所述第三获取模块包括：初始点云数据获取单元，用于获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；点云分割单元，用于对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应
的第二待处理点云数据。
37.在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全；或者所述点云补全网络包括第一点云补全网络和第二点云补全网络，所述第一点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第二点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
38.根据本公开实施例的第八方面，提供一种点云数据的处理装置，所述装置包括：第四获取模块，用于获取游戏区域内的目标对象的待处理点云数据；所述目标对象包括游戏参与者以及游戏对象中的至少一者；第五获取模块，用于获取点云补全网络对所述待处理点云数据进行补全后得到的经处理的点云数据；识别模块，用于基于所述经处理的点云数据识别所述目标对象；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
39.根据本公开实施例的第九方面，提供一种点云数据的处理系统，所述系统包括：点云采集装置，设置在游戏区域周围，用于采集所述游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；以及处理单元，与所述点云采集装置通信连接，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据，并对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
40.根据本公开实施例的第十方面，提供一种点云数据的处理系统，所述系统包括：点云采集装置，设置在游戏区域周围，用于采集所述游戏区域内的目标对象的待处理点云数据；所述目标对象包括游戏参与者以及游戏对象中的至少一者；以及处理单元，与所述点云采集装置通信连接，用于获取点云补全网络对所述待处理点云数据进行补全后得到的经处理的点云数据，并基于所述经处理的点云数据识别所述目标对象；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
41.根据本公开实施例的第十一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
42.根据本公开实施例的第十二方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
43.本公开实施例中的点云补全网络在训练过程中，只需采用完整点云数据作为训练数据，而无需采用完整点云数据与残缺点云数据构成的点云对，并且，训练出的点云补全网络生成的第三点云数据经过预设的退化处理后得到的第四点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内，从而保证了点云补全网络的输出结果接近
真实点云数据，因此，通过本公开实施例的方案能够对任意形式的残缺点云数据进行补全，泛化性能较高。
44.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
45.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
46.图1(a)、图1(b)、图1(c)是一些实施例的残缺点云数据的示意图。
47.图2是本公开实施例的点云数据的补全方法的流程图。
48.图3是本公开实施例的点云补全网络的训练和优化过程的示意图。
49.图4是本公开实施例的点云数据中点的分布特征的示意图。
50.图5是本公开实施例的退化处理过程的示意图。
51.图6是点云补全网络输出的多种候选完整点云数据的示意图。
52.图7是本公开实施例的点云补全网络的训练方法的流程图。
53.图8是本公开实施例的点云数据的处理方法的流程图。
54.图9是本公开另一实施例的点云数据的处理方法的流程图。
55.图10是本公开实施例的点云数据的补全装置的框图。
56.图11是本公开实施例的点云补全网络的训练装置的框图。
57.图12是本公开实施例的点云数据的处理装置的框图。
58.图13是本公开另一实施例的点云数据的处理装置的框图。
59.图14是本公开实施例的点云数据的处理系统的示意图。
60.图15是本公开实施例的计算机设备的结构示意图。
具体实施方式
61.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
62.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
63.为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
64.在实际应用中，往往需要采集点云数据，并对采集的点云数据进行一些处理。例如，在自动驾驶领域，会在自动行驶的车辆上安装激光雷达，利用激光雷达采集车辆周围的
点云数据，并对点云数据进行分析，以确定车辆周围的障碍物的移动速度，从而有效地对车辆进行路径规划。又例如，在机器人导航领域，可以采集机器人周围环境的点云数据，并基于从点云数据中识别出的各种对象，对机器人进行定位。再例如，在一些游戏场景下，可以采集游戏区域内的点云数据，并对从点云数据中识别出的各种目标(例如，游戏参与者与游戏对象)进行关联处理。
65.然而，在真实场景中，由于遮挡等原因，采集到的三维点云往往并非完整点云数据，而是残缺点云数据。例如，对于一个三维物体，其背离点云采集装置的表面会被面对点云采集装置的表面所遮挡，导致背离点云采集装置的表面的点云无法采集到。即便是平面物体，由于场景中往往存在多个交叠的物体，因此，一个物体的表面可能被另一个物体的表面遮挡，导致采集到的点云数据不完整。除此之外，残缺点云产生的原因还有其他多种原因，采集到的残缺点云的形式也是多种多样的。如图1(a)、图1(b)、图1(c)所示，是一些实施例的物理空间中采集的残缺点云及其对应的完整点云的示意图。
66.应当说明的是，本公开中的残缺点云数据是指不能代表对象的完整形状的点云数据，例如，在一个对象包括一个或多个表面(surface)的情况下，其中的部分表面或者一个表面的部分区域可能被遮挡，采集到的点云数据中不包括被遮挡的表面或区域的点，从而使得采集到的点云数据无法表示被遮挡的表面或区域对应的形状。其中，所述多个表面朝向不同方向，或者相互之间存在朝向突变。相应地，完整点云数据是指能够代表对象的完整形状的点云数据。例如，在一个对象包括一个或多个表面的情况下，点云数据中包括各个表面的点，从而点云数据能够完整地表示各个表面的形状。
67.基于残缺点云进行的各种操作往往难以达到预期的效果。因此，有必要对残缺点云数据进行点云补全，以获取残缺点云数据对应的完整点云数据。在相关技术中，一般是通过成对的残缺点云数据和完整点云数据作为训练数据，对点云补全网络进行全监督训练，再通过训练得到的点云补全网络对残缺点云数据进行补全。然而，残缺点云数据的形式由于传感器种类或者遮挡等情况往往多种多样，而训练集中的残缺点云数据一般是基于某种策略人为生成的，其形式远不如从物理空间中采集的真实残缺点云丰富。因此，基于上述方式得到的点云补全网络很难泛化到其他形式的残缺点云数据，泛化性能较差。
68.基于此，本公开提供一种点云数据的补全方法，如图2，所述方法包括：
69.步骤201：获取第一点云数据；
70.步骤202：采用点云补全网络对所述第一点云数据进行补全，得到第二点云数据；
71.其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量(latent code)生成第三点云数据，所述第三点云数据经过预设的退化处理后得到的第四点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
72.在步骤201中，所述第一点云数据为残缺(partial)的点云数据，所述第一点云数据可以由点云采集装置采集之后，从所述点云采集装置获取。
73.在步骤202中，可以将所述第一点云数据输入点云补全网络，以通过所述点云补全网络对所述第一点云数据进行补全，得到第二点云数据，所述第二点云数据为完整(complete)的点云数据。其中，点云采集装置采集的第一点云数据可以直接输入点云补全网络进行补全处理，也可以先经过预处理，再将预处理后的第一点云数据输入点云补全网络进行补全处理，所述预处理例如可以包括过滤处理，用于从所述第一点云数据中过滤掉
明显错误的点。所述预处理还可以包括对点云采集装置从物理空间中采集的原始点云数据进行点云分割，以获取所述第一点云数据。
74.本步骤中的点云补全网络例如可以基于包括但不限于tree-gan或者r-gan等任意种类的生成对抗网络(generative adversarial networks，gan)获得。即，点云补全网络可以作为生成器通过与预设的判别器进行对抗训练得到。所述点云补全网络可以仅采用完整点云数据作为训练数据训练得到，而无需采集完整点云数据与残缺点云数据构成的点云对作为训练数据进行训练。由于在真实场景下往往难以采集到完整点云数据，因此，本公开所采用的所述完整点云数据可以是人为生成的，例如，是shapenet数据集上的完整点云数据。通过训练，使得点云补全网络能够基于完整点云数据学习到较好的空间几何的先验信息。在训练之后，还可以对所述点云补全网络的网络参数进行进一步优化，以使优化后的所述点云补全网络根据目标隐空间向量生成的第三点云数据经过预设的退化处理后得到的第四点云数据，与从物理空间采集的真实点云数据之间的差异在预设的差异范围内，从而实现了通过无监督的方式获取点云补全网络。优化后的点云补全网络用于对第一点云数据进行点云补全。
75.在实践中，可以将上述“点云补全网络根据目标隐空间向量生成的第三点云数据经过预设的退化处理后得到的第四点云数据，与从物理空间采集的真实点云数据之间的差异在预设的差异范围内”作为优化目标，通过设置相应的优化函数来调整点云补全网络的参数，以实现点云补全网络的优化。
76.本公开实施例的方式无需采用完整点云数据与残缺点云数据构成的点云对，由于整个训练过程没有涉及到残缺点云，从而能够适用于对各种形式的残缺点云进行补全，泛化性能较高，并且对于不同残缺程度的点云具有较好的鲁棒性；并且，由于点云补全网络经过优化，使得其生成的第三点云数据经过预设的退化处理后得到的第四点云数据，与从物理空间采集的真实点云数据之间的差异较小，因此，点云补全结果较为准确。
77.在一些实施例中，所述点云补全网络具体可基于以下方式获取：基于样本完整点云数据对初始的点云补全网络进行训练；获取经训练的所述点云补全网络基于目标隐空间向量生成的第三点云数据；基于所述第三点云数据经过预设的退化处理后得到的第四点云数据以及所述真实点云数据，对经训练的所述点云补全网络进行优化处理，得到所述点云补全网络。通过上述方式获取的点云补全网络，在训练过程中无需采用残缺点云数据作为训练数据，能够适用于各种不同形式的残缺点云的补全，泛化性能较好。
78.在上述实施例中，可以从多个初始隐空间向量中选取最优者作为目标隐空间向量。所述多个初始隐空间向量可以是从隐空间中采样得到的，采样方式可以是随机采样。在一些实施例中，隐空间可以是一个96维的空间，每次采样可以随机生成一个或多个96维的向量，即初始隐空间向量。针对每个初始隐空间向量，可以获取初始的点云补全网络基于该初始隐空间向量生成的点云数据，基于所述初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数。然后，基于各个初始隐空间向量的目标函数，从所述各个初始隐空间向量中确定所述目标隐空间向量。
79.可以采用所述初始隐空间向量对应的点云数据与所述真实点云数据之间的距离作为所述目标函数。在一些实施例中，可以确定所述第四点云数据与所述真实点云数据之间的chamfer距离(倒角距离)和特征距离(feature distance)，将所述chamfer距离和特征
距离之和确定为所述目标函数。其中，chamfer距离和特征距离如下：
[0080][0081]
l
fd
＝||d(x
p
)-d(x
in
)||1；
[0082]
式中，l
cd
和l
fd
分别表示chamfer距离和特征距离，x
p
表示表示第三点云数据经过预设的退化处理后得到的第四点云数据，x
in
表示真实点云数据，p和q分别表示第四点云数据中的点与真实点云数据中的点，||
·
||1和||
·
||2分别表示1范数和2范数，d(x
p
)和d(x
in
)分别表示x
p
和x
in
的特征向量。以上仅为对目标函数的举例说明，除了上述目标函数之外，根据实际需要，也可以采用其他类型的目标函数，此处不再赘述。
[0083]
在获取各个初始隐空间向量对应的目标函数之后，可以将目标函数最小的初始隐空间向量确定为所述目标隐空间向量。然后，获取目标隐空间向量对应的目标函数，并基于目标隐空间向量对应的目标函数对点云补全网络的网络参数进行优化处理。优化方式包括但不限于采用梯度下降法。在优化过程中，可以同时对目标隐空间向量以及点云补全网络的网络参数进行优化处理，以使目标隐空间向量对应的目标函数最小化。
[0084]
上述点云补全网络的训练和优化过程如图3所示，采用生成对抗网络中的生成器作为点云补全网络，所述生成对抗网络包括生成器g和判别器d，图中所示的两个d可以是同一个判别器。可以基于训练后的生成对抗网络中判别器d的中间层输出的特征计算上述特征距离。在训练阶段，从隐空间rd随机采样多个初始隐空间向量，输入到生成器g，得到各个初始隐空间向量对应的完整点云数据，即第三点云数据xc，xc经退化后得到残缺点云数据x
p
，x
p
与物理空间中采样到的真实点云数据x
in
进行距离计算获得目标函数，从而得到最优的目标隐空间向量z，采用梯度下降法对目标隐空间向量z以及生成器的参数θ进行优化，使目标隐空间向量对应的目标函数最小，从而获取优化后的点云补全网络。
[0085]
本公开实施例通过上述方式，能够从多个初始隐空间向量中选取最优的目标隐空间向量用于点云补全网络的优化过程，能够加快点云补全网络的优化速度，提高优化效率。
[0086]
在一些实施例中，可以采用以下方式对第三点云数据进行退化处理：对真实点云数据中的任意一个目标点，从所述第三点云数据中确定与所述目标点邻近的至少一个点作为该目标点的邻近点；将所述真实点云数据中各个目标点的邻近点的并集确定为所述第三点云数据经预设的退化处理得到的第四点云数据。
[0087]
如图5所示，对于真实点云数据x
in
中的点p1，可以获取p1在第三点云数据xc中的邻近点，所述邻近点可以包括xc中与p1距离最近的k个点，即区域s1中所示的点。同理，可以获取真实点云数据x
in
中的点p2在第三点云数据xc中的邻近点，即区域s2中所示的点。同理，可以获取真实点云数据x
in
中其他的目标点在第三点云数据xc中的邻近点，所述目标点可以包括真实点云数据x
in
中的部分点，例如可以是从真实点云数据x
in
中按照设定的采样率均匀采样的点。可选地，设定的采样率＜1/k，这样经过退化处理后点云数据中的点的数量会减少。各个目标点的邻近点可能存在部分重叠，因此，可以将各个目标点的邻近点的并集构成的点云确定为第三点云数据经退化处理后得到的第四点云数据。
[0088]
在一些实施例中，点云数据中的点的分布是不均匀的，即，完整点云数据中的点在部分区域的分布比较密集，而在另一些区域的分布比较分散。如图4所示，是分布均匀的点云数据a与分布不均匀的点云数据b的对比图，可以看出，在点云数据b中，采集到的点大多
分布在虚线框中所示的位置，而其他区域点的分布则比较分散。由于点云补全网络能够处理的点数相对固定，点云数据的不均匀意味着部分区域的点的数量可能不足以使点云补全网络获取到足够的信息来用于点云补全，从而导致点云补全结果不准确。因此，为了解决上述问题，在点云补全网络的训练和优化过程中，还可以对点云补全网络的网络参数进行优化，以使点云补全网络进行点云补全得到的点云数据中点的分布更加均匀。
[0089]
在点云补全网络的训练和优化阶段，都可以获取点云补全网络基于隐向量输出的点云数据c，获取点云数据c中点的分布特征，基于点云数据c中点的分布特征建立损失函数，基于损失函数对点云补全网络进行优化。
[0090]
可以从点云数据c中随机采样n个种子位置，采样方式例如可以采用最远距离采样(farthest point sampling，fps)，从而使得各个种子位置之间的距离最远。一个点云块中的点的分布特征可以基于该点云块中各个点与所述点云块中的某个位置(例如，可以是种子位置)的平均距离来确定。损失函数可记为：
[0091][0092]
式中，l
patch
为损失函数，var表示方差，ρj为第j个点云块中点的平均距离，n为点云块的总数，k为点云块中点的总数，dist
ij
为第j个点云块中的第i个点与种子位置之间的距离。可以调整点云补全网络的网络参数，以使点云补全网络输出的点云数据c中各个点云块对应的平均距离的方差最小。通过这种方式，可以使各个点云块中点的分布比较接近，从而提高点云补全网络输出的点云数据中点的分布均匀性。
[0093]
基于上述损失函数进行的网络优化过程可以与基于第三点云数据退化后得到的第四点云数据与真实点云数据获取的目标函数进行的网络优化过程同步进行，或者按照任意先后顺序进行，本公开对此不做限制。
[0094]
针对输入的每个第一点云数据，点云补全网络可以输出一种或多种候选完整点云数据。如图6所示，是一些实施例提供的灯的第一点云数据及其对应的候选完整点云数据的示意图，基于灯的第一点云数据，点云补全网络一共输出了4种候选完整点云数据以供选择。进一步地，可以获取对各个候选完整点云数据的选择指令，响应于所述选择指令，从各个候选完整点云数据中选择一个作为所述第二点云数据。
[0095]
本公开可用于配备有3d传感器(如深度相机或者激光雷达)的任意场景，整个场景的残缺点云数据可以由3d传感器扫描得到。场景中每一个对象的残缺点云数据通过点云补全网络生成完整点云数据，进而可以对整个场景进行3d重建。重建好的场景可以提供精确的空间信息，如探测人体与场景中的其他物体之间的距离，人与人之间的距离等。上述空间信息可以用于对人与物，人与人进行关联，进而提高关联准确度。
[0096]
在一些实施例中，可以获取多帧第二点云数据，并对多帧所述第二点云数据进行关联处理。所述多帧第二点云数据可以是同一类别的对象的第二点云数据，例如，在游戏场景下，每帧第二点云数据可以是一个游戏参与者对应的点云数据。通过对多个游戏参与者对应的点云数据进行关联处理，可以确定同一游戏区域内参与同一游戏的多个游戏参与者。所述多帧第二点云数据也可以是不同类别的对象的第二点云数据，仍以游戏场景为例，所述多帧第二点云数据可以包括游戏参与者对应的点云数据以及游戏对象对应的点云数据。通过将游戏参与者对应的点云数据与游戏对象对应的点云数据进行关联处理，可以确
定游戏参与者与游戏对象之间的关系，例如，属于游戏参与者的游戏币、游戏棋牌，游戏参与者所在的游戏区域，游戏参与者落座的座椅等。
[0097]
游戏场景中游戏参与者、游戏对象的位置和状态可能发生实时的变化，游戏参与者之间的关系、游戏参与者与游戏对象之间的关系也可能发生实时的变化，而这些实时变化的信息对于游戏状态的分析、游戏进程的监控而言具有比较重要的意义，针对点云采集装置采集到的游戏参与者和/或游戏对象的残缺点云数据进行补全，有利于提升点云数据之间的关联结果的准确性，进而可以提升基于该关联结果的游戏状态分析、游戏进程监控等结果的可靠性。
[0098]
在一些实施例中，在获取第二点云数据之后，还可以对第二点云数据中包括的对象进行识别，从而确定所述对象的类别。还可以基于识别结果对多帧所述第二点云数据进行关联处理。进一步，为了提高关联处理和/或对象识别的准确度，可以在进行关联处理和/或对象识别之前，对所述第二点云数据进行均匀化处理。
[0099]
在一些实施例中，如图7所示，本公开实施例还提供一种点云补全网络的训练方法，所述方法包括：
[0100]
步骤701：基于样本完整点云数据对初始的点云补全网络进行训练；
[0101]
步骤702：获取经训练的所述点云补全网络基于目标隐空间向量生成的补全点云数据；
[0102]
步骤703：基于所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据对经训练的所述点云补全网络进行优化处理，以使退化点云数据与真实点云数据之间的差异在预设的差异范围内。
[0103]
在一些实施例中，所述方法还包括：获取从隐空间中采样的多个初始隐空间向量；分别获取经训练的所述点云补全网络针对各个初始隐空间向量生成的补全点云数据经预设的退化处理后得到的退化点云数据；基于所述初始隐空间向量对应的退化点云数据以及所述真实点云数据，确定所述初始隐空间向量对应的目标函数；基于各个初始隐空间向量对应的目标函数从所述各个初始隐空间向量中确定目标隐空间向量。
[0104]
在一些实施例中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述样本完整点云数据中确定与所述目标点最邻近的至少一个点作为该目标点的邻近点；将所述真实点云数据中各个目标点的邻近点的并集确定为所述样本完整点云数据经预设的退化处理得到的退化点云数据。
[0105]
基于本实施例的方法训练得到的点云补全网络可用于本公开点云数据的补全方法的实施例中，对第一点云数据进行点云补全。训练过程中涉及的细节详见所述点云数据的补全方法的实施例，此处不再赘述。
[0106]
在一些实施例中，如图8所示，本公开实施例还提供一种点云数据的处理方法，所述方法包括：
[0107]
步骤801：获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；
[0108]
步骤802：获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；
[0109]
步骤803：对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；
[0110]
其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
[0111]
所述游戏参与者可以包括但不限于游戏裁判、游戏玩家、游戏观众等中的至少一者。
[0112]
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏币；所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内放置的游戏币。每个游戏参与者可以拥有一定数量的游戏币，用于进行游戏。通过对游戏参与者与游戏币进行关联，可以确定游戏参与者在游戏过程中放置游戏币的数额，游戏参与者在不同游戏阶段所拥有和放置过的游戏币的数额等信息，并判断游戏过程中的操作是否符合预先设置的游戏规则，或者在游戏结束时根据放置的游戏币的数额和游戏结果进行赔付。
[0113]
在一些实施例中，所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。所述动作可以包括落座、放置游戏币、发牌等。
[0114]
在一些实施例中，所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据，包括：获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
[0115]
在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全。在这种情况下，可以采用多个类别的完整点云数据对点云补全网络进行训练，并在网络优化阶段采用多个类别的真实点云数据进行网络优化。
[0116]
或者，所述点云补全网络包括第一点云补全网络和第二点云补全网络，所述第一点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第二点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。在这种情况下，可以分别用不同类别的完整点云数据训练不同的点云补全网络，训练好的每个点云补全网络再基于对应类别的真实点云数据进行优化处理。
[0117]
本公开实施例所采用的点云补全网络可基于前述点云补全网络的训练方法训练得到。所述点云补全网络对第一待处理点云数据和第二待处理点云数据的补全方式与前述点云数据的补全方法的实施例中对第一点云数据的补全方式相同，具体细节参见前述点云数据的补全方法的实施例，此处不再赘述。
[0118]
在一些实施例中，如图9所示，本公开实施例还提供一种点云数据的处理方法，所述方法包括：
[0119]
步骤901：获取游戏区域内的目标对象的待处理点云数据；所述目标对象包括游戏参与者以及游戏对象中的至少一者；
[0120]
步骤902：获取点云补全网络对所述待处理点云数据进行补全后得到的经处理的点云数据；
[0121]
步骤903：基于所述经处理的点云数据识别所述目标对象；
[0122]
其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
[0123]
在一些实施例中，所述获取游戏区域内的目标对象的待处理点云数据，包括：获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；对所述初始点云数据进行点云分割，得到所述游戏区域内各个类别的目标对象的待处理点云数据。
[0124]
在一些实施例中，所述点云补全网络用于对多个类别的目标对象的待处理点云数据进行补全；或者所述点云补全网络用于对特定类别的目标对象的待处理点云数据进行补全。
[0125]
本公开实施例所采用的点云补全网络可基于前述点云补全网络的训练方法训练得到。所述点云补全网络对待处理点云数据的补全方式与前述点云数据的补全方法的实施例中对第一点云数据的补全方式相同，具体细节参见前述点云数据的补全方法的实施例，此处不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0126]
如图10所示，本公开还提供一种点云数据的补全装置，所述装置包括：第一获取模块1001，用于获取第一点云数据；点云补全模块1002，用于采用点云补全网络对所述第一点云数据进行补全，得到第二点云数据；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成第三点云数据，所述第三点云数据经过预设的退化处理后得到的第四点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
[0127]
在一些实施例中，所述装置还包括：原始点云获取模块，用于获取点云采集装置从物理空间中采集的原始点云数据；点云分割模块，用于对所述原始点云数据进行点云分割，以获取所述第一点云数据。
[0128]
在一些实施例中，所述装置还包括：关联处理模块，用于对多帧所述第二点云数据进行关联处理。
[0129]
在一些实施例中，所述装置还包括：训练模块，用于基于样本完整点云数据对初始的点云补全网络进行训练；第三点云获取模块，用于获取经训练的所述点云补全网络基于目标隐空间向量生成的第三点云数据；第一优化处理模块，用于基于所述第三点云数据经过预设的退化处理后得到的第四点云数据以及所述真实点云数据，对经训练的所述点云补全网络进行优化处理，得到所述点云补全网络。
[0130]
在一些实施例中，所述装置还包括：点云块获取模块，用于获取所述第三点云数据中的多个点云块；特征确定模块，用于分别确定各个点云块中点的分布特征；损失函数建立模块，用于基于所述各个点云块中点的分布特征，建立损失函数；第二优化处理模块，用于基于所述损失函数对经训练的所述点云补全网络进行优化处理。
[0131]
在一些实施例中，所述装置还包括：向量获取模块，用于获取从隐空间中采样的多个初始隐空间向量；目标函数确定模块，用于针对每个初始隐空间向量，基于所述初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数；向量确定模块，用于基于各个初始隐空间向量的目标函数，从所述各个初始隐空间向量中确
定所述目标隐空间向量。
[0132]
在一些实施例中，所述预设的退化处理基于以下模块实现：邻近点确定模块，用于对所述真实点云数据中的任意一个目标点，从所述第三点云数据中确定与所述目标点最邻近的至少一个点作为该目标点的邻近点；点云确定模块，用于将所述真实点云数据中各个目标点的邻近点的并集确定为所述第三点云数据经预设的退化处理得到的点云数据。
[0133]
如图11所示，本公开还提供一种点云补全网络的训练装置，所述装置包括：训练模块1101，用于基于样本完整点云数据对初始的点云补全网络进行训练；第二获取模块1102，用于获取经训练的所述点云补全网络基于目标隐空间向量生成的补全点云数据；优化处理模块1103，用于基于所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据对经训练的所述点云补全网络进行优化处理，以使所述退化点云数据与所述真实点云数据之间的差异在预设的差异范围内。
[0134]
在一些实施例中，所述装置还包括：向量获取模块，用于获取从隐空间中采样的多个初始隐空间向量；退化点云数据获取模块，用于分别获取经训练的所述点云补全网络针对各个初始隐空间向量生成的补全点云数据经预设的退化处理后得到的退化点云数据；目标函数确定模块，用于基于所述初始隐空间向量对应的退化点云数据以及所述真实点云数据，确定所述初始隐空间向量对应的目标函数；目标隐空间向量确定模块，用于基于各个初始隐空间向量对应的目标函数从所述各个初始隐空间向量中确定目标隐空间向量。
[0135]
在一些实施例中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述样本完整点云数据中确定与所述目标点最邻近的至少一个点作为该目标点的邻近点；将所述真实点云数据中各个目标点的邻近点的并集确定为所述样本完整点云数据经预设的退化处理得到的退化点云数据。
[0136]
如图12所示，本公开还提供一种点云数据的处理装置，所述装置包括：第三获取模块1201，用于获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；输入模块1202，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；关联处理模块1203，用于对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
[0137]
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏币；所述装置还包括：关联模块，用于基于所述第一经处理点云数据和第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内放置的游戏币。
[0138]
在一些实施例中，所述装置还包括：动作确定模块，用于基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
[0139]
在一些实施例中，所述第三获取模块包括：初始点云数据获取单元，用于获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；点云分割单元，用于对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应
的第二待处理点云数据。
[0140]
在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全；或者所述点云补全网络包括第一点云补全网络和第二点云补全网络，所述第一点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第二点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
[0141]
如图13所示，本公开还提供一种点云数据的处理装置，所述装置包括：第四获取模块1301，用于获取游戏区域内的目标对象的待处理点云数据；所述目标对象包括游戏参与者以及游戏对象中的至少一者；第五获取模块1302，用于获取点云补全网络对所述待处理点云数据进行补全后得到的经处理的点云数据；识别模块1303，用于基于所述经处理的点云数据识别所述目标对象；其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
[0142]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0143]
如图14所示，本公开实施例还提供一种点云数据的处理系统，所述系统包括点云采集装置1401，设置在游戏区域1403周围；以及处理单元1402，与所述点云采集装置1401通信连接。
[0144]
所述点云采集装置1401可以采集所述游戏区域1403内的游戏参与者1404的第一待处理点云数据以及游戏对象1405对应的第二待处理点云数据，所述处理单元1402可以获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据，并对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理。
[0145]
所述点云采集装置1401可以采集所述游戏区域内的目标对象的待处理点云数据；所述目标对象包括游戏参与者以及游戏对象中的至少一者。所述处理单元1402可以获取点云补全网络对所述待处理点云数据进行补全后得到的经处理的点云数据，并基于所述经处理的点云数据识别所述目标对象。
[0146]
其中，所述点云补全网络在基于完整点云数据训练后，根据目标隐空间向量生成补全点云数据，所述补全点云数据经过预设的退化处理后得到的退化点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。
[0147]
在一些实施例中，所述点云采集装置1401可以是激光雷达或者深度相机。可以在游戏区域周围设置一个或多个点云采集装置1401，不同的点云采集装置1401可以采集游戏区域内不同子区域的点云数据，且不同的点云采集装置1401采集的子区域之间可以存在重叠。
[0148]
所述游戏区域内的游戏参与者的数量可以是一个或多个，每个游戏参与者可以对应一种或多种游戏对象，包括但不限于游戏币、座椅、棋牌、标志类道具、游戏桌等。基于所述经处理的点云数据识别所述目标对象，可以确定不同点云数据中包括的对象的类别，还可以确定各个类别的对象所处的空间信息。通过对第一经处理点云数据和第二经处理点云
数据进行关联，可以获取各种游戏对象与游戏参与者之间的关系，还可以确定游戏参与者所执行的动作，进而可以判断游戏参与者执行的动作是否符合预先设置的游戏规则。
[0149]
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。
[0150]
图15示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1501、存储器1502、输入/输出接口1503、通信接口1504和总线1505。其中处理器1501、存储器1502、输入/输出接口1503和通信接口1504通过总线1505实现彼此之间在设备内部的通信连接。
[0151]
处理器1501可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器1501还可以包括显卡，所述显卡可以是nvidia titan x显卡或者1080ti显卡等。
[0152]
存储器1502可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1502可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1502中，并由处理器1501来调用执行。
[0153]
输入/输出接口1503用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0154]
通信接口1504用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0155]
总线1505包括一通路，在设备的各个组件(例如处理器1501、存储器1502、输入/输出接口1503和通信接口1504)之间传输信息。
[0156]
需要说明的是，尽管上述设备仅示出了处理器1501、存储器1502、输入/输出接口1503、通信接口1504以及总线1505，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0157]
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
[0158]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算
机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0159]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
[0160]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
[0161]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。