物体重组方法、装置、计算机设备及存储介质与流程

本技术实施例涉及计算机，特别涉及一种物体重组方法、装置、计算机设备及存储介质。

背景技术：

1、物体重组是指将两个断裂的物体碎片组成一个完整物体的过程，可应用于多种领域。例如在考古领域中将文物的断裂碎片重新组合在一起，在医疗领域中将骨折之后的骨头碎片重新组合在一起。

2、相关技术中，对物体碎片进行拼接是依靠人工实现的，通过观察物体碎片的断裂面的特征，推测物体碎片之间原本的位置关系，然后人工进行调整，将物体碎片重新组合在一起。但是由于该方法依赖人工，耗费人力和时间，物体重组的效率和精度较低。

技术实现思路

1、本技术实施例提供了一种物体重组方法、装置、计算机设备及存储介质，能够提高物体重组的效率和精度。所述技术方案如下：

2、一方面，提供了一种物体重组方法，所述方法包括：

3、获取第一碎片点云和第二碎片点云，所述第一碎片点云和所述第二碎片点云表示同一物体的两个碎片；

4、基于所述第一碎片点云和所述第二碎片点云，预测第一互补点云和第二互补点云，所述第一互补点云与所述第一碎片点云互补，且与所述第二碎片点云的形状相同，所述第二互补点云与所述第二碎片点云互补，且与所述第一碎片点云的形状相同；

5、将所述第一互补点云与所述第一碎片点云拼接，得到第一重组点云，将所述第二互补点云与所述第二碎片点云拼接，得到第二重组点云；

6、基于所述第一重组点云和所述第二重组点云，确定第一变换信息，所述第一变换信息用于将所述第一重组点云的位姿变换为所述第二重组点云的位姿；

7、按照所述第一变换信息对所述第一碎片点云进行位姿变换，将位姿变换后的所述第一碎片点云与所述第二碎片点云拼接，得到物体点云，所述物体点云表示将所述两个碎片重组后的物体。

8、另一方面，提供了一种物体重组装置，所述装置包括：

9、点云获取模块，用于获取第一碎片点云和第二碎片点云，所述第一碎片点云和所述第二碎片点云表示同一物体的两个碎片；

10、点云预测模块，用于基于所述第一碎片点云和所述第二碎片点云，预测第一互补点云和第二互补点云，所述第一互补点云与所述第一碎片点云互补，且与所述第二碎片点云的形状相同，所述第二互补点云与所述第二碎片点云互补，且与所述第一碎片点云的形状相同；

11、第一重组模块，用于将所述第一互补点云与所述第一碎片点云拼接，得到第一重组点云，将所述第二互补点云与所述第二碎片点云拼接，得到第二重组点云；

12、信息确定模块，用于基于所述第一重组点云和所述第二重组点云，确定第一变换信息，所述第一变换信息用于将所述第一重组点云的位姿变换为所述第二重组点云的位姿；

13、第二重组模块，用于按照所述第一变换信息对所述第一碎片点云进行位姿变换，将位姿变换后的所述第一碎片点云与所述第二碎片点云拼接，得到物体点云，所述物体点云表示将所述两个碎片重组后的物体。

14、可选地，所述点云预测模块，用于：

15、基于所述第一碎片点云和所述第二碎片点云，预测所述第一互补点云、所述第二互补点云、第一断裂面点和第二断裂面点，所述第一断裂面点为所述第一碎片点云的断裂面上的点，所述第二断裂面点为所述第二碎片点云的断裂面上的点；

16、所述第二重组模块，用于：

17、将位姿变换后的所述第一碎片点云与所述第二碎片点云拼接，得到候选物体点云；

18、基于所述第一断裂面点和所述第二断裂面点，确定第二变换信息，所述第二变换信息用于将所述第一断裂面点变换至所述第二断裂面点；

19、按照所述第二变换信息对所述候选物体点云中的所述第一碎片点云进行位姿变换，得到所述物体点云。

20、可选地，所述第二重组模块，用于：

21、基于所述第一断裂面点和所述第二断裂面点，确定第一断裂面和第二断裂面，所述第一断裂面为所述第一断裂面点所在的面，所述第二断裂面为所述第二断裂面点所在的面；

22、在所述第一断裂面中进行采样，得到第一密集断裂面点，在所述第二断裂面中进行采样，得到第二密集断裂面点，所述第一密集断裂面点的数量大于所述第一断裂面点的数量，所述第二密集断裂面点的数量大于所述第二断裂面点的数量；

23、基于所述第一密集断裂面点和所述第二密集断裂面点，确定所述第二变换信息，所述第二变换信息用于将所述第一密集断裂面点变换至所述第二密集断裂面点。

24、可选地，所述第二重组模块，用于：

25、获取第一网格模型和第二网格模型，所述第一网格模型为所述第一碎片点云的网格模型，所述第二网格模型为所述第二碎片点云的网格模型；

26、基于所述第一断裂面点和所述第二断裂面点，确定多个第一网格面和多个第二网格面，所述第一网格面为所述第一网格模型中的所述第一断裂面点所在的网格面，所述第二网格面为所述第二网格模型中的所述第二断裂面点所在的网格面；

27、基于所述第一网格模型，对所述多个第一网格面进行扩充，得到连续的多个第一网格面，将连续的多个第一网格面构成的面确定为所述第一断裂面；

28、基于所述第二网格模型，对所述多个第二网格面进行扩充，得到连续的多个第二网格面，将连续的多个第二网格面构成的面确定为所述第二断裂面。

29、可选地，所述信息确定模块，用于：

30、基于所述第一重组点云和所述第二重组点云，确定多个候选变换信息以及每个所述候选变换信息的匹配点数，所述匹配点数是指按照所述候选变换信息对所述第一重组点云进行位姿变换后，所述第一重组点云和所述第二重组点云中相互匹配的点的数量，两个点相互匹配是指两个点之间的距离小于距离阈值；

31、选取所述匹配点数最大的候选变换信息作为所述第一变换信息。

32、可选地，所述信息确定模块，用于：

33、在所述第一重组点云中确定第一参考点集合，在所述第二重组点云中确定第二参考点集合，所述第一参考点集合中参考点的数量与所述第二参考点集合中参考点的数量相等；

34、将所述第一参考点集合的位姿调整至与所述第二参考点集合的位姿相同，根据所述第一参考点集合调整前的位姿和调整后的位姿，确定所述候选变换信息。

35、可选地，点云处理模型包括特征提取网络、注意力网络和特征映射网络；所述点云预测模块，用于：

36、通过所述点云处理模型中的特征提取网络，对所述第一碎片点云和所述第二碎片点云进行特征提取，得到第一点云特征和第二点云特征；

37、通过所述点云处理模型中的注意力网络，对所述第一点云特征和所述第二点云特征进行特征增强，得到第一增强特征和第二增强特征；

38、通过所述点云处理模型中的特征映射网络，分别对所述第一增强特征和所述第二增强特征进行特征映射，得到第一位移特征和第二位移特征，所述第一位移特征用于指示将所述第一碎片点云中的各个点进行位移，所述第二位移特征用于指示将所述第二碎片点云中的各个点进行位移；

39、按照所述第一位移特征，对所述第一碎片点云中的各个点进行位移，得到所述第二互补点云，按照所述第二位移特征，对所述第二碎片点云中的各个点进行位移，得到所述第一互补点云。

40、可选地，所述注意力网络包括自注意力层和交叉注意力层；所述点云预测模块，用于：

41、通过所述自注意力层，分别对所述第一点云特征和所述第二点云特征进行特征提取，得到所述第一点云特征的第一键特征、第一值特征和第一查询特征，以及所述第二点云特征的第二键特征、第二值特征和第二查询特征；

42、通过所述交叉注意力层，对所述第一键特征、所述第一值特征和所述第二查询特征进行融合，得到所述第一增强特征；

43、通过所述交叉注意力层，对所述第二键特征、所述第二值特征和所述第一查询特征进行融合，得到所述第二增强特征。

44、可选地，所述点云预测模块，用于：

45、通过所述特征映射网络，分别对所述第一增强特征和所述第二增强特征进行特征映射，得到所述第一位移特征、所述第二位移特征、第一概率特征和第二概率特征，所述第一概率特征表示所述第一碎片点云中的各个点属于断裂面点的概率，所述第二概率特征表示所述第二碎片点云中的各个点属于断裂面点的概率；

46、所述点云预测模块，还用于：

47、基于所述第一概率特征和所述第二概率特征，将所述第一碎片点云中概率大于概率阈值的点确定为第一断裂面点，将所述第二碎片点云中概率大于所述概率阈值的点确定为第二断裂面点，所述第一断裂面点和所述第二断裂面点用于将所述第一碎片点云与所述第二碎片点云拼接。

48、可选地，所述装置还包括模型训练模块，用于：

49、获取第一样本碎片点云和第二样本碎片点云，所述第一样本碎片点云和所述第二样本碎片点云表示同一样本物体的两个碎片；

50、通过所述点云处理模型，基于所述第一样本碎片点云和所述第二样本碎片点云，预测第一样本互补点云和第二样本互补点云；

51、基于所述第一样本碎片点云、所述第二样本碎片点云、所述第一样本互补点云和所述第二样本互补点云，确定损失参数，基于所述损失参数，训练所述点云处理模型。

52、可选地，所述损失参数包括第一损失参数，所述模型训练模块，用于：

53、基于所述第一样本碎片点云与所述第二样本互补点云之间的第一差异值，以及所述第二样本碎片点云与所述第一样本互补点云之间的第二差异值，确定所述第一损失参数，所述第一损失参数与所述第一差异值和所述第二差异值正相关。

54、可选地，所述损失参数包括第二损失参数，所述模型训练模块，用于：

55、基于所述第一样本碎片点云、所述第二样本碎片点云、所述第一样本互补点云和所述第二样本互补点云，分别确定第一距离信息、第二距离信息、第三距离信息和第四距离信息，所述第一距离信息表示所述第一样本碎片点云中每两个点之间的距离，所述第二距离信息表示所述第二样本碎片点云中每两个点之间的距离，所述第三距离信息表示所述第一样本互补点云中每两个点之间的距离，所述第四距离信息表示所述第二样本互补点云中每两个点之间的距离；

56、基于所述第一距离信息与所述第三距离信息之间的第三差异值，以及所述第二距离信息与所述第四距离信息之间的第四差异值，确定所述第二损失参数，所述第二损失参数与所述第三差异值和所述第四差异值正相关。

57、可选地，所述点云处理模型还预测得到第一预测断裂面点和第二预测断裂面点，所述第一预测断裂面点为预测的所述第一样本碎片点云的断裂面上的点，所述第二预测断裂面点为预测的所述第二样本碎片点云的断裂面上的点，所述损失参数还包括第三损失参数；所述模型训练模块，用于：

58、获取第一样本断裂面点和第二样本断裂面点，所述第一样本断裂面点为真实的所述第一样本碎片点云的断裂面上的点，所述第二预测断裂面点为真实的所述第二样本碎片点云的断裂面上的点；

59、基于所述第一预测断裂面点与所述第一样本断裂面点之间的第五差异值，以及所述第二预测断裂面点与所述第二样本断裂面点之间的第六差异值，确定所述第三损失参数，所述第三损失参数与所述第五差异值和所述第六差异值正相关。

60、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如上述方面所述的物体重组方法所执行的操作。

61、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如上述方面所述的物体重组方法所执行的操作。

62、另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序由处理器加载并执行，以实现如上述方面所述的物体重组方法所执行的操作。

63、本技术实施例提供的方案，针对两个待重组的第一碎片点云和第二碎片点云，由于两个第一碎片点云和第二碎片点云可能处于任意位姿下，无法直接进行拼接，因此先预测第一互补点云和第二互补点云，由于第一互补点云与第一碎片点云互补且与第二碎片点云形状相同，第二互补点云与第二物体互补且与第一碎片点云形状相同，因此可以直接将第一互补点云与第一碎片点云拼接得到第一重组点云，将第二互补点云与第二碎片点云拼接得到第二重组点云，该第一重组点云和第二重组点云形状相同但位姿不同，因此可以确定将第一重组点云变换至第二重组点云的变换信息，由于第一重组点云中包括第一碎片点云，第二重组点云中包括第二碎片点云，因此根据该变换信息可以将第一碎片点云变换至能够与第二碎片点云直接拼接的位姿，然后将变换后的第一碎片点云与第二碎片点云拼接，从而完成了物体重组，该方法对第一碎片点云和第二碎片点云的初始姿态没有特定要求，且无需人工处理，提高了物体重组的效率以及精度