基于深度学习的跨域三维点云分割方法、存储介质

文档序号:30441321发布日期:2022-06-17 22:26阅读:132来源:国知局
基于深度学习的跨域三维点云分割方法、存储介质

1.本发明涉及深度学习技术领域,特别涉及一种基于深度学习的跨域三维点云分割方法、存储介质。


背景技术:

2.自动驾驶汽车要想在复杂的户外环境下有效地运行,必须对户外场景进行分析和理解。因此,对户外大规模3d点云进行语义分割是一项重要的前提任务。尽管现今一些监督学习方法在许多公开数据集上已经取得了非常出色的分割性能。然而,由于训练数据集和真实场景存在较大差异,这些方法在实际应用中依然无法取得出色分割效果。此外,这些方法极度依赖于大量手工标注的数据,然而手工标注大规模数据集不仅耗时而且人工成本非常昂贵。
3.现有技术中的一种经济替代方法是通过无监督域适应(unsupervised domain adaptation,uda)方法,利用已经标注好的数据来标记新域数据。在图像领域,uda已经取得了长足的发展,但在三维点云领域的研究和应用仍处于起步阶段。现有的针对三维点云的uda方法主要分为两类:1)基于投影的方法,此类方法主要是将三维点云投影到二维图像上以生成深度图像(rangeimage),再使用成熟的二维图像成熟的uda方法进行域迁移分割任务。然而,这种方法损失了三维点云丰富的空间几何信息,并产生了严重的遮挡问题,因而很难得到高质量的域不变特征,迁移效果较差;2)基于补全的方法,此类方法先将不同域的三维点云进行补全,生成一个标准域,然后在这个生成的标准域上进行分割任务。这种方法的性能严重受限于补全的效果,因而限制了后续分割方法的性能。此外,现有方法并未考虑到迁移过程中不同类之间的可迁移性差异。因此,上述方法的性能还远远达不到令人满意的效果。
4.近年来,随着自动驾驶技术的蓬勃发展,三维点云凭借可以完全排除光线的干扰,并轻易取得三维空间几何信息等优势在工业界和科研领域得到了广泛应用,并使得获取大量三维点云数据成为可能。如何利用这些数据,在不需要人工进行标注的情况下,对这些数据进行精准的分割,从而帮助自动驾驶汽车在复杂的户外环境下进行高效的场景理解和分析成为了一项紧迫任务。


技术实现要素:

5.本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的一个目的在于提出一种基于深度学习的跨域三维点云分割方法,极大地提升了跨域分割的准确率和性能。
6.本发明的第二个目的在于提出一种计算机可读存储介质,能够实现基于深度学习的跨域三维点云分割方法,极大地提升跨域分割的准确率和性能。
7.为达到上述目的,本发明第一方面实施例提出了一种基于深度学习的跨域三维点云分割方法,包括以下步骤:
8.获取训练数据,训练数据包括带标签的源域数据和无标签的目标域数据;
9.构建一高效域迁移对抗分割框架,所述高效域迁移对抗分割框架包括条件域融合分割网络和判别网络;其中,所述条件域融合分割网络包括基于体素的主分支ev、基于点的辅助分支e
p
、注意力融合模块和分类器;
10.使用所述训练数据中的源域数据对所述条件域融合分割网络进行监督训练,得到预训练条件域融合分割网络模型;
11.将所述预训练条件域融合分割网络模型加载至所述高效域迁移对抗分割框架中的条件域融合分割网络;
12.使用所述训练数据对高效域迁移对抗分割框架中的条件域融合分割网络络模型继续进行对抗训练,得到跨域三维点云条件域融合分割网络模型;
13.输入目标域数据至所述跨域三维点云条件域融合分割网络模型后,先分别通过其中的主分支ev和辅助分支e
p
提取基于体素的特征和基于点的特征,再通过注意力融合模块融合所提取的两个特征,得到融合特征,最后通过分类器对所述融合特征和所述基于体素的特征进行逐点分类,得到输入的目标域数据各点的预测标签。
14.根据本发明实施例的基于深度学习的跨域三维点云分割方法,能够准确地对新域数据进行标注,大大降低人工标注的时间和就此所需花费的劳动成本,为3d点云的标注提供了新的方式;方法所使用的条件域融合分割网络具有强大而健壮的特点,能够促进领域不变的学习,从而实现良好的领域自适应性能,提升跨域分割的准确率;能够有效利用从体素视角和点视角生成的语义预测,使跨域三维点云条件域融合分割网络模型较好地保持目标域数据中对齐良好点的语义一致性,并自适应地将更高的权重附加到目标域数据中难对齐的点以加快对其速度。
15.另外,根据本发明上述实施例提出的一种基于深度学习的跨域三维点云分割方法还可以具有如下附加的技术特征:
16.可选地,所述辅助分支e
p
包括多尺度条件域特征抽取模块;
17.所述目标域数据通过辅助分支e
p
提取基于点的特征,具体包括:
18.所述目标域数据通过辅助分支e
p
中的多尺度条件域特征抽取模块从点视角提取其多尺度特征和域特定特征。
19.可选地,所述使用所述训练数据对高效域迁移对抗分割框架中的条件域融合分割网络络模型继续进行对抗训练,得到跨域三维点云条件域融合分割网络模型,包括:
20.使用源域数据进行训练的第一子流程:
21.输入一给定的源域数据至高效域迁移对抗分割框架下的条件域融合分割网络络模型中,输出所述一给定的源域数据的每个点的预测结果;
22.依据所述一给定的源域数据及其每个点的预测结果和标签,计算交叉熵损失;
23.依据所述交叉熵损失对所述条件域融合分割网络络模型进行更新;
24.以及使用目标域数据进行训练的第二子流程:
25.输入一给定的目标域数据至更新后的条件域融合分割网络络模型中,输出所述一给定的目标域数据每个点的预测结果;
26.将所述一给定的目标域数据的预测结果输入至所述判别网络中,获取每个点的域预测结果;
27.依据所述一给定的目标域数据的域预测结果和域标签,计算对抗损失;
28.以及依据所述条件域融合分割网络络模型的两个分类器对所述目标域数据的分类结果,计算得到差异图的第三子流程;
29.以及依据所述差异图对所述对抗损失进行逐点加权,得到加权后的对抗损失,并依据所述加权后的对抗损失对所述条件域融合分割网络络模型进行更新,得到跨域三维点云条件域融合分割网络模型的第四子流程;
30.将所述一给定的源域数据的预测结果和所述一给定的目标域数据的预测结果输入至高效域迁移对抗分割框架下的判别网络中进行训练并更新判别网络,返回继续执行第一子流程,直至达到预设迭代次数,得到跨域三维点云条件域融合分割网络模型的第五子流程。
31.优选地,所述第四子流程,之后,还包括:
32.将源域数据扩充到目标域数据中;
33.依据所述训练的反馈信息调整跨域三维点云条件域融合分割网络模型的超参数。
34.优选地,所述扩充目标域数据包括:
35.通过所述高效域迁移对抗分割框架下的预训练条件域融合分割网络模型对训练数据中目标域数据的各点进行预测,得到目标域数据各点的伪标签这一预测结果;
36.分别依据源域数据各点的标签在对应的源域数据中提取一个中心点属于地面类别的第一区域;
37.分别依据目标域数据各点的伪标签在对应的目标域数据中提取一个中心点属于地面类别的第二区域;
38.使用所述第一区域替换所述目标域数据中的所述第二区域;
39.对替换后的所述目标域数据进行随机采样。
40.为达到上述目的,本发明第二方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,所述程序在被处理器执行时,能够实现上述一种基于深度学习的跨域三维点云分割方法。
41.根据本发明实施例的一种计算机可读存储介质,能够用于实现一种基于深度学习的跨域三维点云分割方法,从而实现准确地对新域数据进行标注,大大降低人工标注的时间和就此所需花费的劳动成本,为3d点云的标注提供了新的方式;方法所使用的条件域融合分割网络具有强大而健壮的特点,能够促进领域不变的学习,从而实现良好的领域自适应性能,提升跨域分割的准确率;能够实现有效利用从体素视角和点视角生成的语义预测,使跨域三维点云分割模型较好地保持目标域数据中对齐良好点的语义一致性,并自适应地将更高的权重附加到目标域数据中难对齐的点以加快对其速度。
附图说明
42.图1为根据本发明实施例的一种基于深度学习的跨域三维点云分割方法的流程示意图;
43.图2为根据本发明实施例的一种基于深度学习的跨域三维点云分割方法中不同域数据的视觉对比;
44.图3为根据本发明实施例的一种基于深度学习的跨域三维点云分割方法所使用的
高效域迁移对抗分割框架的结构示意图;
45.图4为根据本发明实施例的一种基于深度学习的跨域三维点云分割方法中的多尺度条件域特征抽取模块的工作原理示意图;
46.图5为根据本发明实施例中的使用训练数据进行对抗训练的一具体实施方式的流程示意图;
47.图6为根据本发明实施例的一种基于深度学习的跨域三维点云分割方法中的数据扩充结果示意图;
48.图7为根据本发明实施例的一种基于深度学习的跨域三维点云分割方法中的跨域分割结果对比示意图。
具体实施方式
49.下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
50.本发明提供的一种基于深度学习的跨域三维点云分割方法利用强大而健壮的条件域融合分割网络分别从体素角度和点角度提取特征,再将二者融合,对融合特征和基于体素的特征逐点分类,得到预测标签,从而显著提升跨域分割的准确率和性能。
51.为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
52.为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
53.如图1所示,本发明实施例的一种基于深度学习的跨域三维点云分割方法,其能有效地提升在新域数据上的分割性能和分割准确率。
54.所述基于深度学习的跨域三维点云分割方法可以包括以下步骤:
55.s1:获取训练数据;
56.所述训练数据包括带有丰富标签的源域数据和没有标签的目标域数据。
57.在一具体实施方式中,源域数据由velodyne hdl-32e激光雷达传感器所收集,并由人工对每个点进行标注;目标域数据由velodyne hdl-64e激光雷达传感器所收集,不经过任何人工处理。图2展示了由上述两种不同传感器所收集的数据的差异。
58.s2:构建一高效域迁移对抗分割框架;
59.所述高效域迁移对抗分割框架基于深度学习,如图3所示,域迁移对抗分割框架包括条件域融合分割网络g(dcf-net)和判别网络d;所述条件域融合分割网络主要用来输出每个点的标签;所述判别网络主要用来通过对抗性训练来减少域和域之间的差异。当判别网络判别不出分割网络的输出来自源域还是目标域时,则表明分割网络的输出结果已经具有域不变性。
60.其中,所述分割网络g(dcf-net)包括基于体素的主分支ev、基于点的辅助分支e
p
、注意力融合模块和两个分类器(图3中的cv和cf);所述主分支ev用于基于体素的网络提取域
数据的特征ev;所述辅助分支e
p
用于基于点的网络提取域数据的特征e
p
;所述注意力融合模块用于使用注意力机制对两个分支所提取的特征进行融合,得到融合特征ef;所述分类器cv用于对主分支ev提取的特征ev进行逐点分类,得到每个点的预测标签;所述分类器cf用于对融合特征ef进行逐点分类,得到每个点的预测标签。所述判别网络采用下采样的基于体素的网络。
61.所构建的条件域融合分割网络的目标是使用强大而健壮的高效域迁移对抗分割框架来促进领域不变特征的学习,从而实现良好的领域自适应性能。
62.在一具体实施方式中,分割网络g(dcf-net)的构建过程可以包括以下步骤:
63.s21:利用三维点云的多种处理(表征)方式,搭建一个双分支分割网络dcf-net,所述dcf-net的特征提取器包括一个基于体素的主分支ev和一个基于点的辅助分支e
p

64.s22:为辅助分支e
p
设计两个相同的多尺度条件域特征抽取模块(msdc block),以对不同域数据进行多尺度特征的提取。这么做不但能够提取到域不变特征,而且极大地提高特征的区别性;进一步地,还能使得网络显式的提取域特定知识,从而提升网络性能。
65.作为一具体示例,如图4所示,对于输入至辅助分支e
p
的每一个点,每个点将根据欧几里德距离收集ks和kb个最近邻点,从而构建两个邻域;它们并行输入到两个域共享的局部空间编码单元中,以提取具有多个感受野的特征。如图中4灰色虚线所示,多线激光雷达(high-beam)的大感受野kb与少线激光雷达(low-beam)的小感受野ks相似,这是多尺度条件域特征抽取模块msdc block消除域差异的关键思想。然后,通过注意力池化单元进行多尺度融合,同时聚合所有邻居的特征。特别的,在此使用两个注意力池化单元来强制源域数据和目标域数据使用不同的注意力池化单元融合特征。具体来说,给定源输入特征fs和目标输入特征和f
t
通过学习条件域注意力权重aws和aw
t
来聚合每个域的邻居特征:其中和是经过聚合后的特征。可知,借助上述设计原理,多尺度条件域特征抽取模块msdc block可以利用每个域所独有的注意力权重来聚合各领域的多尺度特征。
66.s23:设计使用主分支ev和辅助分支e
p
分别使用基于体素的网络和基于点的网络对同一样本提取特征;
67.具体而言,请参阅图3,图中的targetdata为目标域数据,sourcedata为源域数据,不管是哪一个域数据,都将分别经过主分支ev和辅助分支e
p
;主分支ev和辅助分支e
p
将分别独立地从体素视角和点视角提取一个域数据样本的特征(如图3,经辅助分支e
p
提取得到特征e
p
;经主分支ev提取得到特征ev)。因为每个分支都可以弥补另一个分支的不足,已经得到的特征ev和e
p
将在后续经注意力融合模块fusion进一步融合成ef(融合特征);然后再将特征ev和融合特征ef输入两个不同的分类器cv和cf以生成不同的预测pv和pf。
68.s24:设计一个分别连接主分支ev和辅助分支e
p
输出的注意力融合模块,以使用注意力机制对两个分支所提取的特征进行融合,得到融合特征;
69.请参阅图3,主分支的输出ev和辅助分支的输出e
p
不仅是针对同一样本具有不同特性的两个特征,其中的e
p
还包含了体素分支体素化过程中丢失的信息。如若简单地结合这些特征(例如拼接或加法)会将有用的信息淹没在大量无用的信息中。因此,在本实施例中,将借助注意力机制自适应地过滤掉无效的特征并充分利用这两个视角的相关性。具体来
说,ev和e
p
均是具有n个点和c个通道的特征图,即ev,e
p
∈rn×c;注意力权重图由注意力融合模块获得,该模块由mlp、dropout、mlp和softmax层组成,具体如下:
[0070][0071][0072][0073]
其中,“·”和分别代表点积和拼接操作。
[0074]
s25:设计两个分类器,分别连接所述注意力融合模块和所述主分支的输出,以分别对融合特征和主分支提取的特征进行逐点分类,得到每个点的预测标签。
[0075]
s3:使用所述训练数据中的源域数据对所述条件域融合分割网络(dcf-net)进行监督训练,得到预训练条件域融合分割网络模型。
[0076]
在一些具体实施方式中,训练的过程包括:
[0077]
输入一给定的源域数据至条件域融合分割网络中,输出所述一给定的源域数据的每个点的预测结果;
[0078]
依据所述一给定的源域数据及其每个点的预测结果和标签,计算交叉熵损失;
[0079]
依据所述交叉熵损失对所述条件域融合分割网络进行更新。
[0080]
s4:将所述预训练条件域融合分割网络模型加载至所述高效域迁移对抗分割框架中的条件域融合分割网络。也可以理解为:s2的框架中的条件域融合分割网络加载了预训练条件域融合分割网络模型的参数。
[0081]
通过更新,使高效域迁移对抗分割框架中的条件域融合分割网络不进行随机初始化,而是加载预训练分割网络模型的参数,即直接使用预训练分割网络模型的参数。
[0082]
一般网络的训练都是随机初始化,而基于背景技术的描述可知,我们的目的是利用已经标注好的数据(源域)来标记新域(目标域)数据。而源域有标签,目标域没有标签。所以在此,我们采用先通过有标签的源域数据对分割网络进行训练,得到预训练模型;在下一步对抗训练时,不让网络随机初始化,而是加载这个预训练模型的参数,再进行对抗训练。相较于随机初始化而言,通过加载预训练条件域融合分割网络模型的参数,使条件域融合分割网络模型在对抗训练初始阶段就具有较优的特征抽取能力。
[0083]
s5:使用所述训练数据对高效域迁移对抗分割框架中的条件域融合分割网络络模型继续进行对抗训练,得到跨域三维点云条件域融合分割网络模型;
[0084]
在一具体实施方式中,请参阅图5,继续对抗训练得到跨域三维点云条件域融合分割网络模型的过程可以包括以下步骤:
[0085]
s51(即第一子流程):使用源域数据进行训练;
[0086]
训练时,每次给定一个源域数据样本,将其输入到预训练后的条件域融合分割网络(即高效域迁移对抗分割框架中更新了参数过后的条件域融合分割网络模型)中,然后根据输出结果计算得到的监督损失对分割网络进行更新。
[0087]
具体而言,对源域数据进行训练时,将源域样本xs输入到分割网络dcf-net,dcf-net输出每个点的预测结果ps,并与对应的标签ys计算交叉熵损失计算公式具体如下:
[0088]
[0089]
其中,xs和ys分别为一个源域样本的原始三维点云坐标和其对应的groundtruth,即标签,ps为dcf-net输出的预测结果。
[0090]
s52(即第二子流程):使用目标域数据进行训练;
[0091]
训练时,每次给定一个目标域数据样本,将其输入到高效域迁移对抗分割框架下的条件域融合分割网络络模型,然后将输出的预测结果再输入到判别网络中,以判断每个点来自源域还是目标域,即获取每个点的域预测结果再计算每个点的对抗损失(对应图3中通往的箭头)。
[0092]
具体而言,对目标域数据进行训练时,将目标域样本x
t
输入到更新了参数后的分割网络dcf-net,dcf-net输出每个点的预测结果p
t
。由于目标域数据没有对应的标签,p
t
将被输入到判别网络中进行逐点判断,判断每个点来自于源域还是目标域,再依据域预测结果和域标签计算对抗损失,对抗损失的计算公式具体如下:
[0093][0094]
由于目标域没有标签,但是依据域预测结果可知它是来自源域还是目标域;通过设置源域域标签为0,目标域域标签为1,然后用每个点的域预测结果和域标签计算对抗损失。
[0095]
因此,该框架的总损失为:
[0096][0097]
其中,是对抗损失;λ
adv
是一个权衡和的一个超参数。
[0098]
s53(即第三子流程):依据条件域融合分割网络络模型的两个分类器对所述目标域数据和源域数据的分类结果,计算得到差异图(discrepancymap,对应图3中的“m”),以用来反映每个点的对齐程度;
[0099]
由于分割网络dcf-net是一个双分支网络,同时判别网络有两个具有不同输入特征的分类器cv和cf。因此,cv和cf的预测结果pv和pf提供了一个输入样本在两个不同视角下的语义预测。可以使用pv和pf之间的预测一致性来评估每个目标点在语义上的对齐程度。如果pv和pf中某个点的预测结果一致,则该点更有可能已经在语义上对齐,应该减少对抗性损失的影响,并鼓励分割网络保持一致的预测。相反,一个点的不一致预测表明它远未正确对齐,应该增强其对抗损失以加快对齐速度。差异图可以直接通过计算pv和pf的余弦距离得到,具体如下:
[0100][0101]
s54(即第四子流程):依据所述差异图对所述对抗损失进行逐点加权(加权即图3的),得到加权后的对抗损失(对应图3中的输出),并依据所述加权后的对抗损失对条件域融合分割网络络模型分割网络进行更新;
[0102]
该步骤能够隐式的将类别信息融入到对抗损失中,分割网络根据加权后的对抗损失进行更新。
[0103]
具体而言,通过使用差异度对对抗损失进行逐点加权,分割网络dcf-net的预测结果pv和pf被隐式的融合进了对抗损失中,加权后的对抗损失可以重新
写成:
[0104][0105]
其中,λ
local
是一个超参数,用于控制对抗损失的自适应权重,ε是一个用于稳定训练的小数;作为本实施例的一具体示例,λ
local
和ε分别设置为80和0.4;
[0106]
加权后的对抗损失将会被用来更新条件域融合分割网络络模型。
[0107]
在一优选实施例中,训练得到跨域三维点云条件域融合分割网络模型之后,还将通过以下步骤进一步提升模型的分割精度和性能。
[0108]
s541:将源域数据扩充到目标域数据中;
[0109]
该步骤的目的是减少域差,并提升模型的分割性能,融合后的样本示例如图6所示。
[0110]
作为一具体实施方式,该步骤具体可以包括以下步骤:
[0111]
h1:使用所述跨域三维点云条件域融合分割网络模型对训练数据中的目标域数据进行逐点预测,得到目标域数据每个点的预测结果,即目标域数据各点的伪标签;
[0112]
h2:根据源域数据各点的标签在对应源域数据样本中提取一个中心点属于地面类别的区域,标记为第一区域;
[0113]
h3:根据目标域数据各点的伪标签在对应目标域数据样本中提取一个中心点属于地面类别的区域,标记为第二区域;
[0114]
h4:使用源域样本中提取的第一区域替换目标域样本中的提取的第二区域,以达到数据扩充的目的;
[0115]
h5:对替换后的所述目标域数据进行随机采样,以保证网络输入点数相同。
[0116]
作为上述h2-h5步骤的一个具体示例,将根据源域数据的标签和目标域数据的伪标签分别在源域数据的一个样本xs和目标域数据的一个样本x
t
中各选择一个属于地面类别的点c
t
和cs;对源域的样本xs,以cs为中心,r为半径进行计算,得到一块区域ms,即第一区域;对目标域的样本x
t
,以c
t
为中心使用knn算法得到预先设定近邻点数目的一块区域m
t
,即第二区域,并计算m
t
中最远点到c
t
的距离r;然后,用ms替换x
t
中的m
t
,得到新的扩充后目标域样本以达到数据扩充的目的;最后再对替换后的目标域样本进行随机采样。
[0117]
s542:根据网络的训练、测试反馈信息调整模型的超参数。
[0118]
在本实施例中,在第四子流程之后,还包括第五子流程:
[0119]
s55(即第五子流程):分别将训练数据中的源域数据和目标域数据输入至判别网络中进行训练并更新判别网络,返回继续执行第一子流程,直至达到预设迭代次数,得到跨域三维点云分割框架;
[0120]
上述第一子流程至第五子流程将循环迭代,直至达到预先设定的最大迭代次数。作为本实施例的一优选示例,该最大迭代次数设置为150000。
[0121]
作为一具体示例,所有实验完全使用pytorch实现,采用的优化器是adam,分割网络dcf-net,分类器c和判别器d的初始学习率分别设置为2.5e-4、2.5e-3和10e-4;学习率使用多项式衰减策略逐渐减小,当前学习率等于初始学习率乘以其中power=0.9;体素分辨率为0.05m,s15中所述的近邻点数ks和kb分别设置为8和16;λ
adv
、λ
local
和ε分别设置为0.001、80和0.4。
[0122]
在本实施例中,训练得到跨域三维点云条件域融合分割网络模型之后,将通过该模型对输入的目标域数据进行逐点预测,得到目标域最终的准确分割结果。
[0123]
s6:如图3所示,输入跨域三维点云分割模型的目标域数据,将先分别通过分割网络的主分支ev和辅助分支e
p
提取基于体素的特征和基于点的特征,再通过注意力融合模块融合所提取的两个特征,得到融合特征,最后通过分类器对所述融合特征和主分支ev输出的基于体素的特征进行逐点分类,得到所输入的目标域数据各点的预测标签。
[0124]
作为一具体示例,模型训练结束后,使用最优的模型对由velodyne hdl-64e激光雷达传感器所收集的目标域数据进行逐点预测,得到每个点的预测结果。图7展示了本方法与其他方法的预测结果,明显展示了本实施例的优势。
[0125]
本实施例相较于现有技术,至少具有如下优点:
[0126]
1.本实施例提出的跨域三维点云分割方法能够准确的对新域数据进行标注,大大降低了人工标注数据的时间和劳动成本,为3d点云的标注提供了新的方式;
[0127]
2.本实施例提出的分割网络dcf-net是一个强大而健壮的网络架构,它不仅促进了领域不变特征的学习,还实现了良好的领域自适应性能。此外,通过显式的对域特定知识进行提取,极大的提升了跨域分割准确率;
[0128]
3.本实施例通过有效利用分别从体素视角和点视角生成的两个语义预测,使分割模型可以较好地保持目标域数据中对齐良好点的语义一致性,并自适应地将更高的权重附加到目标域数据中难对齐的点以加快对齐速度;
[0129]
4.本实施例提出的方法是直观的,充分利用了当前容易获取的三维点云数据。在新的环境下只需收集原始三维点云数据,不需要任何人工参与即可得到较为精准的新域数据语义标签。
[0130]
作为本发明的另一实施例,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序在被处理器执行时,能够实现上述实施例所述的一种基于深度学习的跨域三维点云分割方法。方法所包含的具体流程在此不进行复述,详情请参阅上述记载。
[0131]
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0132]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0133]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0134]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0135]
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0136]
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0137]
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
[0138]
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
[0139]
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
[0140]
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
[0141]
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0142]
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述
实施例进行变化、修改、替换和变型。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1