一种基于点云数据的应答方法、装置、设备及存储介质与流程

1.本发明实施例涉及计算机技术领域，尤其涉及一种基于点云数据的应答方 法、装置、设备及存储介质。


背景技术：

2.随着自动驾驶、机器人、城市仿真和三维打印的推进，针对点云数据的智 能化理解越来越重要。在实现本发明的过程中，发明人发现现有技术中至少存 在以下技术问题：如何准确的实现对点云数据的智能化理解以及应答，例如如 何针对驾驶员对车载系统扫描的街景点云提出的问题“红绿灯下穿红衣服的行 人在干什么？”进行准确应答，是一个亟待解决的技术问题。


技术实现要素：

3.本发明实施例提供了一种基于点云数据的应答方法、装置、设备及存储介 质，以实现基于点云数据的准确应答。
4.第一方面，本发明实施例提供了一种基于点云数据的应答方法，包括：
5.获取待应答信息以及所述待应答信息对应的点云数据；
6.将所述待应答信息以及所述待应答信息对应的点云数据输入至训练好的问 答模型中，获得所述问答模型的输出结果，其中，所述问答模型包括点云特征 提取模块和应答信息生成模块：
7.根据所述输出结果确定应答信息并输出。
8.第二方面，本发明实施例还提供了一种基于点云数据的应答装置，包括：
9.待应答信息获取模块，用于获取待应答信息以及待应答信息对应的点云数 据；
10.输出结果获取模块，用于将待应答信息以及待应答信息对应的点云数据输 入至训练好的问答模型中，获得问答模型的输出结果，其中，所述训练好的问 答模型包括点云特征提取模块和应答信息生成模块；
11.应答信息输出模块，用于根据输出结果确定应答信息并输出。
12.第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：
13.一个或多个处理器；
14.存储装置，用于存储一个或多个程序；
15.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现 如本发明任意实施例所提供的基于点云数据的应答方法。
16.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的基于点 云数据的应答方法。
17.本发明实施例通过获取待应答信息以及待应答信息对应的点云数据；将待 应答信息以及待应答信息对应的点云数据输入至训练好的问答模型中，获得问 答模型的输出
结果，其中，问答模型包括点云特征提取模块和应答信息生成模 块：根据输出结果确定应答信息并输出，通过训练好的问答模型挖掘点云数据 中包含的信息，实现了基于点云数据的准确应答。
附图说明
18.图1a是本发明实施例一所提供的一种基于点云数据的应答方法的流程图；
19.图1b是本发明实施例一所提供的一种点云特征提取模块的结构示意图；
20.图1c是本发明实施例一所提供的一种单帧特征提取子模块的结构示意图；
21.图1d是本发明实施例一所提供的一种原始特征提取网络的结构示意图；
22.图1e是本发明实施例一所提供的又一种单帧特征提取子模块的结构示意图；
23.图1f是本发明实施例一所提供的一种应答信息生成模块的结构示意图；图1g是本发明实施例一所提供的又一种问答模型的结构示意图；
24.图2是本发明实施例二所提供的一种基于点云数据的应答方法的流程图；
25.图3是本发明实施例三所提供的一种基于点云数据的应答装置的结构示意 图；
26.图4是本发明实施例四所提供的一种计算机设备的结构示意图。
具体实施方式
27.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。
28.实施例一
29.图1a是本发明实施例一所提供的一种基于点云数据的应答方法的流程图。 本实施例可适用于进行智能应答时的情形，尤其适用于基于点云数据进行智能 应答时的情形。该方法可以由基于点云数据的应答装置执行，该基于点云数据 的应答装置可以采用软件和/或硬件的方式实现，例如，该基于点云数据的应答 装置可配置于计算机设备中。如图1a所示，所述方法包括：
30.s110、获取待应答信息以及所述待应答信息对应的点云数据。
31.在本实施例中，待应答信息以及待应答信息对应的点云数据的获取方式在 此不做限定，可根据智能应答的应答场景确定。示例性的，若智能应答应用于 车载系统，则待应答信息可能为驾驶员语音输入的信息。如“红绿灯下穿红衣 服的行人在干什么”，待应答信息对应的点云数据可能为车载系统扫描的街景 点云数据。
32.s120、将所述待应答信息以及所述待应答信息对应的点云数据输入至训练 好的问答模型中，获得所述问答模型的输出结果。
33.在本实施例中，训练好的问答模型包括点云特征提取模块和应答信息生成 模块，点云特征提取模块用于提取点云数据中的点云特征，应答信息生成模块 用于根据点云特征和待应答信息生成输出结果。可选的，问答模型的输出结果 可能为文本库中每个单词对应的一维有效编码，也可能为文字形式的应答信息。
34.在本发明的一种实施方式中，将待应答信息以及待应答信息对应的点云数 据输入至训练好的问答模型中，获得问答模型的输出结果，包括：将待应答信 息以及待应答信
息对应的点云数据输入至点云特征提取模块中，获得点云特征 提取模块输出的点云特征；将点云特征和待应答信息输入至应答信息生成模块 中，获得应答信息生成模块的输出结果。可选的，为了提高应答信息的准确性， 可以在点云特征提取模块中结合待应答信息对点云数据的特征进行提取，提取 出局部重视于与待应答信息相关部分的点云特征，以使应答信息生成模块根据 局部重视于与待应答信息相关部分的点云特征对待应答信息进行应答，生成输 出结果。其中，结合待应答信息对点云数据的特征进行提取，提取出局部重视 于与待应答信息相关部分的点云特征可以为：针对点云数据中的每个单帧点云 数据，结合待应答信息对单帧点云数据进行特征提取，得到单帧特征，根据每 个单帧点云数据的单帧特征，得到点云数据对应的点云特征。
35.在本实施例中，考虑到点云数据的规模较大，而大规模点云数据的一种组 织方法是由时间序列上的单帧点云数据拼接而成，例如车载激光采集出的点云， 这些单帧点云数据之间有时空一致性关系，简单的卷积神经网络难以体现出单 帧点云数据之间的时间一致性，通过基于循环神经网络构建问答模型，提取出 由单帧点云数据拼接而成的点云数据中的高层特征，使得点云数据的特征提取 更加准确。在本发明的一种实施方式中，点云数据包括至少一个单帧点云数据， 点云特征提取模块包括循环子模块和多个单帧特征提取子模块，循环子模块包 括链式连接的多个第一循环神经网络，单帧特征提取子模块与第一循环神经网 络一一对应，将待应答信息以及待应答信息对应的点云数据输入至点云特征提 取模块中，获得点云特征提取模块输出的点云特征，包括：针对每个单帧点云 数据，将单帧点云数据和待应答信息输入至单帧特征提取子模块中，获得单帧 特征提取子模块输出的单帧点云数据对应的单帧特征；根据第一循环神经网络 的连接顺序，依次将每个第一循环神经网络作为当前第一循环神经网络，将当 前第一循环神经网络对应的单帧特征提取子模块输出的单帧特征以及当前第一 循环神经网络的前一第一循环神经网络输出的网络提取特征输入至当前第一循 环神经网络中，获得当前第一循环神经网络输出的网络提取特征，并将最后一 个第一循环神经网络输出的网络提取特征作为点云特征。
36.可选的，可以通过单帧特征提取子模块提取出每个单帧点云数据的单帧特 征，然后通过循环子模块根据每个单帧点云数据的单帧特征，得到点云数据对 应的点云特征。其中，每个单帧特征提取子模块可以单独提取出其对应的单帧 点云数据中的单帧特征，还可以结合其他单帧特征提取子模块对应的单帧点云 数据对其对应的单帧点云数据进行特征提取，得到其对应的单帧点云数据的单 帧特征。
37.一个实施例中，通过循环子模块根据每个单帧点云数据的单帧特征，得到 点云数据对应的点云特征可以为：根据第一循环神经网络的链式顺序，依次将 第一循环神经网络对应的单帧特征提取子模块输出的单帧特征以及该第一循环 神经网络的前一第一循环神经网络输出的网络提取特征输入至该第一循环神经 网络中，将最后一个第一循环神经网络输出的网络提取特征作为点云数据的点 云特征。具体的，上述过程可以通过链式连接的第一循环神经网络实现。图1b 是本发明实施例一所提供的一种点云特征提取模块的结构示意图，如图1b所示， 点云特征提取模块包括循环子模块120和多个单帧特征提取子模块(单帧特征 提取子模块111、单帧特征提取子模块112、
……
、单帧特征提取子模块113)， 每个单帧特征提取子模块用于提取其对应的单帧点云数据的单帧特征，循环子 模块120由链式连接的多个第一循环神经网络(第一循环神经网络121、第一 循环神经网络122、
……
、第
一循环神经网络123)组成，其中，单帧特征提取 子模块111与第一循环神经网络121对应，单帧特征提取子模块112与第一循 环神经网络122对应，
……
，单帧特征提取子模块113与第一循环神经网络123 对应，第一循环神经网络121根据单帧特征提取子模块111提取的单帧特征以 及h0得到第一循环神经网络121对应的网络提取特征h1，并将其输出至第一循 环神经网络122，第一循环神经网络122根据单帧特征提取子模块112提取的 单帧特征以及h1得到第一循环神经网络122对应的网络提取特征h2，并将其输 出至下一第一循环神经网络，直到最后一个第一循环神经网络123根据其上一 第一循环神经网络输出的网络提取特征h
t-1
以及其对应的单帧特征提取子模块 113提取的单帧特征得到第一循环神经网络123对应的网络提取特征h
t
，并将 其作为点云数据的点云特征。其中，第一循环神经网络可以为门循环神经网络 (gated recurrent unit，gru)、长短时记忆网络(long short-term memory，lstm) 以及各类多层多向循环神经网络等。
38.在本实施例中，可以通过注意力机制实现局部重视于与待应答信息相关部 分的单帧特征的提取。一个实施例中，单帧特征提取子模块包括第一问题特征 提取网络、注意力模块和原始特征提取网络，将单帧点云数据和待应答信息输 入至单帧特征提取子模块中，获得单帧特征提取子模块输出的单帧点云数据对 应的单帧特征，包括：将待应答信息输入至第一问题特征提取网络中，获得第 一问题特征提取网络输出的第一问题特征；将单帧点云数据输入至原始特征提 取网络中，获得原始特征提取网络输出的单帧点云数据的原始特征；将第一问 题特征和原始特征输入至注意力模块中，获得注意力模块输出的单帧特征。
39.图1c是本发明实施例一所提供的一种单帧特征提取子模块的结构示意图。 图中实线框表示网络层，虚线框表示数据层。如图1c所示，单帧特征提取子模 块包括第一问题特征提取网络1111、注意力模块1113和原始特征提取网络1112， 原始特征提取网络1112提取出单帧点云数据(n1
×
7)中的原始特征(1
×
2048)， 第一问题特征提取网络1111提取出待应答信息中的第一问题特征(1
×
1024)， 注意力模块1113根据第一问题特征对原始特征(1
×
2048)进行加权变换，得 到局部重视于与待应答信息相关部分的单帧特征(1
×
2048)。
40.可选的，原始特征提取网络1112可以为空间卷积模块pointnet，空间卷积 模块包括三种神经元t-net，matrix multiply和mlp。其中，t-net为特征转换单 元，可以学习到输入数据的几何变换(3x3 transform)和特征变换(64x64 transform) 矩阵，matrix multiply是矩阵叉乘操作，t-net联合matrix multily保证了模型对 特定空间转换的不变性；mlp为多层感知(multi-layer perceptron)，mlp(64,64) 为两层感知单元3x64，64x64，mlp(64,128,1024)为三层感知单元64x64，64x128， 128x1024，每层感知单元均为卷积操作，共享权重独立作用到每个点云点，例 如感知单元3x64和数据层1x3进行卷积操作得到数据层1x64，感知单元 128x1024跟数据层1x128进行卷积输出1x1024。在本实施例中，点云数据可以 为7维数据(x，y，z，i，r，g，b)，其中，(x，y，z)为空间坐标，i为强度， (r，g，b)为颜色。通过针对7维特征(x，y，z，i，r，g，b)的点云数据的拆 分，相应的将上述pointnet进行拆分和融合，实现了兼容了多维特征的点云卷 积操作。图1d是本发明实施例一所提供的一种原始特征提取网络的结构示意图。 如图1d所示，原始特征提取网络1112包括数据切分模块11121、两个空间卷 积模块11122和数据融合模块11123，数据切分模块11121用于按通道将点云 数据n
×
7切分为两部分切分点云数据(x，y，z)n
×
3和(i，r，g，b)n
×
4，针 对每部分切
分点云数据，使用其对应的空间卷积模块对进行特征提取，得到其 对应的全局特征1x1024，然后通过数据融合模块将两个空间卷积模块提取出的 全局特征1x1024级联成1x2048的单帧特征。
41.在本发明的一种实施方式中，第一问题特征提取网络为第二循环神经网络， 将待应答信息输入至第一问题特征提取网络中，获得第一问题特征提取网络输 出的第一问题特征，包括：根据待应答信息的语序，依次将待应答信息中的每 个字符作为当前字符，将当前字符以及当前字符的前一字符对应的字符特征输 入至第二循环神经网络中，获得第二循环神经网络输出的当前字符对应的字符 特征，并将最后一个字符对应的字符特征作为第一问题特征。
42.为了能挖掘出问题信息中的时序关系，使用循环神经网络作为提取第一问 题特征的第一问题特征提取网络。具体的，根据语序依次将待应答信息中的每 个字符作为当前字符，将当前字符以及当前字符的前一字符对应的字符特征作 为第一问题特征提取网络的输入，得到输出的当前字符对应的字符特征，直到 将最后一个字符对应的字符特征作为第一问题特征。示例性的，假设待应答信 息为“红绿灯下边的人在做什么”，则先将“红”输入至第二循环神经网络中， 得到第二循环神经网络输出的“红”的字符特征，然后将“红”的字符特征以 及“绿”输入至第二循环神经网络中，得到第二循环神经网络输出的“绿”的 字符特征，直到将“什”的字符特征以及“么”输入至第二循环神经网络中， 得到第二循环神经网络输出的“么”的字符特征，将其作为第一问题特征。可 选的，第二循环神经网络可以为gru、lstm以及各类多层多向循环神经网络 等。
43.在本实施例中，可以分别通过空间上和时间上的注意力机制对单帧点云数 据的原始特征进行加权变换，得到在时间及空间上均局部重视于待应答信息的 单帧特征。一个实施例中，注意力模块包括空间注意力模块和时间注意力模块， 将第一问题特征和原始特征输入至注意力模块中，获得注意力模块输出的单帧 特征，包括：将第一问题特征和原始特征输入至空间注意力模块中，获得空间 注意力模块输出的空间加权特征；将第一问题特征、各单帧特征提取子模块中 的空间注意力模块输出的空间加权特征输入至时间注意力模块中，获得时间注 意力模块输出的单帧特征。
44.图1e是本发明实施例一所提供的又一种单帧特征提取子模块的结构示意图。 图中实线框表示网络层，虚线框表示数据层。图1e相对于图1c，将注意力模块 1113具体化为空间注意力模块1114和时间注意力模块1115。具体的，空间注 意力模块根据第一问题特征提取网络1111提取的第一问题特征对原始特征提 取模块1112提取的原始特征(1
×
2048)进行加权变换，输出空间加权特征(1
ꢀ×
2048)，时间注意力模块1115根据第一问题特征提取网络提取的第一问题特 征(1
×
1024)对各单帧特征提取子模块中的空间注意力模块输出的空间加权特 征(1
×
2048)进行加权变换(图中未示出其他单帧特征提取子模块中的空间注 意力模块)，输出时间及空间上均局部重视于待应答信息的单帧特征单帧特征 (1
×
2048)。
45.在进行输出结果的生成时，应答信息生成模块通过提取出待应答信息中的 第二问题特征，将第二问题特征与点云特征进行整合，根据整合出的特征得到 输出结果。可选的，应答信息生成模块包括第二问题特征提取网络、数据整合 网络和第三循环神经网络，将点云特征和待应答信息输入至应答信息生成模块 中，获得应答信息生成模块的输出结
果，包括：将待应答信息输入至第二问题 特征提取网络中，获得第二问题特征提取网络输出的待应答信息对应的第二问 题特征；将第二问题特征和点云特征输入至数据整合网络中，获得数据整合网 络输出的数据整合特征；将数据整合特征输入至第三循环神经网络中，获得第 三循环神经网络输出的输出结果。
46.图1f是本发明实施例一所提供的一种应答信息生成模块的结构示意图。如 图1f所示，应答信息生成模块包括第二问题特征提取网络131、数据整合网络 132和第三循环神经网络133，第二问题特征提取网络131提取出待应答信息中 的第二问题特征(1
×
1024)，数据整合网络132将第二问题特征(1
×
1024) 与点云特征提取模块输出的点云特征(1
×
2048)进行数据整合，得到数据整合 特征，并将其输入至第三循环神经网络133中，第三循环神经网络133用于根 据数据整合特征生成输出结果并输出。
47.其中，数据整合网络可以通过对第二问题特征和点云特征进行加权求和得 到数据整合特征。示例性的，数据整合网络可以通过m＝w
q
q+w
h
h
t
得到数据整 合特征，其中，m为数据整合特征，q为第二问题特征，h
t
为点云特征，w
q
为 第二问题特征的权重，w
h
为点云特征的权重。第三循环神经网络可以为gru、 lstm以及各类多层多向循环神经网络等。
48.为了使输出结果具有时序性，且更加准确，同样使用循环神经网络作为生 成输出结果。一个实施例中，将数据整合特征输入至第三循环神经网络中，获 得第三循环神经网络输出的输出结果，包括：将数据整合特征输入至第三循环 神经网络中，获得第三循环神经网络输出的当前预测应答字符，然后将数据整 合特征和当前预测应答字符输入至第三循环神经网络中，获得第三循环神经网 络输出的下一预测应答字符，直到获得第三循环神经网络输出的所有预测应答 字符，将各预测应答字符顺序拼接生成输出结果。
49.示例性的，首先将数据整合特征输入至第三循环神经网络中，第三神经网 络根据输入的数据整合特征得到输出结果中的第一个预测应答字符，然后将第 一个预测应答字符和数据整合特征再次输入至第三循环神经网络中，获得第三 循环神经网络输出的第二个预测应答字符，直到第三循环神经网络输出最后一 个预测应答字符，将各预测应答字符顺次连接，得到输出结果。
50.图1g是本发明实施例一所提供的又一种问答模型的结构示意图。如图1g 所示，问答模型包括编码部分和解码部分，编码部分由链式连接的第一循环神 经网络和多个单帧特征提取子模块组成，每个单帧特征提取子模块又包括第一 问题特征提取网络、原始特征提取模块、空间注意力模块和时间注意力模块。 第一循环神经网络根据单帧特征提取子模块提取的特征输出编码特征h
t
，并将 其输入至解码部分。解码部分由第二问题特征提取网络、数据整合网络和第三 循环神经网络组成，数据整合网络将编码特征h
t
以及第二问题特征提取网络提 取的第二问题特征进行数据整合，输出数据整合特征，第三循环神经网络根据 数据整合特征得到输出特征。
51.s130、根据所述输出结果确定应答信息并输出。
52.在本实施例中，问答模型的输出结果可能为文本库中每个单词对应的一维 有效编码，也可能为文字形式的应答信息。假设问答模型的输出结果为文本库 中每个单词对应的一维有效编码，则根据每个单词的一维有效编码组成文字形 式的应答信息，并将文字形式的应答信息输出。假设问答模型的输出结果文字 形式的应答信息，则可以直接将文字形式的应答信息输出。其中，应答信息的 输出方式在此不做限定，可选的，可以通过语音播报
的方式将应答信息输出， 或通过文字显示的方式将应答信息输出。
53.本发明实施例通过获取待应答信息以及所述待应答信息对应的点云数据； 将所述待应答信息以及所述待应答信息对应的点云数据输入至训练好的问答模 型中，获得所述问答模型的输出结果，其中，所述问答模型包括点云特征提取 模块和应答信息生成模块：根据所述输出结果确定应答信息并输出，通过训练 好的问答模型挖掘点云数据中包含的信息，实现了基于点云数据的准确应答。
54.实施例二
55.图2是本发明实施例二所提供的一种基于点云数据的应答方法的流程图。 本实施例在上述方案的基础上，增加了对问答模型进行训练的操作。如图2所 示，所述方法包括：
56.s210、获取样本点云数据、样本点云数据对应的样本问题信息以及样本问 题信息对应的样本应答信息。
57.在本实施例中，为了训练出基于点云数据的问答模型，需要获取大量标注 好的点云数据作为模型的训练样本。可选的，可以通过不同的方式获取点云数 据，对获取的点云数据进行人工标注，获得标注好的点云数据。示例性的，样 本点云数据、样本点云数据对应的样本问题信息以及样本问题信息对应的样本 应答信息的获取方式可以包括但不限于：(1)实景采集点云，可以使用kinect 设备或者激光扫描仪采集点云数据作为样本点云数据，然后通过人工标注的方 式标注样本点云数据中片段关键帧下的文本问答作为样本点云数据对应的样本 问题信息以及样本问题信息对应的样本应答信息；(2)虚拟采集点云，可以在 仿真环境下设定采集轨迹，在某些轨迹点获取关键帧点云并对片段关键帧点云 进行文本问答，将片段关键帧点云的文本问答作为样本点云数据对应的样本问 题信息以及样本问题信息对应的样本应答信息。
58.s220、基于样本点云数据、样本点云数据对应的样本问题信息以及样本问 题信息对应的样本应答信息生成训练样本数据。
59.获取样本点云数据、样本点云数据对应的样本问题信息以及样本问题信息 对应的样本应答信息后，基于样本点云数据、样本点云数据对应的样本问题信 息以及样本问题信息对应的样本应答信息生成训练样本数据。可选的，可以对 样本点云数据、样本点云数据对应的样本问题信息以及样本问题信息对应的样 本应答信息中的部分数据进行格式转换等数据处理操作，将数据处理后的样本 点云数据、样本点云数据对应的样本问题信息以及样本问题信息对应的样本应 答信息作为训练样本数据。示例性的，可以将样本应答信息转化为与文本库中 单词库中单词对应的编码。例如，假设文本库为固定单词库，例如文本库中包 含1024个单词{w1，w2，
…
，w1024},样本应答信息为一段单词序列{l1，l2，
…
， ln}，则可以通过一维有效编码(one-hot encoding)来编码每个单词，即对第i 个单词li＝wj＝[0，0，
…
，1，
…
，0]在第j位编码为1，其他位编码均为0。得 到样本应答信息对应每个单词的一维有效编码，将样本应答信息对应各单词的 一维有效编码作为数据处理后的样本应答信息，将其与样本点云数据和样本问 题信息作为训练样本数据。
[0060]
s230、使用训练样本数据对预先构建的问答模型进行训练，得到训练好的 问答模型。
[0061]
得到样本训练数据后，使用训练样本数据对预先构建的问答模型进行训练， 得到训练好的问答模型。在使用训练样本数据对问答模型进行训练时，问答模 型生成样本问题
信息对应的预测应答信息后，根据预测应答信息以及样本问题 信息对应的样本应答信息确定损失值，以损失值达到收敛条件为目标，对问答 模型进行训练，得到训练好的问答模型。可选的，损失值满足收敛条件可以为 相邻两次损失值之差小于设定阈值，或迭代次数达到设定的目标迭代次数。
[0062]
s240、获取待应答信息以及待应答信息对应的点云数据。
[0063]
s250、将待应答信息以及待应答信息对应的点云数据输入至训练好的问答 模型中，获得问答模型的输出结果。
[0064]
s260、根据输出结果确定应答信息并输出。
[0065]
本发明实施例通过获取样本点云数据、样本点云数据对应的样本问题信息 以及样本问题信息对应的样本应答信息；基于样本点云数据、样本点云数据对 应的样本问题信息以及样本问题信息对应的应答信息生成训练样本数据；使用 训练样本数据对预先基于循环神经网络构建的问答模型进行训练，得到训练好 的问答模型，通过基于循环神经网络构建的问答模型获取点云数据中包含的时 序信息，实现了基于点云数据的准确应答。
[0066]
实施例三
[0067]
图3是本发明实施例三所提供的一种基于点云数据的应答装置的结构示意 图。该基于点云数据的应答装置可以采用软件和/或硬件的方式实现，例如该基 于点云数据的应答装置可以配置于计算机设备中。如图3所示，装置包括待应 答信息获取模块310、输出结果获取模块320和应答信息输出模块330，其中：
[0068]
待应答信息获取模块310，用于获取待应答信息以及待应答信息对应的点 云数据；
[0069]
输出结果获取模块320，用于将待应答信息以及待应答信息对应的点云数 据输入至训练好的问答模型中，获得问答模型的输出结果，其中，训练好的问 答模型包括点云特征提取模块和应答信息生成模块：
[0070]
应答信息输出模块330，用于根据输出结果确定应答信息并输出。
[0071]
本发明实施例通过待应答信息获取模块获取待应答信息以及待应答信息对 应的点云数据；输出结果获取模块将待应答信息以及待应答信息对应的点云数 据输入至训练好的问答模型中，获得问答模型的输出结果，其中，问答模型包 括点云特征提取模块和应答信息生成模块：应答信息输出模块根据输出结果确 定应答信息并输出，通过训练好的问答模型挖掘点云数据中包含的信息，实现 了基于点云数据的准确应答。
[0072]
可选的，在上述方案的基础上，输出结果获取模块320包括：
[0073]
点云特征提取单元，用于将待应答信息以及待应答信息对应的点云数据输 入至点云特征提取模块中，获得点云特征提取模块输出的点云特征；
[0074]
输出结果生成单元，用于将点云特征和待应答信息输入至应答信息生成模 块中，获得应答信息生成模块的输出结果。
[0075]
可选的，在上述方案的基础上，点云数据包括至少一个单帧点云数据，点 云特征提取模块包括循环子模块和多个单帧特征提取子模块，循环子模块包括 链式连接的多个第一循环神经网络，单帧特征提取子模块与第一循环神经网络 一一对应，点云特征提取单元包括：
[0076]
单帧特征子单元，用于针对每个单帧点云数据，将单帧点云数据和待应答 信息输
入至单帧特征提取子模块中，获得单帧特征提取子模块输出的单帧点云 数据对应的单帧特征；
[0077]
点云特征子单元，用于根据第一循环神经网络的连接顺序，依次将每个第 一循环神经网络作为当前第一循环神经网络，将当前第一循环神经网络对应的 单帧特征提取子模块输出的单帧特征以及当前第一循环神经网络的前一第一循 环神经网络输出的网络提取特征输入至当前第一循环神经网络中，获得当前第 一循环神经网络输出的网络提取特征，并将最后一个第一循环神经网络输出的 网络提取特征作为点云特征。
[0078]
可选的，在上述方案的基础上，单帧特征提取子模块包括第一问题特征提 取网络、注意力模块和原始特征提取网络，单帧特征子单元具体用于：
[0079]
将待应答信息输入至第一问题特征提取网络中，获得第一问题特征提取网 络输出的第一问题特征；
[0080]
将单帧点云数据输入至原始特征提取网络中，获得原始特征提取网络输出 的单帧点云数据的原始特征；
[0081]
将第一问题特征和原始特征输入至注意力模块中，获得注意力模块输出的 单帧特征。
[0082]
可选的，在上述方案的基础上，第一问题特征提取网络为第二循环神经网 络，单帧特征子单元具体用于：
[0083]
根据样本问题信息的语序，依次将样本问题信息中的每个字符作为当前字 符，将当前字符以及当前字符的前一字符对应的字符特征输入至第二循环神经 网络中，获得第二循环神经网络输出的当前字符对应的字符特征，并将最后一 个字符对应的字符特征作为第一问题特征。
[0084]
可选的，在上述方案的基础上，注意力模块包括空间注意力模块和时间注 意力模块，单帧特征子单元具体用于：
[0085]
将第一问题特征和原始特征输入至空间注意力模块中，获得空间注意力模 块输出的空间加权特征；
[0086]
将第一问题特征、各单帧特征提取子模块中的空间注意力模块输出的空间 加权特征输入至时间注意力模块中，获得时间注意力模块输出的单帧特征。
[0087]
可选的，在上述方案的基础上，应答信息生成模块包括第二问题特征提取 网络、数据整合网络和第三循环神经网络，输出结果生成单元包括：
[0088]
第二问题特征子单元，用于将待应答信息输入至第二问题特征提取网络中， 获得第二问题特征提取网络输出的待应答信息对应的第二问题特征；
[0089]
整合特征子单元，用于将第二问题特征和点云特征输入至数据整合网络中， 获得数据整合网络输出的数据整合特征；
[0090]
输出结果子单元，用于将数据整合特征输入至第三循环神经网络中，获得 第三循环神经网络输出的输出结果。
[0091]
可选的，在上述方案的基础上，输出结果子单元具体用于：
[0092]
将数据整合特征输入至第三循环神经网络中，获得第三循环神经网络输出 的当前预测应答字符，然后将数据整合特征和当前预测应答字符输入至第三循 环神经网络中，获得第三循环神经网络输出的下一预测应答字符，直到获得第 三循环神经网络输出的所
有预测应答字符，将各预测应答字符顺序拼接生成输 出结果。
[0093]
可选的，在上述方案的基础上，装置还包括：
[0094]
模型训练模块，用于在将待应答信息以及待应答信息对应的点云数据输入 至训练好的问答模型中之前，获取样本点云数据、样本点云数据对应的样本问 题信息以及样本问题信息对应的样本应答信息；
[0095]
基于样本点云数据、样本点云数据对应的样本问题信息以及样本问题信息 对应的样本应答信息生成训练样本数据；
[0096]
使用训练样本数据对预先构建的问答模型进行训练，得到训练好的问答模 型。
[0097]
本发明实施例所提供的基于点云数据的应答装置可执行本发明任意实施例 所提供的基于点云数据的应答方法，具备执行方法相应的功能模块和有益效果。
[0098]
实施例四
[0099]
图4是本发明实施例四所提供的一种计算机设备的结构示意图。图4示出 了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的 计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来 任何限制。
[0100]
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412 的组件可以包括但不限于：一个或者多个处理器416，系统存储器428，连接不 同系统组件(包括系统存储器428和处理器416)的总线418。
[0101]
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器 控制器，外围总线，图形加速端口，处理器416或者使用多种总线结构中的任 意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系 结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电 子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0102]
计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任 何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移 动的和不可移动的介质。
[0103]
系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如 随机存取存储器(ram)430和/或高速缓存存储器432。计算机设备412可以 进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅 作为举例，存储装置434可以用于读写不可移动的、非易失性磁介质(图4未 显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动 非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘 (例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情 况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储 器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程 序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0104]
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例 如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个 应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可 能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功 能和/或方法。
[0105]
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、 显示器
424等)通信，还可与一个或者多个使得用户能与该计算机设备412交 互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进 行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输 入/输出(i/o)接口422进行。并且，计算机设备412还可以通过网络适配器 420与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网 络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设 备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412 使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理 单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0106]
处理器416通过运行存储在系统存储器428中的程序，从而执行各种功能 应用以及数据处理，例如实现本发明实施例所提供的基于点云数据的应答方法， 该方法包括：
[0107]
获取待应答信息以及所述待应答信息对应的点云数据；
[0108]
将所述待应答信息以及所述待应答信息对应的点云数据输入至训练好的问 答模型中，获得所述问答模型的输出结果，其中，所述问答模型包括点云特征 提取模块和应答信息生成模块：
[0109]
根据所述输出结果确定应答信息并输出。
[0110]
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所 提供的基于点云数据的应答方法的技术方案。另外，实现本发明任意实施例所 提供的基于点云数据的应答方法中使用训练好的问答模型进行应答的方法与训 练问答模型的方法可应用在相同的计算机设备上，还可以应用在不同的计算机 设备上。
[0111]
实施例五
[0112]
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程 序，该程序被处理器执行时实现本发明实施例所提供的基于点云数据的应答方 法，该方法包括：
[0113]
获取待应答信息以及所述待应答信息对应的点云数据；
[0114]
将所述待应答信息以及所述待应答信息对应的点云数据输入至训练好的问 答模型中，获得所述问答模型的输出结果，其中，所述问答模型包括点云特征 提取模块和应答信息生成模块：
[0115]
根据所述输出结果确定应答信息并输出。
[0116]
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算 机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基 于点云数据的应答方法的相关操作。
[0117]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、 红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可 擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器 (cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件 中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以 被指令执行系统、装置或者器件使用或者与其结合使用。
[0118]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算 机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。
[0119]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括—— 但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0120]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、 smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的 程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算 机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算 机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形 中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提 供商来通过因特网连接)。
[0121]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。