一种深入研究少样本分布外意图识别方法与流程

本发明涉及人工智能自然语言处理的意图识别，尤其涉及一种深入研究少样本分布外意图识别方法。

背景技术：

1、分布外(ood)意图识别(或域外意图识别)由于在对话系统的鲁棒性非常重要，因此三个主要分支方面的许多研究人员越来越多在研究它。该任务的主要挑战是零标记的ood示例可用于训练和验证。ood意图识别的大多数解决方案都依赖于post阈值手动选择步骤。

2、意图识别是面向任务的对话系统的重要组成部分，旨在准确识别用户话语背后的意图。分布外(ood)意图识别旨在解决具有k个分布内(id)意图分类，以及错误或查询不支持时，附加ood的k+1法分类问题。在实践中，ood意图识别通常在数据稀缺的场景中用到，例如，在对话系统的早期开发阶段，标注数据不足的情况中或者在为少数民族语言用户开发对话系统时，找不到合适的数据标注员的情况中。在训练期间，其中只有少样本内分布标记示例可用，并且不能应用外部资源，因为对额外资源的需求妨碍了模型的适用性。在这种简化但更具挑战性的设置下，最先进的ood意图识别算法无法达到可接受的性能。由于分布内(id)分类在少样本分布内(id)示例中的代表性不足，因此基于密度估计的模型或(k+1)法判别训练倾向于学习保守的决策边界，因此在真实的决策边界和学习的决策边界之间存在很大的差距。位于间隔处的真实分布内(id)示例将不准确地分配给ood分类，从而导致性能不佳。

3、因此，现有技术存在缺陷，需要改进。

技术实现思路

1、本发明的目的是克服现有技术的不足，提供一种深入研究少样本分布外意图识别方法。

2、本发明的技术方案如下：提供一种深入研究少样本分布外意图识别方法，包括如下步骤：

3、步骤1：给定k个已知分类的分布内集yi∈{yk}k＝1k，ood识别任务考虑另一个特殊的ood类yood来表示格式错误或不受支持的话语；

4、步骤2：给定空间x*y，ood意图识别的目标为学习一个(k+1)法分类器fφ(·)：x→y以最小化预期风险：

5、

6、其中，yi∈{y1，…，yk，yood}和数学期望取p(x，y)的联合分布，是一个指标函数；

7、步骤3：设为训练集，其中xi表示大小为m的输入词元序列，即[x0，…，xm-1]；

8、步骤4：对于每个输入词元xi，使用bert作为编码器，将xi映射到一个隐藏状态hi的序列，即bert：和hi∈r(m+1)*768；

9、步骤5：对于每个句子，bert在序列的开头添加一个空间词元[cls]；

10、步骤6：使用隐藏序列hi的平均汇聚作为话语的表征：

11、z＝avg·pool([hcls，h0，…，hm-1])

12、得到一个映射后的训练集通过简单的线性映射层替换bert的预训练头来实例化少样本odd检测器fφ(·)。

13、进一步地，提供一个用于少样本ood意图识别的两阶段模型：

14、在第一阶段，学习一个随机重构函数，在表征空间中生成合成id样本，以丰富分布内训练集；

15、在第二阶段，通过基于扩大的分布内训练集模拟ood示例，采用k+1法判别训练过程进行ood识别。

16、进一步地，在所述第一阶段中，采用潜在表征空间z中学习潜在降噪自编码器，通过用降噪自编码器的重构器生成合成示例，丰富域内训练集；具体方法为：潜在降噪自编码器由两部分组成：损坏分布和重构分布潜在降噪自编码器通过以下方式学习：

17、

18、在获得重构分布qθ*(z|z)之后，采样合成id为：

19、

20、

21、损坏分布通过简单的随机操作来实例化，通过以上重复应用方程式，得到一个合成的已标记id集其中重构表征与原始未损坏的zi共享相同的标记yi；最后，通过结合原始训练集和合成集得到一个放大的已标记训练集

22、进一步地，在所述第二阶段中，采用k+1法判别训练策略，通过扩大的分布内集里不同内分类的表征之间的随机凸组合来构建ood学习信号；具体方法为：给定扩大的训练集denlarged，通过以下方式构建ood集dood：

23、zood＝α*z+(1-α)*zj

24、其中yi＝/yj，α∈[0，1]是从u(0，1)、zi、zi∈denlarged中进行随机采样取得。

25、采用上述方案，本发明提出了一种解决基于潜在表征生成和k+1法判别训练的少样本ood意图识别方法，该方法不需要额外的训练和验证资源。同时，本发明对三个真实的意图识别数据进行了综合实验对比，以此验证该方法在不同的少样本ood意图识别场景中的有效性和鲁棒性。

技术特征：

1.一种深入研究少样本分布外意图识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的深入研究少样本分布外意图识别方法，其特征在于，提供一个用于少样本ood意图识别的两阶段模型：

3.根据权利要求2所述的深入研究少样本分布外意图识别方法，其特征在于，在所述第一阶段中，采用潜在表征空间z中学习潜在降噪自编码器，通过用降噪自编码器的重构器生成合成示例，丰富域内训练集；具体方法为：潜在降噪自编码器由两部分组成：损坏分布和重构分布潜在降噪自编码器通过以下方式学习：

4.根据权利要求2所述的深入研究少样本分布外意图识别方法，其特征在于，在所述第二阶段中，采用k+1法判别训练策略，通过扩大的分布内集里不同内分类的表征之间的随机凸组合来构建ood学习信号；具体方法为：给定扩大的训练集denlarged，通过以下方式构建ood集dood：

技术总结
本发明公开一种深入研究少样本分布外意图识别方法。本发明提出了一种解决基于潜在表征生成和K+1法判别训练的少样本OOD意图识别方法，该方法不需要额外的训练和验证资源。同时，本发明对三个真实的意图识别数据进行了综合实验对比，以此验证该方法在不同的少样本OOD意图识别场景中的有效性和鲁棒性。

技术研发人员：林润生,展黎明,梁浩文,范璐,吴晓明
受保护的技术使用者：深圳市有光科技有限公司
技术研发日：
技术公布日：2024/1/16