基于对抗训练的知识追踪增强方法及装置

本发明涉及智慧教育领域，尤其涉及一种基于对抗训练的知识追踪增强方法及装置，能够更加有效增强知识追踪效果，提升学生知识点掌握度的量化表示能力。

背景技术：

1、教育一直是社会热点话题。得益于数字多媒体技术的迅速发展，智慧教育也受到了越来越多的关注。其中，知识追踪被认为是一项核心任务，其目的是对学生做题过程中的知识点掌握度进行追踪。具体来说，知识追踪通过学生历史做题记录来预测其做对下一道题目的概率，并将预测概率视为学生对相应知识点的掌握度。在此基础上，通过时序化预测对学生知识点掌握度进行动态追踪。图1为学生练习过程示意图。学生练习了前四道题目，其中答对第一、第二和第四道题目，答错第三道题目。利用知识追踪，可通过学生前四道题目回答情况来预测其答对第五道题目的概率，进而评估该学生对相应知识点的掌握度。该技术不仅可帮助学生更好地了解自身知识点掌握情况，也可为后续的个性化题目推荐任务提供决策支持。

2、作为智慧教育领域重要课题，知识追踪受到了研究者的持续关注。在早期工作中，研究者主要沿着概率模型技术路线开展研究。该技术路线假设学生学习过程遵循马尔科夫过程，并通过观察学生学习表现来对其知识点掌握度进行估计。基于贝叶斯的知识追踪方法 (bayesian knowledge tracing，bkt)是其中代表性方法之一。该方法将学生知识点掌握度形式化为一组二元变量，并利用隐马尔可夫模型来更新知识点掌握度，取得了良好追踪效果。后续工作在bkt基础上进行了拓展，通过融入更多先验信息，如题目难度、猜对概率等来进一步提升效果。虽然这些工作取得了良好效果，但仍存在两大缺陷。首先，这些方法的前提假设往往过于简单，一定程度上不符合现实学习规律，如“学习过程中不存在遗忘”。此外，这些方法大多依赖于手工特征建模方式，未考虑更多潜在建模因素，进一步限制了算法性能。

3、得益于深度神经网络(deep neural networks，dnn)良好的表征能力，近年来越来越多的研究者聚焦于利用dnn来建模知识追踪任务，并做出了一些有益探索。大体来讲，这些方法往往基于循环神经网络和注意力机制，代表性方法有深度知识追踪方法(deepknowledge tracing，dkt)、基于自注意力机制的知识追踪方法(self-attentiveknowledge tracing， sakt)、基于上下文注意力机制的知识追踪方法(context-awareattentive knowledge tracing，akt)等。较之传统基于手工特征建模的方法，这些基于dnn以数据驱动方式建模的知识追踪方法取得了更好的性能。然而，这些方法依然存在过拟合风险，尤其是在小规模数据集上。为追求更好的追踪效果，模型的泛化性能需要被进一步提升。考虑到对抗训练是一种有效的正则化方式，本发明聚焦于利用对抗训练来提升基于dnn的知识追踪模型的泛化能力，进而达到更好的追踪效果。

技术实现思路

1、针对基于深度神经网络的知识追踪模型中潜在的过拟合风险，本发明公开了一种基于对抗训练的知识追踪增强方法及装置，利用对抗训练来训练知识追踪模型，能够增强知识追踪模型的泛化能力，提升知识追踪效果。

2、本发明的技术内容包括：

3、一种基于对抗训练的知识追踪增强方法，其步骤包括：

4、构建训练集，所述训练集包括若干个原始知识点记录集合及相应答题记录集合；

5、根据原始知识点记录集合及相应答题记录集合，计算表征测试者各个时间步答题情况的交互嵌入表示；

6、生成所述交互嵌入表示的对抗交互嵌入表示；

7、基于所有交互嵌入表示与对抗交互嵌入表示，训练一深度神经网络，得到知识追踪模型；

8、依据所述知识追踪模型，得到测试者的知识追踪结果。

9、进一步地，所述计算表征测试者各个时间步答题情况的交互嵌入表示，，包括：

10、1)将原始知识点记录集合及相应答题记录集合中的每一原始知识点记录sj与答题记录aj，映射为原始知识点嵌入表示与学生答题记录嵌入表示其中，j为编号，原始知识点记录 sj与答题记录aj基于时间顺序排列；

11、2)拼接原始知识点嵌入表示与学生答题记录嵌入表示得到所述交互嵌入表示ej。

12、进一步地，所述交互嵌入表示表示维度拼接运算符，aj＝1 表示答对题目，aj＝0表示答错题目。

13、进一步地，所述生成所述交互嵌入表示的对抗交互嵌入表示，包括：

14、1)产生交互嵌入表示ej-1的对抗扰动r′；

15、2)将对抗扰动r′添加至交互嵌入表示ej-1上，生成对抗交互嵌入表示e′j-1。

16、进一步地，对抗扰动其中ε为控制对抗扰动幅度的参数，θ为深度神经网络参数，l为训练深度神经网络的损失函数。

17、进一步地，所述深度神经网络包括：

18、长短期记忆网络，用以基于交互嵌入表示或对抗交互嵌入表示，捕获不同时间步答题情况之间的关系，以得到不同时间步的知识点隐状态信息；

19、注意力网络，用以聚合不同时间步的知识点隐状态信息，并强调当前时间步的知识点隐状态信息，以得到知识点隐状态的综合表征；

20、全连接层，用以根据所述综合表征，计算知识追踪结果。

21、进一步地，所述依据所述知识追踪模型，得到测试者的知识追踪结果，包括：

22、1)获取测试者的原始知识点记录集合及相应答题记录集合；

23、2)根据测试者的原始知识点记录集合及相应答题记录集合，计算表征测试者各个时间步答题情况的交互嵌入表示；

24、3)将表征测试者各个时间步答题情况的交互嵌入表示，输入知识追踪模型，得到该测试者的知识追踪结果。

25、进一步地，所述知识追踪结果包括：答对下一原始知识点记录的概率值。

26、一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一所述方法。

27、一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一所述方法。

28、与现有技术相比，本发明至少具有以下优点：

29、1、考虑到独热编码无法通过加入轻微扰动来产生有效对抗样本，本发明将题目和答题信息改为了嵌入形式并考虑到学生答题情况的不同，来建立交互嵌入表示；

30、2、长短期记忆网络(long short-term memory，lstm)的基础上，通过利用各个历史时间步的信息，同时强调当前时间步的重要性，来构建基于注意力机制的长短期记忆网络，进一步提升模型表征能力；

31、3、将对抗样本引入到知识追踪领域，即通过原始样本与对抗样本进行协同训练来提升模型泛化能力，增强模型预测性能。

技术特征：

1.一种基于对抗训练的知识追踪增强方法，其步骤包括：

2.如权利要求1所述的方法，其特征在于，所述计算表征测试者各个时间步答题情况的交互嵌入表示，包括：

3.如权利要求2所述的方法，其特征在于，所述交互嵌入表示表示维度拼接运算符，aj＝1表示答对题目，aj＝0表示答错题目。

4.如权利要求2所述的方法，其特征在于，所述生成所述交互嵌入表示的对抗交互嵌入表示，包括：

5.如权利要求4所述的方法，其特征在于，对抗扰动其中ε为控制对抗扰动幅度的参数，θ为深度神经网络参数，l为训练深度神经网络的损失函数。

6.如权利要求1所述的方法，其特征在于，所述深度神经网络包括：

7.如权利要求1所述的方法，其特征在于，所述依据所述知识追踪模型，得到测试者的知识追踪结果，包括：

8.如权利要求1所述的方法，其特征在于，所述知识追踪结果包括：答对下一原始知识点记录的概率值。

9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。

技术总结
本发明公开了一种基于对抗训练的知识追踪增强方法及装置，涉及智慧教育领域。所述方法包括：构建训练集，所述训练集包括若干个原始知识点记录集合及相应答题记录集合；根据原始知识点记录集合及相应答题记录集合，计算表征测试者各个时间步答题情况的交互嵌入表示；生成所述交互嵌入表示的对抗交互嵌入表示；基于所有交互嵌入表示与对抗交互嵌入表示，训练一深度神经网络，得到知识追踪模型；依据所述知识追踪模型，得到测试者的知识追踪结果。本发明能够更加有效增强知识追踪效果，提升学生知识点掌握度的量化表示能力。

技术研发人员：孙俊,郭晓鹏,黄志杰
受保护的技术使用者：北京大学
技术研发日：
技术公布日：2024/1/15