一种试题资源推荐方法及系统

1.本发明涉及数据处理技术领域，特别是涉及一种试题资源推荐方法及系统。


背景技术：

2.传统的试题统一练习、布置作业难以满足学生的个性化学习需求。目前针对个性化教学的研究，部分研究采用电子商务中推荐系统的方法，把学生当作客户，试题当作商品，利用学生相似度或试题相似度的方法给学生推荐试题。部分研究基于学生以往答题轨迹信息，利用知识追踪技术（深度神经网络，贝叶斯方法等）建模其知识状态，并进一步推荐学习资源。部分研究根据学生的学习情况记录进行认知诊断分析，以便了解学生的学习状态、知识点掌握情况和粗心程度等，从而可以有针对性地开展个性化教学与辅导。部分研究同时考虑了被推荐学生学习的个性和群组学生学习的共性，在保证试题推荐解释性的同时提高了试题推荐的可靠性。部分研究改进了协同过滤方法，将认知诊断结果与用户相似度结合，基于习题的知识点、难度等为学习者提供个性化推荐。
3.但是，现有研究仍在所用数据上、建模方法上、资源推荐技术上存在一定的局限性。首先，在所用数据上，多数研究工作仅依赖于学生知识掌握水平进行个性化教学和学习资源推荐等工作，数据较为单一、固定且多为静态数据。其次，建模方法上，多数研究往往对学生在多个方面的知识水平单独建模，例如对语文、数学两个科目单独建立评估预测模型，这在一定程度上影响了模型准确性的进一步提升。最后，在资源推荐技术上，多数研究未对推荐资源作进一步的优化，影响所推荐的学习资源在真实教育场景中发挥作用。


技术实现要素：

4.为了解决上述问题，本发明提出了一种试题资源推荐方法及系统，将多项课程的知识掌握水平在统一的框架下进行建模评测，且对待推荐试题，从考核知识点和考核难度两方面进行分层聚类，最后基于试题推荐结果，定制最优的学习路径，提高推荐的精准度，提高学习效率。
5.为了实现上述目的，本发明采用如下技术方案：第一方面，本发明提供一种试题资源推荐方法，包括：对多项课程中以往试题的答题表现数据和以往试题的考核知识点，采用训练后的知识水平预测模型进行知识水平预测，得到考核知识点的知识掌握水平；对待推荐试题进行考核知识点的标注和考核难度的标注，得到试题资源库；对试题资源库进行考核知识点的聚类，得到不同考核知识点的试题簇；对不同考核知识点的试题簇根据考核难度进行聚类，得到试题资源库的分层聚类结果；根据考核知识点的知识掌握水平和试题资源库的分层聚类结果，进行试题资源的推荐，得到试题集合；根据试题集合中考核知识点间的关系构建试题图，对试题图进行最优路径的选
择，得到最优做题路径。
6.作为可选择的实施方式，所述答题表现数据包括考核知识点和得分信息。
7.作为可选择的实施方式，对答题表现数据进行数据预处理，所述数据预处理包括：噪声数据的删除、空缺项的补全和稀疏数据的剔除。
8.作为可选择的实施方式，所述知识水平预测模型基于时序神经网络构建，对所述知识水平预测模型进行训练时，学习两方面的信息，包括对每项课程中考核知识点的知识掌握水平以及粗心和猜测的隐状态变量。
9.作为可选择的实施方式，对所述知识水平预测模型进行训练时还包括引入元认知能力评估结果。
10.作为可选择的实施方式，所述粗心和猜测的隐状态变量的值根据考核知识点和该考核知识点下试题的得分概率而确定。
11.作为可选择的实施方式，所述试题图为以试题集合中的试题为顶点，试题间考核知识点的关系为边，而构建的有向无环图。
12.作为可选择的实施方式，对试题图进行最优路径的选择的过程包括，基于最短路径算法，对试题集合生成最优做题路径。
13.作为可选择的实施方式，所述最短路径算法包括迪杰斯特拉算法、最短路径快速算法或弗洛伊德算法。
14.第二方面，本发明提供一种试题资源推荐系统，包括：水平预测模块，被配置为对多项课程中以往试题的答题表现数据和以往试题的考核知识点，采用训练后的知识水平预测模型进行知识水平预测，得到考核知识点的知识掌握水平；标注模块，被配置为对待推荐试题进行考核知识点的标注和考核难度的标注，得到试题资源库；第一聚类模块，被配置为对试题资源库进行考核知识点的聚类，得到不同考核知识点的试题簇；第二聚类模块，被配置为对不同考核知识点的试题簇根据考核难度进行聚类，得到试题资源库的分层聚类结果；推荐模块，被配置为根据考核知识点的知识掌握水平和试题资源库的分层聚类结果，进行试题资源的推荐，得到试题集合；路径确定模块，被配置为根据试题集合中考核知识点间的关系构建试题图，对试题图进行最优路径的选择，得到最优做题路径。
15.与现有技术相比，本发明的有益效果为：本发明提出的一种试题资源推荐方法及系统，在进行试题推荐之前，对待推荐试题进行分层聚类，从考核知识点和考核难度两方面进行聚类，既利用了具体的试题内容信息，也利用抽象的试题难度信息，提高推荐的精准度。
16.本发明提出的一种试题资源推荐方法及系统，从多任务学习的角度出发，把多项课程的知识掌握水平在统一的框架下进行建模评测，提供一种多任务联合建模的学生知识掌握水平评估框架，可有效利用任务间的相关性，提升知识掌握水平预测的准确性。
17.本发明提出的一种试题资源推荐方法及系统，基于试题推荐结果，进一步对考核
知识点间的关系进行分析，提供一种基于最短路径的推荐资源优化方案，以定制最优的学习路径，进一步提高学习效率。
18.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
19.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
20.图1为本发明实施例1提供的试题资源推荐方法流程图；图2为本发明实施例1提供的试题资源推荐方法实现框图。
具体实施方式
21.下面结合附图与实施例对本发明做进一步说明。
22.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
23.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
25.实施例1如图1所示，本实施例提供一种试题资源推荐方法，包括：对多项课程中以往试题的答题表现数据和以往试题的考核知识点，采用训练后的知识水平预测模型进行知识水平预测，得到考核知识点的知识掌握水平；对待推荐试题进行考核知识点的标注和考核难度的标注，得到试题资源库；对试题资源库进行考核知识点的聚类，得到不同考核知识点的试题簇；对不同考核知识点的试题簇根据考核难度进行聚类，得到试题资源库的分层聚类结果；根据考核知识点的知识掌握水平和试题资源库的分层聚类结果，进行试题资源的推荐，得到试题集合；根据试题集合中考核知识点间的关系构建试题图，对试题图进行最优路径的选择，得到最优做题路径。
26.在本实施例中，如图2所示，对学生的答题表现数据经数据预处理后，基于多任务联合建模的方式构建集成式知识水平预测模型，以将多项课程进行统一联合建模，可有效利用任务之间的相关性，提升模型评估预测的准确性，基于集成式知识水平预测模型，得到知识掌握水平的预测结果。
27.在本实施例中，获取多项课程的以往试题及学生对以往试题的答题表现数据；答题表现数据包括考核知识点和得分信息。
28.设某个学生的答题表现数据为（ej，aj），其中，ej表示第j个考核知识点，aj表示得分信息，aj=1和aj=0分别表示该学生对考核知识点ej答对或答错。
29.根据学生的答题表现数据，对以往试题进行考核知识点的标注，以及根据学生对试题的正确率，对以往试题进行考核难度的标注。
30.由于数据中往往存在噪声、空缺值、数据稀疏等因素，严重影响了构建模型的性能。因此，本实施例对学生的答题表现数据进行数据预处理，数据预处理包括：噪声数据的删除、空缺项的补全、稀疏数据的剔除；其中，针对数据稀疏问题，对答题量少于设定阈值的学生，将其数据移除。
31.将经预处理后的学生答题表现数据按作答时序顺序进行编码，得到学生的答题轨迹信息，即{(x
t
,a
t
) | 0《t≤n}，其中，t表示从第一个试题作答开始计时的时间点，x
t
为t时刻作答的试题，a
t
为对t时刻作答试题的得分信息，n表示该学生答题信息中对应的考核知识点数量。
32.在本实施例中，对多项课程学习任务构建集成式知识水平预测模型，以根据每门课程下学生的答题表现数据和以往试题的考核知识点，精确评估学生对某考核知识点的知识掌握水平；具体为：所述集成式知识水平预测模型基于时序神经网络构建，基于多任务学习对学生在多项课程学习任务上的知识掌握水平进行建模评估；通过时序神经网络学习两方面的信息，包括学生对每门课程中考核知识点的知识掌握水平以及粗心和猜测的隐状态变量，通过对粗心和猜测的隐状态变量进行共享，达到多任务联合建模的目的，有效利用任务间的相关性。
33.在本实施例中，对基于时序神经网络构建的集成式知识水平预测模型进行训练，用于预测学生对每项课程中考核知识点的知识掌握水平，具体训练过程如下：（1）初始化学生知识掌握水平h0，以及待学习的参数w
x
、wh、wy、bh、by；其中，w
x
为时序神经网络输入向量x
t
的权重矩阵，wh为时序神经网络参数矩阵，wy为权重向量；bh、by分别为隐单元和输出单元对应的偏置；h
t
=tanh(w
x
x
t
+whh
t-1
+bh)（1）（2）其中，x
t
为学生在t时刻作答试题的特征表示向量；h
t
为学生在t时刻的知识掌握水平，该变量为一个隐变量；h
t-1
为学生在t-1时刻的知识掌握水平；y
t
为根据学生在t时刻的知识掌握水平正确作答的概率，是时序神经网络的输出；为sigmoid函数。
34.（2）结合学生粗心和猜测因素，得到t时刻在对应考核知识点e
t
上答题表现的预测结果，即得到对应考核知识点的知识掌握水平，如式（3）：（3）其中，表示学生i的元认知能力；p表示概率，g为学生随机猜测的事
件，p(g)表示学生在没掌握某个考核知识点的情况下正确作答该考核知识点对应试题的概率，即随机猜测的概率；s为学生粗心的事件，p(s)表示学生在掌握某个考核知识点的情况下答错该考核知识点对应试题的概率，即粗心的概率；其中，根据考核知识点和该考核知识点的试题的得分概率确定学生粗心和猜测等两个隐状态变量的值，这两个隐状态变量的值为所有课程任务所共享的参数。
35.其中，学生的元认知能力可通过《元认知能力测量量表》等问卷信息获取，对学生的逻辑能力、推理能力、学习能力等元认知能力进行评估。通过问卷调查采集学生信息并对其元认知能力进行评估测量，学生的元认知能力为，s表示学生人数。
36.在本实施例中，《元认知能力测量量表》问卷从元认知计划、元认知监控和元认知评价等三个基本维度出发，共包含14个项目，该问卷编制采用李克特式5点量表法，即：“1”表示完全不符合，“2”表示不太符合，“3”不确定，“4”表示基本符合，“5”表示完全符合。
37.该问卷的所有项目采用随机排列方式，下面给出本实施例所用的《元认知能力测量量表》问卷的项目：1.一旦我开始做某项任务，我随时问我自己是否学到了我应当学到的那么多。
38.2.读一篇课文前，我会作进行概括和总结的事前准备。
39.3.我发现我会停下来定期检查我对学习材料的理解。
40.4.在进行一个测验时，我会考虑下一题如何能做得更好。
41.5.当我做一件事情之后，我会考虑我是否真正学到了需要学到的。
42.6.为了帮助下一次集中注意力去学习，我会构想一些问题。
43.7.我做某项任务前，我会树立一些明确的目标。
44.8.我用我的智力方面的优势来弥补我其他方面的弱点。
45.9.在不同的条件下，我使用不同的学习策略。
46.10.我懂得教师让我去学习什么。
47.11.当我己经了解了一个主题下的某些内容后，我的学习效果最好。
48.12.在没有考虑使用学习策略的情况下，我使用我的学习策略。
49.13.在我完成了一项任务后，我会问我自己是否有做事情的更容易的方法。
50.14.当我开始学习时，我将会筹划我会去做什么，以至于能够合理地利用我的时间。
51.（3）构建多任务联合损失函数l，并通过梯度反向传播更新网络参数；（4）其中，为二值交叉熵损失函数。
52.在本实施例中，提供了一种多任务框架下联合学生知识掌握水平和元认知能力的资源推荐，与传统仅利用学生知识水平进行资源推荐的方法不同，考虑了学生答题和学习表现除了受到其知识水平的影响，还受到学生元认知能力的影响（心理学研究表明元认知的发展水平直接制约着个体智力的发展，对学生的学习有着重要影响，元认知能力包括逻辑思维、推理能力、提出问题、做出计划、学会学习、反思评价、及时补救等隐式的能力），使
得预测结果更精准。
53.在本实施例中，对待推荐试题进行考核知识点的标注和考核难度的标注，构建包含知识概念信息的试题资源库；作为可选择的一种实施方式，所述考核知识点的标注和考核难度由专家进行标注。
54.在本实施例中，如图2所示，对标注有考核知识点和考核难度的试题资源库进行知识点和试题难度的分层聚类；具体为：根据待推荐试题的考核知识点对待推荐试题进行考核知识点的聚类，将相同或相近的考核知识点的待推荐试题划分为同一簇，否则被分到不同的簇，得到不同考核知识点的试题簇；由于即使是同一个考核知识点的试题，其内容千变万化，难度也存在很大差异，所以更进一步地从试题难度出发，实现多层次的聚类；即根据考核难度对不同考核知识点的试题簇进行难度聚类，得到试题资源库的分层聚类结果。
55.假定共有5个知识点，若某个学生对这5个知识点的知识掌握水平分别为（0.2，0.1，0.4，0.9，0.9），其中，知识掌握水平设置在0~1之间，表示掌握对应知识点的概率，0表示未掌握，1表示完全掌握；通过预设阈值，根据预设阈值与知识掌握水平的比较，得到该学生掌握不好的知识点；继而，根据试题资源库的分层聚类结果，可以对知识掌握水平为0.2、0.1、0.4的考核知识点，推荐基础达标性的试题；而对于知识掌握水平为0.9的考核知识点，推荐难度更高的试题。
56.在本实施例中，根据试题资源库的分层聚类结果和考核知识点的知识掌握水平，进行试题资源的个性化推荐；同时，基于推荐得到的试题集合，为其提供一种最短路径的做题顺序，可在获得所推荐试题资源的基础上，为学生指定最优的学习路径，进一步提高学习效率。
57.由于知识点之间存在先后、从属等关系，知识地图是以知识点为基本单位对学习内容进行的结构化表征，能够展示知识整体结构及知识间的关联关系。个性化、定制式的试题集合虽然可以让学生摆脱“题海战术”，而更有针对性地进行学习，但是并未体现知识之间的关系。
58.由此，本实施例以试题集合中的试题为顶点，试题之间考核知识点的关系为边，构建有向无环图，个性化最优学习路径生成问题可转化为有向无环图中的最短路径问题，基于最短路径算法，对推荐的试题集合生成最优的做题路径，以进一步提高学生学习效率。
59.在本实施例中，可采用迪杰斯特拉算法、最短路径快速算法以及弗洛伊德算法等算法对试题图进行最优路径的选择。
60.本实施例以弗洛伊德算法为例，根据弗洛伊德算法解决最短路径问题，在有向无环图中得到最短路径，即学生能够在对所有推荐的试题集合中所包含的考核知识点进行学习的情况下，能够做的最少的试题集合，也就是，在推荐试题的基础上，更进一步的让学生做尽可能少的试题，却复习了（或作答了）自己掌握薄弱的所有考核知识点。
61.弗洛伊德算法的过程包括：（1）在有向无环图中，从任意一条单边路径开始，所有两点之间的距离是边的权，如果两点之间没有边相连，则权为无穷大；
（2）对于每一对顶点u和v，判断是否存在一个顶点k，使得从u到k，加上k到v比已知路径更短，如果存在，则更新当前已知路径，那么，u到k、k到v即为最短做题路径。
62.在本实施例中，该方法还包括对试题资源库的更新，根据不同考核知识点的试题的错误率进行难度聚类。
63.对本实施例方法进行仿真验证，表1为本实施例对近千名高二学生4门课程数据上进行的实验，并与传统的卷积神经网络进行了比较，可以看出本实施例方法的准确性较好，相比于传统卷积神经网络模型，多任务联合训练能够有效利用任务之间的关联关系，提高模型性能。
64.在不同课程任务上的准确率（accuracy）的定义如下：（5）其中，s表示学生总数，ti表示学生i的答题总数，是一个条件，表示模型预测正确，即，计算的是模型针对学生i的答题情况的预测正确率。
65.表1在4门课程上的预测准确率统计表实施例2本实施例提供一种试题资源推荐系统，包括：水平预测模块，被配置为对多项课程中以往试题的答题表现数据和以往试题的考核知识点，采用训练后的知识水平预测模型进行知识水平预测，得到考核知识点的知识掌握水平；标注模块，被配置为对待推荐试题进行考核知识点的标注和考核难度的标注，得到试题资源库；第一聚类模块，被配置为对试题资源库进行考核知识点的聚类，得到不同考核知识点的试题簇；第二聚类模块，被配置为对不同考核知识点的试题簇根据考核难度进行聚类，得到试题资源库的分层聚类结果；推荐模块，被配置为根据考核知识点的知识掌握水平和试题资源库的分层聚类结果，进行试题资源的推荐，得到试题集合；路径确定模块，被配置为根据试题集合中考核知识点间的关系构建试题图，对试题图进行最优路径的选择，得到最优做题路径。
66.此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上
述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
67.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。