一种在线测试方法以及装置与流程

本技术涉及测试领域，尤其涉及一种在线测试方法以及装置。

背景技术：

1、随着互联网技术的飞速发展，人们逐渐摆脱了重复性工作的纸笔测试模式，进而提出了计算机化自适应测验(computerized adaptive testing，cat)。cat是一种在线测试，它通过不断地向学生提供最合适的试题，可以准确地衡量学生的能力。cat已被应用于许多大型教育考试场景中，例如托福和研究生入学考试等。cat的基本逻辑：“用最少的题，获取被试者最全面的能力水平评估”。比如，对于一个低能力水平的被试者，出高难度的题目，就不能帮助评估被试者的能力水平。根据被试者的能力水平，给出对应难度的题目就可得到更为精准的测验，避免出那些与他们能力相差较大的题目，浪费出题机会，避免“题海战术”。

2、而已有的在线测试方式中，已能实现较高质量的测试选题。然而，若仅关注测试题质量，将可能导致选择的测试题不能反应测试者的实际能力。

技术实现思路

1、本技术提供一种在线测试方法以及装置，用于从多个维度进行强化学习，从而从多个维度为用户选择测试题，使测试结果更能反应用户的实际能力。

2、有鉴于此，第一方面，本技术提供一种线测试方法，包括：获取测试题库，测试题库中包括采集到的多个测试题；使用测试题库进行强化学习，得到测试模型，该测试模型可以用于在在线测试过程中从测试题库中针对用户选择至少一个测试题，该测试模型具体可以包括状态编码器和推荐器，该状态编码器罗用于获取输入的测试题之间的差异生成状态编码，该推荐器可以用于根据状态编码输出针对用户选择的测试题；其中，强化学习的奖励包括多个维度的奖励函数，该多个维度的奖励函数用于更新测试模型。

3、本技术实施方式中，在强化学习过程中，设置了多个维度的奖励函数，从而可以从多个维度对测试模型进行更新，使测试模型的输出结果在多个维度的表现均更优，从而得到更与用户实际能力更适配的测试题，选择出来的试题更能体现测试者的实际能力。

4、在一种可能的实施方式中，前述的多个维度的奖励函数可以包括但不限于质量奖励、多样性奖励或者新颖性奖励中的至少一种对应的函数，质量奖励为根据测试模型在测试题库中进行测试的输出准确率确定，多样性奖励为根据测试模型在当前次从测试题库中选择的测试题相对于前至少一次从测试题库中选择的测试题之间是否增加新知识点确定，新颖性奖励为根据测试模型当前次从测试题库中选择的测试题是否属于热门试题确定，测试题库中的试题分为热门试题和非热门试题，热门试题的历史选择次数高于非热门试题的历史选择次数。

5、因此，本技术实施方式中，可以从质量、新颖性或者多样性等维度来更新测试模型，从而使测试模型输出的测试题质量更优，更具有新颖性以及多样性，从而可以更全面地反映测试者的能力。

6、在一种可能的实施方式中，前述的测试模型还可以包括关系感知聚合器，关系感知聚合器的输入包括前提图或者相关图中的至少一种，关系感知聚合器用于根据前提图或者相关图中的至少一种得到知识点之间或者测试题与知识点之间的关系的嵌入表征，前提图用于表示输入的测试题中的知识点之间的先后关系，相关图用于表示测试题和知识点之间的相关关系；

7、状态编码器用于根据关系感知聚合器输出的数据提取测试题和知识点之间的关联关系，根据关联关系生成状态编码。

8、本技术实施方式中，测试模型中还设置了关系感知聚合器，从而从图结构中提取到测试题与知识点之间或者知识点之间的关联关系，对测试题与知识点之间或者知识点之间的关系进行更充分的挖掘，从而提高后续选择测试题的准确性。

9、在一种可能的实施方式中，前述的使用测试题库进行强化学习，得到测试模型，可以包括：通过测试模型从测试题库中为用户选择至少一个测试题；通过用户针对至少一个测试题的答题记录对测试模型进行强化学习，得到强化学习后的测试模型。

10、本技术实施方式中，在强化学习过程中，可以基于用户针对测试题的答题记录进行强化学习，从而基于用户的实际答题能力进行强化学习，提高测试模型的输出准确性。

11、在一种可能的实施方式中，前述的方法还可以包括：从测试题题库中获取用户针对至少一个测试题的答题记录；或者，接收用户针对至少一个测试题进行操作得到的在线答题数据，根据在线答题数据获取用户针对至少一个测试题的答题记录。

12、本技术实施方式中，强化学习过程中使用的用户答题记录可以是离线采集得到，也可以是用户在线答题得到，因此即可以实现离线学习，也可以实现在线学习，从而可以基于用户的答题能力对测试模型进行适应性更新，从而提高测试模型的输出准确性。

13、在一种可能的实施方式中，前述的测试题库可以分为候选集和元问题集，针对用户选择的测试题为候选集中的测试题，且针对用户选择的测试题还用于训练测试模型，元问题集用于计算多个维度的奖励；强化学习包括训练阶段和测试阶段，候选集用于在训练阶段测试测试模型，元问题集用于在验证阶段计算多个维度的奖励。

14、因此，本技术实施方式中，在验证阶段可以从多个维度计算奖励，从而从多个维度更新测试模型，使测试模型在为用户选择测试题时，可以从多个维度进行考虑，从而输出更能反应用户实际能力的测试题。

15、在一种可能的实施方式中，前述的强化学习具体可以包括：在测试阶段，通过测试模型从候选集中选择至少一个测试题，在接收到用户针对至少一个测试题的响应后，根据用户针对至少一个测试题的响应获取能力评估值，能力评估值用于表示用户解答已为用户筛选的测试题的正确程度；在验证阶段，根据能力评估值以及验证集，计算多个维度的奖励，根据多个维度的奖励更新测试模型，得到当前次迭代学习后的测试模型。

16、因此，本技术实施方式中，在验证阶段可以从多个维度计算奖励，从而从多个维度更新测试模型，使测试模型在为用户选择测试题时，可以从多个维度进行考虑，从而输出更能反应用户实际能力的测试题。

17、在一种可能的实施方式中，前述的状态编码器，具体用于获取输入的测试题之间的差异以及至少一个用户对应的能力评估值生成状态编码，用户对应的能力评估值具体可以基于该用户的答题记录进行计算。

18、因此，状态编码器在进行编码时，还可以结合用户能力进行状态编码，从而使得到的状态编码与用户的实际答题能力相符，提高后续选择测试题的准确性。

19、第二方面，本技术提供一种在线测试装置，包括：

20、获取模块，用于获取测试题库，测试题库中包括采集到的多个测试题；

21、处理模块，用于使用测试题库进行强化学习，得到测试模型，测试模型用于从测试题库中针对用户选择至少一个测试题，测试模型包括状态编码器和推荐器，状态编码器用于获取输入的测试题之间的差异生成状态编码，推荐器用于根据状态编码输出针对用户选择的测试题；其中，强化学习的奖励包括多个维度的奖励函数，多个维度的奖励函数用于更新测试模型。

22、在一种可能的实施方式中，处理模块，具体用于：通过测试模型从测试题库中为用户选择至少一个测试题；通过用户针对至少一个测试题的答题记录对测试模型进行强化学习，得到强化学习后的测试模型。

23、在一种可能的实施方式中，获取模块，还用于：从测试题题库中获取用户针对至少一个测试题的答题记录；或者，接收用户针对至少一个测试题进行操作得到的在线答题数据，根据在线答题数据获取用户针对至少一个测试题的答题记录。

24、在一种可能的实施方式中，测试模型还包括关系感知聚合器，关系感知聚合器的输入包括前提图或者相关图中的至少一种，关系感知聚合器用于根据前提图或者相关图中的至少一种得到知识点之间或者测试题与知识点之间的关系的嵌入表征，前提图用于表示输入的测试题中的知识点之间的先后关系，相关图用于表示测试题和知识点之间的相关关系；状态编码器用于根据关系感知聚合器输出的数据提取测试题和知识点之间的关联关系，根据关联关系生成状态编码。

25、在一种可能的实施方式中，多个维度的奖励函数包括质量奖励、多样性奖励或者新颖性奖励中的至少一种对应的函数，质量奖励为根据测试模型在测试题库中进行测试的输出准确率确定，多样性奖励为根据测试模型在当前次从测试题库中选择的测试题相对于前至少一次从测试题库中选择的测试题之间是否增加新知识点确定，新颖性奖励为根据测试模型当前次从测试题库中选择的测试题是否属于热门试题确定，测试题库中的试题分为热门试题和非热门试题，热门试题的历史选择次数高于非热门试题的历史选择次数。

26、在一种可能的实施方式中，测试题库分为候选集和元问题集，针对用户选择的测试题为候选集中的测试题，且针对用户选择的测试题还用于训练测试模型，元问题集用于计算多个维度的奖励；

27、强化学习包括训练阶段和测试阶段，候选集用于在训练阶段训练测试模型，元问题集用于在测试阶段计算多个维度的奖励。

28、在一种可能的实施方式中，前述的强化学习包括：

29、在测试阶段，通过测试模型从候选集中选择至少一个测试题，在接收到用户针对至少一个测试题的响应后，根据用户针对至少一个测试题的响应获取能力评估值，能力评估值用于表示用户解答已为用户筛选的测试题的正确程度；

30、在验证阶段，根据能力评估值以及验证集，计算多个维度的奖励，根据多个维度的奖励更新测试模型，得到当前次迭代学习后的测试模型。

31、在一种可能的实施方式中，状态编码器，具体用于获取输入的测试题之间的差异以及至少一个用户对应的能力评估值生成状态编码。

32、第三方面，本技术实施例提供了一种在线测试装置，该在线测试装置也可以称为数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行如上述第一方面或第一方面任一可选实施方式中与处理相关的功能。可选地，该在线测试装置可以是芯片。

33、第四方面，本技术实施例提供了一种在线测试装置，该在线测试装置也可以称为数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行如上述第一方面或第一方面任一可选实施方式中与处理相关的功能。

34、第五方面，本技术实施例提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一可选实施方式中的方法。

35、第六方面，本技术实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一可选实施方式中的方法。