一种确定知识点掌握程度的方法、装置及电子设备与流程

1.本发明涉及智能教育技术领域，具体而言，涉及一种确定学生知识点掌握程度的方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.在线教育系统中，通常可以根据给定的组卷参数（题型、难度、知识点等），采用dkt（deep knowledge tracing，深度知识追踪）模型确定学生是否掌握某题目、某知识点。由于该方法只能识别出某道试题是否被学生掌握，导致若确定该试题已被学生掌握，便默认该题中涉及的知识点已被学生全部掌握；或者，若确定该试题未被学生掌握，便默认该题中涉及的知识点均未被学生掌握。因此，依据该方法所得到的结果过于绝对，若想确定学生是否掌握某题目或某知识点，需要老师针对学生进行人工定制试卷，即选取仅具有单独知识点的题目，通过dkt模型测试学生对知识点的掌握程度，这样做虽然可以得到学生对知识点的掌握程度，但徒增了老师的工作量，组卷效率低，只能考察到知识结构较为单一的单知识点。故，该方法针对老师教学过程中所涉及到的多知识点的综合试题并不适用，无法通过多知识点的综合试题来确定学生具体掌握了哪些知识点，也不能进一步确定学生针对每一个知识点具体掌握到了什么程度。


技术实现要素：

3.为解决现有存在的技术问题，本发明实施例提供一种确定知识点掌握程度的方法、装置、电子设备及计算机可读存储介质。
4.第一方面，本发明实施例提供了一种确定知识点掌握程度的方法，包括：基于多个试卷中的题目与用户针对多个所述试卷中所述题目的作答数据，确定所述用户对每个所述试卷中所述题目对应的知识点的掌握层级；将每个所述试卷中所述题目对应的知识点的掌握层级输入至深度知识追踪模型，基于所述深度知识追踪模型的输出结果，确定所述用户对于所述知识点的当前掌握层级。
5.可选地，基于多个试卷中的题目与用户针对多个所述试卷中所述题目的作答数据，确定所述用户对每个所述试卷中所述题目对应的知识点的掌握层级，包括：根据每个所述试卷中所述题目的所述知识点的考察层级得到每个所述试卷的题目知识点关联数据，所述题目知识点关联数据表示每个所述题目与每个所述知识点的考察层级之间的对应关系；确定每个所述试卷的知识点邻接矩阵，所述知识点邻接矩阵表示所述知识点的层级的前后置关系；将所述题目的所述作答数据、所述题目知识点关联数据以及所述知识点邻接矩阵输入至规则空间模型，基于所述规则空间模型的输出结果，得到所述用户对所述试卷中所述题目对应的知识点的掌握层级。
6.可选地，在所述将所述题目的所述作答数据、所述题目知识点关联数据以及所述知识点邻接矩阵输入至规则空间模型之前，该方法还包括：将所述试卷中的题目分为多个题组，每个所述题组中包括至少两道所述题目；所述将所述题目的所述作答数据、所述题目
知识点关联数据以及所述知识点邻接矩阵输入至规则空间模型，基于所述规则空间模型的输出结果，得到所述用户对所述试卷中所述题目对应的知识点的掌握层级，包括：分别将多个所述题组对应的所述题目的所述作答数据、所述题目知识点关联数据以及所述知识点邻接矩阵输入至规则空间模型，得到所述规则空间模型的多个输出结果，确定所述用户对每个所述题组中所述题目对应的知识点的掌握层级，综合得到所述用户对所述试卷中所述题目对应的所述知识点的掌握层级。
7.可选地，将所述试卷中的题目分为多个题组包括：对待分组的所述题目执行分组操作，所述分组操作包括：从待分组的所述题目中选取一道题目作为第一题目，确定所述第一题目的知识点；判断待分组的所述题目中是否存在包含所述第一题目的至少一个知识点的题目，若不存在，将所述第一题目归入生成的题组中题目数量最少的题组；若存在，将所述第一题目作为上一题目，将待分组的所述题目中包含所述上一题目的知识点的题目作为当前题目，将所述上一题目与所述当前题目分入临时题组；对所述临时题组执行筛选操作，所述筛选操作为判断所述当前题目是否包含与所述上一题目的知识点不同的知识点，将所述当前题目与所述上一题目的知识点不同的知识点作为区别知识点，判断待分组的所述题目中是否存在包含至少一个所述区别知识点的题目，若存在，将所述当前题目作为上一题目，将待分组的所述题目中包含所述区别知识点的题目作为所述当前题目，分入所述临时题组；循环所述筛选操作，直至待分组的所述题目中不存在包含至少一个所述区别知识点的题目，或者所述当前题目与所述上一题目之间不存在所述区别知识点，将所述临时题组作为所述题组；循环执行所述分组操作，直至遍历待分组的所述题目，在待分组的所述题目中至多包含一道题目时，将所述待分组的所述题目中至多包含的一道题目归入所述题组中题目数量最少的题组。
8.可选地，在所述基于所述深度知识追踪模型的输出结果，确定所述用户对于所述知识点的当前掌握层级之后，该方法还包括：确定多个所述试卷中每个所述知识点的最大层级；在所述知识点的所述当前掌握层级低于所述知识点的最大层级的情况下，将所述知识点的所述当前掌握层级的下一个层级作为所述知识点的目标层级；从题库中选取包含所述目标层级的知识点的题库题目，生成新试卷。
9.可选地，从题库中选取包含所述目标层级的知识点的题库题目，生成试卷包括：根据多个所述试卷中每个所述知识点出现的顺序，对具有所述目标层级的知识点进行排序，得到具有所述目标层级的知识点的考察顺序；在所述题库中存在仅包含所述目标层级的知识点的单知识点题库题目的情况下，按照具有所述目标层级的知识点的考察顺序，依次从所述题库中选取所述仅包含所述目标层级的知识点的单知识点题库题目，生成新试卷；或者，在所述题库中存在包含所述目标层级的知识点的多知识点题库题目的情况下，按照所述目标层级的知识点的考察顺序，依次从所述题库中选取所述包含所述目标层级的知识点的多知识点题库题目，生成新试卷；其中，在选取出的所述包含所述目标层级的知识点的多知识点题库题目中，除所述目标层级的知识点以外的其他知识点的层级均不高于所述用户对于其他知识点的当前掌握层级。
10.可选地，将每个所述试卷中所述题目对应的知识点的掌握层级输入至深度知识追踪模型，基于所述深度知识追踪模型的输出结果，确定所述用户对于所述知识点的当前掌握层级，包括：对每个所述试卷中所述题目对应的知识点的掌握层级进行一位有效编码，得
到多个编码后的向量序列，一个所述编码后的向量序列能够表示每个所述试卷中一个知识点的一个层级是否掌握；将多个所述向量序列输入至所述深度知识追踪模型，确定所述用户对于所述知识点的当前掌握层级。
11.第二方面，本发明实施例提供了一种确定知识点掌握程度的装置，其特征在于，包括：第一处理模块和第二处理模块。
12.第一处理模块用于基于多个试卷中的题目与用户针对多个所述试卷中所述题目的作答数据，确定所述用户对每个所述试卷中所述题目对应的知识点的掌握层级。
13.第二处理模块用于将每个所述试卷中所述题目对应的知识点的掌握层级输入至深度知识追踪模型，基于所述深度知识追踪模型的输出结果，确定所述用户对于所述知识点的当前掌握层级。
14.第三方面，本发明实施例提供了一种电子设备，包括：总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现如上所述的确定知识点掌握程度的方法中的步骤。
15.第四方面，本发明实施例提供了一种计算机可读存储介质，包括：可读存储介质上存储的计算机程序；所述计算机程序被处理器执行时实现如上所述的确定知识点掌握程度的方法中的步骤。
16.本发明实施例提供的确定知识点掌握程度的方法、装置、电子设备及计算机可读存储介质，不同于常规的深度知识追踪模型的使用，避免了该模型只能使用单知识点题目作为数据处理的基础，而不能对具有多知识点的综合题目进行处理的缺陷；本发明实施例先将学生对于试卷中题目的作答数据与试卷中的题目进行处理，得到颗粒度更为细致的学生对于每个试卷中题目所包含的知识点的掌握层级，并将该学生对于每个试卷中题目所包含的知识点的掌握层级作为输入数据输入至深度知识追踪模型中，利用深度知识追踪模型得到该学生在本学期经过多次考试后，最终对于某一知识点的所掌握到的层级，即当前掌握层级。该方法能够处理具有多个知识点的题目，即不改变老师平时的教学习惯，可以根据教学需求选用具有多个知识点的综合题目的试卷，无需为了了解学生所掌握的学习进度而重新编选仅具有单独知识点的题目组成试卷进行考察，减轻了老师的工作负担，且能准确高效的确定学生在某一阶段内对于知识点的掌握程度，即当前掌握程度。
附图说明
17.为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
18.图1示出了本发明实施例所提供的一种确定知识点掌握程度的方法的流程图；图2a示出了本发明实施例所提供的确定知识点掌握程度的方法中，第一矩阵的示意图；图2b示出了本发明实施例所提供的确定知识点掌握程度的方法中，第二矩阵的示意图；图3示出了本发明实施例所提供的确定知识点掌握程度的方法的具体方法流程图；
图4示出了本发明实施例所提供的一种确定知识点掌握程度的装置的结构示意图；图5示出了本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
19.下面结合本发明实施例中的附图对本发明实施例进行描述。
20.图1示出了本发明实施例所提供的一种确定知识点掌握程度的方法的流程图。如图1所示，该方法包括以下步骤101-102。
21.步骤101：基于多个试卷中的题目与用户针对多个试卷中题目的作答数据，确定用户对每个试卷中题目对应的知识点的掌握层级。
22.其中，用户可以是参与测试的人员，也可以是学生，下述内容将以学生作为用户进行详细说明。考试是老师用来考察学生学习情况的一种手段，每次考试均由老师对题目进行编选，整理出可以作为本次考试的多个题目。其中，每道题目中可以包含老师想要考察的至少一个知识点，可以结合学科基本素养或者布鲁姆认知层级，将每一个知识点具体划分多个层级，例如，可以划分为6个层级：记忆、理解、应用、分析、评估和创造，本实施例对知识点层级的划分和命名不做限定。通过将这些包含待考察的知识点的题目进行归纳整理，可以生成为本次考试所用的试卷。
23.通常情况下，学生在某一阶段内可以参加多次考试。本发明实施例可以选取每次考试的试卷，将每次考试的试卷中的题目作为处理对象；也可以视情况选取其中几次考试的试卷，将所选取的某几次考试的试卷中的题目作为处理对象。其中，还需要获取某学生每次考试时对于试卷中所包含题目的作答数据，该作答数据表示该学生对于本次考试的试卷中所包含题目的作答是否正确。根据所选取的该学生在这一阶段每个试卷（即每次考试的试卷）所包含的题目，以及该学生对每个试卷包含题目的作答数据，可以进一步确定该学生在这一阶段对每个试卷中包含的题目所涉及的知识点的掌握层级，该掌握层级表示该学生能够掌握本次考试的试卷中包含的题目所涉及的知识点的层级。
24.例如，在一个学期内，学生可以参加学校组织的多次月考、一次期中考试和一次期末考试，学生需要对每次考试的试卷进行作答，老师通过学生对试卷中题目的作答数据进行分析，即分析该学生对于本次考试的试卷中所包含题目的作答是否正确，可以直接确定该学生是否能够掌握本次考试的试卷中所包含的题目，进而间接地确定该学生是否能够掌握本次考试的试卷中包含的题目所涉及的知识点。例如，本学期共涉及6次考试，即有6个试卷，每个试卷均包含10道题，每道题所包含的知识点可以不唯一，其可以是包含1个知识点（如知识点a），也可以每道题包含多个知识点（如4个知识点，知识点a、知识点b、知识点c和知识点d）；其中，每个知识点具有一个层级，若分为9级，该层级可以为1-9中的一个层级，如知识点a的层级为1，可以用a_1表示。通过将这6个试卷中的题目和某学生对这6个试卷中题目的作答数据输入至能够确定学生对每个试卷中的题目对应知识点的掌握层级的模型，基于该模型的输出结果，确定该学生分别对这6个试卷中每个试卷的题目所对应的知识点的掌握层级，如该学生对第一个试卷中某题目所对应的知识点a掌握到了2级，即可确定该学生对第一个试卷中知识点a的掌握层级为a_2。
25.步骤102：将每个试卷中题目对应的知识点的掌握层级输入至深度知识追踪模型，
基于深度知识追踪模型的输出结果，确定用户对于知识点的当前掌握层级。
26.其中，深度知识追踪模型通常是根据学生过去的作答数据（如答题正确与否）对学生的知识掌握情况进行建模，从而得到学生当前是否掌握该知识点的一种模型。该模型仅能用于处理单知识点题目，也就是说题目只包含一个知识点，通过确定该学生是否掌握该单知识点题目，进而直接确定该学生是否掌握该单知识点题目所包含的那一个知识点。而本发明实施例中，即使试卷中的题目涉及多个知识点，也可以基于上述步骤101所描述的过程，得到该学生对每个试卷中题目所涉及的知识点的掌握层级，将该数据输入至该深度知识追踪模型，可以根据该深度知识追踪模型的输出结果，确定该学生在多次考试中对于某个知识点最终所掌握到的层级，将该学生在多次考试中对于某个知识点所掌握到的层级作为该知识点的当前掌握层级。
27.例如，经过上述步骤101所描述的过程，可以确定该学生对于6个试卷中，具体到每一个试卷的题目所对应的知识点的掌握层级，可以将每一个试卷的题目所对应的知识点的掌握层级一并输入至深度知识追踪模型，即对该深度知识追踪模型输入每个知识点在每个试卷中该学生所掌握到的层级（掌握层级）。例如，对于知识点a而言，该学生在第一个试卷中的掌握层级表示为a_1，则表示该学生在第一个试卷中掌握了知识点a的第一层级；第二个试卷中并不涉及该知识点a，因此可以不对该知识点a统计其在第二个试卷中学生的掌握层级；第三个试卷中该学生对于知识点a掌握到第二层级，即掌握层级为a_2；第四、五、六个试卷中该学生对于知识点a均掌握到第三层级，即第四、五、六个试卷中该学生对于知识点a的掌握层级均为a_3。可以将第1-6个试卷分别对应的学生对于知识点a的掌握层级作为序列，输入至深度知识追踪模型，得到该学生在本学期对于知识点a最终所掌握到的层级，即当前掌握层级。
28.该方法不同于常规的深度知识追踪模型的使用，避免了该模型只能使用单知识点题目作为数据处理的基础，而不能对具有多知识点的综合题目进行处理的缺陷；本发明实施例先将学生对于试卷中题目的作答数据与试卷中的题目进行处理，得到颗粒度更为细致的学生对于每个试卷中题目所包含的知识点的掌握层级，并将该学生对于每个试卷中题目所包含的知识点的掌握层级作为输入数据输入至深度知识追踪模型中，利用深度知识追踪模型得到该学生在本学期经过多次考试后，最终对于某一知识点的所掌握到的层级，即当前掌握层级。该方法能够处理具有多个知识点的题目，即不改变老师平时的教学习惯，可以根据教学需求选用具有多个知识点的综合题目的试卷，无需为了了解学生所掌握的学习进度而重新编选仅具有单独知识点的题目组成试卷进行考察，减轻了老师的工作负担，且能准确高效的确定学生在某一阶段内对于知识点的掌握程度，即当前掌握程度。
29.可选地，基于多个试卷中的题目与用户针对多个试卷中题目的作答数据，确定用户对每个试卷中题目对应的知识点的掌握层级，包括以下步骤1011-1013。
30.步骤1011：根据每个试卷中题目的知识点的考察层级得到每个试卷的题目知识点关联数据，题目知识点关联数据表示每个题目与每个知识点的考察层级之间的对应关系。
31.其中，可以将每个试卷中题目的知识点所具有的层级作为考察层级，通过老师选定具有该考察层级的知识点的题目作为某个试卷中的题目，确定老师想要考察学生在本次考试时对于该知识点是否能够掌握到这一考察层级。本发明实施例中，可以先导入学生一个试卷中所包含的题目，导入数据的格式可以是csv（comma-separated values，逗号分隔
值），确定该试卷中题目的知识点的考察层级，比如该试卷所涉及的每个知识点在每道题上的考察层级。通过对该试卷中题目的知识点的考察层级进行处理，能够得到该试卷中每个题目与每个知识点的考察层级之间的对应关系，即该试卷中每个题目在每个知识点的每个层级上是否关联，将能够表示该试卷中每个题目在每个知识点的每个层级上是否关联的数据作为题目知识点关联数据。
32.例如，导入某学生一个试卷中的m道题目，确定在该试卷中该m道题目所具有的知识点的考察层级，如第1道题目具有知识点a和知识点b，其中，知识点a在该题目中的考察层级为2，知识点b在该题目中的考察层级为1，以相同方式统计m道题目对应的知识点的考察层级。可以将该m道题目对应的知识点的考察层级整理为一个关于每个知识点与每个题目之间的第一矩阵，如图2a所示，在该第一矩阵中可以用值为1至9的整数表示某一知识点在某一题目中的考察层级，用值为0的整数表示某一题目中不考察某一知识点。例如，用2表示知识点a在第1题中的考察层级，用0表示知识点c与第1题并无关联，即该第1题并不涉及知识点c的考察。之后可以对该试卷中题目的知识点的考察层级（如上述第一矩阵）进行处理，得到如图2b所示的第二矩阵，该第二矩阵也能够表示该试卷中每个题目与每个知识点的考察层级之间的对应关系，可以用0表示在该试卷中某个题目与某个知识点的某个考察层级之间无关联（即该题目不涉及具有该考察层级的知识点），用1表示在该试卷中某个题目与某个知识点的某个考察层级之间相关联（即该题目涉及具有该考察层级的知识点）。例如，可以用a_1表示知识点a的第一层级，z_9表示知识点z的第九层级等，以此类推，进而得到该试卷的的题目知识点关联数据。
33.步骤1012：确定每个试卷的知识点邻接矩阵，知识点邻接矩阵表示知识点的层级的前后置关系。
34.其中，为了避免在一次考试中出现某个学生掌握了某知识点相对较高的层级，但却没有掌握该知识点相对较低的层级的情况，可以对知识点的层级之间限定某种关系，这种关系可以是前后置关系，用该前后置关系表示该试卷中不同层级的某一知识点之间的相互关联。本发明实施例中，将某一知识点的低层级作为该知识点的高层级的前置层级，将某一知识点的高层级作为该知识点的低层级的后置层级。例如，在某一试卷中，第1道题目包含知识点a的第一层级，第5道题目包含知识点a的第二层级，其中，第一层级为较低的层级，第二层级为较高的层级，因此，在该试卷中，知识点a的第一层级是知识点a的第二层级的前置层级，知识点a的第二层级是知识点a的第一层级的后置层级，即知识点a的第一层级与知识点a的第二层级具有前后置关系。本发明实施例针对每个试卷均对应生成一个知识点邻接矩阵。
35.步骤1013：将题目的作答数据、题目知识点关联数据以及知识点邻接矩阵输入至规则空间模型，基于规则空间模型的输出结果，得到用户对试卷中题目对应的知识点的掌握层级。
36.其中，通过获取学生所导入的数据，并将该数据以csv的格式进行处理之后，可以获取到该试卷中题目所对应的知识点的考察层级，以及该学生对于该试卷中所包含题目的作答数据。将学生对于该试卷所包含题目的作答数据以及通过上述步骤1011和1012分别得到的该试卷的的题目知识点关联数据和该试卷的知识点邻接矩阵一并输入至规则空间模型，其中，该规则空间模型是一种将认知心理学和心理计量学相结合的认知诊断模型，通过
使用q矩阵来表征试题与属性之间的对应关系（即试题涉及的属性，如作答数据等），用属性掌握模式来表征被测个体的知识结构。在将学生对于某个试卷中所含题目的作答数据、该试卷的题目知识点关联数据以及该试卷的知识点邻接矩阵输入至上述规则空间模型之后，经过该模型的处理可以得到该学生对于本次考试所用试卷所涉及到的每个知识点的掌握情况，即该学生对该试卷中所含题目对应的知识点所掌握到的层级（掌握层级）。本发明实施例可以依据同样的方式对学生某一阶段内的多个试卷分别进行处理，得到该学生对每个试卷所分别包含的知识点的掌握层级。
37.本发明实施例通过从每个试卷所包含的题目中能够确定该试卷的题目知识点关联数据以及知识点邻接矩阵，并利用获取到的学生对该试卷的作答数据，将上述三种数据输入规则空间模型，基于该模型的输出结果，准确地确定该学生对该试卷中所含题目对应的知识点的掌握层级。该方法通过对每个试卷生成相应的知识点邻接矩阵，在规则空间模型的处理中去除该学生在本次考试中掌握了该试卷中的高层级知识点而没有掌握低层级知识点的情况，例如不会出现在某次考试中，某个学生掌握了该试卷中知识点a的第三层级但是没有掌握该知识点a的第一层级的情况，规定了在同一试卷中，该学生在已经掌握了某个知识点的情况下，对于他所掌握的知识点的层级（即对该知识点的掌握层级）的前置层级，该学生也能够掌握。
38.可选地，在将题目的作答数据、题目知识点关联数据以及知识点邻接矩阵输入至规则空间模型之前，该方法还包括以下步骤a1。
39.步骤a1：将试卷中的题目分为多个题组，每个题组中包括至少两道题目。
40.其中，在将题目的作答数据、题目知识点关联数据以及知识点邻接矩阵输入至规则空间模型之前，可以分别对每个试卷中的题目进行分组，将一个试卷中所包含的题目划分到多个题组中，保证所得到的每个题组中至少包括两道题目。其中，划分题组的方式可以是随机分组也可以是根据一定规则进行划分，如采用各种聚类算法进行分组等，本实施例对此不做限定。本发明实施例中，可以针对学生的每次考试所用的试卷，分别进行划分题组的过程。例如，针对某学生的多个试卷，采用k均值聚类算法分别将每一个试卷中所包含的题目（如10道题）分成多个题组（如3个题组），第一个题组中包括该试卷中的3道题目，第二个题组中包括该试卷中的3道题目，第三个题组中包括该试卷中的4道题目。
41.将题目的作答数据、题目知识点关联数据以及知识点邻接矩阵输入至规则空间模型，基于规则空间模型的输出结果，得到用户对试卷中题目对应的知识点的掌握层级，可以包括以下步骤a2。
42.步骤a2：分别将多个题组对应的题目的作答数据、题目知识点关联数据以及知识点邻接矩阵输入至规则空间模型，得到规则空间模型的多个输出结果，确定用户对每个题组中题目对应的知识点的掌握层级，综合得到用户对于知识点的掌握层级。
43.其中，可以针对一个试卷所划分的多个题组进行处理，将每个题组包含题目所对应的该题目的作答数据、该题目的题目知识点关联数据以及该题目涉及的知识点邻接矩阵输入至规则空间模型，得到该规则空间模型的输出结果为：该学生对该题组中题目对应的知识点的掌握层级，即学生能够掌握的所输入的该试卷中某一题组所涉及到的知识点的层级。本发明实施例可以采用相同的操作手段，得到该学生对该试卷的多个题组中题目对应的知识点的掌握层级，将该试卷的多个题组中题目对应的知识点的掌握层级进行整合，如
将数据合并整理至一起，可以得到学生对于该试卷所涉及知识点的掌握层级，即该学生是否能够掌握该试卷中所涉及的知识点的层级。其中，也可以按照一个试卷的处理方式对多个试卷进行同样地处理，得到学生对于不同试卷所涉及知识点的掌握层级。
44.本发明实施例通过将一个试卷划分为多个题组，将每个试卷分为多个题组，且每个题组至少包含两道题目，将每个题组中对应的题目的作答数据、题目知识点关联数据以及涉及的知识点邻接矩阵输入至规则空间模型，得到该学生对每个题组中题目对应的知识点的掌握层级，再将这些以题组为单位处理得到的对应的知识点的掌握层级综合整理，还原为学生对于这些题组对应的试卷所涉及的知识点的掌握层级。该方法将整个试卷中所包含的多个题目分为多个题组，可以减少每次输入至规则空间模型中的数据量，直观地提升每次规则空间模型的处理速度。而每个分组最后要保证至少包含两道题是因为该规则空间模型基于irt（item response theory，项目反映理论），而该irt对于所输入的数据为全部正确以及全部错误的情况不好做拟合，若题组中仅包含一道题目，那么则表示该题目若正确则全部正确，该题目若错误则全部错误，因此通过将每个题组中设置为至少具有两个题目，能够更适用于该规则空间模型，所得到的模型输出结果也较为准确。
45.可选地，将试卷中的题目分为多个题组包括以下步骤a11-a15。
46.步骤a11：对待分组的题目执行分组操作，分组操作包括：从待分组的题目中选取一道题目作为第一题目，确定第一题目的知识点。
47.其中，当需要将某个试卷中的题目分为多个题组时，可以将该试卷中当前还未被分组的题目作为待分组的题目，对该待分组的题目执行分组操作。首先，可以从该待分组的题目中随机选取一道题目作为第一题目，也可以从待分组的题目中按照题目题号的顺序选取题号为1的题目作为第一题目，确定该第一题目所涉及到的知识点。例如，当需要将期中考试的试卷中的题目划分为多个题组时，可以将该期中考试试卷中的每一道题目（共10道题目）作为待分组的题目，从待分组的这10道题目中选取题号为1的题目作为第一题目，并确定该第一题目（题号为1的题目）所涉及到的知识点，例如其为知识点a和知识点b。
48.步骤a12：判断待分组的题目中是否存在包含第一题目的至少一个知识点的题目，若不存在，将第一题目归入生成的题组中题目数量最少的题组。
49.其中，在确定第一题目所包含的知识点之后，可以用该第一题目所包含的知识点与对待分组的题目中的每一道题目分别包含的知识点进行比较，判断该待分组的题目中是否存在包含该第一题目所具有的至少一个知识点的题目。例如，该题目可以与第一题目一样，仅包含第一题目所包含的知识点；其也可以在包含该第一题目所包含知识点的同时，还包含除该第一题目所包含知识点以外的其他知识点；再或者说，该题目还可以是包含第一题目所涉及到的部分知识点。若该待分组的题目中不存在上述情况的题目，可以在针对该试卷的题目生成所有题组以后，将该第一题目归入所生成的所有题组中包含题目数量最少的一个题组中。本发明实施例中，可以在分组开始之前确定好该试卷的每道题目分别所对应的知识点，也可以在确定了第一题目的知识点以后，每次进行判断时对所要判断的待分组的题目进行确定该题目所对应的知识点的操作，本实施例对此不做限定。
50.如上述步骤a11所举示例所示，该期中考试试卷共有10道题目，在得到第一题目所包含的知识点为知识点a和知识点b之后，判断剩余的、待分组的9道题目中是否存在包含该第一题目所包含的知识点a和/或知识点b的题目，若此时待分组的9道题目中并不存在具有
知识点a和/或知识点b的题目，等待将该试卷的题目全部分至各个题组以后，将该第一题目归入各个题组中包含题目最少的题组中。
51.步骤a13：若存在，将第一题目作为上一题目，将待分组的题目中包含上一题目的知识点的题目作为当前题目，将上一题目与当前题目分入临时题组。
52.本发明实施例中，若待分组的题目中存在包含该第一题目所具有的至少一个知识点的题目，例如，该题目可以与第一题目一样，仅包含第一题目所包含的知识点；其也可以在包含该第一题目所包含知识点的同时，还包含除该第一题目所包含知识点以外的其他知识点；再或者说，该题目还可以是包含第一题目所涉及到的部分知识点。在这种情况下，可以将该第一题目命名为上一题目，将待分组的题目中符合上述要求的题目（即包含上一题目的知识点的题目）作为当前题目，将该当前题目与上一题目分入临时题组，该临时题组是还未完成分组操作的正在构建中的题组。
53.如上述步骤a11所举示例所示，若此时待分组的9道题目中存在具有知识点a和/或知识点b的题目，如某题目所具有的知识点为知识点b和知识点c，可以将具有知识点a和知识点b的该第一题目作为上一题目，将待分组的9道题目中具有知识点b和知识点c的题目作为当前题目，将该上一题目与该当前题目添加至临时题组。
54.步骤a14：对临时题组执行筛选操作，筛选操作为判断当前题目是否包含与上一题目的知识点不同的知识点，将当前题目与上一题目的知识点不同的知识点作为区别知识点，判断待分组的题目中是否存在包含至少一个区别知识点的题目，若存在，将当前题目作为上一题目，将待分组的题目中包含区别知识点的题目作为当前题目，分入临时题组；循环筛选操作，直至待分组的题目中不存在包含至少一个区别知识点的题目，或者该当前题目与上一题目之间不存在区别知识点，将该临时题组作为题组。
55.其中，在将上一题目与当前题目分入临时题组之后，可以对该临时题组执行筛选操作。首先，判断该当前题目所包含的知识点中是否存在与该上一题目的知识点并不相同的知识点，可以将当前题目中与上一题目不同的知识点称作区别知识点。以该区别知识点作为比较依据，判断待分组的题目中是否存在包含至少一个区别知识点的题目。例如，该题目可以仅包含所有区别知识点；其也可以在包含所有区别知识点的同时，还包含除所有区别知识点以外的其他知识点；再或者说，该题目还可以是不完全包含所有区别知识点的题目，如没有全部包含区别知识点且除此之外不包含其他知识点的题目。若该待分组的题目中存在上述情况的题目，可以将该当前题目命名为上一题目，将待分组的题目中符合上述要求的题目（即包含至少一个区别知识点的题目）作为当前题目，将该当前题目分入该临时题组，完成一次筛选操作。本发明实施例可以循环执行该筛选操作，直至该待分组的题目中不存在满足上述要求的题目（即包含至少一个区别知识点的题目），或者，此时的当前题目的知识点与此时的上一题目的知识点之间不存在区别知识点，即该当前题目所包含的知识点少于或等于上一题目所包含的知识点，此时即可以认为已没有其他题目可以分入该临时题组，可以将该临时题组作为所生成的一个题组。
56.如上述步骤a13所举示例所示，在将上一题目与当前题目分入临时题组之后，该临时题组中的上一题目的知识点为知识点a和知识点b，该临时题组中的当前题目的知识点为知识点b和知识点c，可以对该临时题组执行筛选操作。首先，判断该当前题目所包含的知识点中是否存在与该上一题目的知识点并不相同的知识点，可以将当前题目中与上一题目不
同的知识点c称作区别知识点。以该区别知识点（知识点c）作为比较依据，判断待分组的题目中是否存在包含该区别知识点（知识点c）的题目，若此时剩余的、待分组的8道题目中，有两道题目具有该区别知识点（知识点c），如具有知识点c和知识点d的题目以及仅具有知识点c的题目，将此时该临时题组中的当前题目同样命名为上一题目，将待分组的题目中具有知识点c和知识点d的题目以及仅具有知识点c的题目作为该临时题组的当前题目，此时，经历过该筛选操作后的临时题组为包括具有知识点a和知识点b的题目、具有知识点b和知识点c的题目、具有知识点c和知识点d的题目以及仅具有知识点c的题目。循环执行上述筛选操作，直到待分组的题目中不存在包含至少一个区别知识点的题目，此时可以认为已没有其他题目可以分入该临时题组，可以将该临时题组作为所生成的一个题组。
57.步骤a15：循环执行分组操作，直至遍历待分组的题目，在待分组的题目中至多包含一道题目时，将待分组的题目中至多包含的一道题目归入题组中题目数量最少的题组。
58.其中，在生成一个题组之后，可以对当前的待分组的题目继续执行上述步骤a11-a14所描述的分组操作，即在待分组的题目中继续选取一个题目作为第一题目执行该分组操作，直到将所有待分组的题目均分入其所对应的题组中，完成对该试卷中题目的划分，即生成该试卷所对应的所有题组；或者，在待分组的题目中只包含一道题目的情况下，将该题目归入所生成的所有题组中包含题目数量最少的一个题组中，完成题组的划分，生成该试卷所对应的所有题组，且能够保证在该试卷对应的每个题组中所涉及的知识点互不相同，同一个知识点的题目不会被分到不同的题组；例如该试卷对应2个题组，第一个题组中包含知识点a、知识点b、知识点c和知识点d；第二个题组中包含知识点e、知识点f、知识点g和知识点h。
59.本发明实施例通过将某一试卷中的题目作为待分组的题目，从该待分组的题目中任意选取一个题目作为第一题目，并确定该第一题目涉及的知识点，使用该第一题目的知识点作为比较依据，在剩余的待分组的题目中选取包含至少一个该第一题目的知识点的题目，并将该第一题目作为上一题目、将该包含至少一个该第一题目的知识点的题目作为当前题目，将这两道题组成临时题组；之后，通过判断该当前题目是否包含与上一题目的知识点不同的知识点，将该当前题目包含的与上一题目的知识点不同的知识点作为区别知识点，将该区别知识点作为新的比较依据，继续与剩余的待分组的题目进行比较，判断此时剩余的待分组的题目中是否存在包含至少一个区别知识点的题目，若存在，将该当前题目作为上一题目，将该包含至少一个区别知识点的题目作为当前题目归入该临时题组，以相同的手段继续往该临时题组中选题，直至待分组的题目中不存在包含至少一个区别知识点的题目时，将该临时题组作为题组。之后，还可以继续对待分组的题目循环执行分组操作，构建新的题组。该方法以知识点作为判断依据，可以使所生成的不同题组分别包含不同的知识点，即两个题组之间不存在重复的知识点，为之后输入至规则空间模型减少了重复项，使得所输入的每个题组所对应的知识点均不相同，优化了规则空间模型的输入数据，减少了输入数据的数量，降低了模型的计算量，提升了模型的精准度。
60.可选地，在基于深度知识追踪模型的输出结果，确定用户对于知识点的当前掌握层级之后，该方法还包括以下步骤b1-b3。
61.步骤b1：确定多个试卷中每个知识点的最大层级。
62.其中，可以确定该学生在此期间所作答的多个试卷中，每个知识点的最大层级，例
如，可以先确定某一个知识点在每个试卷中分别所涉及到的最高的层级，将每个试卷中分别所涉及到的最高的层级作为每个试卷所对应的该知识点的最大层级，并从每个试卷所对应的该知识点的最大层级中选取最高的层级，作为该知识点在此阶段中的最大层级，即多个试卷中该知识点的最大层级。可以以相同的方式对多个试卷中所出现的每一个知识点均做相同处理，确定多个试卷中每一个知识点的最大层级。
63.例如，共有6个试卷，10个知识点，分别确定在这6个试卷中，每个知识点的最大层级，例如，知识点a在这6个试卷中的分别以第一层级、第一层级、第二层级、第三层级、第二层级、第三层级依次出现，可以确定该知识点a在这6个试卷中的最大层级为第三层级；以相同的方式分别确定全部10个知识点在这个6个试卷中分别对应的最大层级。
64.步骤b2：在知识点的当前掌握层级低于知识点的最大层级的情况下，将知识点的当前掌握层级的下一个层级作为知识点的目标层级。
65.本发明实施例中，通过对学生经过多次考试所作答的多个试卷进行处理，可以得到该学生此时对于各个知识点的当前掌握层级，同时，在经过上述步骤b1所描述的方式还可以得到多个试卷中每一个知识点的最大层级。可以选取该学生在此时（即经过多次考试作答多个试卷之后）对于某一个知识点的当前掌握层级，与该知识点在该多个试卷中的最大层级相比较，若该学生在此时对于该知识点的当前掌握层级低于该知识点在该多个试卷中的最大层级，可以认为该学生在此时并未掌握到该知识点所应达到的最大层级，并认为该学生此时对于该知识点的学习水平并未达到标准，可以将该学生对于该知识点的当前掌握层级的下一个层级，即比该当前掌握层级高的一个层级（如该当前掌握层级的后置层级）作为该知识点的目标层级，该知识点的目标层级表示希望该学生对于该知识点所能够掌握的层级。若该学生在此时对于该知识点的当前掌握层级等于该知识点在该多个试卷中的最大层级，则认为该学生在此时已经掌握到该知识点所应达到的最大层级，并认为该学生此时对于该知识点的学习水平已达到标准，可以不用再对该学生进行该知识点的考察。本发明实施例中，可以依据相同的方法对每一个当前掌握层级低于最大层级的知识点确定该学生此时需要掌握的目标层级，得到该学生仍未达到标准（最大层级）的知识点，并将这些仍未达到标准的知识点的目标层级作为该学生此时需要掌握的层级。
66.例如，该学生此时（如经过6考试作答6个试卷之后）对于知识点a的当前掌握层级为第二层级，而该知识点a在这6个试卷中的最大层级为第四层级，由于该学生此时对于该知识点a的当前掌握层级低于该知识点a在这6个试卷中的最大层级，可以将该学生对于该知识点a的当前掌握层级（第二层级）的下一个层级（第三层级）作为目标层级。若该学生此时对于知识点b的当前掌握层级为第三层级，而该知识点b在这6个试卷中的最大层级同样是第三层级，由于该学生此时对于该知识点b的当前掌握层级等于该知识点b在这6个试卷中的最大层级，因此可以认为该学生已掌握该知识点b，可以不用针对该知识点b对该学生进行考察。
67.步骤b3：从题库中选取包含目标层级的知识点的题库题目，生成新试卷。
68.其中，题库可以是预先生成的包含多个题库题目的数据库，可以结合学科基本素养或者布鲁姆认知层级，对这些题库题目所包含的知识点进行层级划分，使得该题库中所包含的每一道题库题目都是具有某个层级的知识点的题目。本发明实施例中，在确定了学生此时尚未掌握到最大层级的知识点、并明确了该学生此时需掌握的知识点的目标层级之
后，可以针对每一个具有目标层级的知识点从该题库中选取具有该目标层级的知识点的题库题目，在遍历该学生所有具有目标层级的知识点、选取完题库题目之后，即生成新试卷。本实施例可以针对任意一个具有目标层级的知识点，从该题库的题库题目中任意选取一道或多道具有该目标层级的知识点的题库题目，生成新试卷，其中，本实施例对所生成试卷中题库题目的数量不做限定，可按需分配。
69.例如，该学生目前尚未达到最大层级的知识点分别为知识点a、知识点b和知识点c，其中，知识点a的目标层级为第二层级、知识点b的目标层级为第三层级、知识点c的目标层级为第三层级。可以在预设的题库中分别选取具有知识点a、且该知识点a的层级是第二层级的题库题目1，具有知识点b、且该知识点b的层级是第三层级的题库题目2，具有知识点c、且该知识点c的层级是第三层级的题库题目3，将题库题目1、题库题目2以及题库题目3组合生成新试卷。
70.本发明实施例通过确定多个试卷中每个知识点的最大层级，并将该学生对每个知识点的当前掌握层级分别与对应的每个知识点的最大层级进行比较，在该学生对某知识点的当前掌握层级低于该知识点的最大层级时，确定该学生尚未掌握到该知识点的最大层级，在后续的测试或学习过程中仍需对针对该知识点对该学生进行考察，因此，可以将该当前掌握层级尚未达到最大层级的知识点筛选出来，并将该学生对于该知识点的当前掌握层级的下一个层级作为目标层级，从题库中选取具有目标层级的知识点的题库题目，生成针对该学生目前需要考察的新试卷。该方法可以根据每个学生的学习情况，智能且自动化、有针对性地对每个学生分别生成试卷，而不需要老师一一对每个学生手动筛选题目生成不同的试卷，减轻老师的负担，进而可以准确考察到该学生尚未达标仍需巩固的知识点，方便查漏补缺。
71.可选地，从题库中选取包含目标层级的知识点的题库题目，生成试卷包括以下步骤b31-b32或b33。
72.步骤b31：根据多个试卷中每个知识点出现的顺序，对具有目标层级的知识点进行排序，得到具有目标层级的知识点的考察顺序。
73.其中，在一个阶段的学习过程中，该阶段所涉及的知识点的出现顺序通常是由编纂教材的老师设定的，该顺序是最符合学生学习并适宜学生接受吸收的学习顺序；而在学习过程中，每一次考试老师所使用的试卷通常也是基于平时的教学经验以及教材中知识点的出现顺序而进行合理安排的。因此，本发明实施例当需要从题库中选取包含目标层级的知识点的题库题目时，可以先按照多个试卷中每个知识点的出现顺序，将根据上述步骤b2所筛选出的具有目标层级的知识点进行排序，得到考察顺序，该考察顺序是需要对该学生进行进一步考察的知识点的排列顺序。
74.例如，某学生目前尚未达到最大层级的知识点分别为知识点c、知识点f和知识点k，其中，知识点c的目标层级为第二层级、知识点f的目标层级为第三层级、知识点k的目标层级为第三层级。根据多个试卷中上述三个知识点的出现顺序可知，知识点c第一次出现是在第2个试卷中，知识点f第一次出现是在第3个试卷中,而知识点k第一次出现是在第5个试卷中。因此，可以按照知识点c、知识点f、知识点k的顺序对具有目标层级的多个知识点进行排序，得到具有第二层级的知识点c、具有第三层级的知识点f、具有第三层级的知识点k的考察顺序。
75.步骤b32：在题库中存在仅包含目标层级的知识点的单知识点题库题目的情况下，按照具有目标层级的知识点的考察顺序，依次从题库中选取仅包含目标层级的知识点的单知识点题库题目，生成新试卷。
76.本发明实施例中，题库题目可以是仅具有一个知识点的单知识点题库题目，若该题库中存在包含某目标层级的知识点的单知识点题库题目，可以按照上述步骤b31中所得到的该学生尚未达到最大层级的知识点的考察顺序，按序从该题库中抽取包含某目标层级的知识点的单知识点题库题目，将所抽取出的单知识点题库题目组合生成试卷。
77.如上述步骤b31中所举实例所示，某学生目前尚未达到最大层级的知识点分别为知识点c、知识点f和知识点k，其中，知识点c的目标层级为第二层级、知识点f的目标层级为第三层级、知识点k的目标层级为第三层级，考察顺序为：得到具有第二层级的知识点c、具有第三层级的知识点f、具有第三层级的知识点k。若题库中具有仅包含具有第二层级的知识点c的单知识点题库题目1、具有第三层级的知识点f的单知识点题库题目2以及具有第三层级的知识点k的单知识点题库题目3，可以将该单知识点题库题目1、单知识点题库题目2以及单知识点题库题目3组合生成试卷。
78.步骤b33：在题库中存在包含目标层级的知识点的多知识点题库题目的情况下，按照目标层级的知识点的考察顺序，依次从题库中选取包含目标层级的知识点的多知识点题库题目，生成新试卷；其中，在选取出的包含目标层级的知识点的多知识点题库题目中，除目标层级的知识点以外的其他知识点的层级均不高于用户对于其他知识点的当前掌握层级。
79.本发明实施例中，题库题目还可以是同时具有多个知识点的多知识点题库题目，若该题库中存在包含某目标层级的知识点的多知识点题库题目，可以按照上述步骤b31中所得到的该学生尚未达到最大层级的知识点的考察顺序，按序从该题库中抽取包含某目标层级的知识点的多知识点题库题目，且所抽取的该多知识点题库题目中除该目标层级的知识点以外的其他知识点所具有的的层级，均低于或等于该学生目前对于该知识点的当前掌握层级，将所抽取出的符合要求的多知识点题库题目组合生成试卷。其中，针对某一个知识点来说，若在题库中同时具有仅包含该目标层级的知识点的单知识点题库题目，以及包含该目标层级的知识点的多知识点题库题目的情况下，可以优先选取仅包含该目标层级的知识点的单知识点题库题目，生成试卷。
80.例如，某学生目前尚未达到最大层级的知识点分别为知识点c、知识点f和知识点k，其中，知识点c的目标层级为第二层级、知识点f的目标层级为第三层级、知识点k的目标层级为第三层级，考察顺序为：得到具有第二层级的知识点c、具有第三层级的知识点f、具有第三层级的知识点k。若题库中具有包含具有第二层级的知识点c和具有第一层级的知识点a的多知识点题库题目1、具有第三层级的知识点f和具有第二层级的知识点b的多知识点题库题目2，以及具有第三层级的知识点k和具有第一层级的知识点d的多知识点题库题目3。若该学生目前对于知识点a的掌握层级为第二层级，高于该多知识点题库题目1中知识点a的层级；若该学生目前对于知识点b的掌握层级为第二层级，等于该多知识点题库题目2知识点b的层级；且该学生目前对于知识点d的掌握层级为第二层级，高于该多知识点题库题目3中知识点d的层级。因此，可以将该多知识点题库题目1、多知识点题库题目2以及多知识点题库题目3组合生成试卷。
81.本发明实施例从题库中选取适合某学生的题库题目并生成试卷时，可以从知识点在本学期的学习顺序出发，按照教学顺序较为合理的按序选取具有目标层级的题库题目，从而对学生的待掌握知识点进行顺序规划，并依据规划好的考察顺序匹配相应的题库题目。此外，该方法在各个题库题目中，分别所包含的知识点数目并不统一的情况下，可以优先选取仅包含就有目标层级的知识点的单知识点题库题目生成试卷，可以使所生成的试卷能够更具有针对性的考察到该学生实际欠缺的知识点的某一层级，在下一次考试中使用该试卷，或将该试卷作为假期作业，有效地考察到该学生是否能够掌握之前所没有掌握的某些知识点的某些层级。
82.可选地，将每个试卷中题目对应的知识点的掌握层级输入至深度知识追踪模型，基于深度知识追踪模型的输出结果，确定用户对于知识点的当前掌握层级，包括以下步骤1021-1022。
83.步骤1021：对每个试卷中题目对应的知识点的掌握层级进行一位有效编码，得到多个编码后的向量序列，一个编码后的向量序列能够表示每个试卷中一个知识点的一个层级是否掌握。
84.其中，一位有效编码又称独热编码，其原理为用n位状态寄存器编码n个状态，每个状态都有独立的寄存器位，且这些寄存器位中只有一位有效，即只有一个状态。本发明实施例中，在得到学生对每个试卷中题目对应的知识点的掌握层级之后，可以先对每一个知识点的每一个层级在每个试卷中的情况进行统计，即生成该学生是否能够掌握每个试卷所对应的每一个知识点的每一个层级的第三矩阵。在该第三矩阵中用“1”表示该学生能够掌握某个试卷中的某个知识点的某个层级，用“0”表示该学生尚未掌握某个试卷中的某个知识点的某个层级，用
“‑”
表示表示某个知识点的某个层级并未出现在某个试卷中。例如，共有m个试卷，k个知识点，每个知识点共分为n个层级，则该第三矩阵是（k*n）*m大小的矩阵。之后，可以对该第三矩阵进行一位有效编码，得到（2*k*n）*m第四矩阵，该第四矩阵具有多个编码后的向量序列，即该第四矩阵的每一行均表示一个编码后的向量序列。在该第四矩阵中，用“1”表示前k*n个编码后的向量序列中该学生能够掌握某知识点的某个层级，用“0”表示前k*n个编码后的向量序列中该学生不能掌握某知识点的某个层级或某知识点的某个层级并未在某个试卷中出现；再用“1”表示后k*n个编码后的向量序列中该学生不能掌握某知识点的某个层级，用“0”表示后k*n个编码后的向量序列中该学生能够掌握某知识点的某个层级或某知识点的某个层级并未在某个试卷中出现。其中，一个编码后的向量序列可以用来表示该学生对每个试卷中的某一个知识点的某一个层级是否能够掌握。
85.步骤1022：将多个向量序列输入至深度知识追踪模型，确定用户对于知识点的当前掌握层级。
86.本发明实施例中，可以将上述步骤1021中所生成的第四矩阵整体输入至深度知识追踪模型中进行识别，通过该深度知识追踪模型的输出结果，确定该学生对于某知识点的某一层级的掌握概率，进而可以将该掌握概率大于某数值的知识点的最大的层级作为当前掌握层级，该数值可以是0.5-1中的任意数值。
87.本发明实施例可以在将某学生对每个试卷中题目对应的知识点的掌握层级输入至深度知识追踪模型时，对该学生对每个试卷中题目对应的知识点的掌握层级进行一位有效编码，解决了该深度知识追踪模型处理离散数据困难的问题，例如，离散数据可以是掌握
某知识点的某个层级、不掌握某知识点的某个层级以及某知识点的某个层级并未出现，尤其是对于某知识点的某个层级并未出现的情况，该深度知识追踪模型并不能完美处理。因此，在对数据进行一位有效编码后，可以使该深度知识追踪模型能够使用转换后的、更符合模型需求的数据进行计算和处理，进而使该深度知识追踪模型的输出结果更加准确。
88.下面通过一个实施例详细介绍该确定知识点掌握程度的方法流程。参见图3所示，该方法包括以下步骤301-310。
89.步骤301：预设题库，该题库中包括具有任意知识点的任意层级的多个题库题目，且该题库题目可以是单知识点题库题目也可以是多知识点题库题目。
90.步骤302：获取某学生在3次考试中所作答的3个试卷，确定该学生对每一个试卷的作答数据、确定每个试卷中所包含题目对应的知识点以及该知识点的考察层级。
91.步骤303：根据每个试卷中所包含题目的知识点的考察层级，生成题目知识点关联数据。
92.其中，可以根据上述步骤1011所描述的方法，确定题目知识点关联数据，此处不再赘述。
93.步骤304：确定每个试卷对应的知识点邻接矩阵。
94.其中，可以根据上述步骤1012所描述的方法，确定知识点邻接矩阵，此处不再赘述。
95.步骤305：分别将该学生的每一个试卷中的题目进行分组操作，使每一个试卷分别对应多个题组，每个题组至少包含其所对应的试卷的题目中的两道题目。
96.其中，可以根据上述步骤a11-a15所描述的过程，对该学生的3个试卷中的题目进行分组，此处不再赘述。
97.步骤306：确定该学生一个试卷所对应的题组分别所关联的作答数据、题目知识点关联数据以及知识点邻接矩阵，将该试卷每一个题组关联的作答数据、题目知识点关联数据以及知识点邻接矩阵分别作为一个整体，输入至规则空间模型，得到该试卷每一个题组对应的规则空间模型的输出结果，即该学生对每一个题组中的题目所对应的知识点的掌握层级。
98.步骤307：将该学生对每一个题组中的题目所对应的知识点的掌握层级进行整合，得到该学生对于该试卷中题目对应的知识点的掌握层级。循环执行步骤306-307，直至得到该学生所有试卷分别对应的知识点的掌握层级，再继续执行步骤308。
99.步骤308：将该学生的3个试卷分别对应的知识点的掌握层级，进行一位有效编码处理，将编码后得到的数据输入至深度知识追踪模型中，根据该深度知识追踪模型的输出结果，确定该学生对于这3个试卷中所涉及的每个知识点的当前掌握层级。
100.步骤309：确定3个试卷中所涉及的每个知识点的最大层级，在该学生对于某知识点的当前掌握层级低于该知识点的最大层级时，选取该学生对于该知识点的当前掌握层级的下一个层级作为该知识点的目标层级。
101.步骤310：从题库中选取包含具有目标层级的知识点的题库题目，生成新试卷。
102.其中，选取题库题目的种类和方法，可以根据上述步骤b31、b32、b33中描述的过程来执行，此处不再赘述。
103.本发明实施例提供了一种确定知识点掌握程度的装置，参见图4所示，该装置包
括：第一处理模块和第二处理模块。
104.第一处理模块用于基于多个试卷中的题目与用户针对多个所述试卷中所述题目的作答数据，确定所述用户对每个所述试卷中所述题目对应的知识点的掌握层级。
105.第二处理模块用于将每个所述试卷中所述题目对应的知识点的掌握层级输入至深度知识追踪模型，基于所述深度知识追踪模型的输出结果，确定所述用户对于所述知识点的当前掌握层级。
106.可选地，第一处理模块包括：题目知识点关联数据单元、知识点邻接矩阵单元以及第一输入单元。
107.所述题目知识点关联数据单元用于根据每个所述试卷中所述题目的所述知识点的考察层级得到每个所述试卷的题目知识点关联数据，所述题目知识点关联数据表示每个所述题目与每个所述知识点的考察层级之间的对应关系。
108.知识点邻接矩阵单元用于确定每个所述试卷的知识点邻接矩阵，所述知识点邻接矩阵表示所述知识点的层级的前后置关系。
109.第一输入单元用于将所述题目的所述作答数据、所述题目知识点关联数据以及所述知识点邻接矩阵输入至规则空间模型，基于所述规则空间模型的输出结果，得到所述用户对所述试卷中所述题目对应的知识点的掌握层级。
110.可选地，该装置还包括：分组模块。
111.分组模块用于将所述试卷中的题目分为多个题组，每个所述题组中包括至少两道所述题目。
112.第一输入单元包括：第一输入子单元。
113.第一输入子单元用于分别将多个所述题组对应的所述题目的所述作答数据、所述题目知识点关联数据以及所述知识点邻接矩阵输入至规则空间模型，得到所述规则空间模型的多个输出结果，确定所述用户对每个所述题组中所述题目对应的知识点的掌握层级，综合得到所述用户对所述试卷中所述题目对应的所述知识点的掌握层级。
114.可选地，分组模块包括：第一分组单元、第一判断单元、第二分组单元、筛选单元和循环单元。
115.第一分组单元用于对待分组的所述题目执行分组操作，所述分组操作包括：从待分组的所述题目中选取一道题目作为第一题目，确定所述第一题目的知识点。
116.第一判断单元用于判断待分组的所述题目中是否存在包含所述第一题目的至少一个知识点的题目，若不存在，将所述第一题目归入生成的题组中题目数量最少的题组。
117.第二分组单元用于，若存在，将所述第一题目作为上一题目，将待分组的所述题目中包含所述上一题目的知识点的题目作为当前题目，将所述上一题目与所述当前题目分入临时题组。
118.筛选单元用于对所述临时题组执行筛选操作，所述筛选操作为判断所述当前题目是否包含与所述上一题目的知识点不同的知识点，将所述当前题目与所述上一题目的知识点不同的知识点作为区别知识点，判断待分组的所述题目中是否存在包含至少一个所述区别知识点的题目，若存在，将所述当前题目作为上一题目，将待分组的所述题目中包含所述区别知识点的题目作为所述当前题目，分入所述临时题组。循环所述筛选操作，直至待分组的所述题目中不存在包含至少一个所述区别知识点的题目，或者所述当前题目与所述上一
题目之间不存在所述区别知识点，将所述临时题组作为所述题组。
119.循环单元用于循环执行所述分组操作，直至遍历待分组的所述题目，在待分组的所述题目中至多包含一道题目时，将所述待分组的所述题目中至多包含的一道题目归入所述题组中题目数量最少的题组。
120.可选地，该装置还包括：第一确定模块、第二确定模块和生成模块。
121.第一确定模块用于确定多个所述试卷中每个所述知识点的最大层级。
122.第二确定模块用于在所述知识点的所述当前掌握层级低于所述知识点的最大层级的情况下，将所述知识点的所述当前掌握层级的下一个层级作为所述知识点的目标层级。
123.生成模块用于从题库中选取包含所述目标层级的知识点的题库题目，生成新试卷。
124.可选地，生成模块包括：排序单元和第一生成单元，或者第二生成单元。
125.排序单元用于根据多个所述试卷中每个所述知识点出现的顺序，对具有所述目标层级的知识点进行排序，得到具有所述目标层级的知识点的考察顺序。
126.第一生成单元用于在所述题库中存在仅包含所述目标层级的知识点的单知识点题库题目的情况下，按照具有所述目标层级的知识点的考察顺序，依次从所述题库中选取所述仅包含所述目标层级的知识点的单知识点题库题目，生成新试卷。
127.第二生成单元用于在所述题库中存在包含所述目标层级的知识点的多知识点题库题目的情况下，按照所述目标层级的知识点的考察顺序，依次从所述题库中选取所述包含所述目标层级的知识点的多知识点题库题目，生成新试卷；其中，在选取出的所述包含所述目标层级的知识点的多知识点题库题目中，除所述目标层级的知识点以外的其他知识点的层级均不高于所述用户对于其他知识点的当前掌握层级。
128.可选地，第二处理模块包括：编码单元和第二输入单元。
129.编码单元用于对每个所述试卷中所述题目对应的知识点的掌握层级进行一位有效编码，得到多个编码后的向量序列，一个所述编码后的向量序列能够表示每个所述试卷中一个知识点的一个层级是否掌握。
130.第二输入单元用于将多个所述向量序列输入至所述深度知识追踪模型，确定所述用户对于所述知识点的当前掌握层级。
131.本发明实施例提供的确定知识点掌握程度的装置，不同于常规的深度知识追踪模型的使用，避免了该模型只能使用单知识点题目作为数据处理的基础，而不能对具有多知识点的综合题目进行处理的缺陷；本发明实施例先将学生对于试卷中题目的作答数据与试卷中的题目进行处理，得到颗粒度更为细致的学生对于每个试卷中题目所包含的知识点的掌握层级，并将该学生对于每个试卷中题目所包含的知识点的掌握层级作为输入数据输入至深度知识追踪模型中，利用深度知识追踪模型得到该学生在本学期经过多次考试后，最终对于某一知识点的所掌握到的层级，即当前掌握层级。该装置能够处理具有多个知识点的题目，即不改变老师平时的教学习惯，可以根据教学需求选用具有多个知识点的综合题目的试卷，无需为了了解学生所掌握的学习进度而重新编选仅具有单独知识点的题目组成试卷进行考察，减轻了老师的工作负担，且能准确高效的确定学生在某一阶段内对于知识点的掌握程度，即当前掌握程度。
132.此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述确定知识点掌握程度的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
133.具体的，参见图5所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。
134.在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述确定知识点掌握程度的方法实施例的各个过程。
135.收发器1130，用于在处理器1120的控制下接收和发送数据。
136.本发明实施例中，总线架构（用总线1110来代表），总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
137.总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口（accelerate graphical port，agp）、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构（industrystandardarchitecture，isa）总线、微通道体系结构（microchannel architecture，mca）总线、扩展isa（enhancedisa，eisa）总线、视频电子标准协会（video electronicsstandardsassociation，vesa）、外围部件互连（peripheral component interconnect，pci）总线。
138.处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器（central processing unit，cpu）、网络处理器（network processor，np）、数字信号处理器（digitalsignalprocessor，dsp）、专用集成电路（applicationspecificintegratedcircuit，asic）、现场可编程门阵列（field programmablegatearray，fpga）、复杂可编程逻辑器件（complex programmable logic device，cpld)、可编程逻辑阵列（programmable logic array，pla）、微控制单元（microcontroller unit，mcu）或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。
139.处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器（random access memory，ram）、闪存（flash memory）、只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
140.总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。
因此，本发明实施例不再对其进行进一步描述。
141.收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
142.应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络（ad hoc network）、内联网（intranet）、外联网（extranet）、虚拟专用网（vpn）、局域网（lan）、无线局域网（wlan）、广域网（wan）、无线广域网（wwan）、城域网（man）、互联网（internet）、公共交换电话网（pstn）、普通老式电话业务网（pots）、蜂窝电话网、无线网络、无线保真（wi-fi）网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信（gsm）系统、码分多址（cdma）系统、全球微波互联接入（wimax）系统、通用分组无线业务（gprs）系统、宽带码分多址（wcdma）系统、长期演进（lte）系统、lte频分双工（fdd）系统、lte时分双工（tdd）系统、先进长期演进（lte-a）系统、通用移动通信（umts）系统、增强移动宽带（enhance mobile broadband，embb）系统、海量机器类通信（massive machine type of communication，mmtc）系统、超可靠低时延通信（ultra reliable low latency communications，urllc）系统等。
143.应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、电可擦除可编程只读存储器（electrically eprom，eeprom）或闪存（flash memory）。
144.易失性存储器包括：随机存取存储器（random access memory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如：静态随机存取存储器（static ram，sram）、动态随机存取存储器（dynamic ram，dram）、同步动态随机存取存储器（synchronous dram，sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，esdram）、同步连接动态随机存取存储器（synchlink dram，sldram）和直接内存总线随机存取存储器（direct rambus ram，drram）。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
145.在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。
146.具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器（media player）、浏览器（browser），用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。
147.此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，
所述计算机程序被处理器执行时实现上述确定知识点掌握程度的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
148.计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存（pram）、静态随机存取存储器（sram）、动态随机存取存储器（dram）、其他类型的随机存取存储器（ram）、只读存储器（rom）、非易失性随机存取存储器（nvram）、电可擦除可编程只读存储器（eeprom）、快闪记忆体或其他内存技术、光盘只读存储器（cd-rom）、数字多功能光盘（dvd）或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置（例如在其上记录有指令的凹槽中的穿孔卡或凸起结构）或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波（例如穿过光纤电缆的光脉冲）或通过导线传输的电信号。
149.在本技术所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。
150.所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。
151.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
152.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（包括：个人计算机、服务器、数据中心或其他网络设备）执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。
153.在本发明实施例的描述中，所属技术领域的技术人员应当知道，本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件（包括固件、驻留软件、微代码等）、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。
154.上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom）、闪存（flash memory）、光纤、光盘只读存储器（cd-rom）、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。
155.上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输，包括：无线、电线、光缆、射频（radio frequency，rf）或者以上任意合适的组合。
156.可以以汇编指令、指令集架构（isa）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，例如：java、smalltalk、c++，还包括常规的过程式程序设计语言，例如：c语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括：局域网（lan）或广域网（wan），可以连接到用户计算机，也可以连接到外部计算机。
157.本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。
158.应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。
159.也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。
160.也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。
161.以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。