一种融合深度知识追踪的动态感知试题推荐方法及系统

1.本发明属于计算机领域，涉及一种融合深度知识追踪的动态感知试题推荐方法及系统。


背景技术：

2.随着教育信息化的发展，以大规模开放在线课程平台(massive open online course，mooc)和智能辅导系统(intelligent tutoring system，its)为代表的在线学习，由于具有双向交互的便捷性、教学资源的丰富性和教学互动的多样性等特点，越来越受到人们的青睐。然而，由于在线学习的信息系统中试题资源庞大，学生不可能在有限的时间内练习所有试题。因此，如何在海量的试题资源中为学生推荐合适的试题是教育领域智慧信息系统亟待解决的关键问题。而要实现精准的试题推荐，首先需要准确地感知每个学生当前的知识掌握状况，这是智能化推荐的前提。知识追踪技术能通过学生与its中试题的交互来追踪其知识掌握情况，预测学生在未来试题上的表现。显然，这有助于下一步的试题智能推荐，知识追踪越精确，its提供的推荐试题就越能满足学生个性化学习的需要。
3.现有的试题推荐研究大多采用协同过滤的方法或基于认知建模的方法。协同过滤方法主要是根据学生在试题上的答题记录计算学生之间的相似度，从而找到相似的学生，最后通过相似学生试题上的得分对目标学生进行得分预测，进一步根据预测的得分进行试题推荐。该方法结构简单、可解释性强，但是忽略了学生对知识的掌握状态信息，容易给出过简单或者过难的试题，推荐结果往往不够合理。随着心理测量学的快速发展，基于认知建模的方法成为智能教育推荐的新思路。该方法可根据学生当前的答题情况自适应调整推荐试题，及时反馈学生的诊断信息，克服了基于协同过滤模型仅关注相似学生的共性特征，而忽略了学生个体知识掌握情况的缺陷。早期基于认知建模的推荐方法主要采用的是认知诊断模型(cognitive diagnosis model，cdm)。认知诊断主要通过项目反应理论和经典测验理论来从学生练习记录中发现学生的知识状态，从而实现对学生试题地推荐。其旨在对学生多维知识点掌握程度进行建模分析，能够在精准预测学生学习状态的同时保证较好的可解释性，但是当前大多数研究依赖于如logistic之类的交互函数。这些函数仅仅是将学生与试题特征简单的线性结合起来，这可能导致无法充分捕捉学生和试题之间复杂的关系。同时，具体的交互函数设计属于劳动密集型工作，一般对专业知识要求较高。与认知诊断模型不同的是，知识追踪通过建立学生知识状态随时间变化的模型，来判断学生对知识的掌握程度并从学生学习轨迹中挖掘出潜在的学习规律。其利用了包含学生作答试题的时间特征数据，能准确描述学生未来的认知状态，从而对实现精准教学推荐具有重要意义。因此，近年来人们也开始将知识追踪模型应用到教育推荐领域。在推荐系统中，试题中包含的知识点是最重要的属性，不同的学生回答相同知识点的试题可能会有不同的结果。其根本原因是每个学生对相应知识点的掌握程度不同，而知识追踪能准确地评估学生的知识掌握程度，将学生回答试题是否正确的预测作为推荐的主要依据，从而使学生获得更为有效的试题推荐。
4.受深度学习在很多领域出色表现的启发，文献[piech c,bassen j,huang j,et al.deep knowledge tracing[c]//proceedings of the 28th international conference on neural information processing systems.2015:505-513]提出深度知识追踪模型(deep knowledge tracing，dkt)，dkt首次尝试利用rnn和lstm来模拟学生的练习过程以预测其表现，它可以更丰富地表示学生的知识掌握情况，并且在准确率方面得到了极大的提高。文献[su y,liu q,liu q,et al.exercise-enhanced sequential modeling for student performance prediction[c]//proceedings of the 32nd aaai conference on artificial intelligence.2018:2435-2443]提出试题增强递归神经网络(exercise-enhanced recurrent neural network，eernn)，该模型设计了一个双向lstm来对每个题目的文本进行嵌入，然后提出一种基于注意力机制的lstm框架来预测学生的表现。它创新性地利用题干的文本信息来区分试题的个体差异(如难度差异)，提高了模型的性能。但是eernn仅用一个综合的隐藏向量来总结和追踪学生对所有知识的掌握情况，难以明确说明学生对某个知识的掌握程度，而提醒学生跳过已掌握知识点将精力更多投入在不熟悉知识点上是很有必要的。为了追踪学生在多个知识上的掌握情况，文献[zhang j,shi x,king i,et al.dynamic key-value memory networks for knowledge tracing[c]//proceedings of the 26th international conference on world wide web.2017:765-774]提出动态键值记忆网络(dynamic key-value memory networks，dkvmn)，利用试题中包含的潜在知识之间关系，直接输出学生对每个知识的掌握程度，预测学生的表现，其模型预测的有效性将影响下一步的学生试题推荐的准确性。文献[liu q,huang z,yin y,et al.ekt:exercise-aware knowledge tracing for student performance prediction[j].ieee transactions on knowledge and data engineering,2019,33(1):100-115]进一步提出试题感知知识追踪(exercise-aware knowledge tracing，ekt)模型，其在eernn模型的基础上将学生的综合隐藏向量扩展为隐藏向量矩阵，并添加一个记忆网络来量化每个试题在练习过程中对学生知识获取的影响程度。文献[pandey s,karypis g.a self-attentive model for knowledge tracing[c]//proceedings of the 12th international conference on educational data mining.2019:384-389]提出自注意力知识追踪(self-attentive knowledge tracing，sakt)，它是第一个将自注意力机制应用到知识追踪领域的模型，比基于记忆的神经网络更灵活，捕捉序列间的依赖关系更精准。
[0005]
但是当前研究还存在以下缺陷：(1)大多数模型直接利用学生试题交互序列建模学生知识状态，而由于学生外部环境(如教室外噪声)和内部认知(如粗心，心态)的影响，导致潜在的知识状态很难由显性的试题交互序列体现出来，故缺少对具体试题交互序列背后潜在知识掌握情况的建模。(2)在its中，学生可能练习很多试题，掌握多种多样的知识点，领域专家可按照不同辅导策略为学生提供不同知识点顺序的试卷。这可能会导致“知识切换”现象，即学生相邻试题交互中试题包含的知识点可能会非常不同，这使得学生在做题过程中会频繁地从“函数”知识点切换到“集合”知识点再切换到其他知识点，不同的试卷形成不同的答题顺序。由于“知识切换”现象的影响，既导致学生对目标试题的回答可能取决于很久以前的知识点、相邻的知识点或者多个不同位置的知识点；又会放大深度知识追踪容易受知识点相对顺序影响的缺点，即当按照不同顺序回答两种相同的试题时，模型的预测结果可能将不同。因此需要精准地区分相邻试题，并且感知与目标试题最相关的知识状态，
为每个知识点动态地建模演化轨迹。


技术实现要素：

[0006]
有鉴于此，本发明的目的在于提供一种融合深度知识追踪的动态感知试题推荐方法及系统。该发明通过动态感知学生知识水平变化，推断学生的知识状态及演化规律，从而实现个性化的试题推荐。首先，为了准确追踪试题交互序列中知识状态情况，引入辅助损失来设计知识提取层，从而对各个时刻知识提取过程实时监督；接着，针对学生知识多样性的特点，引入多头自注意力机制来设计知识演化层，从而动态感知与目标试题相关的知识演化过程；最后，将学生回答试题是否正确的预测作为推荐的主要依据，建立知识状态随时间演化的模型，从而使学生获得个性化试题推荐。
[0007]
主要由知识提取层和知识演化层组成。其中，知识提取层用于从显式学生试题交互序列中提取潜在的知识掌握情况，知识演化层用于对知识演化过程建模。在知识提取层，由于学生知识掌握情况会直接影响其连续做题的结果，即学生若没掌握某个知识点，则他做该题时会有连续做错的情况出现，反之亦然。为此引入辅助损失函数来为当前时刻的试题交互施加额外的监督，这既为输入数据的知识表示提供了更多的语义信息，得到更好的嵌入向量；又使得gru的隐藏状态有更强的表示能力，能准确地表示学生各个时刻的知识状态。该函数使用下一个试题交互来监督当前隐藏状态的学习，结合gru从而获得相应的知识状态序列。在知识演化层，通过建模与目标题目相关的知识演化轨迹，既能准确地感知与目标题目相关知识的演化过程，削弱“知识切换”现象带来的无关知识影响；又能较好地拟合因部分学生与its交互较少而带来的数据稀疏问题。为此新设计了sagru这种更灵活的顺序学习结构。sagru通过在更新门中引入自注意机制，增强了相关知识对知识演化的影响，引导不同目标试题特定的知识演化过程。
[0008]
为达到上述目的，本发明提供如下技术方案：首先该发明引入辅助损失函数利用下一个试题交互来监督当前隐藏状态的学习。这些额外的监督信息能够捕获知识表示的更多的语义含义，有助于减少学生外部环境和内部认知对知识状态表示的负面影响，使得gru的隐藏状态能有效地表示知识状态；然后，设计了sagru对与目标试题相关的知识演化过程进行建模。sagru能够借助自注意力机制计算知识状态和目标试题的相关性，动态感知相关知识，并减弱由于“知识切换”现象而产生的无关知识影响，保证目标试题演化的顺利进行；最后将预测学生回答错误的试题即学生的薄弱知识点推荐给学生来加强练习，从而提高学生的知识水平。
[0009]
一种融合深度知识追踪的动态感知试题推荐方法，该方法包括知识提取和知识演化；
[0010]
知识提取是从显式学生试题交互序列中提取潜在的知识掌握情况，知识演化是对知识演化过程建模；
[0011]
在知识提取中，引入辅助损失函数来为当前时刻的试题交互施加额外的监督，表示学生各个时刻的知识状态；该辅助损失函数使用下一个试题交互来监督当前隐藏状态的学习，结合门控循环单元gru从而获得相应的知识状态序列；
[0012]
在知识演化中，设计带有自注意更新门的门控循环单元sagru的顺序学习结构；sagru通过在更新门中引入自注意机制，增强相关知识对知识演化的影响，引导不同目标试
题特定的知识演化过程。
[0013]
可选的，所述门控循环单元gru对行为之间的依赖关系进行建模，其中gru的输入是按发生时间排序的学生试题交互数据；gru的公式如下：
[0014]ut
＝σ(w
uvt
+u
uht-1
+bu)
[0015]rt
＝σ(wrv
t
+u
rht-1
+br)
[0016][0017][0018]
其中σ是sigmoid激活函数，是元素乘积，w，u和b是模型的参数，v
t
是gru的输入，表示学生的第t个试题交互，h
t
是第t个隐藏状态；
[0019]
原始的dkt中损失函数l定义为：
[0020][0021]
其中原始损失函数l是学生试题序列t≤t的负对数似然函数，p
t+1
是模型t+1时刻输出的预测概率，a
t+1
表示t+1时刻试题的真实标签；该损失函数通过最小化目标试题预测概率和实际标签之间的标准交叉熵来训练模型；
[0022]
在学生试题交互序列的t时刻，由于目标试题q
t+1
的做题情况是由试题交互序列t时刻的知识状态h
t
决定，在损失函数l中仅用目标试题的二进制成绩标签a
t+1
监督了t时刻的知识状态，而t＜t的知识状态没得到实时的监督；
[0023]
引入辅助损失函数来为原始损失函数中t＜t时刻试题交互序列施加监督，从而有效挖掘学生的潜在知识掌握情况；辅助损失函数将原始的损失函数l分为两部分：t＜t时刻的历史辅助损失函数l
history
和t时刻的目标辅助损失函数l
target
；在t＜t时刻，使用下一时刻的试题交互v
t+1
来监督当前知识状态h
t
；历史辅助损失函数l
history
的公式为：
[0024][0025]
其中历史辅助损失函数l
history
表示t＜t时刻带监督的学生试题序列的负对数似然函数，s表示学生的数量，是sigmoid激活函数，表示学生i的第t个gru隐藏状态，表示学生i回答正确的第t+1个交互的嵌入向量，表示学生i错误回答的第t+1个试题的嵌入向量，g是整个问题集，t时刻的知识状态由目标试题二进制成绩标签a
t+1
监督，目标辅助损失函数l
target
公式为：
[0026][0027]
其中，目标辅助损失函数l
target
表示t时刻带监督的学生试题序列的负对数似然函数；模型中总体的损失函数为：
[0028]
l
global
＝l
target
+α*l
history
[0029]
其中l
global
表示全部时刻的带监督的学生试题序列的负对数似然函数，α是在知识表示和成绩预测之间取得平衡的超参数。
[0030]
可选的，所述学生各个时刻的知识状态是通过多头自注意力来获取的；
[0031]
多头自注意力：用i
′
t
表示知识演化层的输入，其值为知识提取层上相应的知识状态i
′
t
＝h
t
，将h
′
t
表示知识演化层的隐藏状态，用h
′
dk
表示动态知识状态，将目标题目作为查询q，将学生的历史交互序列作为键k和值v；使用下列公式获得查询和键值对：
[0032]
q＝v
target
wq,k＝h
t
wk,v＝h
t
wv[0033]
其中，wq,wk,wv是查询、键和值的线性矩阵，负责将各自的向量线性投影到不同的空间；然后使用注意力权重来确定每个先前的交互与目标试题的相关性，使用标度点积attention(q,k,v)为注意力函数：
[0034][0035]
为共同关注来自不同空间的向量信息，使用不同的线性矩阵对查询、键和值进行线性投射获得多头multihead(q,k,v)：
[0036]
multihead(q,k,v)＝concat(head1,...,headh)wo[0037]
其中每个头为其中每个头为wo是线性矩阵；之后将不同的头向量连接起来，被送入前馈网络中；
[0038]it
＝fnn(concat(head1,...,headh)wo)
[0039]
其中，i
t
表示不同子空间的相关知识信息，fnn(
·
)是前馈网络，wo是线性矩阵；最后将i
t
通过残差连接和层标准化，残差连接用于将较低层特征传播到较高层；如果低层特征对于模型很重要，残差连接将有助于将这些特征传播到执行预测的最终层，使模型更容易利用低层特征的信息；层标准化的作用是标准化跨特征的输入，从而有助于稳定和加速神经网络的训练；
[0040]
由于每个多头自注意力模块的输出是一个包含目标试题相关信息的向量，为在知识演化过程中激活相关的知识状态；设计带有更新门的sagru来将自注意力机制和gru结合，其公式如下：
[0041][0042][0043]
其中是元素乘积，u
′
t
是sagru原始的更新门，是为sagru设计的注意力更新门，h
′
t
，h
′
t-1
，是sagru的隐藏状态。
[0044]
一种融合深度知识追踪的动态感知试题推荐系统，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法。
[0045]
一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现所述的方法。
[0046]
本发明的有益效果在于：首先该发明引入辅助损失函数利用下一个试题交互来监督当前隐藏状态的学习。这些额外的监督信息能够捕获知识表示的更多的语义含义，有助于减少学生外部环境和内部认知对知识状态表示的负面影响，使得gru的隐藏状态能有效地表示知识状态；然后，设计了sagru对与目标试题相关的知识演化过程进行建模。sagru能够借助自注意力机制计算知识状态和目标试题的相关性，动态感知相关知识，并减弱由于“知识切换”现象而产生的无关知识影响，保证目标试题演化的顺利进行；最后将预测学生回答错误的试题即学生的薄弱知识点推荐给学生来加强练习，从而提高学生的知识水平。
[0047]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0048]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0049]
图1为融合深度知识追踪的动态感知试题推荐方法；
[0050]
图2为辅助损失示意图；
[0051]
图3为多头注意力模块示意图；
[0052]
图4为带有注意力更新门的门控循环单元示意图。
具体实施方式
[0053]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0054]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0055]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0056]
如图1所示，一种融合深度知识追踪的动态感知试题推荐方法，包括如下步骤：
[0057]
步骤一：学生试题交互序列嵌入；
[0058]
将学生的试题交互序列数据输入嵌入层，把大规模稀疏特征转换为适合模型输入的低维密集特征，并按时间对学生试题交互排序，将独热编码x
t
转换为嵌入向量v
t
。
[0059]
步骤二：知识提取层从显式学生试题交互序列中提取潜在的知识状态；
[0060]
采用gru对行为之间的依赖关系进行建模，其中gru的输入是按发生时间排序的学生试题交互数据。gru克服了rnn梯度消失的问题，并且比lstm训练速度更快，gru的公式如
下：
[0061]ut
＝σ(w
uvt
+u
uht-1
+bu)
[0062]rt
＝σ(wrv
t
+u
rht-1
+br)
[0063][0064][0065]
其中σ是sigmoid激活函数，是元素乘积，w，u和b是模型的参数，v
t
是gru的输入，表示学生的第t个试题交互，h
t
是第t个隐藏状态。
[0066]
然而由于学生做题时会有粗心等现象的存在，仅捕捉试题交互序列之间依赖关系的隐藏状态并不能有效地表示知识状态，故各个时刻的知识状态都需要实时的监督。原始的dkt中损失函数l定义为：
[0067][0068]
其中原始损失函数l是学生试题序列t≤t的负对数似然函数，p
t+1
是模型t+1时刻输出的预测概率，a
t+1
表示t+1时刻试题的真实标签。该损失函数通过最小化目标试题预测概率和实际标签之间的标准交叉熵来训练模型。特殊地，在学生试题交互序列的t时刻，由于目标试题q
t+1
的做题情况是由试题交互序列t时刻的知识状态h
t
决定，在损失函数l中仅用目标试题的二进制成绩标签a
t+1
监督了t时刻的知识状态，而t＜t的知识状态没得到实时的监督。因此，这里引入辅助损失函数来为原始损失函数中t＜t时刻试题交互序列施加监督，从而有效挖掘学生的潜在知识掌握情况。如图2所示，辅助损失函数将原始的损失函数l分为两部分：t＜t时刻的历史辅助损失函数l
history
和t时刻的目标辅助损失函数l
target
。在t＜t时刻，使用下一时刻的试题交互v
t+1
来监督当前知识状态h
t
。历史辅助损失函数l
history
的公式为：
[0069][0070]
其中历史辅助损失函数l
history
表示t＜t时刻带监督的学生试题序列的负对数似然函数，s表示学生的数量，是sigmoid激活函数，表示学生i的第t个gru隐藏状态，表示学生i回答正确的第t+1个交互的嵌入向量，表示学生i错误回答的第t+1个试题的嵌入向量，g是整个问题集，t时刻的知识状态由目标试题二进制成绩标签a
t+1
监督，目标辅助损失函数l
target
公式为：
[0071][0072]
其中，目标辅助损失函数l
target
表示t时刻带监督的学生试题序列的负对数似然函数。模型中总体的损失函数为：
[0073]
l
global
＝l
target
+α*l
history
[0074]
其中l
global
表示全部时刻的带监督的学生试题序列的负对数似然函数，α是在知识表示和成绩预测之间取得平衡的超参数。
[0075]
步骤三：知识演化层对知识演化过程建模
[0076]
为了针对学生的薄弱知识点推荐试题，需要精确地感知与目标试题相关的动态知识状态h
′
dk
，用动态知识状态来对目标题目做出预测。一方面，在真实世界中，部分学生仅有少量与its交互数据，故面临着模型难以很好拟合稀疏数据的问题。为此，这里引入多头自注意力机制来感知与目标试题相关的动态知识状态。多头自注意力模块如图3所示，其能有效地建模长期和短期之间的依赖性，能够学习不同子空间的相关知识信息，捕获试题序列中试题之间的内在关系，减少试题相对顺序的影响。另一方面，学生知识状态的演化情况将直接决定对目标试题的预测，进而影响到个性化试题推荐的精准性。知识在演化过程中主要表现两个特征。(1)随着学生做题的不断进行，学生的知识状态会随着时间的推移而不断演化。(2)虽然知识之间会相互影响，但是每个知识都是独立的演化过程。通过对知识演化特征的分析，设计sagru将自注意力机制的局部激活能力和gru的顺序学习能力结合，来对知识的演化进行建模。sagru每一步的局部激活都能增强相对知识的作用，削弱“知识切换”现象的影响，有助于模拟目标试题的知识演化过程。
[0077]
在多头自注意力模块中，用i
′
t
表示知识演化层的输入，其值为知识提取层上相应的知识状态i
′
t
＝h
t
，将h
′
t
表示知识演化层的隐藏状态，用h
′
dk
表示动态知识状态，将目标题目作为查询q，将学生的历史交互序列作为键k和值v。使用下列公式获得查询和键值对：
[0078]
q＝v
target
wq,k＝h
t
wk,v＝h
t
wv[0079]
其中，wq,wk,wv是查询、键和值的线性矩阵，负责将各自的向量线性投影到不同的空间。然后使用注意力权重来确定每个先前的交互与目标试题的相关性，使用标度点积attention(q,k,v)为注意力函数：
[0080][0081]
为了共同关注来自不同空间的向量信息，可使用不同的线性矩阵对查询、键和值进行线性投射获得多头multihead(q,k,v)：
[0082]
multihead(q,k,v)＝concat(head1,...,headh)wo[0083]
其中每个头为其中每个头为wo是线性矩阵。之后将不同的头向量连接起来，被送入前馈网络中。
[0084]it
＝fnn(concat(head1,...,headh)wo)
[0085]
其中，i
t
表示不同子空间的相关知识信息，fnn(
·
)是前馈网络，wo是线性矩阵。最后将i
t
通过残差连接和层标准化，残差连接用于将较低层特征传播到较高层。因此，如果低层特征对于模型很重要，残差连接将有助于将这些特征传播到执行预测的最终层，使模型更容易利用低层特征的信息。层标准化的作用是标准化跨特征的输入，从而有助于稳定和加速神经网络的训练。
[0086]
接下来，由于每个多头自注意力模块的输出是一个包含目标试题相关信息的向量，为了在知识演化过程中激活相关的知识状态。这里设计带有更新门的sagru来将自注意力机制和gru结合，如图4所示，其公式如下：
[0087][0088][0089]
其中是元素乘积，u
′
t
是sagru原始的更新门，是为sagru设计的注意力更新门，h′
t
，h
′
t-1
，是sagru的隐藏状态。
[0090]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0091]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0092]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的融合深度知识追踪的动态感知试题推荐方法和技术编程时，本发明还包括计算机本身。
[0093]
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0094]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。