对教育内容效果的量度的制作方法

这里所描述的主题一般地涉及对教育内容进行评估，并且更具体地涉及对移动手持设备的教育软件进行评估。

背景技术：

计算能力的激增以及移动手持设备的发展引入了各种非常规的学习可能性。例如，在诸如平板计算机的移动手持设备上实现的教育内容(例如应用)可以替代课本，并且允许将诸如视频、小测验、虚拟旅游等的交互式内容直接整合到课本中。与常规学习环境相比，交互式内容能够提高在学习过程中的学生参与。

单个移动手持设备能够存储教育内容或者与互联网连接以访问云中的教育内容，使得学习体验延伸到教室之外。此外，教师可以通过移动手持设备向学生指派项目，并且学生可以与移动手持设备进行交互式通信并参与课堂活动。

尽管源自于教育内容的发展的新教育模式是为移动手持设备量身定制的，但是目前的系统缺乏评估系统来度量这样的教育内容的效果。其它教育工作者或用户所提供的推荐可能会有所偏向，并且没有给出对教育内容的效果的可靠客观量度。因此，学校管理者、教师、或者父母很难比对与获得并保持必要的硬件和软件相关联的成本来定量地量度采用新的教育模式的价值。另外，对于学校管理者来说很难从无数这样的可用内容比较并选择要实施的教育内容项。此外，对于应用生成器来说很难注意到在开发有效教育内容的过程中的重要因素。

技术实现要素：

本公开的实施例包括用于评估诸如移动手持设备的用户设备的教育内容项的效果的系统和方法。该系统和方法基于操作用户设备的用户的行为来评估教育内容项的效果。

在一个实施例中，评估教育内容项的效果的方法包括：获得操作用户设备的用户的行为的指示符，该用户的行为的指示符表示用户对用户设备的使用。此外，该方法包括基于该用户的行为的指示符来确定用户的当前教育技能水平。此外，该方法包括确定在该用户未访问该教育内容项的情况下该用户的预期教育技能水平。此外，该方法包括基于该用户的教育技能水平以及该用户的预期教育技能水平来生成对该教育内容项的效果的量度。

在一个实施例中，教育内容评估器系统包括由用户操作以访问教育内容项的用户设备。教育内容评估器系统还包括内容生成器，该内容生成器包括内容生成器接口模块以生成教育内容项。教育内容评估器系统包括行为分析模块以识别用户的教育水平。行为分析模块包括用于获得用户的行为的指示符的行为提取模块。用户的行为的指示符表示用户对用户设备的使用。行为分析模块还包括教育技能水平识别器模块。教育技能水平识别器模块基于用户的行为的指示符来确定用户的教育技能水平。此外，教育内容评估器系统包括应用效果分析模块以用于基于用户的教育技能水平来评估教育内容项的效果。

在本说明内容及随后的具体实施方式中所描述的特征和优点不是无所不包的。许多附加特征和优点鉴于本文所呈现的附图、说明书、以及权利要求书对本领域普通技术人员将显而易见。

附图说明

图1是根据实施例的教育内容评估系统的高级框图。

图2是根据实施例的、适于在图1所示的系统中使用的用户设备的框图。

图3是根据实施例的图1所示的内容控制器的框图。

图4是根据实施例的图1所示的内容生成器的框图。

图5是根据实施例的、图1所示的用户设备、内容控制器、或者内容生成器中的行为分析模块的框图。

图6是根据实施例的、对适于作为图1所示的用户设备、内容控制器、或者内容生成器来使用的计算机的示例进行图示的框图。

图7是根据实施例的、对量度教育内容项的效果的方法进行图示的流程图。

图8是根据实施例的、图示基于用户的当前教育技能水平以及在这些用户未访问教育内容项的情况下他们的预期教育技能水平来评估教育内容项的效果的详细方法的流程图。

附图仅为了图示的目的来对本发明的各个实施例进行描绘。本领域技术人员从以下讨论将容易认识到在不偏离本文所描述的发明的原理的情况下可以采用本文所说明的结构和方法的替选实施例。

具体实施方式

下面描述了支持对移动手持设备的教育内容项的效果进行评估的各个系统、方法、以及计算机可读存储介质的实施例。各个实施例通过在操作用户设备的同时对用户的行为的指示符进行分析来评估教育内容项的效果。将用户的行为的指示符应用于统计归因模型以确定用户的教育技能水平。此外，在一些应用中，教育内容项的效果是基于用户的教育技能水平以及用户在使用用户设备上的教育内容项或其它内容时的表现来评估的。此外，在一些应用中，将教育内容项的效果与其它教育内容项的效果进行比较。

如本文所使用的，用户的行为指代由用户造成的用户设备(例如移动手持设备)的活动或使用。除了与教育内容项无关的活动之外，行为还可以包括与教育内容项有关的活动。例如，与教育内容项有关的活动可以包括在特定课程所花费的时间以及在小测验中的表现，并且与教育内容项无关的活动可以包括访问特定非教育内容所花费的时间量和频率、被频繁使用的应用的类型、或者用户执行诸如读取、键入等任务的速率。

教育内容评估系统

图1是根据一个实施例的教育内容评估系统100的图示。教育内容评估系统100包括与网络101耦合的多个用户设备110a-n(通常被称作用户设备110)。教育内容评估系统100还包括与网络101耦合的内容控制器120、多个内容生成器130a-n(通常被称作内容生成器130)、以及内容服务器140。在其它实施例中，系统100包含不同的或额外的元件。另外，可以以与本文所描述的不同的方式来将功能分布在元件当中。

在各个实施例中，用户设备110可以包括能够访问教育内容项的任何计算设备，诸如个人数字助理(pda)、智能电话、平板个人计算机、台式计算机等。在一个特定实施例中，用户设备110是在谷歌公司所提供的android^tm操作系统上操作的智能电话或平板个人计算机。在另一特定实施例中，用户设备110是由苹果公司所提供的或设备。在一些特定实施例中，用户设备110被编程有提供本文所描述的功能中的一个或多个的用户可下载应用。

在各个实施例中，网络101可以包括但不限于局域网(lan)、广域网(wan)、无线网、内联网、或者互联网。

在一个实施例中，内容生成器130生成教育内容并且将该教育内容上传到一个或多个内容服务器140。用户设备110或内容控制器120接收来自内容服务器140的教育内容。替选地，用户设备110接收来自内容控制器120的教育内容。取决于使用的特定环境，内容控制器120可以准许或控制用户设备110访问教育内容。

用户设备110访问教育内容，并且内容控制器120或内容生成器130监视用户关于教育内容来操作用户设备110的进度或表现。在一个实施例中，内容控制器120或内容生成器130监视用户设备110的活动，并且对用户设备110的用户的行为进行分析。例如，内容控制器120或内容生成器130可以存储指示已完成任务的数目或者被正确回答的问题的数目的用户行为数据。此外，内容控制器120或内容生成器130可以基于该用户行为数据来分析教育内容的效果。

在这里所讨论的系统收集与用户有关的个人信息或者可以利用个人信息的情形下，可以向操作用户设备110的用户提供机会来控制程序或特征是否收集用户信息(例如与用户的社交网络、社交动作或活动、职业、用户的偏好、或者用户的当前位置有关的信息)或者控制是否或如何接收来自内容服务器的可能与用户更为相关的内容。另外，可以在存储或使用某些数据之前以一个或多个方式对其进行处理，使得个人可识别信息被去除。例如，可以处理用户的身份使得无法确定用户的个人可识别信息，或者可以在获得位置信息的情况下使用户的地理位置一般化(诸如到城市、邮政编码、或者州层级)，使得无法确定用户的具体位置。因此，用户可以控制收集与用户有关以及由内容服务器使用的信息的方式。

在一个实施例中，内容服务器140存储教育内容、用户设备110的用户的进度和表现记录、以及指示教育内容的效果的效果数据。如果需要，则内容控制器120可以管理用户设备110对教育内容的访问。在其它实施例中，用户设备110或内容控制器120自身存储教育内容、用户设备110的用户的表现记录、以及效果数据。

图2是根据实施例的用户设备110的框图。用户设备110由用户(例如学生)操作。所图示的用户设备110包括用户设备接口模块210、用户设备网络模块220、以及用户设备存储250。在其它实施例中，用户设备110包含不同的元件或额外的元件。另外，可以以与本文所描述的不同的方式来将功能分布在元件当中。例如，用户设备110可以包括本文参照图5所详细描述的行为分析模块430。用户设备110也可以包括本文参照图3所描述的应用效果分析模块330。

用户设备接口模块210使得用户能够访问用户设备110上的教育内容。用户设备接口模块210提供教育内容向用户的显示。另外，用户设备接口模块210提供了用户控制以使得用户能够输入命令来访问教育内容交互以及与其交互。教育内容可以包括不限于文本、音频、视频、以及交互内容。交互内容可以包括游戏、小测验、现场讨论、或者需要用户输入的群组项目。例如，用户可以在美国历史课上在平板电脑上阅读电子书的章节，并且被给予选项来播放与费城(philadelphia)的国会大厅(congresshall)有关的视频。

用户设备接口模块210还使得用户能够访问非教育内容。例如，用户可以通过用户设备接口模块210浏览互联网、检查电子邮件、看电影、读小说、或者玩游戏。另外，用户设备接口模块210可以提供用于查看各个教育内容项的效果分值的界面，例如下面参照图3所描述的由应用效果分析模块330所生成的那些界面。教育内容项的效果分值表示对教育内容项的效果的定量表示。

用户设备110的用户设备网络模块220使得用户设备110能够与网络101连接，并且管理用户设备110与内容控制器120、内容生成器130、或者内容服务器140之间的通信。在一个实施例中，用户设备110的用户设备网络模块220接收来自内容控制器120的指令或命令。在得到内容控制器120许可的情况下(如果需要)，用户设备110的用户设备网络模块220从内容服务器140或内容控制器120检索教育内容。在一个实施例中，经用户设备110的用户或用户的监护人同意(如果需要)，用户设备网络模块220将用户信息传送至内容控制器120、内容生成器130、或者内容服务器140。另外，用户设备110可以通过用户设备网络模块220与内容控制器120或另一用户设备110进行通信以促进群组工作——诸如共享对交互式内容的响应、参与群组讨论等。

在一个实施例中，用户设备110将用户信息存储在用户设备存储250中。用户信息可以包括但不限于在教育内容上的进度和表现、用户简档、以及用户行为记录。用户简档可以包括年龄、性别、课程水平(classlevel)、以及用户的教育技能水平(例如阅读水平、对几何的精通程度、或者精通外语的状况)。另外，如果需要则在得到内容控制器120许可的情况下，用户设备110可以将教育内容连同相应的进度数据一起存储在用户设备存储250中。

用户设备存储250包括诸如硬盘驱动器、闪速存储器等的一个或多个非暂时性计算机可读存储介质。用户设备存储250被配置为存储与用户设备110的其它模块的操作有关的数据。

图3是根据实施例的、适于在教育内容评估系统100中使用的内容控制器120的框图。当系统100在操作中时内容控制器120可以由教师使用或者可以由教育内容服务提供者操作。所图示的内容控制器120包括内容控制器接口模块310、内容控制器网络模块320、应用效果分析模块330、以及内容控制器存储350。在其它实施例中，内容控制器120包含不同的元件或额外的元件。另外，可以以与本文所描述的不同的方式来将功能分布在元件当中。例如，内容控制器120可以包括本文参照图5所详细描述的行为分析模块430。另外，归于应用效果分析模块330的功能中的一些或全部可以由用户设备110或内容生成器130提供。

在一些实施例中，内容控制器120与用户设备110相似。因此，内容控制器网络模块320和内容控制器存储350可以分别与用户设备110中的用户设备网络模块220和用户设备存储250相似。

在各个实施例中，内容控制器120与用户设备110的一个差别之处在于包括内容控制器接口模块310。内容控制器接口模块310使得内容控制器120能够控制用户设备110对资源的访问。内容控制器120可以限制用户设备110对某些教育内容或非教育内容的访问。例如，使用内容控制器接口模块310，教师可以限制操作用户设备110a-n的学生对关于与在课程计划中所包括的群组任务有关的教育内容的访问。另外，内容控制器接口模块310使得内容控制器120能够对多个用户设备110a-n、内容控制器120、以及内容服务器140间的通信进行监视和控制。内容控制器120可以经由内容控制器接口模块310来监视操作用户设备110a-n的学生在教育内容中的进度和表现。内容控制器120也可以经由内容控制器接口模块310来查看用户(例如学生)的行为、教育技能水平、预期的成就值、以及代表性行为的指示符。在一个实施例中，内容控制器120和用户设备110是在相同或相似的系统中实现的。给定用户设备110可以采用内容控制器接口模块310并且在需要的时候(例如基于课程教师所登录的设备)作为内容控制器120进行操作。

在一个实施例中，内容控制器120的应用效果分析模块330基于用户的教育技能水平(无论是预测的还是预定的)以及用户在使用教育内容项时的表现来确定对正被使用的教育内容项的效果的量度。应用效果分析模块330基于用户的教育技能水平来对对应用户设备110a-n的用户在使用教育内容项时的表现与预期成就值进行比较。

在各个实施例中，应用效果分析模块330基于对用户的表现与预期成就值的比较来生成教育内容项的效果分值。在一个这样的实施例中，应用效果分析模块330确定预期成就值与每个用户的表现之间的差并且将平均差与线性标度进行比较以生成教育内容项的效果分值。在另一这样的实施例中，应用效果分析模块330通过将高斯曲线拟合至用户的表现来执行统计分析以生成教育内容项的效果分值。此外，应用效果分析模块330可以对教育内容项的效果分值与其它教育内容项的效果分值进行比较以确定教育内容项的相对效果。

图4是根据实施例的内容生成器130的框图。内容生成器130由教育内容开发者使用。在所图示的实施例中，内容生成器130包括内容生成器接口模块410、内容生成器网络模块420、行为分析模块430、以及内容生成器存储450。在其它实施例中，内容生成器130包含不同的元件或额外的元件。另外，可以以与本文所描述的不同的方式来将功能分布在元件当中。例如，内容生成器130可以包括上文参照图3所详细描述的应用效果分析模块330。另外，归于行为分析模块430的功能中的一些或全部可以由用户设备110或内容控制器120提供。

在一些实施例中，内容生成器130与内容控制器120相似。因此，内容生成器网络模块420和内容生成器存储450可以分别与内容控制器120中的内容控制器网络模块320和内容控制器存储350相似。

在各个实施例中，内容生成器130与内容控制器120之间的一个差别在于包括内容生成器接口模块410。内容生成器接口模块410包括用于开发教育内容的应用编程接口(api)。另外，在得到用户设备110和内容控制器120许可的情况下，内容生成器接口模块410使得内容生成器130能够监视学生在使用教育内容时的进度和表现。内容生成器接口模块410可以使得内容生成器130能够跟踪用户(例如学生)的行为、教育技能水平、预期成就值、以及代表性行为的指示符。因此，内容生成器接口模块410可以使得应用开发者能够基于表明特定内容特别有效(例如通过在其它应用中提供相似内容)还是无效的(例如通过替换该无效内容)的用户行为的指示符来开发或更新教育内容项。

内容生成器130的行为数据收集器模块430基于用户设备110的用户的行为来识别用户的当前教育技能水平。在一个实施例中，在经用户设备110的用户或者用户的监护人(如果需要)同意的情况下，行为分析模块430检查用户设备110的使用，并且获得表示对用户设备110的使用的用户行为的指示符。例如，用户行为的指示符可以是每天阅读新闻文章所花费的时间长度以及新闻文章的对应阅读水平。作为其它示例，用户行为的指示符可以是解决线性代数问题所花费的时间长度以及对该问题的难度的对应指示的指示、听古典音乐的长度和频率等。在一个实施例中，如下文参照图5所描述的，行为分析模块430通过将统计归因模型应用于用户行为的一个或多个指示符来预测用户的教育技能水平。观察到的不同行为可以与得出用户的所预测教育水平的不同确定度相关联。在另一实施例中，从网络101(例如从内容服务器140或用户设备存储250)检索用户的预定教育技能水平，诸如通过先前的测试、考试、所上的课程等所确定的预定教育技能水平。

图5是根据实施例的、详细图示用户设备110的行为分析模块430的框图。所图示的行为分析模块430包括行为提取模块510、统计归因模型生成器模块520、教育技能水平识别器模块530、以及代表性行为识别器模块540。在其它实施例中，行为分析模块430包含不同的元件或额外的元件。另外，可以省略一些元件或者可以以与本文所描述的不同的方式来将功能分布在元件当中。

行为提取模块510基于在用户设备110上所执行的活动来生成用户行为的指示符。用户行为的指示符表示由用户导致的用户设备110的活动或使用。所述使用可以与教育内容、非教育内容、或者这两者有关。例如，行为的指示符可以包括使用特定应用所花费的时间和频率。作为另一示例，行为的指示符可以包括用户所使用的应用的类型的指示符或者在用户设备110上执行的(教育或非教育)应用的预定阅读水平。在一个实施例中，行为提取模块510对应用中所包括的词语或其它内容进行分析以自动地确定应用的教育水平。

统计归因模型生成器模块520构建统计归因模型。统计归因模型生成器模块520对用户在使用教育内容时的进度和表现、那些用户的行为的指示符、以及(可选地)那些用户的用户简档进行汇总。统计归因模型生成器模块520执行统计分析以生成统计归因模型，该统计归因模型识别行为的指示符与在使用教育内容时的表现间的相关性以及(可选地)用户简档内的特征与某些行为或表现水平之间的相关性。通过使用有监督机器学习技术(例如支持向量机、神经网络等)基于所提取的特征来训练用于预测结果的模型，可以开发统计归因模型。根据统计归因模型，可以确定教育内容的不同问题或部分的效果。

教育技能水平识别器模块530应用统计归因模型来确定各个用户的教育技能水平。具体地，教育技能水平识别器模块530将用户的行为的指示符应用于统计归因模型，其基于所观察的行为与所预测的技能水平之间的相关性来提供对用户的教育技能水平的估计。例如，统计归因模型生成器模块520可以识别具有六年级阅读水平的用户以每七十秒一页的速率来阅读特定书籍，而五年级水平的用户每页需要整整两分钟。因此，如果特定用户以每页七十二秒的速率来阅读该书，则该用户很可能被预测为具有六年级阅读水平。作为对比，一页花费大约100秒的用户可能被预测为以五年级水平在阅读。本领域技术人员将理解，在可观察的行为与用户关于对应技能的水平之间可以识别出许多相关性。

代表性行为识别器模块540执行与教育技能水平识别器模块530的逆过程，并且确定下述用户的行为的一个或多个代表性典型指示符，所述用户行为的一个或多个代表性指示符提供与特定应用内的教育水平或表现有关的可靠预测。代表性行为识别器模块540接收多个用户行为的指示符并且将它们应用于统计归因模型以确定展示出与已知技能水平或表现的强相关性的一个或多个代表性指示符。在一个实施例中，代表性行为识别器模块540选择与用户简档中所存储的已知技能水平具有最高相关性的行为指示符作为代表性指示符。替选地，代表性行为识别器模块540构造代表性指示符集合，所述代表性指示符集合包括具有超过阈值的相关性的行为的指示符。该阈值可以是预定的或者可以由用户(例如希望识别用于在新的应用内监视的行为的应用开发者)来调节的。可以忽略与已知水平具有低相关性的用户行为的指示符，并且因此以高确定度来预测用户的教育技能水平的代表性指示符集合可以被教育技能水平识别器模块530识别并且随后稍后被其应用。

图6是根据路由系统的实施例的、图示用作用户设备110、内容控制器120或者内容服务器140的计算机600的示例的高级框图。所图示的是与芯片组604耦合的至少一个处理器602。芯片组604包括存储器控制器集线器650以及输入/输出(i/o)控制器集线器655。存储器606和图形适配器613与存储器控制器集线器650耦合，并且显示设备618与图形适配器613耦合。存储设备608、键盘610、指示设备614、以及网络适配器616与i/o控制器集线器655耦合。计算机600的其它实施例具有不同的架构。例如，在一些实施例中存储器606与处理器602直接耦合。

存储设备608是非暂时性计算机可读存储介质，诸如硬盘驱动器、压缩盘只读存储器(cd-rom)、dvd、或固态存储器设备。存储器606保持处理器602所使用的指令和数据。指示设备614是鼠标、轨迹球、或者其它类型的指示设备，并且在一些实施例中与键盘610结合来使用以将数据输入到计算机600中。图形适配器613在显示设备618上显示图像及其它信息。在一些实施例中，显示设备618包括能够接收用户输入和选择的触摸屏并且与i/o控制器集线器655连接。网络适配器616将计算机600与网络101耦合。计算机600的一些实施例具有与图6所示的那些实施例不同的组件或其它组件。

计算机600适于执行用于提供本文所描述的功能的计算机程序模块。如本文所使用的，术语“模块”指代被用来提供指定功能的计算机程序指令和其它逻辑。因此，模块能够是以硬件、固件、或者软件来实现的。在一个实施例中，由可执行计算机程序指令形成的程序模块被存储在存储设备608上、被加载到存储器606中、以及由处理器602来执行。

图1的实体所使用的计算机600的类型能够取决于实施例以及实体所使用的处理能力而有所变化。例如，作为pda或手持式移动设备的用户设备110或内容控制器120通常具有有限的处理能力、小的显示设备618、并且可能缺少指示设备614。在一个实施例中，用户设备110能够在需要时充当内容控制器120。作为对比，内容生成器130或内容服务器140可以包括一起工作以提供本文所描述的功能的多个刀片式服务器。替选地，内容控制器120或内容生成器130是个人计算机并且可以与内容服务器140组合。

评估教学内容的方法的示例

图7是根据实施例的、图示评估教育内容项的效果的方法的流程图。从执行该方法的内容控制器120的角度描述了图7的步骤。然而，所述步骤中的一些或全部可以由其它实体或组件来执行。例如，用户设备110或内容生成器130可以执行所公开的方法。另外，一些实施例可以并行地执行步骤、以不同的顺序执行步骤、或者执行不同的步骤。

在所图示的实施例中，内容控制器120获得(701)操作用户设备110的用户行为的指示符。用户行为的指示符表示用户对用户设备110的使用。另外，内容控制器120基于用户行为的指示符来确定(703)用户的教育技能水平。

另外，内容控制器120基于所确定的用户的教育技能水平以及用户的对应的所预期教育水平来评估(707)教育内容项目的效果。在一个实施例中，基于存储在用户的用户简档中的信息(例如年龄、先前的测试成绩等)来从统计预期确定出用户的所预期技能水平。在另一实施例中，通过在使用教育内容项之前监视用户的行为的一个或多个指示符来确定用户的所预期技能水平。在一些实施例中，内容控制器120对教育内容项的效果与其它教育内容项的效果进行比较(709)以确定相对效果。

参照图8，所图示的是根据实施例的对图7的步骤707进行图示的流程图。图8的步骤可以由用户设备110、内容控制器120、或者内容生成器130中所采用的行为分析模块430和应用效果分析模块330来执行。然而，步骤中的一些或全部可以由其它实体或组件来执行。另外，一些实施例可以并行地执行步骤、以不同的顺序执行步骤、或者执行不同的步骤。

在所图示的方法中，行为分析模块430基于多个用户的行为的多个指示符来生成(801)统计归因模块。行为分析模块430将操作用户设备110的用户的行为的多个指示符应用(803)于统计归因模型以便从多个指示符识别(805)用户的行为的一个或多个代表性指示符的集合。另外，应用效果分析模块330基于对应用户的简档数据(例如之前的测试成绩、年龄、先前观察到的行为等等)来针对每个用户生成(807)所预期成就值。此外，应用效果分析模块330基于对所预期成就与所观察到的每个用户的行为的比较来生成(809)教育内容项的效果分值。例如，如果期望学生在没有使用新的教育应用的情况下在一年的时间段中在数学上提高一年级水平，则每个学生的所预期成就可以是高于其先前所确定的水平的一年级水平。能够在使用新的教育应用之后的一年年终将所预期表现与学生的实际表现进行比较以确定该应用在提高学生的数学技能方面有多有效。能够从测试成绩或者对统计归因模型生成器模块520已经识别出与学生在数学上的年级水平相关的行为的分析来确定学生的先前的和实际的表现。在一些实施例中，对于给定目的而需要跟踪的可以仅仅是单个行为指示符，而在其它应用中若干不同的指示符可以被用来可靠地计量表现或者以其他方式跟踪进步。

利用所公开的系统和方法，可以基于用户的行为来推断操作用户设备110的用户的教育技能水平。例如，用户设备110可以跟踪学生的搜索查询。通过对所跟踪的搜索查询执行统计分析，行为分析模块430确定学生能够使用从句并且确定词汇水平处于六年级学生的水平。此外，行为分析模块430可以从教育技能水平识别器模块530对学生理解一篇议论文的能力作出推断。

利用所公开的系统和方法，可以基于用户的行为来识别用户的代表性行为。例如，用户设备110可以将用户的表现记录在数学学习应用中。通过对用户的表现应用统计分析，行为分析模块430识别错误的模式，其中学生在长除法上出错。此外，行为分析模块430可以推断出问题在于对小数位的理解。

有益地，所公开的配置提供了对教育内容的效果的客观量度。因此，学校管理人员、教师、父母、以及监护人能够评定在课堂上实现移动手持设备的价值，并且确定对这样的教育内容的有效使用。此外，教师或学生可以基于学生在与用户设备交互时的行为来监视在使用教育内容时的进度和表现。此外，内容创建者可以观察学生的代表性行为并且相应生成或更新教育内容。本文所公开的配置出于经由移动手持设备来访问的教育内容的场境中。然而，本文所公开的原理能够应用于任何硬件或软件设计，其能够对用户的行为进行分析并且执行统计分析以识别教育成就与对特定教育内容项的使用之间的相关性。

以上描述的一部分就对信息的操作的算法和符号表示方面对实施例进行了描述。这些算法描述和表示通常由数据处理领域技术人员使用来有效地将他们工作的实质传达给领域中其他技术人员。这些操作虽然在功能上、计算上、或者逻辑上被描述，但是应理解这些操作是由处理器、等效电子电路、微代码等所执行的计算机程序来实现的。此外，将这些操作的布置视为模块已被证明有时是便利的而不失一般性。所描述的操作及其相关联的模块可以被包含在软件、固件、硬件、或者其任何组合中。

如本文所使用的，对“一个实施例”或“实施例”的任何引用意指结合该实施例所描述的特定单元、特征、结构、或特性被包括在至少一个实施例中。在该说明书各处中出现的短语“在一个实施例中”并不一定全部指代相同实施例。

如本文所使用的，术语“包括”、“包含”、“具有”、或者其任何其它变型旨在覆盖非排他性包括。例如，包括一系列元件的过程、方法、物品、或者装置不一定仅限于那些元件而是也可以包括未明确列出的或者为这样的过程、方法、物品、或者装置所固有的其它元件。此外，除非明确作出相反说明，“或者”指代同或而非异或。例如，通过以下任何一个可以满足条件a或b：a为真(或存在)且b为假(或不存在)，a为假(或不存在)且b为真(或存在)，a与b均为真(或存在)。

另外，“一个”或“一”的使用被采用来对本文的实施例的元件或组件进行描述。这样做仅为了方便以及给出了本发明的一般性含义。该描述应被理解为包括一个或至少一个并且单数形式也包括复数，除非明确地另有所指。在阅读本公开后，本领域普通技术人员应当理解用于通过本文所公开的原理来评估教育内容的系统和方法的附加替选结构和功能设计。因此，虽然已对特定实施例和应用进行了说明和描述，但是应当理解，所公开的实施例不限于本文所公开的确切构造和组件。在不偏离所附权利要求中所限定的精神和范围的情况下，可以对本文所公开的方法和装置的布置、操作、以及细节作出对本领域技术人员显而易见的各种修改、变化、以及变型。