交互式教育电子玩具系统的制作方法
在一些实施例中，本发明涉及电子教育玩具领域，并且更具体地，涉及一种向用户提供挑战的交互式教育电子玩具系统，其中所述用户可以是儿童或成人。
技术实现要素：
根据本发明的一些教导，提供了一种向用户提供挑战的方法，所述方法包括：
接收要呈现给所述用户的选定挑战的选择，所述选定挑战是从挑战存储库中选择的；
将所述选定挑战提供给投影设备；
根据所述投影设备、投影表面和环境条件中的至少一个的特性，处理所述选定挑战，以形成可投影挑战；
使用所述投影设备，将所述可投影挑战投影到投影表面上；以及
使得用户能够与投影到所述投影表面上的所述可投影挑战进行交互，从而完成所述挑战。
在一些实施例中，所述方法还包括向所述用户提供用户接口用于选择所述选定挑战，并且接收所述选择包括从所述用户接口接收所述选择作为输入。
在一些实施例中，所述挑战存储库包括在功能上与所述投影设备相关联的数据存储元件，并且其中所述用户接口使得所述用户能够从所述数据存储元件中选择所述挑战。
在一些实施例中，所述方法还包括在所述投影设备与附加计算设备之间形成通信链路，其中所述提供用户接口包括在所述附加计算设备的显示器上提供所述用户接口。
在一些实施例中，接收选择包括：在所述附加计算设备处，接收存储在所述附加计算设备的图像存储库中的图像的选择；处理所述图像以形成可用作所述选定挑战的处理过的图像，以及接收所述处理过的图像作为所述选定挑战。
在一些实施例中，接收所述图像的选择包括使用所述附加计算设备的图像捕获元件捕获所述图像。在一些实施例中，处理所述图像包括将至少一个滤波器应用于所述图像。
在一些实施例中，提供所述用户接口包括提供安装在所述投影设备上的至少一个物理按钮。
在一些实施例中，所述挑战存储库是在所述投影设备远程上的，并且其中所述接收选择包括通过远程通信链路从所述远程挑战存储库接收选定挑战。在一些实施例中，接收所述选择包括从远程引导者接收所述选择。
在一些实施例中，所述挑战包括多个挑战步骤，并且提供所述用户接口包括使得所述用户能够在所述多个挑战步骤之间移动。在一些这样的实施例中，投影所述可投影挑战和使得所述用户能够进行交互包括：
(a)将所述多个挑战步骤中的一个投影到所述投影表面上；
(b)使得所述用户能够与所述多个挑战步骤中投影到所述投影表面上的所述一个进行交互以完成所述多个挑战步骤中的所述一个；以及
(c)响应于通过所述用户接口从所述用户接收的输入，将所述多个挑战步骤中的另一个投影到所述投影表面上。
在一些实施例中，所述多个挑战步骤中的所述另一个包括对所述多个挑战步骤中的所述一个而言的后一个挑战步骤。
在一些实施例中，所述多个挑战步骤中的所述另一个包括对所述多个挑战步骤中的所述一个而言的前一个挑战步骤。
在一些实施例中，所述多个挑战步骤中的所述另一个包括所述多个挑战步骤中的所述一个，从而使得所述用户能够重复所述多个挑战步骤中的所述一个。
在一些实施例中，所述方法还包括：在用户与所述可投影挑战的交互之后，捕获对所述挑战的至少一个用户响应。在一些实施例中，捕获至少一个用户响应包括捕获所述投影表面的至少一个图像。在一些实施例中，所述方法还包括通过网络将所述至少一个图像传输到在所述投影设备远程上的位置。
在一些实施例中，所述方法还包括分析所述至少一个用户响应以确定在所述用户交互期间由所述用户提供的对所述挑战的响应是否正确。
在一些实施例中，捕获至少一个图像包括捕获所述投影表面及其附近的至少一个图像，并且其中所述分析所述至少一个图像包括分析所述至少一个图像以确定对所述挑战的所述响应是否以正确的方式提供。
在一些实施例中，所述方法还包括：基于所述分析，提供关于对所述挑战的所述响应或关于响应所述挑战的方式的反馈。在一些实施例中，提供所述反馈包括使用所述投影设备将所述反馈投影到所述投影表面上。在一些实施例中，投影所述反馈包括投影反馈图像。在一些实施例中，投影所述反馈包括投影反馈视频。在一些实施例中，提供所述反馈包括向所述用户提供可听反馈。
在一些实施例中，提供所述反馈包括通过网络将所述反馈传输到远程设备。
在一些实施例中，处理包括以下中的至少一项：
改变所述选定挑战的图像或视频的格式；
将所述选定挑战的所述图像或所述视频缩放到适合于由所述投影设备进行所述投影的大小；
将所述选定挑战的所述图像或所述视频缩放到适合于投影到所述投影表面上的大小；
将所述选定挑战的所述视频分成多个帧；
将至少一个滤波器应用于所述图像；
补偿由所述投影设备的物理限制引起的光学、几何和色彩失真中的至少一项；以及
补偿由所述投影表面的物理限制引起的光学、几何和色彩失真中的至少一项。
在一些实施例中，所述选定挑战还包括音频成分，其中所述投影还包括将所述音频成分提供给所述用户。
在一些实施例中，所述响应还包括音频成分，并且其中所述捕获所述至少一个用户响应还包括捕获由所述用户提供的音频作为所述至少一个用户响应。
根据本发明的附加教导，还提供了一种用于向用户提供挑战的系统，所述系统与至少一个挑战存储库和投影表面相关联，所述系统包括：
至少一个投影设备，所述至少一个投影设备适于将挑战投影到所述投影表面上；以及
控制器，所述控制器包括：
处理器，所述处理器在功能上与所述挑战存储库和所述至少一个投影设备相关联；以及
非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储软件模块，所述软件模块包括要由所述处理器执行的指令，所述非暂时性计算机可读存储介质已经存储有：
接收要由所述投影设备进行投影的选定挑战的选择的指令；以及
挑战准备模块，所述挑战准备模块包括以下指令：根据所述投影设备、投影表面和环境条件中的至少一个的特性来处理所述选定挑战，形成用于由所述至少一个投影设备进行投影的可投影挑战，以及将所述可投影挑战提供给所述投影设备以便对其进行投影；以及
外壳，所述外壳容纳所述至少一个投影设备和所述控制器。
在一些实施例中，所述系统还包括收发器，所述收发器用于实现所述控制器与网络之间的通信。在一些实施例中，所述至少一个挑战存储库包括在所述系统远程上并且通过所述收发器与所述控制器通信的远程挑战存储库。
在一些实施例中，所述至少一个挑战存储库包括形成所述系统的一部分的整体挑战存储库并且容纳在所述外壳内。在一些实施例中，所述外壳包括适于接收包括可移除挑战存储库的计算机存储器的端口，并且所述至少一个挑战存储库包括通过将所述计算机存储器插入到所述端口中而与所述系统相关联的所述可移除挑战存储库。
在一些实施例中，所述系统还包括用户接口，其中所述非暂时性计算机可读存储介质已经进一步存储有用户接口(ui)输入分析模块，所述ui输入分析模块包括用于解释通过所述用户接口提供的输入的指令，并且其中所述接收选择的指令包括从所述用户接口接收所述选定挑选的所述选择的指令，所述选择是由与所述用户接口进行交互的用户提供给所述用户接口的。
在一些实施例中，所述系统还包括附加计算设备，所述附加计算设备通过所述收发器与所述控制器通信，其中所述用户接口包括在所述附加计算设备的显示器上提供的用户接口。
在一些实施例中，所述用户接口包括设置在所述外壳外部上的至少一个物理按钮。
在一些实施例中，所述挑战包括多个挑战步骤；所述用户接口包括至少一个按钮，所述至少一个按钮使得所述用户能够从所述多个挑战步骤中的一个移动到所述多个挑战步骤中的另一个；并且所述ui输入分析模块还包括以下指令：响应于从使得所述用户能够在所述多个挑战步骤之间移动的所述至少一个按钮接收到输入而执行，致使所述投影设备来投影所述多个挑战步骤中的所述另一个。
在一些实施例中，所述至少一个按钮包括`下一步骤_按钮，并且其中当使用所述`下一步骤_按钮时，所述多个挑战步骤中的所述另一个包括对所述多个挑战步骤中的所述一个而言的后一个挑战步骤。在一些实施例中，所述至少一个按钮包括`上一步骤_按钮，并且其中当使用所述`上一步骤_按钮时，所述多个挑战步骤中的所述另一个包括对所述多个挑战步骤中的所述一个而言的前一个挑战步骤。在一些实施例中，所述至少一个按钮包括`重复步骤_按钮，并且其中当使用所述`重复步骤_按钮时，所述多个挑战步骤中的所述另一个包括所述多个挑战步骤中的所述一个。
在一些实施例中，所述系统还包括响应捕获设备，所述响应捕获设备适于捕获对所述挑战的至少一个用户响应。
在一些实施例中，所述非暂时性计算机可读存储介质已经进一步存储有响应分析模块，所述响应分析模块包括以下指令：分析由所述响应捕获设备捕获的对所述挑战的所述至少一个用户响应以确定所述至少一个用户响应是否正确。
在一些实施例中，所述响应捕获设备包括图像捕获设备，所述图像捕获设备适于捕获所述投影表面的至少一个图像，包括在所述投影表面上提供的所述至少一个用户响应。
在一些实施例中，所述响应捕获设备包括图像捕获设备，所述图像捕获设备适于捕获所述投影表面及其附近的至少一个图像，并且其中所述分析指令包括以下指令：分析所述至少一个图像以确定对所述挑战的所述响应是否以正确的方式提供。
在一些实施例中，所述响应捕获设备包括音频捕获设备，所述音频捕获设备适于捕获所述用户对所述挑战的音频响应。
在一些实施例中，所述非暂时性计算机可读存储介质已经进一步存储有反馈模块，所述反馈模块包括以下指令：基于通过执行包括在所述响应分析模块中的所述分析指令进行的分析，来提供关于对所述挑战的所述响应或关于响应所述挑战的方式的反馈。
在一些实施例中，所述反馈模块包括使用所述投影设备将所述反馈投影到所述投影表面上的指令。在一些实施例中，所述投影所述反馈的指令包括投影反馈图像的指令。在一些实施例中，所述投影所述反馈的指令包括投影反馈视频的指令。
在一些实施例中，所述反馈模块包括通过扬声器可听地提供所述反馈的指令。
在一些实施例中，所述反馈模块包括通过网络将所述反馈传输到远程位置的指令。
在一些实施例中，所述挑战准备模块包括以下中的至少一个：
改变所述选定挑战的图像或视频的格式的指令；
将所述选定挑战的所述图像或所述视频缩放到适合于由所述投影设备进行所述投影的大小的指令；
将所述选定挑战的所述图像或所述视频缩放到适合于投影到所述投影表面上的大小的指令；
将所述选定挑战的所述视频分成多个帧的指令；
将至少一个滤波器应用于所述图像的指令；
补偿由所述投影设备的物理限制引起的光学、几何和色彩失真中的至少一项的指令；以及
补偿由所述投影表面的物理限制引起的光学、几何和色彩失真中的至少一项的指令。
在一些实施例中，所述系统还包括至少一个扬声器，其中所述挑战还包括音频成分，并且所述控制器适于通过所述扬声器将所述音频成分提供给所述用户。
在一些实施例中，所述挑战包括以下中的至少一项：
附图说明
本文参照附图描述了本发明的一些实施例。所述描述与附图一起使得本领域普通技术人员明白可以如何实践本发明的一些实施例。附图是出于说明性讨论的目的，并且不试图比对本发明的基本理解所必需的更详细地示出实施例的结构细节。为清楚起见，附图中所描绘的一些对象未按比例绘制。
在附图中：
图1a和图1b是根据本文教导的两个实施例的交互式教育电子玩具系统的实施例的简化框图表示；
图2a、图2b和图2c分别是实现图1a和图1b的框图的系统处于存储取向、转换取向和操作取向的实施例的简化透视图；
图3是图2a至图2c的系统的用户接口区段的简化透视图；并且
图4a和图4b分别是使用图1a和图1b的系统的示例性方法的实施例的流程图。
具体实施方式
在一些实施例中，本发明涉及电子教育儿童玩具领域，并且更具体地，涉及一种使用投影设备来投影挑战供用户响应的交互式教育玩具系统，并且在一些实施例中，涉及一种用于捕获用户对挑战的响应的图像捕获设备。
参考所附描述和附图，可以更好地理解本文教导的原理、使用和实现方式。在仔细阅读本文呈现的描述和附图之后，本领域技术人员无需过度的努力或实验就能够实现本发明。
在详细解释本发明的至少一个实施例之前，应当理解，本发明的应用不限于以下描述中阐述和/或在附图和/或实例中说明的组件和/或方法的构造细节和布置。本发明可以用其他实施例来实现，并且可以以各种方式来实践或执行。还应当理解，本文采用的措辞和术语用于描述目的，而不应当视为限制性的。
本文描述的系统和方法旨在提供一种交互式环境，其中向用户(通常是儿童)示出一个或多个挑战，并且用户响应于所述挑战而提供输入。在一些实施例中，用户可以接收关于响应或提供响应的方法的准确性的反馈。提供给用户的反馈可以涉及实际响应，例如是否使用直线来书写字母a，或者可以涉及给出响应的方法，例如是否从上到下绘制字母a的垂直线、是否从左到右绘制字母a的水平线以及用户是否正确握持书写工具。
挑战可以以逐步的方式提供，以便教导用户执行更复杂的活动。例如，一系列挑战可以教导用户绘制特定对象或书写特定字符，其中所述系列内的每个挑战教导用户添加对象或字符的另一部分。作为响应，预期用户模仿所呈现的图像，以维持呈现图像的正确顺序。在一些实施例中，用户必须执行作为挑战呈现的任务，例如响应算术问题、完成基于文本或图形的图像中的空白、解决填字游戏或其他逻辑谜题、或响应琐事问题。
所述系统被设计成引导用户实现由一个或一系列挑战定义的目标，并允许用户逐步进入更复杂的挑战。
现在参考图1a和图1b，它们是根据本文教导的两个实施例的交互式教育电子玩具系统100的实施例的简化框图表示，并且参考图2a、2b和2c，它们分别是实现图1a和1b的框图的系统处于存储取向、转换取向和操作取向的实施例的简化透视图。
如图1a和图1b中所示，系统100包括至少一个投影仪或投影设备102，其适于将一个或多个挑战或与挑战相关联的图像投影到投影表面104上。系统100还包括存储要呈现给用户的挑战的至少一个挑战存储库106，或者在功能上与所述存储库相关联。
控制器108适于控制系统的操作，并且在功能上与投影设备102和挑战存储库106相关联。控制器可以包括处理器110，或者与所述处理器远程通信，所述处理器可以在功能上与存储软件模块(包括将由处理器110执行的指令)的非暂时性计算机可读存储介质112相关联。电源114适于向控制器投影设备102、控制器108和/或挑战存储库106提供电力。
投影设备102可以是适合于将呈图像和/或视频形式的挑战投影到投影表面上的任何类型的投影设备。例如，投影设备102可以包括lcd(液晶显示器)投影仪、dlp(数字光处理)投影仪、lcos(硅上液晶)投影仪或具有电图像/视频输入、采用背面投影或正面投影的任何其他合适的投影仪。在一些实施例中，投影设备可以包括至少一个聚焦元件116，用于帮助聚焦投影图像，如图2c中清楚地所示。
投影表面104可以是`内置_投影表面，形成系统100的一部分，或者可以是外部投影表面，诸如纸张、桌子、墙壁或另一设备(诸如平板电脑或智能电话)的表面。投影表面104可以是水平的，诸如桌面，可以是垂直的，诸如墙壁，或者可以是任何其他合适的角度，诸如相对于水平面1-179度。投影表面也可以被称为输入/输出(i/o)表面，因为投影设备102可以将投影图像输出到表面上，并且输入可以由用户通过与i/o表面的用户交互来提供，如下文进一步详细解释的。
挑战存储库106可以是用于存储数字数据的任何合适的存储元件，诸如数据库、计算机存储器或缓冲存储器。挑战存储库106对于系统100可以是本地的。例如，挑战存储库106可以是数据存储元件的形式，诸如插入到系统100中的专用插槽113(图2c中示出)中的可移除存储卡或者内置到系统100中的数据库或存储器组件。在一些实施例中，挑战存储库可以是在系统100远程上的。例如，挑战存储库106可以是从系统100远程定位的数据库，并且通过网络与之通信，如下文进一步详细解释的。
在一些实施例中，挑战存储库106适于至少暂时性地存储大量的数据，范围为5mb至500mb。挑战存储库106可以特别用于缓冲控制器108、投影设备102和/或如下所述形成系统的一部分的图像捕获设备之间的数据流动，以便减少等待时间。在挑战存储库106对于系统100是本地的实施例中，它可以使得系统100即使在不与网络或另一远程设备通信时也能够进行操作。挑战存储库106可以是易失性或非易失性存储器，诸如闪速存储器设备，即使在电源被关闭并打开时也保留所存储的数据，从而加速设备启动时间。
电源114可以是任何合适的电源，诸如电池、可再充电电池或用于连接到壁装式插座或其他电源的端口。在一些实施例中，系统100是便携式的，并且被设计成可在不连接到外部电源的情况下操作，或者在距外部电源大于1米的距离处可操作达延长的持续时间，在2-4小时的范围内不间断操作。
外壳118通常容纳投影设备102和控制器108。在一些实施例中，外壳118也可以容纳电源114、挑战存储库106和或投影表面104。
在一些实施例中，外壳118包括基座部分118a和投影仪部分118b。在一些实施例中，基座部分118a和投影仪部分118b可以是彼此分开的。在一些这样的实施例中，系统100具有投影仪部分118b存储在基座部分118a中的合适位置内的存储取向，如图2a和图2b所示，以及投影仪部分118b安装到基座部分118a上的操作取向，如图2c所示。在一些这样的实施例中，系统100在操作取向上的占用空间大于系统在存储取向上的占用空间。
如上文提及的，控制器108包括处理器110或与其远程通信，所述处理器可操作来执行存储在存储介质112中的软件模块中包括的指令。存储介质112包括挑战准备模块120，其是适于准备通过投影设备102投影到投影表面104上的挑战的软件模块。挑战通常包括图像和/或视频，并且这种准备可以包括：
挑战准备模块120也可以采用图像处理算法，以便补偿由投影设备102或投影表面104的物理限制引起的光学、几何和/或色彩失真。然后，控制器108可以将准备好的挑战图像/视频传输到投影设备102，用于投影图像/视频。
应当理解，在一些实施例中，投影设备102可以包括专用处理器(未示出)，并且挑战准备模块120可以作为本地线程在投影设备102的处理器上运行。在一些这样的实施例中，投影设备102将从控制器108接收初始图像/视频作为输入，并且将由在投影设备102的专用处理器上运行的挑战准备模块120准备初始图像/视频以供进行投影。
应当理解，在挑战是可听的或者也是可听的实施例中，挑战准备模块120还可以适于准备与挑战相关联的音频以便在与控制器108相关联的音频扬声器元件上播放，例如通过调节提供挑战的扬声器的音量、音高或话音。在一些实施例中，音频扬声器元件可以形成系统100的一部分，例如形成为投影设备102的一部分。在其他实施例中，音频扬声器元件可以与系统100分开，如下文进一步详细描述的。
现在转向图1b，该图示出系统100包括图1a的系统的所有组件以及附加组件，在一些实施例中，所述附加组件可以形成根据本发明的系统的一部分。
在一些实施例中，所述系统可以包括用户接口130，所述用户接口例如可以设置在外壳118的外表面上，例如如图2c和图3所示。用户接口可以包括任何合适的按钮和/或其他输入或输出元件。例如，在图3所示的实施例中，用户接口可以包括：被适配用于在挑战存储库中的挑战之间进行导航(分别移动到前一个和下一个挑战)的按钮132a和132b；被适配用于在多步骤挑战的步骤之间进行导航的按钮134a和134b，如下文进一步详细描述的；被适配用于返回到挑战存储库中的第一挑战的第一步骤的`主页_按钮136；以及被适配用于重复当前正在完成的挑战的最后一个步骤的`重复_按钮138。在一些实施例中，用户接口130另外包括视觉指示器139，诸如led灯，用于向用户指示处理器何时正在与另一设备通信或者用于向用户提供任何其他指示。在一些实施例中，由视觉指示器139发射的不同颜色的照明或不同闪光模式的光可以指示由系统执行的不同类型的通信或动作。
在一些实施例中，用户接口的一些按钮可以具有多于一种功能。例如，`主页_按钮136可以在短暂按下时如上所述那样起作用，并且在用户较长时间按下时，可以控制投影动画或视频的速度。作为另一个实例，`重复_按钮138可以在短暂按下时重复最近的挑战步骤，并且在按下较长时间的情况下可以打开或关闭挑战的步骤的`自动播放_模式，其中投影仪在投影当前挑战步骤达预定持续时间之后，自动移动到下一个挑战步骤。
在一些实施例中，例如在可以向控制器108提供话音命令的实施例中，用户接口130还可以包括传声器(未示出)或适于从用户捕获话音命令的其他元件。在挑战是可听的或具有与其相关联的音频的一些实施例中，用户接口130还可包括扬声器或用于向用户提供可听输出的其他音频提供元件(未示出)。
在系统100包括如所描述的用户接口130的实施例中，控制器108的存储介质112还包括ui(用户接口)输入分析模块140，所述ui输入分析模块是这样一种软件模块：其适于识别用户通过用户接口130接收的输入(例如，适于识别按下的按钮或通过传声器提供的话音命令)，并且适于控制投影设备102使得其响应于从用户接收的输入而改变投影图像。
在一些实施例中，系统100还可以包括收发器142，其例如通过局域网(lan)、广域网(wan)或通过互联网实现与网络环境的双向通信。双向通信可以是有线通信或无线通信，并且可以使用本领域中已知的任何合适的协议。在此类实施例中，电源114也向收发器142提供电力。
当挑战存储库106在系统100远程上时，收发器142特别有用，使得可以从挑战存储库106中选择挑战并通过收发器142将挑战提供给控制器108。在一些实施例中，收发器142可以用于向控制器108提供输入以便呈现给用户，所述输入是通过收发器从远程位置接收的。例如，提供给用户的挑战可以由远程引导者(诸如教师或其他教育专业人士、治疗师等)以电子方式定义，并且通过收发器142传输到由用户操作的系统100的控制器108。
在一些实施例中，系统100还可以包括至少一个响应捕获设备144，所述响应捕获设备可以在功能上与控制器108相关联并且可以适于捕获投影表面104、投影表面104附近区域和/或与投影表面104交互的用户的一个或多个图像，以便捕获用户对通过投影设备102投影到投影表面104上的挑战的响应。响应捕获设备144将所捕获的图像提供给控制器108。为清楚起见，以下描述涉及单个响应捕获设备144，但是应当理解，可以使用任何合适数量的图像捕获设备。
响应捕获设备144可以是任何合适的图像捕获设备，包括图像传感器、图像信号处理器、二维静止照相机、二维摄像机、三维静止照相机或三维摄像机。响应捕获设备144被布置成将投影表面104的一个或多个图像捕获为编码的数字格式，以便捕获投影表面104的多维空间和/或时间图像。当使用多个响应捕获设备144时，它们可以被布置成从不同角度和/或有利位置捕获投影表面104的图像。
应当理解，在挑战响应(也)是可听的实施例中，响应捕获设备144可以包括一个或多个音频捕获设备，诸如传声器。然而，如上所述，音频捕获设备也可以或者可替代地包括在用户接口130中。
在一些实施例中，响应捕获设备144可相对于投影表面104移动，例如通过安装到可移动臂上。在此类实施例中，除了投影表面104之外，响应捕获设备144也可以捕获系统100内或周围位置的一个或多个图像。
在一些实施例中，由响应捕获设备144捕获的响应可以例如通过收发器142传输到远程位置，例如传输到由用户在确定控制器108的设置时预设定的位置。例如，在挑战被设计成教导儿童如何绘画的实施例中，可以将儿童绘画的图像传输给父母。作为另一个实例，当挑战是书法或拼写挑战时，可以将用户响应的图像提供给分配挑战的教师。
在系统100包括如上文所述的响应捕获设备144的实施例中，控制器108的存储介质112还可以包括响应分析模块146，所述响应分析模块是这样一种软件模块：其适于接收由响应捕获设备144捕获的数据，诸如一个或多个图像或话音响应，并且适于分析所捕获的响应以便确定用户是否正确地响应了挑战。
在响应捕获设备144捕获由用户提供的响应的一个或多个图像的一些实施例中，响应分析模块146可以实现计算机视觉和/或机器学习算法以计算误差函数并确定由用户提供的响应(如由响应捕获设备144作为图像捕获的)与预期输入是否匹配或者是否正确。由响应分析模块146使用的算法可以包括用于二维模式匹配的算法和/或用于对所捕获的一个或多个图像进行三维深度分析的算法。
响应分析模块146也可以采用图像处理算法，以便补偿由响应捕获设备144的物理限制引起的光学、几何和/或色彩失真。在一些实施例中，响应分析模块146可以进一步分析用户提供对挑战的响应的方法，例如绘制挑战线的顺序、绘制挑战线的方向或书写工具的抓握方式，并且可以确定这种方法是否需要纠正。
应当理解，在挑战(也)是可听的实施例中，响应分析模块146还可以使用语音识别算法以及适用于确定由响应捕获设备144或由用户接口130的音频捕获组件捕获的音频输入是否对应于预期输入的其他算法。
在实施例中，控制器108的存储介质112还可以包括反馈模块148，其适于使用由响应分析模块146进行的分析的结果，并且生成用于传输给用户的反馈。反馈可以是例如通过投影设备102在投影表面104上提供的视觉反馈、或通过在功能上与控制器108和/或投影设备102相关联的音频输出系统(例如扬声器，未示出)提供的音频反馈、通过振动引擎(未示出)提供或与控制器108相关联的触觉反馈、或者任何其他合适类型的反馈。
在一些实施例中，反馈模块148可以提供与用户对挑战的响应直接相关的反馈。例如，如果挑战是描绘字母a，则反馈模块可以提供与描绘线的直线度或其正确性有关的反馈。反馈模块148可以另外提供与用户完成挑战的方法有关的反馈，例如涉及解决挑战所采取的步骤、或解决挑战时所应用的物理特性(诸如铅笔或钢笔的抓握方式)。在描绘字母a的实例中，反馈模块可以提供指示是否以正确的顺序和/或以正确的方向描绘字母线的反馈，和/或可以提供与用户在描绘字母时抓握铅笔的方式相关的反馈。
在一些实施例中，控制器108或其一部分可以是附加计算设备150(图2)的一部分，或者可以例如通过收发器142与所述附加计算设备通信。在一些实施例中，附加计算设备150可以是手持或移动计算设备，诸如适当配备的移动电话或平板计算设备，而在其他实施例中，附加计算设备可以是处于固定位置的计算设备，诸如台式计算机。在一些这样的实施例中，可以在附加计算设备150上操作应用，以便增强用户与系统100的交互体验，以及通过充当从控制器108卸载任务的低级工具来减少控制器108或处理器110上的负载。此类任务可以包括数据传输、临时或永久数据存储和操纵、算法计算、联网任务等。附加计算设备150可以以从属容量或主容量运行。在一些实施例中，附加计算设备150可以紧邻系统100放置，或者可以在具体分配的位置处靠在系统100的外壳118上，以形成系统100的虚拟扩展。
在一些实施例中，在附加计算设备150上运行的应用提供第二用户接口，以允许用户从挑战存储库106中选择挑战并在挑战的步骤之间移动。在一些这样的实施例中，应用与控制器108同步，使得在用户接口130上采取的任何动作都反映在应用中，并且反之亦然。
在一些实施例中，附加计算设备150的内置组件可以用于向用户提供挑战或用于接收用户对挑战的响应。例如，在挑战(也)是可听的实施例中，可以通过内置于附加计算设备150中的扬声器系统向用户提供挑战的音频。作为另一个实例，在挑战响应(也)是音频响应的实施例中，可以由附加计算设备150的传声器组件捕获音频响应并例如通过收发器142将其从所述附加计算设备传递到控制器108。
在一些实施例中，可以通过附加计算设备150将由响应捕获设备144捕获的挑战响应和/或由反馈模块148生成的反馈提供给用户，例如作为在附加计算设备的显示器上提供的视觉反馈或作为通过附加计算设备的扬声器提供的音频反馈。
在一些实施例中，系统100还可以包括不活动感测功能，其适于识别系统100何时在预定持续时间内不活动，并且向控制器108提供这种信息以适应其操作，以便在系统100不活动时节省其功耗。在一些这样的实施例中，不活动感测功能可以形成响应捕获设备144的一部分，或者可以是适于分析由响应捕获设备捕获的图像以识别不活动的软件模块。在一些实施例中，不活动感测功能可以是在控制器108上运行并且识别何时在预定持续时间内未对投影图像进行任何改变的软件模块。在其他实施例中，不活动感测功能可以基于从形成系统100的一部分的接近度传感器、运动传感器或音频传感器接收的输入来操作。
在一些实施例中，响应于通过不活动感测功能检测到不活动，控制器108的处理器110和/或系统100中包括的其他处理器可以运行适于节省系统100中的电力的低功率效率电力方案，所述方案可以触发以下动作：诸如与投影设备102相关联的一个或多个光源的调光、通过响应捕获设备144降低图像或音频捕获的频率、关闭非关键模块等。
在一些实施例中，系统100还包括热传感器160，其适于向控制器108提供输入，所述控制器在系统100中的温度水平超过预定阈值时作出反应。然后，控制器108的处理器110可以操作温度控制模块162以便将系统100的操作调节到升高的温度水平，例如通过关闭系统100，或通过向用户通知升高的温度，从而提供安全且稳定的设备操作。例如，可以通过将警告消息投影到投影表面104上、通过在附加计算设备150的显示器上提供视觉警告消息、或者通过经由扬声器(诸如附加计算设备150的扬声器或形成用户接口130的一部分的扬声器)提供可听警告信号来提供用户通知。
应当理解，为了便于理解，本文公开的所有软件模块，包括挑战准备模块120、ui输入分析模块140、响应分析模块146、反馈模块148、温度控制模块162和不活动感测模块，被示出为存储在控制器108的存储介质112中以便由处理器110操作。然而，应当理解，这些模块中的任何一个或多个也可以在控制器108远程的处理器上运行并且通过收发器142与所述处理器通信，例如附加计算设备150的处理器。
现在另外参考图4a和图4b，它们分别是使用图1a和图1b的系统的示例性方法的实施例的流程图。应当理解，虽然下文的描述涉及图1a和图1b所示的系统100的特定元件，但这仅仅是用于增强清晰度的实例，并且任何合适的设备都可以用于实现图4a和图4b的方法。
如图4a所示，在步骤200处，控制器108接收要提供给用户的挑战的选择。所述挑战通常是从挑战存储库106中选择的。
在图1a和图4a的实施例中，挑战存储库可以包括单个挑战，并且挑战的选择是通过将挑战存储库与控制器108相关联来执行的。例如，挑战存储库可以是包括单个挑战的计算机存储驱动器，诸如sd卡、usb驱动器等。因此，通过选择合适的挑战存储库并将其插入到系统100中的合适插槽或端口(诸如插槽113)中以使计算机存储驱动器与控制器108相关联来选择挑战。
在一些实施例中，例如基于用户简档通过控制器108自动选择挑战，所述用户简档包括关于用户的信息，诸如用户的年龄、挑战完成水平、教育/治疗需要以及用户偏好。
挑战可以是图像、视频剪辑或音频指令的形式，并且可以是用户要模仿的挑战(例如，描绘用户将学习书写的字母、描绘用户将学习绘制的图片)或用户要完成的任务(例如，解决算术问题、回答琐事问题或解决谜题)。
在一些实施例中，挑战可以是包括多个挑战步骤的多步骤挑战，以便允许用户以逐步的方式完成挑战。例如，挑战可以通过以下方式教导用户书写字母或绘制对象：将字母/对象分解成单独的线/曲线，并为每条线/曲线或其组提供不同的挑战步骤。
挑战可以是可由系统100提供给用户的任何合适的挑战，如本文所述。在一些实施例中，挑战可以包括以下类型的挑战中的任何一个或多个：
然后例如通过挑战准备模块120准备用于提供给用户的选定挑战。在挑战是或包括图像的一些实施例中，准备包括处理图像以适应要提供挑战的条件，诸如特定投影表面和系统100附近的照明条件。
当使用不包括用户接口的图1a的设备时，并且当挑战包括多于一个挑战步骤时，挑战的准备包括准备要依次提供给用户的挑战步骤。在一些这样的实施例中，挑战准备模块120在显示任何挑战步骤之前准备每个挑战步骤，如步骤202a所示。在其他实施例中，挑战的准备包括准备第一挑战步骤，如步骤202b所示，并且在投影先前挑战步骤期间准备后续挑战步骤，如本文所述。
如果挑战已经完全准备好，例如挑战包括单个步骤或者在步骤202a处所有挑战步骤已经准备好，则在步骤204a处将准备好的挑战提供给用户。这可以通过经由投影设备102将挑战投影到投影表面104上和/或通过经由扬声器向用户提供与挑战相关联的音频来执行。在挑战包括多个挑战步骤的一些实施例中，将步骤依次提供给用户，在提供下一步骤之前提供每个步骤达预定持续时间。
然而，如果挑战的准备仅包括准备第一挑战步骤，则在步骤204b中将这个挑战步骤提供给用户，并且在将所述挑战步骤提供给用户的同时，在步骤206处控制器108评估是否存在要提供给用户的另一挑战步骤，并且如果存在要提供给用户的另一步骤，则在步骤208处，控制器准备用于提供给用户的下一个挑战步骤，如上文所述。当用于向用户提供前一个步骤的预定持续时间已经过去时，现在准备提供给用户的下一个步骤，并且如本文所述在步骤204b处将其提供给用户。
现在转向图4b，在步骤300处，控制器108接收要提供给用户的挑战的选择。所述挑战通常是从挑战存储库106中选择的。
挑战可以是基本上如上文关于图4a所描述的。在一些实施例中，挑战的选择可以是如上文关于图4a所描述的。
在挑战存储库106是在系统100本地并且包括多于一个挑战的一些实施例中，通过ui输入分析模块140将期望挑战的选择从用户接口130提供到控制器108。例如，用户可以将计算机存储驱动器(诸如sd卡或usb驱动器)插入到系统100中的合适插槽(113)中，以便连接特定的挑战存储库，并且然后通过操作用户接口130的按钮从所述挑战存储库或计算机存储驱动器中选择特定的挑战，如上文所述。
在一些实施例中，挑战存储库106是在系统100远程上的，诸如通过收发器142与系统100通信的网络上提供的数据库。在此类实施例中，用户或其引导者(诸如教师、教育专业人员、治疗师、辅助医疗专业人员等)可以操作与网络或数据库相关联的用户接口从挑战存储库中选择挑战，并且可以通过收发器142将所述挑战提供给控制器108。例如，用户可以通过附加计算设备150的浏览器来访问位于互联网上的联网挑战数据库，并且可以选择期望挑战，所述期望挑战将通过收发器142从附加计算设备150传输到控制器108。
在一些实施例中，用户可以使用图像捕获设备(诸如相机)来生成挑战。例如，用户可以使用附加计算设备150的相机来捕获他或她的周围环境的图像。可以处理所捕获的图像以形成轮廓图像或着色页面图像，例如，如2016年3月3日提交的美国专利申请号15/060,038中所公开的，所述专利申请以引用的方式并入本文，如同在本文中完全阐述一样。然后可以将轮廓图像作为要描绘的挑战图像直接提供给控制器108，或者可以将所述轮廓图像放置在挑战存储库106中并从其中进行选择，如上文所述。
在步骤302处，例如通过挑战准备模块120，准备提供给用户的选定挑战(如果所述挑战是单步骤挑战的话)或多步骤挑战的第一挑战步骤。在挑战是或包括图像的一些实施例中，准备包括处理图像以适应要提供挑战的条件，诸如特定投影表面和系统100附近的照明条件。
然后在步骤304处将准备好的挑战或挑战步骤提供给用户。这可以通过经由投影设备102将挑战投影到投影表面104上和/或通过经由扬声器向用户提供与挑战相关联的音频来执行。在挑战包括多个挑战步骤的一些实施例中，将步骤依次提供给用户，在提供下一步骤之前提供每个步骤达预定持续时间。
在一些实施例中，在步骤306处，响应捕获设备144捕获用户对挑战的响应，所述响应可以通过以下方式提供：例如在投影表面104上书写或绘制、向系统100提供音频输入、将一个或多个物理项目放置在投影表面104上或附近、或通过使用如挑战中定义的特定手势或移动。在一些实施例中，在响应捕获设备捕获的一个或多个图像中捕获用户的响应。在一些实施例中，用户的音频响应由形成响应捕获设备的一部分或与响应捕获设备相关联的传声器捕获。
在一些实施例中，在步骤308处，响应分析模块146分析捕获的用户响应，以便确定用户提供的响应是否正确以及其是否以正确的方式提供。例如，如果挑战是书写字母a，则响应分析模块146可以从捕获的输入确定所得的用户书写的字母a是否正确、以及用户书写字母a的顺序是否正确、用户书写字母a的线的方向是否正确、以及在书写的同时用户抓握书写工具的方式是否正确。
在一些实施例中，在步骤310处，反馈模块148使用在步骤308处进行的分析的结果来创建用于提供给用户的反馈。反馈可以是视觉反馈，例如向用户显示在书写时应当如何握持铅笔或者在视频剪辑中向用户显示应当书写字母a的线的顺序/方向，或者可以是音频反馈，例如向用户解释应当从上到下书写字母a并指示用户再次尝试。在步骤312处，例如通过投影设备102和/或与所述投影设备或控制器108相关联的扬声器，将反馈提供给用户。
在一些实施例中，反馈模块还可以向远程设备或位置提供反馈，诸如由父母、教师、治疗师或其他引导者操作的设备。
在步骤314处，控制器108等待通过用户接口130或附加计算设备150的用户接口提供的附加用户指令。在步骤316处，当已经接收到新输入时，ui输入分析模块140确定输入是否是移动到另一挑战步骤的指令。如果输入是移动到另一挑战步骤的指令，则所述方法返回到步骤302，在所述步骤中准备提供给用户的另一挑战步骤。
否则，在步骤318处，ui输入分析模块140确定输入是否是重复步骤的指令。如果输入是重复步骤的指令，则所述方法返回到步骤304并且再次向用户提供相同的步骤。
如果在步骤318处指令不是重复步骤，则在步骤320处，ui输入分析模块140确定输入是否是另一挑战的选择。如果输入是另一挑战的选择，则所述方法返回到步骤302，以准备用于提供给用户的新挑战。
否则，在步骤322处，ui输入分析模块140识别从用户接口提供的输入类型，并且在步骤324处，控制器108相应地作出响应，例如通过打开挑战的自动播放模式或改变显示挑战的速度。
在一些实施例中，如果没有从用户接口接收到输入，则在步骤326处，控制器108确定自从接收到输入以来是否已经过去预定持续时间，并且如果已经过去预定持续时间，则在步骤328处，控制器108可以开始以`自动播放_模式处理和显示挑战，如上文关于图4a所述。可替代地，如果已经过去预定持续时间，则当不活动感测功能已经指示系统不活动时，系统可以根据需要开始操作。
应当理解，尽管本文的描述涉及捕获用户响应、分析用户响应、以及针对每个挑战步骤单独地向用户提供反馈，但是这些动作可以在完成整个挑战之后仅执行一次，仅在一些挑战步骤之后执行，或根本不需要执行。
还应当理解，在挑战以自动播放模式呈现的一些实施例中，系统不等待来自用户接口的输入，并且挑战步骤是依次准备和呈现的，例如如上文关于图4a所述，并且可以在挑战步骤的自动播放提供内分析用户的响应并向用户提供反馈。
应当理解，为清楚起见，在单独实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反，为了简洁，在单个实施例的上下文中描述的本发明的各种特征也可以单独提供或以任何合适的子组合提供或者在本发明的任何其他描述的实施例中适当地提供。在各种实施例的上下文中描述的某些特征不应当被认为是那些实施例的必要特征，除非在没有那些元件的情况下所述实施例不起作用。
应当理解，为清楚起见，在单独实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反，为了简洁，在单个实施例的上下文中描述的本发明的各种特征也可以单独提供或以任何合适的子组合提供。
尽管已经结合本发明的具体实施例描述了本发明，但明显的是，许多替代方案、修改和变化对于本领域技术人员而言是明显的。因此，旨在涵盖落入所附权利要求书的精神和广泛范围内的所有此类替代方案、修改和变化。本说明书中提及的所有公布、专利和专利申请，包括2016年3月3日提交的美国专利申请号15/060,038，均以引用的方式整体并入本说明书中，其程度如同明确地且单独地将每个单独的公布、专利或专利申请以引用的方式并入本文一样。此外，本申请中任何参考文献的引用或标识不应当被解释为承认这种参考文献可用作本发明的现有技术。
- 还没有人留言评论。精彩留言会获得点赞！