一种智能交互方法及智能交互式课桌与流程

本发明涉及虚拟教学技术领域，具体涉及一种智能交互方法及智能交互式课桌。

背景技术：

目前，教育行业已存在多种智能化设备，将智能化设备作为辅助教学的工具能够提高教学效率，比如，利用人体姿势识别评估学生上课效果，利用人脸识别进行课堂考勤等。课桌作为课堂必不可少的辅助设备，也越来越智能化。

相关技术中，在课桌表面嵌入触屏面板，供学生通过触屏或者鼠标进行交互。但实际上，用触屏或者鼠标进行操作和直接使用电脑区别并不大，仅能完成依赖于触屏和鼠标操作的执行动作，课桌的智能化程度低，交互性低，导致学生的学习兴趣和积极性不高。

技术实现要素：

因此，本发明要解决的技术问题在于克服现有技术中的课桌的智能化程度低，交互性低，导致学生的学习兴趣和积极性不高的缺陷，从而提供一种智能交互方法及智能交互式课桌。

根据第一方面，本实施例提供一种智能交互方法，包括：接收目标主体发出的指令信息，所述指令信息包括语音信息和/或手势信息；根据训练好的指令识别模型对所述指令信息进行识别；根据识别结果，对所述指令信息进行响应。

可选地，所述根据识别结果，对所述指令信息进行响应，包括：对所述指令信息中的目标特征信息进行识别；当所述目标特征信息满足指令信息响应条件，则响应所述指令信息。

可选地，所述指令信息中的目标特征信息包括：手势信息中的标识信息。

可选地，所述方法还包括：记录所述目标主体的发出的指令信息；根据所述目标主体的发出的指令信息，对所述目标主体的操作过程进行评价。

根据第二方面，本实施例提供一种智能交互式课桌，包括：课桌主体；图像显示设备，用于显示图像；指令信息获取设备，用于获取语音信息和/或手势信息；控制器，用于执行上述第一方面或第一方面任一实施方式所述的智能交互式方法。

根据第三方面，本实施例提供一种智能交互装置，包括：信息接收模块，用于接收目标主体发出的指令信息，所述指令信息包括语音信息和/或手势信息；识别模块，用于根据训练好的指令识别模型对所述指令信息进行识别；响应模块，用于根据识别结果，对所述指令信息进行响应。

可选地，所述响应模块，包括：目标特征信息识别模块，用于对所述指令信息中的目标特征信息进行识别；响应子模块，用于当所述目标特征信息满足指令信息响应条件，则响应所述指令信息。

可选地，所述装置还包括：记录模块，用于记录所述目标主体的发出的指令信息；评价模块，用于根据所述目标主体的发出的指令信息，对所述目标主体的操作过程进行评价。

根据第四方面，本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的智能交互方法的步骤。

根据第五方面，本实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的智能交互方法的步骤。

本发明技术方案，具有如下优点：

本发明实施例提供的智能交互方法/装置/智能交互式课桌，通过语音信息和/或手势信息实现人与设备之间的智能交互，该交互方法运用到课桌领域，使得学生在面对存在安全隐患的试验时，不再需要进行实际操作，仅需要利用该智能交互方法即可完成，不仅使得学生避免了某些危险试验可能存在的安全隐患，还同时使得课桌的智能化程度以及交互性增强，学生可以通过多种方式进行交互，便于多个学生共同协作完成操作，提高学生的学习兴趣和积极性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中智能交互方法的一个具体示例的流程图；

图2为本发明实施例中智能交互式课桌的一个具体示例图；

图3为本发明实施例中智能交互装置的一个具体示例的原理框图；

图4为本发明实施例中电子设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种智能交互方法，应用于终端或服务器等电子设备中，本申请实施例以终端为例。如图1所示，包括如下步骤：

s101，接收目标主体发出的指令信息，指令信息包括语音信息和/或手势信息。

示例性地，目标主体可以是一个或者多个，目标主体发出的指令信息可以是语音信息、手势信息；也可以是通过操作卡牌，对卡牌进行移动、旋转而发出的指令信息，例如通过移动卡牌，使得与该卡牌相关联的烧杯在终端显示界面进行移动。

接收语音信息的方式可以是设置麦克风，利用麦克风接收目标主体发出的语音信息；接收手势信息的方式可以是设置三维摄像头，采集三维手势信息；接收与指令信息接收者关联的动作信息的方式可以是设置卡牌信息扫描设备，对卡牌信息进行扫描，卡牌信息包括卡牌上的二维码或者条形码信息以及指令信息，二维码信息或条形码信息用于对信息接收者进行关联，比如，一个二维码信息或条形码信息与一个烧杯进行关联，当扫描该卡牌时终端显示界面上显示一个烧杯。

s102，根据训练好的指令识别模型对指令信息进行识别。

示例性地，将接收到的指令信息输入到指令识别模型中，完成对指令信息的识别，比如，接收到的语音信息是“显示一个烧杯”，指令识别模型就能对语音信息进行语义识别；接收到的手势信息是一个空握杯子并倾倒的动作时，指令识别模型可以对手势信息进行手势识别得到倾倒杯子的识别结果。当终端显示界面包含多个目标物，为了保证对手势信息的识别结果的执行准确性，可以进一步根据三维摄像头的多角三维成像参数判断该手势信息对应的目标物，以该目标物为烧杯为例，当终端显示界面包含多个烧杯，通过三维摄像头精确定位该手势信息对应的烧杯，避免对终端显示界面中的其他烧杯造成误操作。

s103，根据识别结果，对指令信息进行响应。

示例性地，根据识别的结果，响应所有指令信息的动作，当语音信息识别出需要一个烧杯时，对应的在终端显示界面上显示出一个烧杯；当手势信息识别出将烧杯进行倾倒时，对应的在终端显示界面上将对应的烧杯进行倾倒操作；当检测到与某一试管相对应的卡牌发生移动、旋转等操作时，对应的在终端显示界面上将该试管进行相应地移动、旋转等操作。

本发明实施例提供的智能交互方法，通过语音信息和/或手势信息实现人与设备之间的智能交互，该交互方法运用到课桌领域，使得学生在面对存在安全隐患的试验时，不再需要进行实际操作，仅需要利用该智能交互方法即可完成，不仅使得学生避免了某些危险试验可能存在的安全隐患，还同时使得课桌的智能化程度以及交互性增强，学生可以通过多种方式进行交互，便于多个学生共同协作完成操作，提高学生的学习兴趣和积极性。

作为本实施例一种可选的实施方式，上述步骤s103，包括：

首先，对指令信息中的目标特征信息进行识别。

示例性地，目标特征信息可以包括预存的音频信息或者手势信息中标识信息，比如，当目标特征信息是音频信息时，在某次进行操作之前，将此次操作的目标主体的声音录入，并提取出音频特征信息。当后续操作过程中，除了对语义特征进行识别以外，还需要对音频特征信息与预存的音频特征信息进行匹配。

当目标特征信息是手势信息时，在某次进行操作之前，可以将进行此次操作的目标主体自定义的手势标识预先进行录入，使得终端根据包含有该手势标识的目标主体发出的手势信息进行响应；或者在终端显示界面中显示出用于触发手势识别功能的手势标识，使得目标主体根据终端显示界面预设的手势标识发出指令信息。如果某个手势是一个空握杯子并倾倒的动作，但该手势上不存在手势标识时，则不对该手势发出的执行信息进行响应。

手势标识可以是系统给出的固定标识，也可以是目标主体自定义的标识，比如，当目标主体想要自定义符号“√”作为触发手势的手势标识时，需要在进行操作之前，将“√”标识进行录入；手势信息为系统给出时，具体情况可以是在进行操作之前，系统在终端显示界面上显示出固定符号“×”为手势标识时，目标主体可以按照要求在手上粘贴或者画上符号“×”。在本实施例中对手势标识不做限定，手势标识的识别可能会受角度的影响，本实施例中还可以采用不同颜色的手套作为手势标识进行区分，本领域技术人员可以根据需要确定。

其次，当目标特征信息满足指令信息响应条件，则响应指令信息。

示例性地，指令信息响应条件可以是目标主体发出的语音信息中的音频信息与预存的音频信息匹配或者目标主体发出的手势信息中包含特定的手势标识信息。当目标特征信息满足指令信息响应条件，则响应指令信息。当该方法运用在课桌领域，并利用执行该方法的智能课桌进行各种实验时，存在多个小组同时实验，此时，本实施例中的方法能够克服错误执行其他小组的指令信息的问题。

本发明实施例提供的智能交互方法，通过对指令信息中的目标特征信息进行识别，并且只执行满足指令信息响应条件的指令信息，使得对指令信息的执行更加具有针对性，能够防止错误执行非目标主体发出的指令信息，提高了智能交互的针对性和准确性。

作为本实施例一种可选的实施方式，该方法还包括：

记录目标主体发出的指令信息，根据目标主体发出的指令信息，对目标主体的操作过程进行评价。

示例性地，目标主体发出的指令信息的记录方式可以是将接收到的指令信息以图像或者音频的方式存储在存储器中，也可以是将语义识别后的指令信息存储在存储器中。根据目标主体发出的指令信息，对对应的目标主体的操作进行评价的方式可以是将存储在存储器中的指令信息数据进行关键操作步骤提取，通过匹配关键操作步骤与标准步骤，判定目标主体的操作是否合规，得到评价结果。得到的评价结果可以以分数的形式展示在终端显示界面上，也可以发送到与课桌主体关联的其他终端设备上，比如教师的移动终端，以供教师对教学情况进行查验。

本实施例提供的智能交互方法，将交互过程中的数据进行存储并且分析，得到评分结果，能够更加智能地对目标主体发出的指令信息进行判断，使用者能够得到及时反馈，有助于学生清楚自身学习情况，同时有助于老师对学生学习情况进行总体了解。

本实施例提供一种智能交互式课桌，如图2所示，包括：

课桌主体201；

图像显示设备202，用于显示图像；

指令信息获取设备203，用于获取语音信息和/或手势信息；

控制器204，用于执行上述任一实施例中的智能交互式方法。

示例性地，课桌主体可以集成有图像显示设备、指令信息获取设备、控制器。其中，指令信息获取设备可以是麦克风、摄像头、卡牌信息扫描设备等，图像显示设备可以是投影设备，也可以是显示终端，图像显示设备用于显示图像，图像中包含有根据指令信息执行相应动作的图像信息，比如，语音信息为“显示一个烧杯”，那么图像显示设备根据该指令信息显示出一个烧杯。控制器执行的智能交互式方法详细参见上述实施例部分，此处不再赘述。

本发明实施例提供的智能交互式课桌，通过语音信息和/或手势信息实现人与设备之间的智能交互，该交互方法运用到课桌领域，使得学生在面对存在安全隐患的试验时，不再需要进行实际操作，仅需要利用该智能交互方法即可完成，不仅使得学生避免了某些危险试验可能存在的安全隐患，还同时使得课桌的智能化程度以及交互性增强，学生可以通过多种方式进行交互，便于多个学生共同协作完成操作，提高学生的学习兴趣和积极性。

本实施例提供一种智能交互装置，如图3所示，包括：

信息接收模块301，用于接收目标主体发出的指令信息，所述指令信息包括语音信息和/或手势信息；具体实现方式见本实施例方法步骤s101相关描述，在此不再赘述。

识别模块302，用于根据训练好的指令识别模型对所述指令信息进行识别；具体实现方式见本实施例方法步骤s102相关描述，在此不再赘述。

响应模块303，用于根据识别结果，对所述指令信息进行响应。具体实现方式见本实施例方法步骤s103相关描述，在此不再赘述。

本发明实施例提供的智能交互装置，通过语音信息和/或手势信息实现人与设备之间的智能交互，该交互方法运用到课桌领域，使得学生在面对存在安全隐患的试验时，不再需要进行实际操作，仅需要利用该智能交互方法即可完成，不仅使得学生避免了某些危险试验可能存在的安全隐患，还同时使得课桌的智能化程度以及交互性增强，学生可以通过多种方式进行交互，便于多个学生共同协作完成操作，提高学生的学习兴趣和积极性。

作为本实施例一种可选的实施方式，上述响应模块303，包括：

目标特征信息识别模块，用于对所述指令信息中的目标特征信息进行识别；具体实现方式见本实施例方法相关描述，在此不再赘述。

响应子模块，用于当所述目标特征信息满足指令信息响应条件，则响应所述指令信息。具体实现方式见本实施例方法相关描述，在此不再赘述。

作为本实施例一种可选的实施方式，上述目标特征信息识别模块的指令信息中的目标特征信息包括：手势信息中的标识信息。具体实现方式见本实施例方法相关描述，在此不再赘述。

作为本实施例一种可选的实施方式，上述装置还包括：

记录模块，用于记录目标主体的发出的指令信息；具体实现方式见本实施例方法相关描述，在此不再赘述。

评价模块，用于根据目标主体的发出的指令信息，对目标主体的操作过程进行评价。具体实现方式见本实施例方法相关描述，在此不再赘述。

本申请实施例还提供一种电子设备，如图4所示，处理器410和存储器420，其中处理器410和存储器420可以通过总线或者其他方式连接。

处理器410可以为中央处理器(centralprocessingunit，cpu)。处理器410还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器420作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的智能交互方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。

存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器420可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器420中，当被所述处理器410执行时，执行如图1所示实施例中的智能交互方法。

上述电子设备的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中智能交互方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。