一种实现场景交互的方法及系统与流程

本发明属于信息技术领域，具体地，涉及一种实现场景交互的方法及系统。

背景技术：

目前的教学过程中，普遍使用图书、玩具、实物教具等实体教学物品，随着教育信息化的不断推进，电视机(电子显示屏)、电子白板、投影仪、交互一体机等电子设备大量进入课堂，越来越多的教学内容开始以数字化的方式呈现。目前，课堂互动不仅仅是教师与学生的互动，大量的交互式游戏、交互式问答也走进课堂，为学生提供了更加丰富的教学内容。

然而，现有技术中，针对课堂上的人机交互功能还处于较早的起步阶段，目前的现有技术只能基于固定化的场景供学生体验，或基于固定的问答模式与学生进行互动，对于学生而言，其场景单一、体验差，对于开发者而言，其场景开发难度大、若需要更新场景则可能会对教学软硬件大规模的进行升级，其维护成本高，开发周期长。

技术实现要素：

本发明提供了一种实现场景交互的方法及系统，解决了现有技术中固定化的场景交互导致用户体验差、维护成本高的问题，缩短了开发周期，降低了开发成本，提高了用户体验。

为了实现上述目的，本发明提供了一种实现场景交互的方法，包括：

在检测区域内对一个或多个教学道具进行识别，所述教学道具类型包括场景类、角色类及物体类；

基于识别出的不同类别的教学道具建立并显示对应的虚拟场景；

在检测到所述一个或多个教学道具在检测区域内的位置改变后，在相应的虚拟场景中，依据所述一个或多个教学道具的类型，对所述虚拟场景进行对应的调整。

可选地，所述教学道具类型还包括故事类，则所述基于识别出的不同类别的教学道具建立并显示对应的虚拟场景，包括：

识别出所述故事类教学道具的故事信息，基于所述故事信息，将不同类别的教学道具按照所述故事情节在虚拟场景中进行动画和/或声音的播放。

可选地，当所述识别出的教学道具类型为角色类或物体类，且所述教学道具数量为一个时，所述基于识别出的不同类别的教学道具建立并显示对应的虚拟场景，包括：

建立对应的虚拟角色或虚拟物体；

或，当所述教学道具类型为场景类，且所述教学道具数量为一个时，所述基于识别出的不同类别的教学道具建立并显示对应的虚拟场景，包括：

建立与所述场景类教学道具对应的场景。

可选地，当所述教学道具数量为多个，且所述识别出的多个教学道具类型至少包括场景类、以及角色类和/或物体类时，所述基于识别出的不同类别的教学道具建立并显示对应的虚拟场景，包括：

建立与所述场景类教学道具对应的场景，并在所述场景中加载与所述角色类教学道具对应的虚拟角色，和/或在所述场景中加载与所述角色类教学道具对应的虚拟物体。

可选地，在所述基于识别出的不同类别的教学道具建立并显示对应的虚拟场景之后，所述方法还包括：

将所述虚拟角色和/或虚拟物体在所述场景下按照随机的故事情节或预定义的故事情节进行互动。

可选地，所述教学道具类型还包括故事类，且所述识别出的教学道具类型至少包括场景类、故事类以及角色和/或物体类，则所述基于识别出的不同类别的教学道具建立并显示对应的虚拟场景，包括：

在所述场景类对应的场景下，所述虚拟角色和/或所述虚拟物体按照所述故事类对应的故事情节进行互动。

可选地，所述识别出的教学道具类型至少包括角色类或物体类时，所述依据所述一个或多个教学道具的类型，对所述虚拟场景进行对应的调整，包括：

将所述虚拟角色或所述虚拟物体进行按照识别出的移动轨迹进行移动；

当移动到所述虚拟场景下的不同位置时，将所述虚拟角色或虚拟物体做特效处理，和/或，将所述场景下所述虚拟角色或虚拟物体所在的位置区域做特效处理。

可选地，所述识别出的多个教学道具类型至少包括角色类或物体类时，所述依据所述一个或多个教学道具的类型，对所述虚拟场景进行对应的调整，包括：

将所述虚拟角色或所述虚拟物体按照所述识别出的移动轨迹进行移动；

当所述相邻的虚拟角色或所述虚拟物体之间的距离小于预设阈值时，触发所述相邻的虚拟角色或虚拟物体进行情景交互。

可选地，所述在检测区域内对一个或多个教学道具进行识别，包括：

在所述检测区域内采集所述一个或多个教学道具的图像，利用图像识别技术识别出所述教学道具的信息；和/或，

在所述检测区域内感应出所述教学道具的识别码，根据所述识别码识别出所述教学道具的信息。

可选地，所述方法还包括：

对一个或多个功能区进行监测，当接收到所述一个或多个功能区触发信号时，实现与所述一个或多个功能区对应的功能。

本发明实施例还提供一种实现场景交互的系统，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述场景交互的方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述场景交互的方法。

本发明实施例的方法及系统具有下列优点：

本发明实施例中，通过对不同类型的教学道具进行识别，并基于识别出的教学道具，在屏幕上建立并显示虚拟场景，并基于教学道具的移动轨迹，在虚拟场景界面上进行相应的调整。此外，本发明实施例中，不仅能实现单一教学道具识别，建立相对应的虚拟场景、角色或物体，还可以进行组合识别，建立不同场景下不同虚拟角色/虚拟物体之间的交互。此外，本发明实施例中，针对单一教学道具在检测区域内的移动，可在场景的不同位置处对相应的虚拟角色/虚拟物体或其所在的局部区域产生特效，针对多个教学道具的组合移动，根据不同教学道具的距离远近，自动触发不同教学道具之间进行情景交互。缩短了开发周期，降低了开发成本，提高了用户体验，并带来了商业上的成功。

附图说明

图1是本发明实施例中实现场景交互的方法流程图；

图2a是本发明实施例中教学工具边框及教学内容区示意图；

图2b是本发明实施例中教学工具带方向标识的边框及教学内容区示意图；

图2c是本发明实施例中教学工具边框及教学内容区另一示意图；

图3是本发明实施例中检测区域一示意图；

图4是本发明实施例中检测区域识别方法流程图；

图5a是本发明实施例中待处理原图；

图5b是本发明实施例中二值化处理后效果图；

图5c是本发明实施例中轮廓粗筛后效果图；

图5d是本发明实施例中孤立点筛除后效果图；

图5e是本发明实施例中直线拟合后效果图；

图5f是本发明实施例中矫正后效果图；

图6a是本发明实施例中检测区域内检测教学卡示意图；

图6b是本发明实施例中虚拟场景示意图；

图6c是本发明实施例中检测区域内检测教学卡另一示意图；

图6d是本发明实施例中虚拟场景另一示意图；

图7a是本发明实施例中检测区域内检测七巧板示意图；

图7b是本发明实施例中虚拟物体呈现示意图；

图7c是本发明实施例中同时检测教学卡及七巧板示意图；

图8是本发明实施例中s103实现方法流程图；

图9是本发明实施例中功能区示意图；

图10是本发明实施例中功能区一实例图；

图11是本发明实施例中实现场景交互的装置组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为达到以上目的，如图1所示，本发明提供了一种实现场景交互的方法，该方法包括：

s101、在检测区域内对一个或多个教学道具进行识别，所述教学道具类型包括场景类、角色类及物体类；

需要说明的是，本发明实施例的执行主体可以是一个终端，例如具备典型冯诺依曼结构的arm/fpga，或者是主流的移动终端，如手机、pda等，亦或者是具备典型结构的服务器，或由多个分布式服务器组成的云端。本发明实施例对执行主体并无限制。

教学道具可以是具备射频识别码的实物，如内置有射频芯片或传感装置的智能玩具，也可以是具备二维识别码的实物，如印有二维码的桌子、印有二维码的卡片等，还可以是单独的拼音、声调、汉字或数字的教学卡(教学卡材质可以是纸片、塑料片、木质、橡胶或金属片等材质)，也可以是小玩具和小型的实物，例如苹果，小桌子，积木、七巧板等，本发明实施例可以对该小玩具/小型实物的不同颜色，不同形状(例如多边形、圆形、椭圆形、扇形等)进行识别，不仅能精确定位该实物道具在空间哪一个具体位置，还能够给出旋转角度，是否需要摆正等提示性信息，方便与学生的教学互动。教学卡还可以是某些印有拼音、声调、汉字或数字的教具，例如书本、小棍、直尺、三角尺、教尺/教鞭、圆规等常规教具。以教学卡为例，本发明实施例中，教学卡具备一边框，该边框可以呈封闭式(或半封闭式)且具备一定宽度，边框颜色与教学内容区的底色区别明显，例如边框颜色可以是黑色，教学内容区底色可以是白色，或者，边框颜色为白色，教学内容区颜色为黑色(如图2a所示)。边框为多边形，如三角形、矩形、菱形和梯形等，边框也可以为椭圆、正圆形。为了方便说明，本发明实施例以四边形教学卡为例，如图2a所示，该四边形可以为方形或近似方形，如正方形、长方形、圆角矩形等，且边框与教学内容区间隔一定的宽度。四边形教学卡具备边框这一特征具备如下技术效果：可通过图像识别算法快速定位并识别出边框，从而快速识别出边框内的教学区的教学内容。与现有的图像识别技术相比，本发明实施例中先识别边框后识别教学内容的方案，保证了识别教学卡的时间更短，识别准度更高。此外，为方便能从任意角度采集到教学道具中的教学内容，对于一些不同方向看起来有歧义的内容(如6和9，u和n)，教学卡还包括方向标识，所述方向标识位于所述内容区域内，或置于所述边框上。如图2b所示，方向标识可以是较厚的其中一边的边框(即一边厚，其余三边窄)，也可以是一个点，两个矩形边角，一条横线等。如果边框是圆形，则可以在圆形边框的其中一段加入方向标识，例如圆形边框正上方的某一段加粗，或加入一个或多个点，或加入某些不规则图形。方向标识具备如下技术效果：可快速定位到教学内容的方向，从而快速定位并识别教学内容的信息，提高了识别的准确率及速度。图2c是本发明实施例中教学卡的一个组成示例，图2c是一张教学卡，卡内具备一圆角矩形的封闭式边框，边框具备一定的宽度(可分为内边框及外边框)，且边框与教学内容区有一定的间隔。此外，该边框满足底边厚其余三边薄的特征，底边即为该教学卡的方向标识。本发明实施例可快速定位并识别边框，并根据方向标识识别出该教学卡的旋转角度，从而快速识别出边框内教学内容区中的教学内容信息。

检测区域在本发明实施例中，可以是具备一定规则形状的平面区域，如矩形、圆形、三角形、扇形等区域，也可以是不规则形状的平面区域，还可以是三维空间区域(例如整个教室)，本发明实施例对此并无限制。为了方便说明，本发明实施例采用四边形边框作为检测区域为例进行详解。

其中，在检测区域内对一个或多个教学道具进行识别，具体可以为：

如图3所示，检测区域由虚线组成的四边形区域，摄像头可完成的采集该四边形区域。其中，虚线呈长条形，保证在摄像头采集的图像中长度不小于5个像素，宽度不小于3个像素，且长宽比大于1.5：1，小于10：1；点之间的间距足够大，保证摄像头采集中图像中间距不小于3个像素。在具体的识别过程中，教学道具放在该虚线框内进行识别。

该区域检测识别方法流程如图4所示，具体如下：

s1011、图像二值化处理：使用自适应阈值算法将图像转化为黑白二值图像，这样虚线点在二值图像上呈现为独立的黑色区域；原图如图5a所示，二值化后的图像如图5b所示。

s1012、提取黑色区域的轮廓：使用轮廓追随算法对二值图像中的黑色区域进行处理以得到所有黑色区域的轮廓线，并加入到轮廓集合中；

s1013、取出一条轮廓：从轮廓集合中取出并删除一条轮廓线进行分析；

s1014、轮廓粗筛：计算轮廓的长度、所包围区域的面积、重心、周长面积比等参数，并使用特定阈值进行初步筛选，去掉形状明显与虚线点不符的候选；轮廓粗筛后的图像如图5c所示；

s1015、虚线点切向分析：对轮廓进行椭圆拟合，取椭圆的长轴作为切向；

s1016、加入虚线点集合：将通过筛选的轮廓放入虚线点集合中供后续算法分析；

s1017、点集合分析：对通过筛选的虚线点进行后续分析，以确定游戏区域范围；

s1018、虚线点近邻分析：在虚线点集合中查找位置相邻、切方向相似的虚线点。的对轮廓进行椭圆拟合，取椭圆的长轴作为切向；

s1019、孤立点筛除：删除近邻数量小于5的虚线点(因为真实的虚线点周边会有其他同方向的虚线点)；孤立点筛除后的图片如图5d所示；

s1020、霍夫聚类分析：对剩下的点进行霍夫投票分析，得到一系列的聚类；

s1021、聚类筛选：首先去除虚线点数量较少的聚类，然后尝试在剩下的聚类中选取两个水平方向(与水平线夹角小于45度)且虚线点数量最多的聚类，再选取两个竖直方向(与竖起线夹角小于45度)且虚线点数量最多的聚类。如果选取失败(有效聚类数不足)，则不再对本帧图像进行处理；

s1022、直线拟合：分别对选出的水平、竖直方向的聚类进行直线拟合，以确定游戏区域的边界方程；效果如图5e所示。

s1023、计算矫正参数：根据拟合得到的直线方程计算出游戏区域四个角的交点，再使用回归分析算法计算得到游戏区域的矫正参数，这一组参数可对后续图像帧进行矫正。最终效果如图5f所示。

可选地，当教学道具为装载有射频识别的智能玩具时，检测区域还可以是无线感应区域，即当该智能玩具出现在该检测区域时，自动感应并显示出该智能玩具对应的虚拟场景/角色/物体。

此外，当教学道具为具备边框的教学卡时，识别该教学道具的方法具体为：

s1101、图像二值化。使用自适应阈值算法将摄像头采集的图像转换为黑白二值图像，以突显出教学道具的边框。自适应阈值算法的判断依据为：

其中

其中，v为像素的灰度值，n(v)为v附近的像素集合，c是预先设置的的阈值，v’代表领域n(v)里面的像素点。

s1102、对该结果进行二值轮廓提取，对二值图像中的连通区域进行扫描，得到区域的轮廓线条、区域的面积、周长等数据。

s1103、进行轮廓筛选，即对上一步提取的轮廓进行快速几何形态分析，仅保留形似四边形(本发明实施例使用场景包括但不限于四边形，仅以四边形为例进行说明)的轮廓，以减少后续步骤的处理时间。具体而言，首先使用局部平均的方法对轮廓线进行一次平滑，然后使用近邻差分法计算轮廓线上每个点的切向量，最后使用分级聚类方法对所有的切向量坐标进行分析，若形成的显著聚类恰好为4个，则认为该轮廓形似四边形。

s1104、对s1103的处理结果进行四边拆分。基于上一步的聚类分析结果，将4个显著聚类对应的轮廓点坐标提取到4个集合中，对应为四边形4条边的拟合数据。

s1105、对s1104的拟合数据进行最小二乘拟合。上一步生成的四条边的数据可分别进行直线拟合从而得到四条边的方程，本发明中使用最小二乘算法来进行直线拟合，优化目标为：

完成四条边的拟合之后即可确定教学卡的边框在图像中的具体位置。

s1106、对邻近区域图像矫正。由于拍摄角度多种多样，卡片在图像中会产生形变。使用上一步得到的边框可对卡片的形变进行矫正，此时卡片内容还可能有0度、90度、180度、270度这四种不同的朝向。

s1107、对方向标识进行检测。本发明实施例使用机器学习方法对卡片中的方向标识进行检测与识别，通过采集上千张不同朝向的卡片图像，并进行标注(例如，可以进行5个类别，分别是0度、90度、180度、270度、无方向标识)，之后使用深度神经网络进行训练，可得到一个方向标识分类器，可对上一步得到的结果进行方向标识检测与判别。该方案训练得到的分类器对方向标识的识别准确率可达到99.6％以上。

s1108a、按标识旋转图像。对于检测到方向标识的卡片，可按方向标记将卡片转正。转正即将该卡片转至水平位置。

s1108b、获取所有方向图像。对于没有检测到方向标记的卡片，本发明实施例直接生成4个不同方向的图像供后续内容识别算法分析。

s1109、对卡片内容进行识别。本发明使用机器学习方法对卡片内容进行识别，首先在样本数据库中有数百至上千张已定义的卡片，对这些样本提取方向梯度直方图特征(hog)之后，训练svm多类别分类器；若数据库中的样本非常多(超过一千)，也可直接使用深度神经网络进行训练。使用分类器对上一步得到的图像进行判别(若前面没有检测到方向标识，则对4个方向的图像都进行判别，只要其中一个有效即可)，判别之后根据结果再与数据库中的标准样本进行一次比对(验算)，验算通过之后认为成功检测到结果。

s1100、输出识别结果。若上一步成功识别到卡片，则将卡片的类别、位置、方向信息输出。

s102、基于识别出的不同类别的教学道具建立并显示对应的虚拟场景；

根据教学道具的类型及数量的不同，本发明实施例又可以具体分为单一教学道具识别及多个教学道具组合识别。

其中，单一教学道具的识别如下：

当识别出的教学道具类型为角色类或物体类时，建立对应的虚拟角色或虚拟物体并在屏幕上显示；例如，教学道具是小猫、小狗的教学卡，则在屏幕上显示出小猫或小狗的动态图形或动画，可选地，还可以相应地通过扬声器输出小猫/小狗的叫声，和/或播放一段背景音乐等。

当识别出的教学道具类型为场景类，建立与所述场景类教学道具对应的场景。例如，识别出的教学道具是一张写有“小河”的场景教学卡，则在屏幕上显示出小河的背景；再例如，识别出的教学道具是写有“游乐场”的场景教学卡时，则相应地，在屏幕上显示出游乐场的背景。

多个教学道具组合识别的方案如下：

当识别出的教学道具类型包括多个角色类，或多个物体类，或角色类与物体类相组合时，将所述虚拟角色和/或虚拟物体在所述场景下按照随机的故事情节或预定义的故事情节进行互动，或者根据不同的虚拟角色/虚拟物体，输出不同的声音。例如，当虚拟角色为小猫和小狗时，小猫和小狗会根据预定义的故事情节进行追逐打闹，或者进行一段对话，或者播放小猫和/或小狗的叫声或背景音乐声、显示小猫和/或小狗的动画图像等，预定义的故事情节可以是一个触发响应事件，例如，当识别出小猫与小狗时，自动触发并显示该小猫小狗追逐打闹的场景。或者，识别出是小猫及小老鼠时，自动触发猫追老鼠的场景。再或者，识别出是一只猴子和一串香蕉时，自动触发猴子吃香蕉的场景。该预定义的故事情节可以是一段附条件的代码，也可以是一个信号与槽的响应机制，本发明实施例不再展开累述。可选地，本发明实施例还可以随机响应出不同的故事情节，例如上例中，小猫与小狗，第一次识别出后，小猫会与小狗进行追逐打闹，第二次识别出后，小猫与小狗则进行一段对话，对话内容与场景随机展开。随机响应的机制实现方式可以是：随机选取预先存储的各个故事情节，将所述故事情节加载到各个虚拟角色/物体上，例如，小猫按照随机选取的故事情节中预定轨迹进行奔跑，而小狗则按照该随机选取的故事情节跟随该预定轨迹进行追逐，同时可在扬声器中输出紧张的音乐。本发明实施例的其中一个实例如图6a和图6b所示，图6a是检测区域内同时出现场景类的“游乐场”、虚拟角色类的“猫”和“老鼠”的教学卡，图6b是相应在屏幕上显示的内容。如图6a和6b所示，虚拟角色“猫”和“老鼠”以及虚拟场景“游乐场”分别于检测区域内的教学卡对应。可选地，当游乐场中出现猫和老鼠时，会自动/随机出发猫追逐老鼠的动画。

可选地，教学道具类型还包括故事类，故事类教学道具可以是印有故事文字的教学卡，例如“玩耍”，“打闹”，“做游戏”等，当识别出所述故事类教学道具的故事信息，则基于该故事信息，将不同类别的教学道具按照该故事情节在虚拟场景中进行互动。如上例，当识别出小猫与小狗之后，又在检测区域内识别出故事情节为“玩耍”的故事教学卡，则触发该虚拟角色小猫及小狗进行玩耍，若识别出“打闹”的故事教学卡，则虚拟角色小猫及小狗进行打闹。即，上例中，故事情节可自动触发或随机发生，而本例中，故事情节则可固化成教学卡的形式，供学生自由组合使用。

如图7a及图7b所示，本发明实施例可利用七巧板拼接出具体图形，例如七巧板拼接出一个风车式样，则识别后，可在屏幕上显示该风车。另，除了可识别出教学卡，还可以识别出教学卡与该七巧板的组合。具体如图7c所示。

s103、在检测到所述一个或多个教学道具在检测区域内的位置改变后，在相应的虚拟场景中，依据所述一个或多个教学道具的类型，对所述虚拟场景进行对应的调整。

与s102相同，根据教学道具的不同数量及类型，s103可分为：

单一教学道具移动：

当教学道具数量为1个，且教学道具为角色类/物体类时，将对应的虚拟角色/虚拟物体进行按照识别出的移动轨迹进行移动；

当移动到所述虚拟场景下的不同位置时，将所述虚拟角色或虚拟物体做特效处理，和/或，将所述场景下所述虚拟角色或虚拟物体所在的位置区域做特效处理。例如，当识别出的教学道具为小猫时，在屏幕上显示虚拟小猫的形象，而当检测区域内小猫的教学卡进行移动时，例如小猫的教学卡从左移到右，此时虚拟的小猫从屏幕的左边走到/跑到右边，与检测区域内的教学卡移动轨迹保持同步。此时，小猫可做出各种特效，例如小猫会叫唤两声，或打滚，或者小猫周围的区域呈现绚丽的五彩斑斓的特效等。再例如，检测到小猫的教学卡从下往上移动时，在虚拟角色从下往上移动过程中，卡通小猫形象逐渐变小，最后变小成一个小黑点，从视觉呈现来看，该过程类似卡通小猫越走越远的过程。

单一场景下，单一教学道具移动：

图6a是检测区域内的教学道具，图6b是识别后在屏幕上显示的虚拟场景，如图6a及图6b所示，识别出的教学道具是小猫及游乐场，则在屏幕上显示一游乐场，小猫显示在游乐场内，而当在检测区域内小猫的教学卡在移动时，相应地，在屏幕上的虚拟小猫角色也在移动，而当小猫移动到游乐场的长椅处，小猫会跳上该长椅，或者，当小猫移动到滑滑梯附近时，会自动触发播放小猫在滑滑梯上进行玩耍的动画。即，在特定的场景区域下，会自动触发虚拟角色的特效反馈。

多个教学道具移动：

将所述虚拟角色或所述虚拟物体按照所述识别出的移动轨迹进行移动；

当所述相邻的虚拟角色或所述虚拟物体之间的距离小于预设阈值时，触发所述相邻的虚拟角色或虚拟物体进行情景交互。图6c是检测区域内同时检测到场景类的“河里”、“河水”教学卡，以及角色类的“小马”“松鼠”和“老牛”教学卡。图6d则是相应在屏幕上的虚拟场景呈现效果图，如图6c和图6d所示，“小马”跟“松鼠”教学卡相邻，“松鼠”跟“老牛”教学卡相邻，此时若移动“松鼠”的教学卡，使之与“老牛”教学卡的实际距离小于预设阈值，则相应地，屏幕上则呈现出松鼠骑在牛背上。可选地，小马、松鼠和老牛三方之间还可以展开对话，对话内容可以为经典的“小马过河”的故事对话情节。

需要说明的是，当本发明实施例采用摄像头采集图像及进一步的图像分析来s103时，其实现方法可如图8所示，具体如下：

s1031、图像差分分析：将图像均匀切分成多个小方块，在每个小方块内统计图像的梯度方向直方图，并将前后两帧图像对应区域的直方图进行差分比较，将变化量大于设定阈值的区块标记为变动区域。后续只需要分析该变动区域即可。这一步骤可以排除掉一些不需要处理的区域，以降低后续算法的时间开销，提高整个算法的响应速度。

s1032、在变动区域内进行目标检测：应用机器学习算法对变动区域进行扫描并输出有效的检测结果。具体而言，当教学道具为带边框的教学卡时，可使用s1101-s1100所述的算法进行快速检测与识别；对于积木类的物体可使用轮廓形状分析及轮廓匹配算法进行检测识别；对于其他通用物体(例如桌子，苹果等)可使用深度神经网络进行检测识别。深度神经网络识别的算法属于现有技术，本发明实施例在此不再累述。

s1033、前后帧数据关联：因为当前帧检测到的部分物体可能与前一帧的部分物体相同，因此需要进行关联分析。本发明实施例中综合考察前后帧物体的相似度、距离等因素，使用贪心策略进行集合间的匹配。(贪心策略：比如，前一帧中有两个三角形物体，当前帧检测到三个三角形物体，那有可能是用户放上了一个新的三角形，而另外两个没有动。通过计算这些三角形的相对位置关系、颜色相似度等，发现后一帧中有两个三角形与前一帧中的两个三角形位置相近，角度与颜色也基本相同，则认为这两个三角形与前一帧的相同，而另一个是新放置的。)完成匹配之后，当前帧没有建立匹配的物体视为新出现的，而前一帧物体当中没有找到匹配的还需要使用后续跟踪算法尝试建立关系。比如，前一帧中没有检测到“猫”的卡片，当前帧有检测到一张“猫”的卡片，则这张“猫”被视为新出现的。又比如，前一帧中检测到“狗”的卡片，而当前帧没有检测到，则有可能是用户将这张卡拿走了，也可能是用户正在移动这张卡导致画面模糊没有检测出来。为了区分这两种情况，需要使用目标跟踪算法对这张卡片的去向进行分析，如果能够在附近找到相似的模糊物体，则认为是用户正在移动这张卡片，反之则有可能是被用户拿走了。

s1034、目标跟踪算法：采用现有的目标跟踪算法对检测区域内移动的教学卡进行分析，并跟踪定位结果。

s1035、数据融合：将检测结果进行整合，输出上述示例中的显示结果。

需要说明的是，本发明实施例中，待检测图像中还包括功能区，功能区数量可以为1个或多个，可分布在检测区域的四周(如图9所示)，也可以分布在检测区域内，独立于检测区域而存在。功能区的目的是将某一个或多个功能固定化，当检测到用户对该功能区有触摸/点击/滑动等操作时，触发相应的功能。即，对该一个或多个功能区进行监测，当接收到一个或多个功能区触发信号时，实现与所述一个或多个功能区对应的功能。图10是一个典型的功能区示意图。如图10所示，在检测区域的右侧有几个按钮图样的标记(字母a、b，麦克风标记、手掌型标记)，该标记即为功能区，a和b为按钮，可被定义为不同的功能，例如音量加减，明亮加减，点击/撤销等。触摸麦克风标记可实现语音识别等功能，而触摸手掌标记则可实现切换、点击或其他操作。当用户在该功能区触摸/点击/滑动等操作时，或当用户用某些实物对该功能区进行遮挡/触摸等操作时，可触发与不同标记对应的不同操作。其中，四个图像标记可定义在一个功能区里面，也可定义为数量不等的功能区，如一个标记为一个功能区，即四个标记为四个功能区；或者两个标记的组合为一个功能区，其余的每个标记分别为一个功能区等。识别功能区的方法可以为：采用触摸板或使用图像识别。触摸板即在相应功能区内采用具备触摸功能的电子结构，当用户触摸后即可产生响应信号；而图形识别方法为：利用图像识别装置实时监测该功能区，若当前帧图像中的功能区被遮挡，或者当前帧图像与前一帧图像相比，功能区图像变化较大，超出一定阈值，即可认为该功能区被触发，从而产生相应的响应信号，实现相应的功能。此外，为了防止误触发，可在检测到当前帧功能区发生变化时，持续检测后续几帧图像的变化情况，若后续连续多帧功能区没有恢复原状，即可认为用户是有意识地触发功能区，则响应相关的功能操作。

本发明实施例还提供了一种装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时执行上述实现场景交互的方法。

本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实现场景交互的方法。

图11是本发明实施例提供的一种装置结构示意图。该装置1100可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)1110(例如，一个或一个以上处理器)和存储器1120，一个或一个以上存储应用程序1132或数据1134的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1120和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，中央处理器1110可以设置为与存储介质1130通信，在装置1100上执行存储介质1130中的一系列指令操作。装置1100还可以包括一个或一个以上电源1140，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1160，上述方法实施例所执行的步骤可以基于该图11所示的装置结构。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。