基于图像识别和Unity3D技术的智能化教学系统及其操作方法

本发明涉及虚拟仿真教学，特别是涉及一种基于图像识别和unity3d技术的智能化教学系统及其操作方法。

背景技术：

1、unity3d是实时3d互动内容创作和运营平台，该平台提供一整套完善的软件解决方案，可用于创作、运营和变现任何实时互动的2d和3d内容，支持平台包括手机、平板电脑、pc、游戏主机、增强现实和虚拟现实设备。

2、当前，受如现场危险系数高、工程进度适合的现场少等原因，对于检测领域学生操作培训有着高成本、低效率等问题。

3、同时，采用图像识别技术实现对学生答题卡的批阅，完善整个教学系统一体化。

4、因此，本领域亟需一种能够降低成本，提高效率的操作培训教学系统。

技术实现思路

1、本发明的目的是提供一种能够降低成本，提高效率的操作培训教学系统。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于图像识别和unity3d技术搭建的智能化教学系统，包括：

4、现场实训虚拟模拟模块，用于操作人员在不进入现场的情况下，了解现场操作流程，包括但不限于：现场具体环境、设备传感器或探头安装部署位置和检测软件操作步骤；

5、答题卡判阅系统模块，基于opencv图像识别，对操作人员拍摄的答题卡进行识别，提取答题卡内每个单元格内信息，并根据提前录入的答案进行比对判别。

6、一种基于图像识别和unity3d技术的智能化教学系统的操作方法，包括：

7、s1、利用unity3d技术导入加载制作好的现场三维模型；

8、s2、对所述步骤s1所加载的三维模型添加操作交互流程，同时配合unity3d提供的物理引擎，完善操作人员可能进行的操作所产生的一系列后续反应；

9、s3、制作设备软件三维模型；包括传感器接口和部署位置接口，同时软件层面接入设备软件客户端，以提高操作人员交互体验；

10、s4、设计交互流程分值，根据操作人员的操作步骤和行为正确与否进行分值评价，计入成绩档案系统；

11、s5、通过图像识别技术实现对纸质答题卡的判阅，同时根据判阅结果进行分值评价，计入成绩档案。

12、可选的，所述步骤s1中导入加载制作好的现场三维模型的步骤为：

13、s11、调用unity内部ui系统组件ugui，实现对基本ui界面的绘制，包括系统入口和类型选择；

14、s12、调用mesh类函数库，以数组的形式将提前制作好的三维模型转换为所能认识并处理的格式，其中数组内包含三角形、顶点位置、法线和纹理坐标，同时还提供了若干属性和函数用以辅助网格的生成；

15、s13、调用assetbundle函数库，解析unity资源存档文件，其中包含可在运行时由unity加载的特定于平台的非代码资源。

16、可选的，所述步骤s2中对步骤s1所加载的三维模型添加操作交互流程的步骤为：

17、s21、调用animator组件，将动画分配给场景中的模型对象；其中组件用animatorcontroller函数库可以定义需要剪辑的动画，并控制何时以及如何在动画剪辑之间进行混合和过渡，依赖animationclip组件，设置关键帧编辑需要控制的属性值；

18、s22、调用physics.raycast函数库，实现对物理射线的检测，用于模型的鼠标点击事件设置。

19、可选的，所述步骤s3中软件层面接入设备软件客户端的步骤为：

20、s31、调用socket-tcp协议，实现与本地检测软件进行通信。

21、可选的，所述步骤s4中计入成绩档案系统的步骤为：

22、s41、调用unitywebrequest模块化系统，用于构成http请求和处理http响应；unitywebrequest系统的主要目标是让unity游戏与web浏览器后端进行交互；该系统还支持高需求功能，包括分块http请求、流式post/put操作以及对http标头和动词的完全控制。

23、可选的，所述步骤s5中通过图像识别技术实现对纸质答题卡的判阅为：

24、s51、集成ooencv函数库实现对图像的处理操作；

25、s52、对拍摄或扫描的答题卡图像进行二值化处理，得到黑白二值化图；

26、s53、对步骤s52得到的黑白二值化图进行腐蚀膨胀操作，剔除图像噪声以及麻点，同时将由于聚焦不完全导致的不连续线段补充完整；

27、s54、调用直线检测算法，对步骤s53处理过后的图像进行横向、竖向两个方向的直线进行检测，检测出答题卡所有单元格的边框，从而找出所有单元格；

28、s55、通过自定义json数据结构格式，将步骤s45中所找到的所有单元格以每个单元格为一个jsonobject对象进行组装和存储；

29、s56、提前制作标准答案模板，参照步骤s55的json数据结构格式存储；

30、s57、将步骤s55识别得到的json数据结构格式，同步骤s56制作的标准答案模板进行比对，将不满足判断条件的jsonobject标记错误单元格。

31、可选的，所述可能进行的操作包括：正确、错误操作。

32、可选的，所述非代码资源包括模型、纹理、预制件、音频剪辑和整个场景。

33、可选的，所述步骤s52中的对拍摄或扫描的答题卡图像进行二值化处理，得到黑白二值化图具体为：首先对三色rgb原图进行灰度化处理，再通过自适应阈值法对处理后的灰度图进行黑白二值化转换。

34、与现有技术相比，本发明具有以下有益效果：

35、本发明提供了一种基于图像识别和unity3d技术搭建的智能化教学系统及方法，系统包括：现场实训虚拟模拟模块，用于操作人员在不进入现场的情况下，了解现场操作流程，包括但不限于：现场具体环境、设备传感器或探头安装部署位置和检测软件操作步骤；答题卡判阅系统模块，基于opencv图像识别，对操作人员拍摄的答题卡进行识别，提取答题卡内每个单元格内信息，并根据提前录入的答案进行比对判别。本发明采用三维游戏动画的形式，逼真还原现场操作过程，让相关操作人员仅凭一台电脑或平板即可完成现场检测的学习，降低培训成本、现场危险系数的同时提高了培训效率。同时，采用图像识别技术实现对学生答题卡的批阅，完善整个教学系统一体化。

技术特征：

1.一种基于图像识别和unity3d技术的智能化教学系统，其特征在于，包括：

2.一种根据权利要求1所述的基于图像识别和unity3d技术的智能化教学系统的操作方法，其特征在于，包括以下步骤：

3.根据权利要求2所述的操作方法，其特征在于，所述步骤s1中导入加载制作好的现场三维模型的步骤为：

4.根据权利要求2所述的操作方法，其特征在于，所述步骤s2中对步骤s1所加载的三维模型添加操作交互流程的步骤为：

5.根据权利要求2所述的操作方法，其特征在于，所述步骤s3中软件层面接入设备软件客户端的步骤为：

6.根据权利要求2所述的操作方法，其特征在于，所述步骤s4中计入成绩档案系统的步骤为：

7.根据权利要求2所述的操作方法，其特征在于，所述步骤s5中通过图像识别技术实现对纸质答题卡的判阅为：

8.根据权利要求2所述的操作方法，其特征在于，所述可能进行的操作包括：正确、错误操作。

9.根据权利要求3所述操作方法，其特征在于，所述非代码资源包括模型、纹理、预制件、音频剪辑和整个场景。

10.根据权利要求7所述的操作方法，其特征在于，所述步骤s52中的对拍摄或扫描的答题卡图像进行二值化处理，得到黑白二值化图具体为：首先对三色rgb原图进行灰度化处理，再通过自适应阈值法对处理后的灰度图进行黑白二值化转换。

技术总结
本发明提供了一种基于图像识别和Unity3D技术的智能化教学系统及操作方法，属于虚拟仿真教学技术领域，系统包括：现场实训虚拟模拟模块，用于操作人员在不进入现场的情况下，了解现场操作流程，包括但不限于：现场具体环境、设备传感器或探头安装部署位置和检测软件操作步骤；答题卡判阅系统模块，基于OpenCV图像识别，对操作人员拍摄的答题卡进行识别，提取答题卡内每个单元格内信息，并根据提前录入的答案进行比对判别。本发明采用三维游戏动画的形式，逼真还原现场操作过程，让相关操作人员仅凭一台电脑或平板即可完成现场检测的学习，降低培训成本、现场危险系数的同时提高了培训效率。

技术研发人员：郭金英,王亮,胡德贵,刘秀娟,乔晓霞,吴宁远,黄岑,曾颐楠,董戈,刘国民
受保护的技术使用者：四川交通职业技术学院
技术研发日：
技术公布日：2024/5/6