一种协同装填训练教学系统及方法与流程

本发明涉及三维模型仿真、人机交互和数字化分析与处理方法，具体涉及协同装填训练教学辅助系统。

背景技术：

传统的装填训练需要操作员用操作手柄对模型部件实现一系列操作：旋转，平移，伸缩，俯仰等操作，多名操作员协同操作完成任务。这种传统的装填训练缺乏对操作员操作行为客观的分析，对操作过程很难有一种科学的点评，在装填训练过程中教练评价的主观性太强，导致训练没有一套科学的评价方法。同时，操作员无法准确记录在操作过程存在的错误和不规范操作，难以对训练过程中出现的问题进行总结和归纳，极不利于操作员在训练中提升自身，增强自己的作战技能。

技术实现要素：

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种协同装填训练教学辅助系统，该系统为操作员提供了良好的教学辅助平台，同时可以为教练员提供科学的评教标准，方便教学。

本发明是通过下述技术方案来实现的。

一种协同装填训练教学系统，包括：

装填训练车缩比模型，操作员通过操作杆和操作按钮控制装填训练车缩比模型运动，关节传感器将运动变化产生的电信号经传感器信号接收箱发送给服务器；

服务器，用于构建装填车三维仿真模型，将装填训练车缩比模型电信号解析成运动指令，驱使装填训练车三维模型同步运动。

本发明还提供了一种协同装填训练教学方法，包括如下步骤：

s1，根据装填训练车缩比模型运动自由度安装关节传感器，关节传感器生成一组七位字节码数据的电信号发送给服务器；

s2，服务器采用unity3d物理引擎构建高仿真度装填训练车三维模型，模拟装填训练车缩比模型六种自由度；

s3，服务器将关节传感器生成七位字节数据解析成运动指令，通过计算三角函数值、模型平移距离、模型旋转角度，驱使装填训练车三维模型实现和装填训练车相同关节的同步运动；

s4，根据碰撞检测算法，搭建装备模型的碰撞检测包围盒，利用包围盒碰撞原理检测当前运动是否发生碰撞；

s5，服务器保存装填训练车三维模型包括时间、速度、角速度、角加速度运动数据，并根据需求生成对应的装填训练报告。

优选的，步骤s1中，根据装填训练车的自由度安装关节传感器，包括立柱旋转、大臂俯仰、小臂俯仰、伸缩臂伸缩、吊具俯仰和吊具旋转运动状态，将传感器分别安装在立柱、大臂、小臂、伸缩臂和吊具上，用以检测状态训练车的运动状态；

关节传感器根据模型运动产生一组七位的字节码，每个字节码为1～255；数组第一位以ff开头，代表数据检验位，系统只收集以ff开头的一组数据，否则默认位无效数据；第二位到第七位数据则分别代表立柱旋转、大臂俯仰、小臂俯仰、伸缩臂伸缩、吊具俯仰和吊具旋转六个运动状态。

优选的，步骤s2中，系统采用unity3d软件进行模型搭建，根据装填训练车缩比模型车运动搭建模型之间的结构树，将模型各部件划分为父模型部件与子模型部件，子模型部件从属于父模型部件，虚拟场景运动关系层次树；将运动部件属性设置成dynamic，将其它与运动过程无关的部件属性设置成static，实现三维仿真模型与装填车缩比模型相同关节的同步运动，同时避免静态部件干扰。

优选的，步骤s3中，针对步骤s1所产生的七位的字节码，设计指令分析程序将该字节码解析成运动指令；首先对字节码的第一位数据进行判断，如果是ff，则进行下一步判断，否则将该组数据视为无效数据并舍弃；设计一个大小为6、类型为int的数组，用来存储七位的字节码去除第一位校验码剩下的六位字节码；每一位字节码的范围是0～255。

优选的，步骤s3中：

(1)通过大臂对应的字节数据大小，计算出大臂关节传感器的伸缩长度l；

(2)根据大臂传感器的伸缩长度，计算出大臂旋转角度的弧度值；

(3)通过计算得到的弧度值，利用三角函数转换成大臂的旋转角度；

通过对大臂字节码计算产生三维模型的运动指令，服务器根据计算出的大臂的运动角度angle调整大臂的位置，实现步骤s3所述的装填训练车三维模型同步运动。

优选的，步骤s4具体步骤如下：

(1)计算顶点分布均值u；

(2)由平均向量计算出协方差矩阵a；

(3)根据矩阵a可以求出3个相互正交的特征向量，且矩阵a为实对称矩阵，三个特征向量相互垂直，将得到的特征向量单位化就能够确定包围盒的三个轴向，再根据目标物体在三个轴上的投影的最大和最小值，构造出一个最小碰撞范围的包围盒。

优选的，步骤s5中，针对步骤s3计算得出的模型运动指令，立柱旋转角度angle1，大臂俯仰角度angle2，小臂俯仰角度angle3，伸缩臂伸缩长度length4，吊具俯仰角度length5，吊具旋转角度length6，以及运动的时间t，计算各部件运动的速度v，加速度a1，角度c，角加速度a2，并以时间为横坐标，各部件物理量为纵坐标，生成模型运动的折线图，并根据折线图生成装填训练报告。

进一步包括装填训练车缩比模型运动状态信息保存和数字可视化，当模型运动状态发生改变时，系统调用与装填训练车缩比模型相关的函数，计算当前时间和模型运动状态物理量信息，将数据以字符流的形式保存到本地数据库之中；系统读取存储模型运动状态物理量信息的文本文件，根据时间、数据、生成模型运动状态折线图，实现数据的可视化操作。

本发明通过服务器将装填训练车构建成三维仿真模型，并且在装填训练车安装特定的关节传感器，实现装填训练车和三维仿真模型的同步运动。通过服务器对三维仿真模型的运动进行记录，计算出运动过程中各部位移动的速度，加速度等描述物体运动的物理量。再以时间为节点，构建各部位时间-速度或者时间-加速度的折线图，通过对折线图的分析，能够准确的分析出各个时间节点操作员的操作行为，进而分析出操作员在操作过程存在的问题和不足。

本发明增加了碰撞检测系统，对不同部位的物体增加碰撞检测，在操作员操作的过程中，实时检测每一帧运动物体之间的距离关系，对发生碰撞的部分进行语音报警，使得操作员在训练过程中规范自己的行为，避免装填训练中出现碰撞之类的极具危险的行为。在操作完成后，服务器可以对整个操作流程进行存储，将运动物理量和生成的折线图记录到word文档中。

本发明由于采取以上技术方案，其具有以下有益效果：

本发明具有良好的操作性，基于unity3d的场景渲染，通过构建装填训练车缩比模型的三维场景模型，高度还原了装填训练车的真实物理场景，通过六个不同部位的关节传感器，记录装填过程中重要部位的物体运动信息。通过高性能服务器对数据进行实时采集，保证数据的可靠性和准确性，提高了操作员训练时的操作感；在训练过程中操作员通过操作杆和操作按钮控制装填训练车缩比模型的运动，装填训练车各部位关节的运动会触发关节传感器，传感器产生运动变化相关的电信号，该电信号经过传感器信号接收箱发送给服务器。在训练的过程中会给予操作员智能语音提示，当物体将要发生碰撞时系统会发出报警音效，提醒操作员谨慎操作。本发明通过加入关节传感器，实现了记录操作员训练过程中物体运动状态信息的功能，提升了训练效果和操作效率，方便教练员对操作员进行科学的指导，能够让操作员通过观看操作过程中的各项物体运动状态信息，了解自身的操作缺陷和问题。系统会将训练过程中的各项运动数据制作成折线图和word文档，保存在本地，方便日后查看。

数据的可视化功能将数据以图表的形式展示，方便教员科学的指导和评价。

在操作训练中，系统加入了碰撞检测功能，装填训练过程中，发生碰撞是非常危险的行为，也是不能够被允许的，通过碰撞检测，对将要发生碰撞的行为进行智能语音报警提醒，防止操作过程中发生碰撞。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1为本发明协同装填训练教学辅助系统的结构图；

图2为本发明协同装填训练教学辅助系统的模型构建流程图；

图3为本发明协同装填训练教学辅助系统的关节传感器信号转化原理图；

图4为本发明协同装填训练教学辅助系统的服务器解析指令以及三维模型交互机制图；

图5为本发明协同装填训练教学辅助系统的基于多节点最短距离碰撞检测算法的碰撞检测原理图；

图6为本发明协同装填训练教学辅助系统服务器记录物体运动状态信息并将数据可视化的流程图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

本发明设计了一种协同装填训练教学辅助系统。其中软件包括了一套基于unity3d渲染引擎的装填车三维仿真模型，硬件包括：一台服务器、一台装填训练车缩比模型、多个关节传感器、一个传感器信号接收箱和一个usb无线信号接收器。其中，装填训练车缩比模型，操作员通过操作杆和操作按钮控制装填训练车缩比模型运动，关节传感器将运动变化产生的电信号经传感器信号接收箱发送给服务器；服务器，用于构建装填车三维仿真模型，将装填训练车缩比模型电信号解析成运动指令，驱使装填训练车三维模型同步运动。

将多个关节传感器安装在装填训练车缩比模型的不同关节处，包括立柱、大臂、小臂、伸缩臂和吊具上。将关节传感器连接到传感器信号接收箱，传感器信号接收箱将电信号量通过usb无线信号接收器发送给服务器。

服务器构建装填训练车缩比模型的三维模型，通过对模型进行渲染，添加材质等方法，高度还原装填训练车的真实物理场景。

操作员通过操作控制操作杆和操作按钮实现对装填训练车缩比模型的交互，然后通过关节传感器将电信号量发送给服务器，服务器用指令实现和装填训练车三维模型的交互。

传感器信号接收箱包含6个信号量传输通道，分别对装填训练车的6个主要关节传感器进行信号的采集，并将获取的电信号量进行转换，将数字信号发送给服务器。

服务器具有处理和存储传感器数字信号的功能。服务器将接收到的交互信息解析成模型运动对应的各类指令信息，三维仿真装填训练车模型根据特定的指令做出相应的运动。服务器的存储功能可以将训练过程中描述模型运动的物理量进行存储，并生成对应的表格和word文档，实现对操作过程中模型各部件的运动状态信息记录和保存。

如图1所示，本发明协同装填训练教学辅助系统的实现方法包含以下步骤：

s1，根据装填训练车缩比模型运动自由度安装关节传感器，关节传感器生成一组七位字节码数据的电信号发送给服务器。

本发明中，如何设计关节传感器的安装是至关重要的一环，传感器的安装要充分考虑的模型的运动规律，在装填训练车的操作过程中，装填车各关节的运动由操作杆和操作按钮控制。为了使得传感器更加灵敏的检测机械臂的运动变化，需要充分考虑机械臂的机械运动规律。由于机械臂是一个多自由度的复杂机械结构，训练过程中涉及到液压传动装置及多机械件的联结运动，不同运动之间会互相干涉，因此传感器的安装位置十分重要，要保证能够准确感知机械臂运动的同时不能干扰机械臂之间的运动。根据机械臂的运动规律，将机械臂之间的交互运动划分为点约束运动、铰链约束运动和滑块约束运动三种主要的运动模型。关节传感器与服务器之间通过usb无线信号接收器进行连接，通过该信号接收器，能够实时的将获取的电信号量由传感器信号接收箱发送给服务器。

具体的，根据装填训练车的自由度安装关节传感器，包括立柱旋转、大臂俯仰、小臂俯仰、伸缩臂伸缩、吊具俯仰和吊具旋转运动状态，将传感器分别安装在立柱、大臂、小臂、伸缩臂和吊具上，用以检测状态训练车的运动状态。

关节传感器根据模型运动产生一组七位的字节码，每个字节码为1～255；数组第一位以ff开头，代表数据检验位，系统只收集以ff开头的一组数据，否则默认位无效数据；第二位到第七位数据则分别代表立柱旋转、大臂俯仰、小臂俯仰、伸缩臂伸缩、吊具俯仰和吊具旋转六个运动状态。

s2，服务器采用unity3d物理引擎构建高仿真度装填训练车三维模型，装填训练车三维模型同步运动，模拟装填训练车缩比模型六种自由度。

本系统采用3dsmax建模软件。相比其他建模软件，3dsmax创建的模型占用空间小、处理速度快，建立的模型文件具有良好的通用性。故本系统选用3dsmax软件作为建立装备三维模型的工具软件。为了保证参训人员能够获得真实的感受并提高训练效果，模型的构建应尽量与实体设备一致。将在3dsmax中构建的三维模型导出为.3ds格式的文件，作为下一步交互设计的素材。搭建模型的流程图如图2所示。

unity3d具有良好的渲染效果，可以实现跨平台开发，可集合资源种类丰富。所以本系统选取unity3d作为渲染引擎。将在3dsmax中建立的模型文件导入到unity3d的assets视图中，模型就能够作为素材出现在场景构建中。将assets视图中的素材直接应用到scene视图中，可以实现场景中模型的构建。为场景中的模型部件添加材质、重量、刚体等组件，使得渲染后的模型达到高度的仿真效果。

场景中各模型部件的运动具有一定的依赖关系。系统以unity3d为建模软件进行模型的搭建，根据步骤s1中装填训练车缩比模型车运动过程分析，搭建模型之间的结构树。场景中各模型部件的运动具有一定的依赖关系。因此，基于这种依赖关系需将各模型部件划分为父模型部件与子模型部件，并将子模型部件从属于父模型部件，构建出虚拟场景运动关系层次树。这样，当父模型部件运动时，同时也会带动子模型部件的运动。以立柱的旋转为例，大臂，小臂，伸缩臂和吊具从属与立柱的子物体，立柱的旋转会带动这些子模型的同步旋转。通过对装填训练车六个自由度关节节点的运动模型分析，在三维仿真模型中，将运动的部件属性设置成dynamic，将其它与运动过程无关的部件属性设置成static，实现三维仿真模型与装填车缩比模型相同关节的同步运动，同时避免静态部件的干扰。因此，基于这种依赖关系需将各模型部件划分为父模型部件与子模型部件，并将子模型部件从属于父模型部件，构建出虚拟场景运动关系层次树。这样，当父模型部件运动时，同时也会带动子模型部件的运动。当系统收到指令后，会在结构树中寻找要运动的物体部件，根据关系层次树的结构，驱使运动的物体部件和其子物体同步运动。

操作员协同操作与缩比模型交互。

在装填训练过程中，需要由多名操作员协同完成装填操作任务。装填训练过程被划分为多个子任务，整个训练任务的完成必须依赖每个子任务的完成，只有当前阶段的任务完成之后下一阶段的任务才能够执行。多名操作员通过协同操作，通过不同的视角，不同位置分工合作，完成整个装填训练任务。装填训练车缩比模型主要由液压驱动方式和电驱动方式两种驱动方式构成，通过液压台上的操作杆控制缩比模型的运动状态，由辅助操作员配合主操作员进行模型的运动调整，实现操作训练过程中的各个子任务。

s3，传感器数字信号传输给服务器并解析成运动指令。服务器将关节传感器生成七位字节数据解析成运动指令，通过计算三角函数值、模型平移距离、模型旋转角度，驱使装填训练车三维模型实现和装填训练车相同关节的同步运动。

在操作员与缩比模型交互的过程中，传感器数字信号传输给服务器并解析成运动指令，如图3所示。缩比模型关节的运动触发关节传感器敏感元件，将模型的运动信息转换成描述模型运动的电信号量，电信号量由关节传感器发送到传感器信号接收箱。在传感器信号接收箱中，通过a/d转换器，将模拟信号转换为数字信号，然后通过usb无线信号接收器将转换后的数字信号发送给服务器。图4描述了服务器解析指令以及三维模型交互的流程。服务器通过对数字信号进行解析，生成驱使模型运动的运动指令。运动指令进入处理器之后，系统会先进行碰撞检测，通过碰撞检测之后才会操作模型，使模型的运动状态发生改变，模型的运动会触发系统的指令存储功能，系统会自动保存模型的运动状态信息，对数据进行可视化处理，保存到本地数据库。

针对步骤s1所产生的七位的字节码，设计指令分析程序将该字节码解析成运动指令。首先对字节码的第一位数据进行判断，如果是ff，则进行下一步判断，否则将该组数据视为无效数据并舍弃。设计一个大小为6，类型为int的数组，用来存储七位的字节码去除第一位校验码剩下的六位字节码。每一位字节码的范围是0～255，以大臂为例，计算步骤如下：

(1)通过大臂对应的字节数据大小，计算出大臂关节传感器的伸缩长度：

(2)根据大臂传感器的伸缩长度，计算出大臂旋转角度的弧度值：

其中a，b的值根据大臂传感器安装的位置确定，分别代表传感器两端距离旋转轴的距离。

(3)通过计算得到的弧度值，利用三角函数转换成大臂的旋转角度：

通过对大臂字节码计算产生三维模型的运动指令，服务器根据计算出的大臂的运动角度angle调整大臂的位置，实现步骤s3所述的模型同步运动。

s4，根据碰撞检测算法，搭建装备模型的碰撞检测包围盒，利用包围盒碰撞原理检测当前运动是否发生碰撞。

本发明的碰撞检测流程如图5所示。碰撞检测是为了检测通过计算机模拟的场景中存在的物体间是否发生了穿透和碰撞现象，是计算机图形学和三维场景模型真实性的重要保证。碰撞检测的主要任务是检测模拟场景中的各种道具、建筑物、地面之间、物体与场景之间是否发生碰撞。作为三维场景模型中一个非常重要的部分，碰撞检测更能逼真地模拟真实物理场景。根据碰撞检测流程，服务器在收到操作指令之后，会记录当前帧操作模型的运动状态以及模型运动量，根据多节点最短距离碰撞检测算法，对当前指令进行分析，判断模型是否会发生碰撞，如果执行当前指令之后模型会发生碰撞，系统会发生警告音效，并且当前指令失效，系统会继续读取下一条指令，重复进行判断，直到当前操作任务结束。

在模型运动的过程中，会进行实时的碰撞检测。在构造碰撞检测范围时，如何找到该长方体的最佳方向，并且确定其长、宽、高的可达最小数值是构造的关键。碰撞范围的构建首先需要计算出目标物体所有顶点的分布均值u及包围盒的中点，再通过平均向量算出协方差矩阵a，最后通过矩阵a得到特征向量就能确定包围盒的方向盒大小。具体步骤如下：

(1)顶点分布均值u的计算，如公式(4)所示：

其中，aⁱ、bⁱ、cⁱ为目标对象第i个三角形的3个顶点，n为顶点总数；

(2)由平均向量计算出协方差矩阵a，如公式(5)所示：

其中，和均为一维向量，为ajk在顶点a,b,c的向量值；ajk为协方差矩阵a中的元素。

(3)根据矩阵a可以求出3个相互正交的特征向量，且矩阵a为实对称矩阵，所以三个特征向量相互垂直，将得到的特征向量单位化就能够确定包围盒的三个轴向，再根据目标物体在三个轴上的投影的最大和最小值，构造出一个最小碰撞范围的包围盒。

模型运动状态信息保存和数字可视化。

模型运动状态信息保存和数字可视化流程如图6所示。当模型运动状态发生改变时，系统会主动调用与模型相关的函数，计算当前时间，模型运动状态物理量信息，然后通过系统与本地磁盘的i/o流接口，将数据以字符流的形式保存到本地数据库之中。在本次操作任务完成之后，系统会读取存储模型运动状态物理量信息的文本文件，根据时间，数据等信息生成模型运动状态折线图，实现数据的可视化操作，通过折线图，教员和操作员能够更直观的了解本次操作过程中出现的问题和不足，方便教员教学，为教员指导操作员提供科学的辅导工具。系统还能够将生成的折线图和读取的数据以word文档的形式，进行持久化储存，方便日后复现操作流程。

s5，服务器保存装填训练车三维模型包括时间、速度、角速度、角加速度运动数据，并根据需求生成对应的装填训练报告。

步骤s5中，针对步骤s3计算得出的模型运动指令，立柱旋转角度angle1，大臂俯仰角度angle2，小臂俯仰角度angle3，伸缩臂伸缩长度length4，吊具俯仰角度length5，吊具旋转角度length6，以及运动的时间t，计算各部件运动的速度v，加速度a1，角度c，角加速度a2，并以时间为横坐标，各部件物理量为纵坐标，生成模型运动的折线图，并根据折线图生成装填训练报告。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。