一种机械制造模具虚拟装配培训信息处理系统及培训方法与流程

本发明属于虚拟装配技术领域，尤其涉及一种机械制造模具虚拟装配培训信息处理系统及培训方法。

背景技术：

虚拟装配编辑基于的产品虚拟拆装技术在交互式虚拟装配环境中，用户使用各类交互设备(数据手套/位置跟踪器、鼠标/键盘、力反馈操作设备等)象在真实环境中一样对产品的零部件进行各类装配操作，在操作过程中系统提供实时的碰撞检测、装配约束处理、装配路径与序列处理等功能，从而使得用户能够对产品的可装配性进行分析、对产品零部件装配序列进行验证和规划、对装配操作人员进行培训等。在装配(或拆卸)结束以后，系统能够记录装配过程的所有信息，并生成评审报告、视频录像等供随后的分析使用。虚拟装配是虚拟制造的重要组成部分，利用虚拟装配，可以验证装配设计和操作的正确与否，以便及早的发现装配中的问题，对模型进行修改，并通过可视化显示装配过程。虚拟装配系统允许设计人员考虑可行的装配序列，自动生成装配规划，它包括数值计算、装配工艺规划、工作面布局、装配操作所模拟等。现在产品的制造正在向着自动化、数字化的方向发展，虚拟装配是产品数字化定义中的一个重要环节。然而，现有机械制造模具虚拟装配培训信息处理系统不能监测学员的疲劳度导致因疲劳而误操作；同时，装配时，对学员动作识别不灵敏，需要工作人员进行调整，增加工作量。

综上所述，现有技术存在的问题是：

(1)现有机械制造模具虚拟装配培训信息处理系统不能监测学员的疲劳度导致因疲劳而误操作；同时，装配时，对学员动作识别不灵敏，需要工作人员进行调整，增加工作量。

(2)现有技术中采集模具的三维数据之后，采用传统的算法对三维图像进行处理过程中，在点的位置更新的时候距离较远的点的影响程度大，不能更好的保持三维图像原有的特性数据，不能在一定程度上抑制形变的现象，得不到良好的滤波效果。

(3)现有方法对学员装配过程进行评估的过程中，不能有效的提高评估结果的客观性和分辨率，同时不能有效用于信息融合算法的品质评估。

(4)现有技术中通过vr眼睛进行虚拟显示机械制造模具虚拟装配场景的过程中，采用现有的算法对操作影响进行特殊点拾取，不能提高拾取的精度、速度及适用范围。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种机械制造模具虚拟装配培训信息处理系统及培训方法。

本发明是这样实现的，一种机械制造模具虚拟装配培训信息处理方法，所述机械制造模具虚拟装配培训信息处理方法包括：

第一步，利用激光扫描仪采集模具的三维数据信息，根据三维数据信息，构建模具的三维模型；

第二步，利用vr眼睛进行虚拟显示机械制造模具虚拟装配场景；

第三步，学员利用数据手套对模具进行虚拟装配；在装配过程中，对动作进行识别，并对学员模拟操作装置进行监控；

第四步，装配完成后，对学员装配成果和操作的疲劳度进行评估，将监控的数据、评估结果信息保存存档。

进一步，第一步中，采集模具的三维数据之后，对三维图像进行处理，在滤波的同时保持三维图像原有的特性数据，具体包括以下步骤：

步骤一，更新法向量；

由三维图像数据点连接成的三角形t，n(t)是该三角形的单为法向量，a(t)是t的面积，c(t)是t的中心；n(t)表示t的领域三角形，即与t共用一条边或者一个点相连接的所用三角形，在周围的领域n(t)，在t相邻的所有三角形中定义角度为θi＝∠(n(t)，n(ui))，对所有的角度进行排序，假设θi为中间的角度，然后中心三角形的法向量n(t)就被该中间角度所对应的三角形的法向量n(ui)所代替，将代替原来的法向量的新的法向量为m(t)，即m(t)＝n(ui)，在所有的三角形中执行上述的替换操作；

步骤二，在更新了所有的法向量之后，计算点的偏移量；

设v(t)为点的偏移量，计算公式包括：

其中v(t)代表了向量向m(t)方向的投影；

步骤三，计算偏移系数，计算公式包括：

式中p为每一个数据点；当偏移系数ip＞0时，点p将会向上移动；反之当偏移系数ip＜0时，点p将会向下移动；

步骤四，更新点的位置；

在得到点的偏移量和偏移系数之后，对于每一个数据点p，它的位置按照下面的公式被更新为：

pner＝pold+lp·v(t)。

进一步，第一步，根据三维数据信息构建模具的三维模型中，

选取若干个三维数据信号的特征参数cp，包括三维数据信号的频率f、时间t、对于观测点空域角度θ、极化方向γ、以及编码方式c，并将参数作为坐标轴建立多维坐标系，对于坐标系的各个坐标轴，分别根据各个三维数据特征参数的分辨率确定对应坐标轴的单位量，基于坐标系建立多维特征参数的空间模型,定义为三维数据空间：hsi＝space(cp1,cp2…cpn)，在此三维数据空间中的任意一个矢量由坐标进行表示：

其中cpi为矢量在三维数据空间中某一维度的坐标，是对于特征参量cpi的具体取值，对于单模的三维数据信号，在三维数据空间中表示为一个单一矢量：

对于多模的三维数据信号，即三维数据信号的一个或者数个特征参数表现为具有多值特性，在三维数据空间中使用三维数据特征矢量的集合表示：

进一步，所述在选取的若干个三维数据信号特征参数之前需要确定三维数据信号和参照信号在无线信号领域上的物理参数，包括频率f、时间t、对于观测点空域角度θ、极化方向γ、以及编码方式c；

用特征参数作为坐标轴建立空间坐标系，定义的三维数据空间为：

hsi＝space(f,t,θ,γ,c)；

三维数据空间中的任意一个矢量由三维数据特征空间中的坐标进行表示：

其中的f，t，θ，γ，c分别是对应于各个维度的坐标值。

进一步，对于单模的三维数据信号，在三维数据空间中表示为一个单一矢量：

其中的f，t，θ，γ，c分别是对应于各个维度的坐标值。

进一步，三维数据信号为多模信号，即三维数据信号的一个或者数个特征参数表现为具有多值特性，在三维数据空间中使用三维数据特征矢量的集合表示：

在三维数据空间中是个矢量集合，代表的是一个满足一定区间约束条件的子空间区域。

进一步，第二步中，通过vr眼睛进行虚拟显示机械制造模具虚拟装配场景，对操作影响进行特殊点拾取，采用基于视口空间拾取算法，包括以下步骤：

步骤一，获取鼠标点击时的屏幕坐标，并转换到视口坐标系，设该点为p(x，y)；

步骤二，依次取出场景物体并计算其包围盒，并将其变换到世界坐标系；

步骤三，获得物体的模型矩阵及投影矩阵，投影其包围盒到图像空间；

步骤四，在图像空间内判断点p是否落在包围盒的投影区内，判断物体是否被选中；

步骤五，如果需要对选中物体的细部进行拾取，则可将该物体的包围盒进一步细分，直至细分到面，重复执行步骤二至步骤四。

进一步，第四步中，对学员装配过程进行评估，用于信息融合算法的品质评估，具体步骤包括；

步骤一，建立评判对象的指标集和评判等级集；

指标集u由n个性能指标组成，u＝{ui，i＝1，2...，n}；

评判等级的集合为v＝{vj，j＝1，2...，p}；

步骤二，基于隶属度函数建立评判矩阵；

建立各指标的相对于评判等级的评判矩阵，确定各指标对评判集因素的隶属度；选取合适的隶属度函数，将指标值代入函数模型获取相应的隶属度；

步骤三，ahp法确定指标权重；ahp采用构造两两比较判断矩阵的方法确定权重；

步骤四，基于熵技术修正指标权重；

步骤五，选取加权平均算子作为模糊算子进行综合评判；

步骤六，基于区间量化方式确定评价等级。

本发明的另一目的在于提供一种执行所述机械制造模具虚拟装配培训信息处理方法的机械制造模具虚拟装配培训信息处理系统，所述机械制造模具虚拟装配培训信息处理系统包括：

模具数据采集模块，与主控模块连接，用于通过激光扫描仪采集模具的三维数据；

操作模块，与主控模块连接，用于通过数据手套对模具虚拟装配进行操作；

疲劳度监测模块，与主控模块连接，用于对学员虚拟装配时疲劳度进行监测；

主控模块，与模具数据采集模块、操作模块、疲劳度监测模块、模具模型构建模块、动作识别模块、装配录像模块、装配评估模块、虚拟显示模块连接，用于通过单片机控制各个模块正常工作；

模具模型构建模块，与主控模块连接，用于通过建模软件构建模具的三维模型；

动作识别模块，与主控模块连接，用于对学员虚拟装配操作中对准动作进行识别；

装配录像模块，与主控模块连接，用于通过录像器对学员虚拟装配过程进行录像操作；

装配评估模块，与主控模块连接，用于对学员装配过程进行评估；

虚拟显示模块，与主控模块连接，用于通过vr眼睛进行虚拟显示机械制造模具虚拟装配场景。

本发明的另一目的在于提供一种应用所述机械制造模具虚拟装配培训信息处理方法的虚拟装配平台。

本发明的优点及积极效果为：

本发明通过疲劳度监测模块能将操作疲劳的评判设计成计算机可以接受的数学方法，同时将操作过程中的规定动作设计成预定轨迹，将疲劳操作中的延时操作和脱离范围操作作为评价标准，及时甄别操作疲劳，从而减少操作疲劳带来的各种危险；同时，通过动作识别模块大大提高操作时对学员动作的识别效率，及识别准确度，从而提高操作灵敏性，从而减少专业人员的工作量，减少人力成本。

本发明中模具数据采集模块采集模具的三维数据之后，需要对三维图像进行处理，为了在点的位置更新的时候距离较远的点的影响程度减少，可以在滤波的同时更好的保持三维图像原有的特性数据，能在一定程度上抑制形变的现象，得到良好的滤波效果，采用一种改进的三维图像处理算法。

本发明中装配评估模块对学员装配过程进行评估的过程中，为了提高评估结果的客观性和分辨率，可以有效用于信息融合算法的品质评估，采用一种改进的评估方法。

本发明中虚拟显示模块9通过vr眼睛进行虚拟显示机械制造模具虚拟装配场景的过程中，需要对操作影响进行特殊点拾取，为了提高拾取的精度、速度及适用范围，采用基于视口空间拾取算法。

本发明以描述三维数据信号的特征参量作为坐标轴建立坐标系，通过构建的三维数据空间模型，利用矢量表示和运算，可以支持通信系统三维数据信号的分析、表示、与具体运算，从而为系统对三维数据信号的判定、分析和管理形成数学依据。在三维数据空间模型支撑的基础上，可以通过数学的方法为系统进行三维数据管理技术提供指导和帮助；利用数学空间概念形成的三维数据空间模型，对通信系统中三维数据信号的状态进行分析和表征，创造性的提出了多维度三维数据状态空间模型。

附图说明

图1是本发明实施例提供的机械制造模具虚拟装配培训信息处理方法流程图。

图2是本发明实施例提供的机械制造模具虚拟装配培训信息处理系统结构示意图；

图中：1、模具数据采集模块；2、操作模块；3、疲劳度监测模块；4、主控模块；5、模具模型构建模块；6、动作识别模块；7、装配录像模块；8、装配评估模块；9、虚拟显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明包括。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明提供的机械制造模具虚拟装配培训信息处理方法包括以下步骤：

s101：首先，利用激光扫描仪采集模具的三维数据信息，根据三维数据信息，构建模具的三维模型。

s102：利用vr眼睛进行虚拟显示机械制造模具虚拟装配场景。

s103：学员利用数据手套对模具进行虚拟装配。在装配过程中，对动作进行识别，并对学员模拟操作装置进行监控。

s104：装配完成后，对学员装配成果和操作的疲劳度进行评估，将监控的数据、评估结果等信息保存存档。

在本发明的实施例中，步骤s101根据三维数据信息构建模具的三维模型中，

选取若干个三维数据信号的特征参数cp，包括三维数据信号的频率f、时间t、对于观测点空域角度θ、极化方向γ、以及编码方式c，并将参数作为坐标轴建立多维坐标系，对于坐标系的各个坐标轴，分别根据各个三维数据特征参数的分辨率确定对应坐标轴的单位量，基于坐标系建立多维特征参数的空间模型,定义为三维数据空间：hsi＝space(cp1,cp2…cpn)，在此三维数据空间中的任意一个矢量由坐标进行表示：

其中cpi为矢量在三维数据空间中某一维度的坐标，是对于特征参量cpi的具体取值，对于单模的三维数据信号，在三维数据空间中表示为一个单一矢量：

对于多模的三维数据信号，即三维数据信号的一个或者数个特征参数表现为具有多值特性，在三维数据空间中使用三维数据特征矢量的集合表示：

在本发明的实施例中，所述在选取的若干个三维数据信号特征参数之前需要确定三维数据信号和参照信号在无线信号领域上的物理参数，包括频率f、时间t、对于观测点空域角度θ、极化方向γ、以及编码方式c；

用特征参数作为坐标轴建立空间坐标系，定义的三维数据空间为：

hsi＝space(f,t,θ,γ,c)；

三维数据空间中的任意一个矢量由三维数据特征空间中的坐标进行表示：

其中的f，t，θ，γ，c分别是对应于各个维度的坐标值。

在本发明的实施例中，对于单模的三维数据信号，在三维数据空间中表示为一个单一矢量：

其中的f，t，θ，γ，c分别是对应于各个维度的坐标值。

在本发明的实施例中，三维数据信号为多模信号，即三维数据信号的一个或者数个特征参数表现为具有多值特性，在三维数据空间中使用三维数据特征矢量的集合表示：

在三维数据空间中是个矢量集合，代表的是一个满足一定区间约束条件的子空间区域。

如图2所示，本发明提供的机械制造模具虚拟装配培训信息处理系统包括：模具数据采集模块1、操作模块2、疲劳度监测模块3、主控模块4、模具模型构建模块5、动作识别模块6、装配录像模块7、装配评估模块8、虚拟显示模块9。

模具数据采集模块1，与主控模块4连接，用于通过激光扫描仪采集模具的三维数据。

操作模块2，与主控模块4连接，用于通过数据手套对模具虚拟装配进行操作。

疲劳度监测模块3，与主控模块4连接，用于对学员虚拟装配时疲劳度进行监测。

主控模块4，与模具数据采集模块1、操作模块2、疲劳度监测模块3、模具模型构建模块5、动作识别模块6、装配录像模块7、装配评估模块8、虚拟显示模块9连接，用于通过单片机控制各个模块正常工作。

模具模型构建模块5，与主控模块4连接，用于通过建模软件构建模具的三维模型。

动作识别模块6，与主控模块4连接，用于对学员虚拟装配操作中对动作进行识别。

装配录像模块7，与主控模块4连接，用于通过录像器对学员虚拟装配过程进行录像操作。

装配评估模块8，与主控模块4连接，用于对学员装配过程进行评估。

虚拟显示模块9，与主控模块4连接，用于通过vr眼睛进行虚拟显示机械制造模具虚拟装配场景。

所述模具数据采集模块1采集模具的三维数据之后，需要对三维图像进行处理，为了在点的位置更新的时候距离较远的点的影响程度减少，可以在滤波的同时更好的保持三维图像原有的特性数据，能在一定程度上抑制形变的现象，得到良好的滤波效果，采用一种改进的三维图像处理算法，具体包括以下步骤：

步骤一，更新法向量。

由三维图像数据点连接成的三角形t，n(t)是该三角形的单为法向量，a(t)是t的面积，c(t)是t的中心。n(t)表示t的领域三角形，即与t共用一条边或者一个点相连接的所用三角形，在周围的领域n(t)，在t相邻的所有三角形中定义角度为θi＝∠(n(t)，n(ui))，对所有的角度进行排序，假设θi为中间的角度，然后中心三角形的法向量n(t)就被该中间角度所对应的三角形的法向量n(ui)所代替，将代替原来的法向量的新的法向量为m(t)，即m(t)＝n(ui)，在所有的三角形中执行上述的替换操作。

步骤二，在更新了所有的法向量之后，计算点的偏移量。

设v(t)为点的偏移量，计算公式包括：

其中v(t)代表了向量向m(t)方向的投影。

步骤三，计算偏移系数，计算公式包括：

式中p为每一个数据点。当偏移系数ip＞0时，点p将会向上移动。反之当偏移系数ip＜0时，点p将会向下移动。

步骤四，更新点的位置。

在得到点的偏移量和偏移系数之后，对于每一个数据点p，它的位置按照下面的公式被更新为：

pner＝pold+lp·v(t)。

所述装配评估模块8对学员装配过程进行评估的过程中，为了提高评估结果的客观性和分辨率，可以有效用于信息融合算法的品质评估，采用一种改进的评估方法，具体步骤包括。

步骤一，建立评判对象的指标集和评判等级集。

指标集u由n个性能指标组成，u＝{ui，i＝1，2...，n}。

评判等级的集合为v＝{vj，j＝1，2...，p}。

步骤二，基于隶属度函数建立评判矩阵。

建立各指标的相对于评判等级的评判矩阵，确定各指标对评判集因素的隶属度。选取合适的隶属度函数，将指标值代入函数模型获取相应的隶属度。

步骤三，ahp法确定指标权重。ahp采用构造两两比较判断矩阵的方法确定权重。

步骤四，基于熵技术修正指标权重。

步骤五，选取加权平均算子作为模糊算子进行综合评判。

步骤六，基于区间量化方式确定评价等级。

所述虚拟显示模块9通过vr眼睛进行虚拟显示机械制造模具虚拟装配场景的过程中，需要对操作影响进行特殊点拾取，为了提高拾取的精度、速度及适用范围，采用基于视口空间拾取算法，包括以下步骤：

步骤一，获取鼠标点击时的屏幕坐标，并转换到视口坐标系，设该点为p(x，y)。

步骤二，依次取出场景物体并计算其包围盒，并将其变换到世界坐标系。

步骤三，获得物体的模型矩阵及投影矩阵，投影其包围盒到图像空间。

步骤四，在图像空间内判断点p是否落在包围盒的投影区内，判断物体是否被选中。

步骤五，如果需要对选中物体的细部进行拾取，则可将该物体的包围盒进一步细分，直至细分到面，重复执行步骤二至四。

本发明提供的疲劳度监测模块3监测方法包括：

(1)配置数据采集参数，启动kinectv2，并采集操作人骨骼数据。

(2)构建虚拟装配的操作轨迹。

(3)监测参与虚拟装配人员的操作情况，根据双手操作位置与运动轨迹线的距离绘制波动曲线。

(4)根据波动曲线的波幅和时间判定疲劳等级，并依照疲劳等级判定是否继续检测。

本发明提供的步骤(2)的具体方法包括：

构建虚拟装配的操作轨迹，轨迹由直线和圆弧线构成，其中直线轨迹是通过连接三维坐标系中的两个空间点a1(x1,y1,z1)和a2(x2,y2,z2)构成的。圆弧轨迹在平移后的x-y平面c1、x-z平面c2和y-z平面c3内构建，平移后的x-y平面c1构建圆弧轨迹的具体方法包括，平面c1的平移距离为上一直线轨迹终点a2(x2,y2,z2)的z坐标数值，取平面c1的一点作为圆中心点bx1(xx1,yx1,zx1)，取半径为相切于上一直线轨迹终点，从而构建圆弧轨迹，在圆弧轨迹中选取一点a3(x3,y3,z3)作为下一直线轨迹的起始点。根据具体的虚拟装配环境，将预定装配路径设计成直线轨迹和圆弧轨迹构成的连接线。

本发明提供的步骤(4)的具体方法包括：

预设l等于5cm作为标准操作波动现象，记录当波动幅度l1在(0cm,5cm]之内抖动，认为1级。波动幅度在(5cm,5.5cm]抖动，且持续时间超过3s，认为2级。波动幅度在(5.5cm,6.0cm]抖动，且持续时间超过3s，认为3级。波动幅度在(6.0cm,6.5cm]抖动，且持续时间超过3s，认为4级。波动幅度在(6.5cm,∞]抖动，且持续时间超过3s，认为5级。

预设标准操作时间t1，当操作人员完成所有规定的操作动作后会记录最终操作时间t2，计算最终操作时间与标准时间的比值当o∈(0,1.05]，认为1级。当o∈(1.05-1.10]，认为2级。当o∈(1.10-1.15]，认为3级。当o∈(1.15-1.20]，认为4级。当o∈(1.20-1.25]，认为5级。

波动幅度和操作时间比值级别分别占0.5,0.5的权重，之前的分级数值乘上权重得出结果在(0-1]之间疲劳度为1级，(1-2]之间疲劳度为2级，(2-3]之间疲劳度为3级，(3-4]之间疲劳度为4级，(4-5]之间疲劳度为5级。

等级1代表可忽略的疲劳，等级2代表轻微的疲劳，等级3代表中等程度的疲劳，等级4代表严重的疲劳，等级5代表灾难性的疲劳。测出疲劳值后，系统提供适当的声音提醒，当疲劳程度达到5级时，停止监测，中断工位电路，迫使员工休息。

本发明提供的动作识别模块6识别方法包括：

1)利用kinectv2采集25个人体骨骼点。25个人体骨骼点包括头、颈、肩中心、左拇指a1(x1,i,y1,i,z1,i)、右拇指a2(x2,i,y2,i,z2,i)、左指尖a3(x3,i,y3,i,z3,i)、右指尖a4(x4,i,y4,i,z4,i)、左手a5(x5,i,y5,i,z5,i)、右手a6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。

2)在unity3d中对人体手部模型和各机械零件进行碰撞器设定。

3)对零件和装配进行向量和装配点预设。

4)对准动作零件结合程度的判定。

5)对准动作对称性的判定。

6)对准动作复杂度判定。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。