技术特征：
1.一种面向测试装配过程的安全模型表征和量化评价方法，其特征在于，所述方法包括以下步骤：步骤1、对智能深度传感器的彩色摄像头和深度摄像头进行离线标定，完成彩色图像到深度图像的映射关系；步骤2、利用深度卷积神经网络对所述彩色图像进行目标物体的识别和检测；步骤3、将所述彩色图像的识别和检测结果映射到所述深度图像中获取关键点的深度信息；步骤4、利用关键点深度信息和深度摄像头的内参矩阵得到关键点在相机坐标系下的三维坐标；步骤5、利用关键点的三维坐标计算目标物体的空间位置和姿态信息；步骤6、根据装配要求确定安全模型表征和量化评价标准。2.根据权利要求1所述的方法，其特征在于，步骤1中所述对智能深度传感器的彩色和深度摄像头进行离线标定包括：步骤1.1、制作黑白棋盘格标定板，所述标定板为7
×
10个黑白相间的正方形棋盘格，正方形边长在10mm到30mm之间；步骤1.2、将所述标定板放到摄像头成像区域内，从摄像头中获取待标定图片，标定图片需要从不同角度拍摄20张以上；步骤1.3、利用张正友标定法进行摄像头标定，标定完成后将彩色摄像头内参矩阵记为k_rgb，深度摄像头内参矩阵记为k_ir；步骤1.4、根据摄像头的标定参数调用opencv开源工具中的矫正函数矫正图像。3.根据权利要求2所述的方法，其特征在于，步骤1中所述完成彩色图像到深度图像的映射关系包括：步骤1.5、将彩色图像到深度图像统一分辨率；步骤1.6、将彩色摄像头和深度摄像头的内参矩阵联合求解，得到转换矩阵t_rgb2ir＝k_rgb
×
k_ir；步骤1.7、深度摄像头与彩色摄像头在空间上不重合，计算两者的偏移量s＝(x
s
,y
s
,z
s
)；步骤1.8、记深度图像上点坐标为p'(x
ir
,y
ir
,z
ir
)，彩色图像上点坐标为p(x
rgb
,y
rgb
,z
rgb
)，则两者的映射关系为：p'
t
＝p
t
×
t_rgb2ir+s
t
。4.根据权利要求1所述的方法，其特征在于，步骤2中所述利用深度卷积神经网络对所述彩色图像进行目标物体的识别和检测包括：步骤2.1、同步采集目标物体空间不同位置和姿态的图像数据，将采集到的图像经过矫正畸变后输出保存；步骤2.2、在彩色图像中对目标物体及其关键部分进行人工标记，形成数据集；步骤2.3、将所述数据集送入yolo检测网络模型进行训练直至收敛；步骤2.4、利用收敛的yolo检测网络模型对智能深度传感器的彩色摄像头的视频帧图像进行目标检测，计算出目标物体及其关键部分在图像中的位置。5.根据权利要求1所述的方法，其特征在于，步骤3中所述将所述彩色图像的识别和检测结果映射到所述深度图像中获取关键点的深度信息包括：
步骤3.1、计算目标物体及其关键部分中心点在彩色图像上的坐标；步骤3.2、计算彩色图像上中心点在深度图像上的坐标；步骤3.3、读取深度图像上以中心点坐标为中心，边长为6个像素单位的正方形squareroi[i]中的每个像素点的深度值；步骤3.4、利用正态分布方法剔除squareroi[i]中的异常值，计算均值作为该中心点的深度值，存入数组depth。6.根据权利要求5所述的方法，其特征在于，步骤4中所述利用关键点深度信息和深度摄像头的内参矩阵得到关键点在相机坐标系下的三维坐标包括：步骤4.1、根据所述数组depth中的深度值求解关键点在相机坐标系下的z坐标值存入数组zall；步骤4.2、根据相机成像原理得到图像上点a(u,v)到相机坐标系下点a'(x,y,z)的映射关系：计算得到a'(x,y,z)；步骤4.3、根据步骤4.2提供的方法计算所有的关键点三维坐标，存入数组aall。7.根据权利要求1所述的方法，其特征在于，步骤5中所述利用关键点的三维坐标计算目标物体的空间位置和姿态信息包括：步骤5.1、选取目标物体的整体中心点三维坐标作为目标物体的空间位置信息；步骤5.2、选取目标物体的头部和尾部中心点构成线段表示目标物体的中心线，用所述中心线在相机坐标系下的投影角度表示目标物体的空间姿态信息，投影角度的计算公式如下：下：下：其中头部中心点坐标(x1,y1,z1)，尾部中心点坐标(x2,y2,z2)；步骤5.3、在彩色图像上输出位置信息和姿态信息，将图像转换成视频作为最终输出。8.根据权利要求1所述的方法，其特征在于，步骤6中所述根据装配要求确定安全模型表征和量化评价标准包括：步骤6.1、结合实际目标物体致险行为，设计采用目标物体的摆动角度、起吊高度、运动速度、运动加速度四个指标来表征目标物体的安全模型；步骤6.2、针对目标物体的摆动角度、起吊高度、运动速度、运动加速度分别结合生产实际划定不同危险等级的取值范围，根据四个不同指标的危险等级来对目标物体测试装配过程进行量化评价，将四个部分求和并进行归一化处理，得到综合危险等级指数，归一化公式如下：
其中，d代表综合危险等级指数，di代表各个指标的危险等级，根据综合危险等级指数的数值及概率分布得到综合危险等级。
技术总结
本发明公开了一种面向测试装配过程的安全模型表征和量化评价方法，所述方法包括以下步骤：步骤1、对智能深度传感器的彩色摄像头和深度摄像头进行离线标定，完成彩色图像到深度图像的映射关系；步骤2、利用深度卷积神经网络对所述彩色图像进行目标物体的识别和检测；步骤3、将所述彩色图像的识别和检测结果映射到所述深度图像中获取关键点的深度信息；步骤4、利用关键点深度信息和深度摄像头的内参矩阵得到关键点在相机坐标系下的三维坐标；步骤5、利用关键点的三维坐标计算目标物体的空间位置和姿态信息；步骤6、根据装配要求确定安全模型表征和量化评价标准。本发明能够快速有效地完成面向测试装配过程的安全模型表征和量化评价。评价。评价。
技术研发人员：杨晨涛 刘庭煜
受保护的技术使用者：南京理工大学
技术研发日：2020.12.14
技术公布日：2022/6/14