基于增强虚拟的场景复现检测方法
【技术领域】
[0001]本发明涉及一种检测方法，具体地，涉及一种基于增强虚拟的场景复现检测方法。
【背景技术】
[0002]混合现实是现实与虚拟的结合，分两种情况，一种情况是扩展现实(增强现实)，是由真实的环境加上虚拟的物体功能组成；另一种情况是虚拟的环境加上某些真实的物体共同构成扩展虚拟(增强虚拟)。混合现实技术是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。这种介于现实与虚拟之间的混合现实技术成为了展示、体验、培训、医疗、古迹复原、工业维修等领域的前沿实用技术。
[0003]在一些不适合人工作业的极端工作环境中，常通过在极端环境中固定安装摄像机或将摄像机固定安装在机器人的机械臂上，利用遥操作技术来检测监控极端环境内部的现场信息，为后续的维护操作提供重要信息。两者均是依靠人工查看相机实时捕获的或在线保存的现场图片或视频来判断场景现场信息，由于相机视野有限，且图片是二维信息，依靠查看图片序列或视频的观测方式缺乏全局信息和三维信息，检测繁琐不直观。鉴于上述依靠查看图片序列或视频的观测方式缺乏全局和三维信息且繁琐不直观，本发明结合混合现实的三维显示优势，提出一种基于增强虚拟的虚实结合场景复现检测方法，具有检测效果直观、三维立体感强、全角度立体展示与真实场景逼真的效果。
【发明内容】
[0004]针对现有技术中的缺陷，本发明的目的是提供一种基于增强虚拟的场景复现检测方法，其通过鲁棒的图像处理算法对真实场景图片序列进行处理提取出特征目标图像，然后结合机器人机械臂的位置信息和已知的三维虚拟场景模型信息，进行虚实目标图像特征点定位配准，最终将特征目标图像叠加在虚拟的三维场景模型相应位置，实现虚实结合的丰富显示效果，具有三维立体感强、全角度立体展示、与真实场景逼真、观测直观方便等特点。
[0005]根据本发明的一个方面，提供一种基于增强虚拟的场景复现检测方法，其特征在于，包括以下步骤:
[0006]步骤一，三维虚拟场景模型的生成，主要是利用开源三维图形渲染引擎搭建而成；
[0007]步骤二，三维虚拟场景模型数据库的建立，三维虚拟场景模型数据库主要包括场景特征点的世界坐标值信息及其相关属性信息；
[0008]步骤三，对安装在机械臂上的相机进行内参矩阵标定，同时利用传统的手眼标定方法标定相机坐标系与机械臂末端坐标系之间的齐次变换矩阵；
[0009]步骤四，真实场景图像帧数据和机械臂位置数据的采集与保存，通过控制机械臂的运动来移动相机完成真实场景全方位的图像帧数据及其对应的机械臂位置数据的采集与保存，同时保存机械臂末端坐标系相对于世界坐标系之间的齐次变换矩阵，图像帧数据与对应的机械臂位置数据用相同的时间标记一一对应；
[0010]步骤五，自动加载真实场景图像帧数据并进行图像处理，获取真实场景特征点的像素坐标值并提取特征目标图像；
[0011]步骤六，结合机械臂的位置信息和已知的三维虚拟场景模型信息，由特征点的像素坐标估计其在真实场景中的世界坐标值；
[0012]步骤七，真实场景特征点与三维虚拟场景模型中对应特征点的配准；
[0013]步骤八，配准成功后，把提取出的真实场景特征目标图像叠加在虚拟的三维场景模型对应的位置，实现虚实结合的增强虚拟显示效果。
[0014]优选地，所述步骤一的三维场景模型生成包括构建三维场景，将三维模型导入场景。
[0015]优选地，所述步骤二依据虚拟模型计算场景特征点的世界三维坐标值并存入MYSQL数据库中。
[0016]优选地，所述步骤七是把步骤六计算的真实场景特征点的世界坐标值与步骤二所建立的三维虚拟场景模型数据库中的场景特征点的世界坐标值通过匹配条件相匹配，满足匹配条件即可实现虚实目标图像的成功配准。
[0017]与现有技术相比，本发明具有如下的有益效果:本发明通过鲁棒的图像处理算法对真实场景图片序列进行处理提取出特征目标图像，然后结合机器人机械臂的位置信息和已知的三维虚拟场景模型信息，进行虚实目标图像特征点定位配准，最终将特征目标图像叠加在虚拟的三维场景模型相应位置，实现虚实结合的丰富显示效果，具有三维立体感强，全角度立体展示，与真实场景逼真，观测直观方便等特点。
【附图说明】
[0018]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0019]图1为本发明的整体流程示意图。
[0020]图2为本发明的图像处理具体实现步骤流程图。
【具体实施方式】
[0021]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0022]本发明是一种将真实场景图像经过鲁棒的图像处理算法后提取特征目标图像，然后结合机器人机械臂位置信息和已知的三维虚拟场景模型信息，进行虚实目标图像特征点定位配准，然后将特征目标图像叠加在虚拟的三维场景模型相应位置实现虚实结合，展示效果立体逼真的场景复现检测方法。
[0023]如图1所示，本发明基于增强虚拟的场景复现检测方法包括以下步骤:
[0024]步骤一:三维虚拟场景模型的生成，主要是利用OSG (Open Scene Graph，开源三维图形)渲染引擎搭建而成。三维场景模型生成包括构建三维场景，将三维模型导入场景。首先用Qt库生成一个图形用户界面(GUI)，然后通过多重继承的方法构建场景类，然后在场景类中导入模型，在将模型通过对应的OSG语句读入场景中。
[0025]步骤二:三维虚拟场景模型数据库的建立，三维虚拟场景模型数据库主要包括场景特征点的世界坐标值信息及其相关属性信息，具体是依据虚拟模型计算场景特征点的世界三维坐标值并存入MYSQL数据库中，同时需要根据具体场景模型特征存入相关属性信息，比如场景模型不同区域特征点依据三维坐标值不同而具有唯一标示符ID等，用于虚实目标图像特征点的配准。
[0026]步骤三:利用MATLAB标定工具箱对安装在机械臂上的相机进行内参矩阵标定，同时利用传统的手眼标定方法标定相机坐标系与机械臂末端坐标系之间的齐次变换矩阵。
[0027]步骤四:真实场景图像帧数据和机械臂位置数据的采集与保存，通过控制机械臂的运动来移动相机完成真实场景全方位的图像帧数据及其对应的机械臂