一种海上风电场增强现实方法与流程
本发明属于AR相关技术设计开发领域或属于海上风电场可视化运维决策系统领域，尤其是涉及一种海上风电场增强现实方法。
背景技术：
风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(Augmented Reality增强现实)相关技术设计开发海上风电场可视化运维决策系统，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，根据现场情况制定相应的运维策略。AR技术依据实际现场环境与设备状态设计触发点，将实时运行数据嵌入AR显示界面中，实现集控数据与现实场景并存，从而获得人机交互的体感。在基于AR的可视化运维决策系统中现场维护人员通过所佩戴的AR设备对所要维修的对象进行识别，将相关的结构信息和实时运行数据附加在真实场景之上，制造出虚拟数据与现实场景共存的场景，帮助维护人员在现场进行运维问题决策与操作。
有鉴于此，特提出本发明。
技术实现要素：
本发明要解决的技术问题在于克服现有技术的不足，提供一种海上风电场增强现实方法，将辅助操作人员工作的虚拟对象叠加到真实的场景中，从而帮助了操作人员在现场进行运维问题的决策与操作，提高了操作人员的工作效率，保障了风电场正常的工作。
为解决上述技术问题，本发明采用技术方案的基本构思是：
一种海上风电场增强现实方法，应用于操作人员穿戴的AR眼镜上，包括：识别出风电场中的目标器械，实时获取操作人员视角信息和AR眼镜中相机的位置信息，根据所述操作人员视角信息和AR眼镜中相机的位置信息将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，其中，所述的虚拟对象包括目标器械的虚拟内部结构、目标器械内部部件虚拟运行姿态、目标器械的运行参数数据、目标器械的拆装动画、目标器械的历史数据信息中的任意一项或几项。
优选的，根据风电场各器械实际物理属性制作纹理和材质数据，渲染出高真实感的虚拟三维模型，对具有动态运动的机械建立其动态运动模型，将所述的三维模型或运动模型显示在目标器械上或显示在目标器械的设定方向位置处。
优选的，针对风电场运维过程中的拆卸组装任务，建立从目标器械拆卸成零件以及将零件组装成目标器械的动态时序动画，根据操作人员指令将该动画显示在真实的场景中所述的目标器械上或目标器械的设定方向位置处，以便指导操作人员正确地执行拆卸、组装及维护任务。
优选的，针对风电场的风机舱内环境特征纹理缺乏的特点，采用基于边缘的SLAM算法进行目标器械的跟踪，并根据操作人员视角信息与真实场景的相对关系调整虚拟对象的姿态及比例参数，使虚拟对象叠加到真实场景的目标器械上或目标器械的设定方向位置处。
优选的，所述的进行目标器械的跟踪包括对目标器械进行初始化，得到目标器械在实际场景中的精确位姿的初始化过程和在目标器械与操作人员相对运动时，对目标器械进行边沿跟踪实时将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处的跟踪过程。
优选的，所述初始化过程包括：根据已知目标器械的模型，预先建立其点云数据库，然后确定目标器械在AR眼镜的相机采集的图像中的位置，提取目标器械在图像中的点云数据，最后将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系；
优选的，所述的目标器械的模型为3D模型，通过选择该3D模型的不同视角，生成多视角点云数据库，并记录各视角下目标模型的位姿。
优选的，将AR眼镜上的相机采集的图像与预先准备好的目标器械的图像做ORB匹配，得到目标器械在图像中的大致位置，然后使用slam算法提取目标器械的点云数据，将得到的点云数据与所建立的点云数据库做点云匹配，得到点云集间的精确的变换关系。
优选的，所述的跟踪过程包括以下步骤：
S1、进行边沿跟踪，确定目标器械运动之后的位姿；
S2、使用SLAM算法对目标器械所在新的图像位置进行点云提取；
S3、点云匹配，确定目标器械的精确位姿。
优选的，在步骤S1中，包括实时检测目标器械的边沿以确定目标器械的位置，其中检测目标器械边沿的步骤为：
S101、对相机采集的图像做高斯平滑处理；
S102、计算得到图像的全局梯度；
S103、对图形进行保留局部梯度最大的点，而抑制非极大值；
S104、用双阈值算法检测和连接图像边缘；
S105、获得目标器械新的轮廓位置，更新目标器械位姿信息。
优选的，在步骤S101中，对图像进行高斯平滑处理采用高斯平滑函数为：
令g(x,y)为平滑后的图像，用h(x,y,σ)对图像f(x,y)进行平滑处理，即：
g(x,y)＝h(x,y,σ)*f(x,y)；
在步骤S102中，还包括以下步骤：
S1021、使用一阶有限差分计算x和y方向的偏导数fx'(x,y)和fy'(x,y),由此得到偏导数矩阵Gx(x，y)和Gy(x，y)，公式如下：
f′x(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2；
f′y(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2；
S1022、进一步求有限差分的均值，以在图像中的同一点计算x和y的偏导数梯度，其中，幅值和方位角可用直角坐标到极坐标的坐标转化公式来计算：
θ[x，y]＝arctan(Gx(x，y)/Gy(x，y))；
其中，M[x，y]反映了图像的边缘强度；θ[x，y]反映了边缘的方向，使得M[x，y]取得局部最大值的方向θ[x，y]，就反映了边缘的方向；
步骤S103中对图形进行保留局部梯度最大的点，而抑制非极大值包括：比较每一点上的领域的中心像素M[x，y]与沿着梯度线的两个像素相比，如果M[x，y]的梯度值不比沿梯度线的两个相邻像素梯度值大，则令M[x，y]＝0，从而得到非极大值抑制图像；
步骤S104中用双阈值算法检测和连接图像边缘包括：对步骤S103中得到的非极大值抑制图像作用两个阈值th1和th2，其中，th1＝0.4th2；
把梯度值小于th1的像素的灰度值设为0，得到图像1，然后把梯度值小于th2的像素的灰度值设为0，得到图像2，以图像2为基础，以图像1为补充来连结图像的边缘；
其中，所述连接图像的边缘的具体步骤如下：
S1041、对图像2进行扫描，当遇到一个非零灰度的像素p(x，y)时，跟踪以p(x，y)为开始点的轮廓线，直到轮廓线的终点q(x，y)；
S1042、考察图像1中与图像2中q(x，y)点位置对应的点s(x，y)的8邻近区域，如果在s(x，y)点的8邻近区域中有非零像素s(x，y)存在，则将其包括到图像2中，作为r(x，y)点；
S1043、从r(x，y)开始，重复上述步骤，直到在图像1和图像2中都无法继续为止；
S1044、完成对包含p(x，y)的轮廓线的连结之后，将这条轮廓线标记为已经访问，进入步骤S1041，寻找下一条轮廓线，重复上述步骤，直到图像2中找不到新轮廓线为止。
采用上述技术方案，本发明具有以下有益效果：
本发明的海上风电场增强现实方法，通过将辅助操作人员工作的虚拟对象叠加到真实的场景中，从而帮助了操作人员在现场进行运维问题的决策与操作，提高了操作人员的工作效率，保障了风电场正常的工作。风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(Augmented Reality增强现实)相关技术设计开发海上风电场可视化运维决策系统，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，根据现场情况制定相应的运维策略。AR技术依据实际现场环境与设备状态设计触发点，将实时运行数据嵌入AR显示界面中，实现集控数据与现实场景并存，从而获得人机交互的体感。在基于AR的可视化运维决策系统中现场维护人员通过所佩戴的AR设备对所要维修的对象进行识别，将相关的结构信息和实时运行数据附加在真实场景之上，制造出虚拟数据与现实场景共存的场景，帮助维护人员在现场进行运维问题决策与操作。
下面结合附图对本发明的具体实施方式作进一步详细的描述。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1是本发明的对目标器械进行边沿跟踪的跟踪过程步骤图；
图2是本发明的对目标器械进行跟踪的初始化过程步骤图。
需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
本实施例一提供一种海上风电场增强现实方法，应用于操作人员穿戴的AR眼镜上，包括：识别出风电场中的目标器械，实时获取操作人员视角信息和AR眼镜中相机的位置信息，根据所述操作人员视角信息和AR眼镜中相机的位置信息将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，其中，所述的虚拟对象包括目标器械的虚拟内部结构、目标器械内部部件虚拟运行姿态、目标器械的运行参数数据、目标器械的拆装动画、目标器械的历史数据信息中的任意一项或几项。
优选的，根据风电场各器械实际物理属性制作纹理和材质数据，渲染出高真实感的虚拟三维模型，对具有动态运动的机械建立其动态运动模型，将所述的三维模型或运动模型显示在目标器械上或显示在目标器械的设定方向位置处。
优选的，针对风电场运维过程中的拆卸组装任务，建立从目标器械拆卸成零件以及将零件组装成目标器械的动态时序动画，根据操作人员指令将该动画显示在真实的场景中所述的目标器械上或目标器械的设定方向位置处，以便指导操作人员正确地执行拆卸、组装及维护任务。
优选的，针对风电场的风机舱内环境特征纹理缺乏的特点，采用基于边缘的SLAM算法进行目标器械的跟踪，并根据操作人员视角信息与真实场景的相对关系调整虚拟对象的姿态及比例参数，使虚拟对象叠加到真实场景的目标器械上或目标器械的设定方向位置处。
优选的，所述的进行目标器械的跟踪包括对目标器械进行初始化，得到目标器械在实际场景中的精确位姿的初始化过程和在目标器械与操作人员相对运动时，对目标器械进行边沿跟踪实时将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处的跟踪过程。
优选的，所述初始化过程包括：根据已知目标器械的模型，预先建立其点云数据库，然后确定目标器械在AR眼镜的相机采集的图像中的位置，提取目标器械在图像中的点云数据，最后将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系；
优选的，所述的目标器械的模型为3D模型，通过选择该3D模型的不同视角，生成多视角点云数据库，并记录各视角下目标模型的位姿。
优选的，将AR眼镜上的相机采集的图像与预先准备好的目标器械的图像做ORB匹配，得到目标器械在图像中的大致位置，然后使用slam算法提取目标器械的点云数据，将得到的点云数据与所建立的点云数据库做点云匹配，得到点云集间的精确的变换关系。
参见图1所示，所述的跟踪过程包括以下步骤：
S1、进行边沿跟踪，确定目标器械运动之后的位姿；
S2、使用SLAM算法对目标器械所在新的图像位置进行点云提取；
S3、点云匹配，确定目标器械的精确位姿。
优选的，在步骤S1中，包括实时检测目标器械的边沿以确定目标器械的位置，其中检测目标器械边沿的步骤为：
S101、对相机采集的图像做高斯平滑处理；
S102、计算得到图像的全局梯度；
S103、对图形进行保留局部梯度最大的点，而抑制非极大值；
S104、用双阈值算法检测和连接图像边缘；
S105、获得目标器械新的轮廓位置，更新目标器械位姿信息。
优选的，在步骤S101中，对图像进行高斯平滑处理采用高斯平滑函数为：
令g(x，y)为平滑后的图像，用h(x，y，σ)对图像f(x，y)进行平滑处理，即：
g(x，y)＝h(x，y，σ)*f(x，y)；
在步骤S102中，还包括以下步骤：
S1021、使用一阶有限差分计算x和y方向的偏导数fx′(x，y)和fy′(x，y)，由此得到偏导数矩阵Gx(x，y)和Gy(x，y)，公式如下：
f′x(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2；
f′y(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2；
S1022、进一步求有限差分的均值，以在图像中的同一点计算x和y的偏导数梯度，其中，幅值和方位角可用直角坐标到极坐标的坐标转化公式来计算：
θ[x，y]＝arctan(Gx(x，y)/Gy(x，y))；
其中，M[x，y]反映了图像的边缘强度；θ[x，y]反映了边缘的方向，使得M[x，y]取得局部最大值的方向θ[x，y]，就反映了边缘的方向；
步骤S103中对图形进行保留局部梯度最大的点，而抑制非极大值包括：比较每一点上的领域的中心像素M[x，y]与沿着梯度线的两个像素相比，如果M[x，y]的梯度值不比沿梯度线的两个相邻像素梯度值大，则令M[x，y]＝0，从而得到非极大值抑制图像；
步骤S104中用双阈值算法检测和连接图像边缘包括：对步骤S103中得到的非极大值抑制图像作用两个阈值th1和th2，其中，th1＝0.4th2；
把梯度值小于th1的像素的灰度值设为0，得到图像1，然后把梯度值小于th2的像素的灰度值设为0，得到图像2，以图像2为基础，以图像1为补充来连结图像的边缘；
其中，所述连接图像的边缘的具体步骤如下：
S1041、对图像2进行扫描，当遇到一个非零灰度的像素p(x,y)时，跟踪以p(x,y)为开始点的轮廓线，直到轮廓线的终点q(x,y)；
S1042、考察图像1中与图像2中q(x,y)点位置对应的点s(x,y)的8邻近区域，如果在s(x,y)点的8邻近区域中有非零像素s(x,y)存在，则将其包括到图像2中，作为r(x,y)点；
S1043、从r(x,y)开始，重复上述步骤，直到在图像1和图像2中都无法继续为止；
S1044、完成对包含p(x,y)的轮廓线的连结之后，将这条轮廓线标记为已经访问，进入步骤S1041，寻找下一条轮廓线，重复上述步骤，直到图像2中找不到新轮廓线为止。
实施例二
本实施例二在实施例一的基础上进一步详细公开其进行目标器械跟踪的初始化过程，参见图2所述，具体包括以下步骤：
A1001、根据已知目标器械的模型，预先建立其点云数据库；
A1002、确定目标器械在相机(AR眼镜的相机)采集的图像中的位置，提取目标器械在图像中的点云数据；
A1003、将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。
优选的，所述的目标器械的模型为3D模型，通过选择该3D模型的不同视角，生成多视角点云数据库，并记录各视角下目标器械的位姿。可以采用slam软件库或PCL等实现。
优选的，将相机采集的图像与预先准备好的目标器械的图像做ORB匹配，得到目标器械在图像中的大致位置。
优选的，对预先准备好的目标器械的图像进行ORB特征点提取并与相机采集的图像进行匹配，包括：分别获取该两图像的特征点，得到特征描述子，并判断两图像的特征描述子之间的欧式距离是否小于设定阈值，若判断结果为是，则判断两图像相匹配，否则判断两图像不匹配；
所述的ORB特征点提取包括以下步骤：
A1、将预先准备好的目标器械的图像生成图像高斯金字塔；
A2、根据步骤A1中得到的图像生成DOG金字塔；
A3、对步骤A2得到的图像进行空间极值点检测，得到在尺度空间和二维图像空间上都是局部极值点的若干关键点；
A4、在步骤A3中得到的关键点中，以每一个关键点像素p为中心，半径为3做圆，圆形上有16个像素点分别为：p1、p2、...p16；
A5、定义一个阈值，计算p1、p9与中心p的像素差，若它们绝对值都小于设定阈值，则判断p点不可能是特征点，除去，否则，p点为候选点，需进一步判断；
A6、若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；
A7、计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则p为特征点；
A8、对图像进行非极大值抑制：计算特征点处的得分值，判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的s值，若p是邻域所有特征点中响应值最大的，则保留；
其中得分计算公式为：
其中p表示中心点的像素值，value表示以p为中心的领域内的特征点的像素值，S表示得分，t表示阈值；所述的特征点的s值为16个点与中心差值的绝对值总和；
A9、以步骤A8中所保留的特征点为中心，取SxS的邻域窗口，在窗口内随机选取一对点，比较二者像素的大小，进行如下二进制赋值；
其中，p(x)，p(y)分别是随机点x＝(u1,v1),y＝(u2,v2)的像素值；
A10、在窗口中随机选取N对随机点，重复二进制赋值，得到特征描述子；
A11、对步骤A8中筛选后的每一特征点，均得到一个256bit的二进制编码。
优选的，步骤A1包括以下步骤：
A101、将预先准备好的目标器械的图像扩大一倍，作为高斯金字塔的第一组第一层，将第一组第一层图像经高斯卷积得到第一组第二层，高斯卷积的公式为：
其中，(x,y)为像素点的坐标，σ为正态分布的标准偏差，优选设定为1.6；
A102、将σ乘以一个比例系数k，得到新的σ，用它来平滑第一组第二层的图像，重复该步骤，最后得到L层图像，在同一组中，每一层图像的尺寸都是一样的，只是平滑系数不一样；
A103、将第一组倒数第三层图像作比例因子为2的降采样，得到的图像作为第二组第一层，然后进行步骤A102和A103，得到第二组的L层图像；
A104、根据上述过程，反复执行，得到一共O组，每组L层，共计O*L个图像；
在步骤A2中，由步骤A1中，得到的图像高斯金字塔中的第一组第二层减第一组第一层得到DOG金字塔第一组第一层，高斯金字塔中的第一组第三层减第一组第二层得到DOG金字塔第一组第二层，以此类推，逐组逐层生成每一个差分图像，所有的差分图像构成差分DOG金字塔，即DOG金字塔的第O组第I层图像是高斯金字塔的第O组I+1层减第O组I层得到的；
步骤A3中，还包括以下步骤：
A301、在DOG金字塔图像中，所有像素点与它3*3邻域内的8个点做比较；
A302、各像素点再和上下相邻两层图像中相同位置的像素点的3*3领域内的2*9个点做比较；
A303、保证关键点在尺度空间和二维图像空间上都是局部极值点。
优选的，所述的提取目标器械在图像中的点云数据，包括在确定目标器械在图像中的位置后，使用SLAM算法提取物体点云；
所述的SLAM算法采用LSD-SLAM算法、ORB-SLAM算法、RGBD-SLAM2算法、ElasticFusion算法中的任意一种算法；
优选的,SLAM算法选用ORB-SLAM算法。
优选的，当采用单目SLAM算法时，单目SLAM提取的特征点开始为二维点，需要使用三角化的方法求取特征点的深度信息，得到特征点的深度信息后，从而得到点云数据。
优选的，所述将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系包括采用点云匹配的算法，得到精确的物体位姿信息：
该点云匹配的算法包括以下步骤：
A401、点云特征点选取过程：
A402、计算特征描述子过程；
A403、匹配特征点，对点云进行粗匹配，得到粗匹配的坐标变化T和尺度变换S；
A404、迭代优化过程。
优选的，步骤A401还包括以下步骤：
A411、查询一次点云获取得到的数据中每一个点pi半径ri内所有点，并计算权值：
wij为三维点pi领域内任一点pj的权值，公式中pi,pj分别代表两点的三维坐标向量；
A412、根据权值计算方差矩阵
其中，T为求转值；
A413、计算方差矩阵的特征值特征值按照从大到小顺序排列；
A414、设置阈值ε1和ε2保留满足和的点为关键点；
步骤S402还包括以下步骤：
A421、寻找满足步骤A414的关键点pi的r半径范围内所有点，假设点的个数为ni；
A422、计算ni个点的法向量；
A423、根据ni个点计算关键点pi的特征描述子；
其中，计算任意两点Ds和Dt以及它们对应的法线ns和nt之间的特征如下：
α＝V·nt；
θ＝arctan(W·ns，Unt)
其中，U,V,W分别代表三维直角坐标系中的三个坐标轴的单位向量，其中ns与U方向相同，φ为U方向和Ds与Dt连线方向间的夹角，α为nt与V方向的夹角，θ为nt在U‐V平面上的投影与U方向的夹角，d为Ds与Dt两点间的欧氏距离，计算关键点pi的r半径领域内的任意两点间的α、φ、θ、d为作为关键点pi的特征。
优选的，步骤A404包括以下步骤：
A441、设pi＝(xi,yi,zi),qj＝(xj,yj,zj)为三维空间中两个3D点，他们的欧氏距离为：
为求解任意两个点云集P和Q的旋转矩阵R和坐标变换T，对于点云P中的任一特征点pi,和Q中与pi所对应的特征点qj，有qj＝Rpi+T，利用最小二乘法求最优解得误差E为：
其中N代表两个点云中匹配的特征点总量，使用最小二乘法求解使误差E最小的R与T；
A442、平行移动和旋转分离：先对坐标变换T进行初始估算，分别得到点集P和Q的中心：
A443、构造点集P和Q的协方差矩阵：
其中μP代表点云中心化矩阵，qiT为向量的转置；
A444、由协方差矩阵构造4x4对称矩阵：
其中，I3是3x3单位矩阵；
其中，Δ为指代符号，代表Q(∑P,Q)；
A445、计算Q(ΣP,Q)的特征值和特征向量，其最大特征值对应的特征向量即为最佳旋转向量qR＝[q0q1q2q3]T；
A446、计算最佳平移向量：
A447、将旋转矩阵和平移向量叠加在点云Q上，之后再带入式：
其中，若误差小于设定阈值，则迭代结束，否则继续重复以上步骤；迭代结束之后，所得到的旋转矩阵与平移向量即是目标器械的初始位置，初始化过程结束。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。
- 还没有人留言评论。精彩留言会获得点赞！