本发明涉及一种多介质传播中随机波动的视觉定位研究，对视觉定位领域中可能出现的光在多个介质传播的偏差问题，推导多介质转换情况下的视觉定位公式，并针对传播介质的随机波动问题，提出定位模型进行描述，实现目标物体的精确定位，属于机器视觉领域中的工程问题。
背景技术：
：随着社会的发展，工业生产也日趋机械化、智能化，视觉定位技术作为提供目标物体位置信息的关键技术，被广泛应用于工业、农业、旅游业等各领域。视觉定位是机器视觉学科的一个重要分支，它是模仿人类眼睛的工作原理，代替人眼进行目标物体定位。目前在诸如电子、汽车、制造等很多行业在工业生产中利用视觉定位系统代替人眼进行定位，视觉定位技术还与机械臂等方式结合使用，达到工业生产自动化的效果。按照所用设备的不同，视觉定位主要分为单目相机、双目相机、RGB-D相机等方式，因为单目相机需要进行相机位姿变化，而RGB-D相机的成本又造价太高，因此双目相机应用的范围与前景更为广阔。视觉定位技术主要针对单一介质下的视觉定位，一部分研究集中于空气介质中，为执行机构运行提供位置信息，如农业生产中荔枝、番茄、草莓等农产品采摘视觉定位；另一部分则集中于水介质中，为水下作业提供对应的位置信息，适用于水下捕捞、海底勘测等工程。但是视觉定位中，经常会涉及到多介质间的转换问题，如空气中对水下物体的视觉定位、特殊气体中物体的远程定位等。随着介质的转换，光在透明介质中传播的路线会发生变化，导致计算出的结果并不是实际位置，而是所谓“虚像”的位置。目前不同介质下的视觉定位尚未得到有效研究，因此多介质视觉定位的精度问题是影响工程项目实施的关键。此外，实际环境中的水介质、空气介质等由于混杂多种成分，其折射率也会随时变化，尚未有准确的机理公式对实际环境中的折射率进行描述。对于外界环境的随机作用，介质中光线的传播也会产生形状变化和随机波动，从而影响定位信息的准确性。因此多介质转换问题还应考虑折射率的不定性及介质波动的随机性。因此如何建立符合水中物体的视觉定位模型，成为人们关注的焦点。技术实现要素：为了克服上述折射现象所导致的现有技术不足，本发明提供了一种多介质传播中随机波动的视觉定位研究，符合复杂情况下的视觉定位。人的眼睛其实就像一架精密的相机，时刻把外界的信息反馈回大脑，双目视觉定位就是模仿双眼工作的原理，采用两台相机从不同角度去观察同一目标物体，同时获得两幅目标物体的图像，通过目标物体在成像中的相对视差问题，从而恢复目标物体的三维信息。在双目视觉定位中，涉及到三套坐标系的概念，分别是图像坐标系、相机坐标系和世界坐标系，利用双目相机进行三维定位便是从图像像素坐标系转换成图像实际尺寸坐标系，再转换成世界坐标系的过程。本发明提供一种多介质传播中随机波动的视觉定位研究，主要包括如下几个步骤：步骤一、图像坐标系中畸变系数的确定；步骤二、图像坐标系到相机坐标系的转换；步骤三、世界坐标系中相机间的相对位姿；步骤四、相机坐标系到世界坐标系的转换；步骤五、介质转换条件下的视觉定位；步骤六、基于云模型的视觉定位随机性描述。本发明的优点在于：1.本发明利用双目相机对水中物体进行视觉定位，精确定位到目标物体特征点的实际位置，并没有考虑光想传播的折射问题，本发明解决了因为光线传播中折射引起的定位不准确问题。2.本发明纯水的折射率为1.33，但是在实际情况中，温度、水中杂质等诸多因素往往会影响水的折射率，因此本发明提供了水下物体视觉定位方法，不依赖于光线在传播过程中遇到介质转换而导致的折射率的不同的问题。3.本发明借助云模型对随机性和模糊性的处理，描述多介质视觉定位中的随机波动问题。4.本发明提供的方法，可以解决在视觉定位中因为光线折射而导致定位不准的问题，这类方法不仅可以应用于水下物体，还可以应用于其他光线传播介质转换而导致的视觉定位问题。附图说明图1为本发明中算法系统框图；图2为本发明中介质转换下的视觉定位模型；图3为本发明中实验装置示意图；图4为本发明中四种情况下100帧图片实验结果误差对比曲线；图5为本发明中100帧图像中确定度曲线与误差曲线的比较；图6为本发明中100组实验考虑有机介质前后的误差对比图；图7为本发明中100组实验考虑折射率未知前后的误差对比图；图8为本发明中100组利用云模型前后最小定位误差关系对比图。具体实施方式下面结合附图和实施例对本发明进行详细说明。本发明提供的一种多介质传播中随机波动的视觉定位研究，系统框图如图1所示，具体包括步骤如下：步骤一、图像坐标系中的畸变系数的确定首先根据Brown模型确定相机畸变系数，得到径向畸变参数为k1,k2，切向畸变参数为k3,k4。在图像坐标系中实际图像中心坐标为u0,v0，目标点坐标为u1,v1，经过畸变校正后的图像中心坐标为u'0,v'0，目标点坐标为u'1,v'1，畸变校正结果如公式(1)和公式(2)所示。Δu＝k1·Δu'·r2+k2·Δu'·r4+2k3·Δu'·Δv'+k4·(r2+2·Δu'2)(1)Δv＝k1·Δv'·r2+k2·Δv'·r4+2k3·Δu'·Δv'+k4·(r2+2·Δv'2)(2)其中：r2＝Δu'2+Δv'2，Δu＝u1-u0，Δv＝v1-v0，Δu'＝u1'-u0'，Δv'＝v1'-v0'。步骤二、图像坐标系到相机坐标系的转换在图像像素坐标系中，对镜头进行畸变校正之后，需要将图像坐标系上像素信息转换为相机坐标系中的长度信息，借助张正友标定法获得转换矩阵，即内参矩阵Kin。通过内参矩阵可以得到检测物体目标点在相机坐标系上的坐标，如公式(3)所示。pq1T=Kin-1*u′v′1T---(3)]]>其中，其中fu,fv分别表示X轴方向和Y轴方向图像像素尺寸和图像实际尺寸的比例。步骤三、世界坐标系中相机间的相对位姿由于双目视觉定位技术中存在有多个摄像头，因此各摄像头之间存在着转换矩阵，即为外参矩阵Kout。如公式(4)所示。Kout=Rt01---(4)]]>其中R为旋转矩阵，t为位移矩阵。其中一个相机为初始位置，另一个相机为终止位置，旋转矩阵是指绕三轴坐标系形成的角度矩阵，位移矩阵是指三轴方向的相对位移。因此两个相机之间的世界坐标系转换如公式(5)所示。xyz1leftT=Kout·xyz1rightT---(5)]]>其中，左相机世界坐标系坐标为右相机世界坐标系坐标为步骤四、相机坐标系到世界坐标系的转换根据左右相机坐标系上的实际尺寸，被测目标特征点的数值距离，可以计算出图像实际尺寸坐标系和世界坐标系距离的比例关系，其中世界坐标系原点为两个相机中心连线的中点，X轴平行于水平地面，Y轴垂直于水平地面，Z轴垂直于两个相机的连线，相机坐标系和世界坐标系的比值l，如公式(6)所示。l=||t||2||pq1leftT-R·pq1rightT||2=df---(6)]]>目标点的三维坐标如公式(7)所示。[xyz]＝0.5[xyz]left+0.5[xyz]right(7)其中：xyzleftT=l·pqfleftT,xyzrightT=l·pqfrightT]]>步骤五、介质转换条件下的视觉定位本发明推导过程以水下摄像头为例，光线的传播经历了空气、透明有机材料和水，空气的折射率默认为1，有机材料在出厂时的折射率检测为1.5，厚度a＝3mm，纯水的折射率为1.33。介质转换条件下双目视觉定位模型如图2所示，C1、C2为两个相机位置，平面D1D2和平面D3D4为介质转换平面，C3、C4为C1、C2在平面D1D2上的投影，C5、C6为C1、C2在平面D3D4上的投影，E1为目标点实际坐标，E2为目标点虚影坐标，E4和E3为目标点在介质转换面D1D2和D3D4的投影，已知折射率为n＝1.33。根据介质转换下的视觉定位模型，推导出水介质的折射率如公式(8)和公式(9)所示：n=cos∠C1D1C3a/|D1D3|·a/|D1D3|cos∠E1D3E4=cos∠C1D1C3cos∠E1D3E4---(8)]]>n=cos∠C2D2C4a/|D2D4|·a/|D2D4|cos∠E1D4E3=cos∠C2D2C4cos∠E1D4E3---(9)]]>在双目视觉定位中，已知关键点的坐标C1＝(0,0,0)、C2＝(x1,y1,z1)、E2＝(x2,y2,z2)。设有机材料平面方程为y＝m和y＝m+0.3，因此可以得到C3＝(0,m,0)、C4＝(x1,y1+m,z1)、C5＝(0,m+3,0)、C6＝(x1,y1+m+3,z1)、E3＝(x2,m+3,z2)、E4＝(x2,m,z2)，以上坐标为双目相机在两个介质转换平面上的投影。由于两介质的转换平面是平行的，对于目标物体定位，会产生y轴方向变化，如公式(10)所示。α=3-3·y2x22+z22tan[arcsin(2x22+z223x22+y22+z22)]---(10)]]>同时，根据光线方程C1E2、C1E2和有机材料平面方程D1D2、D3D4可以得到D1、D2、D3、D4四个点在世界坐标系的坐标为：D1=x4y4z4T=m·x2y2mm·z2y2T]]>D2=x5y5z5=(m-y1)(x2-x1)y2-y1+x1m(m-y1)(z2-z1)y2-y1+z1]]>根据公式(9)推出透明有机介质的“虚像”位置信息，如公式(11)所示。E5＝E1+(0,α,0)(11)把公式(11)代入到公式(7)和公式(8)推导出水的折射率公式，并化简为公式(12)所示。n=cos∠C1D1C3cos∠E5D1E3=cos∠C2D2C4cos∠E5D2E3---(12)]]>由公式(11)展开可以得到公式(12)。|D1C3||C1D1|/|D1E4||E5D1|=|D2C4||C2D2|/|D2E3||E5D2|]]>在公式(12)中，点C1、C2、C3、C4、D1、D2、E4的三维位置信息已知，E5的三维位置信息中仅在y轴上存在一个未知数，把这些信息代入到公式(12)中得，如公式(13)所示。x22+z22x22+z22+1(x2-y2)2+(z2-y2)2(x2-y2)2+(z2-y2)2+(y2-m1y2/m)2=[(x2-x1)(m-y1)]2+y22+[(z2-z1)(m-y1)]2[(x2-x1)(m-y1)]2+[(y2-y1)(m-y2)]2+[(z2-z1)(m-y1)]2[(x2-x1)(m-y1)]2+[(z2-z1)(m-y1)]2[(x2-x1)(m-y1)]2+[(y2-y1)(m-m1)]2+[(z2-z1)(m-y1)]2---(13)]]>在公式(13)中，x1、y1、z1、x2、y2、z2、m均为已知变量，因此可以求出未知变量m1。因此也可以相应的求出E5的三维位置信息后，根据上述公式可以很容易得出未知折射率n的值，如公式(14)所示。n=x22+z22x22+z22+1/(x2-y2)2+(z2-y2)2(x2-y2)2+(z2-y2)2+(y2-m1y2/m)2---(14)]]>步骤六、基于云模型的视觉定位随机性描述对于定位信息E1来说，因为水的波动会导致光线传播路径受到影响，因此定位信息受到随机波动干扰发生偏差，本发明探索利用云模型对随机性的处理，将这种定位信息的影响消除到最低的程度。根据水下摄像头采集的每帧图片的定位信息，可以得到一组三维数据，记作xi,yi,zi，其中i＝1,…,n。利用云模型的数字特征期望Ex、熵En、超熵He反映随机波动的模糊性与随机性。三维视觉定位正态云模型发生器的生成算法如下：(1)首先计算样本期望，如公式(15)所示。Ex(xi,yi,zi)=1iΣ(xi,yi,zi)---(15)]]>(2)根据样本值，计算熵值，如公式(16)所示。En(xi,yi,zi)=1iΣ{[(xi,yi,zi)-E(xi,yi,zi)]2}---(16)]]>(3)设定样本的超熵如公式(17)所示。He(xi,yi,zi)＝0.1(17)(4)分别以Ex(xi,yi,zi)和En(xi,yi,zi)为期望和标准差，生成正态随机数(5)分别以En(xi,yi,zi)和He(xi,yi,zi)为期望和标准差，生成正态随机数En'(xi,yi,zi)(6)根据以上参数计算确定度，如公式(18)所示：μi=exp[-Σx,y,zx,y,z[(xi-Exi)22(En′i)2]]---(18)]]>(7)迭代计算下一帧图片的确定度，计算过程重复上述步骤，比较每帧图像的确定度μi，并得出确定度μi的最小值，将最小值对应的坐标作为视觉定位中目标点三维信息值(xi,yi,zi)。实施例一步骤一、图像坐标系中的畸变系数的确定；基于多介质的视觉定位实验环境如图3所示，仿真过程中采用的双目相机分辨率为640×480。根据Brown模型，可以得到双目相机的径向畸变和切向畸变系数，如表1所示：表1双目相机的径向与切向畸变系数步骤二、图像坐标系到相机坐标系的转换；利用张正友标定法计算双目相机的内参矩阵，如表2所示。表2双目相机的内参矩阵系数步骤三、世界坐标系中相机间的相对位姿；双目相机在世界坐标系中的坐标分别为C1＝[0,0,0]，C2＝[230,0,0]，且外参矩阵如公式(19)所示。Kout=Rt01=100230010000100001---(19)]]>步骤四、相机坐标系到世界坐标系的转换；完成图像处理后，选取其中一帧图片上的目标物体，并给出目标物体的形心点在双目相机图像坐标系上的坐标，如表3所示：表3图像坐标系中目标物体形心点坐标把表2、表3中的数据带入公式(3)中，得到目标点在左右两部相机坐标系的两组坐标分别为：[2.332,-2.912,1]，[1.812,-2.849,1]。步骤五、介质转换条件下的视觉定位；根据公式(5)和(6)，计算得到E2点的坐标为[1023.371，-1277.532，2676.535]。因为透明有机材料会产生偏差，因此根据公式(7)至公式(11)计算得到E5与E1之间偏差为：α＝2.205已知m＝-800，求得E5和E1点的坐标分别为：E1＝[1023.371-1289.7372676.535]E5＝[1023.371-1287.5322676.535]因此也可以求出水的折射率为n＝1.35。考虑多介质的视觉定位中，忽略防护罩、计算防护罩、已知折射率、未知折射率四种情况，分别把实验数据代入计算得到定位数据如表4所示。表4多介质视觉定位中目标点坐标已知真实的三维坐标值为[1023.5，-1290，2676.5]，对比四种情况下100帧图片的计算误差，计算结果如图4所示：根据上述图片从上至下的四条曲线分别代表n＝1.33且不考虑透明有机材料薄层、n未知且不考虑透明有机材料薄层、n＝1.33且考虑透明有机材料薄层、n未知且考虑透明有机材料薄层四种情况，根据上述图片，可以明显看出，本发明的算法具有更加良好的精度，充分考虑到了透明有机介质薄层的厚度和水的折射率未知的情况，在考虑透明有机介质后误差从3mm左右提高到了1mm左右，把误差降低了66.7％左右，同时在考虑未知介质的情况下，同种情况下误差降低了49.7％左右，充分证明该算法在未知介质转换条件下算法的可靠性。步骤六、基于云模型的视觉定位随机性描述。为了消除视觉定位中随机波的影响，进一步实验将100帧图片作为实验数据，分别按照上述第四种情况进行计算，每帧图像的数据信息可表示成如表4所示。表4帧图像目标点坐标根据公式(12)到公式(16)可以得到确定度曲线与精度误差曲线，如图5所示：从图5中可以直观的看出，误差的曲线趋势与确定度的曲线趋势几乎一致，因此验证确定度最小时即为最接近真实值的情况。重复上述实验，调整实际环境中的实验参数，包括调整相机位置，水中加入混杂物，调整透明有机材料厚度、调整水面高度等，利用本发明中的方法进行实验获得目标物体的坐标。经过100组实验，得到数据分析结果如图6、图7、图8所示：得到结论如下：结论1：100组实验中，考虑透明有机材料厚度的计算，在精度方面均优于不考虑厚度的情况；结论2：100组实验中，有92组水的折射率未知的情况均优于折射率用1.33直接计算的情况，另外8组因为计算出来的折射率非常接近1.33，实验精度方面几乎相等。结论3：100组实验中，有86组实验符合不确定度曲线趋势和精度曲线趋势一致的情况，剩余14组不一样的曲线误差均在0.1毫米以内，分析可能由于三维信息变化较小，从而导致的不确定度非常接近，在取近似时保留小数位数直接影响了结果，但是影响极其微小可以忽略不计。实验结果表明本发明方法适用于介质转换下的视觉定位技术，解决了介质转换下折射率未知和介质波动等问题对定位精度带来的影响，为视觉定位技术的完善提供了一种有效途径。当前第1页1 2 3