一种基于稀疏光流法的多角点跟踪方法及装置的制造方法
【技术领域】
[0001] 本发明属于图像处理技术领域，尤其涉及一种基于稀疏光流法的多角点跟踪方法 及装置。
【背景技术】
[0002] 目标跟踪是一门融合图像处理，模式识别，概率论等众多学科的复杂课题，在国防 建设，航空领域，医药行业，智能交通等领域都得到了广泛的应用。
[0003] 在当前的目标跟踪算法中，依照目标定位的方法首先可以将跟踪方法分为概率跟 踪方法和确定性跟踪算法。概率跟踪算法采用的是贝叶斯滤波理论解决状态估计问题，通 过对目标参数的预测和修正过程采用一种递推方式实现时变状态的估计，表征目标的状态 量通常由坐标，速度等构成，状态量通过状态转移模型向前推进实现状态预测；除去利用概 率论知识的跟踪方式，剩下的目标跟踪方式被认为是确定性跟踪方式，依照目标建模所用 的视觉特征不同，确定性目标跟踪算法又可以分为基于颜色特征的MeanShift跟踪算法， 基于光流特征的光流跟踪算法以及基于特征描述子的目标跟踪算法等等类型。
[0004] 智能交通管理系统中的电子警察在进行车辆跟踪时，目标背景往往是位于十字路 口，画面场景往往比较复杂，对算法在复杂场景下的跟踪效果有一定要求，同时由于图像在 户外取景，需要考虑光照变化和天气变化等各种不同的场景变化，要求跟踪算法有较强的 鲁棒性；同时电子警察要求实时判罚，所以对于算法的性能开销也有一定的要求。
[0005] 对于电子警察的应用，现有的Kalman滤波法是一种基于贝叶斯滤波理论的跟踪 算法，Kalman滤波模型建立在线性高斯模型基础上，只能对平稳运动目标进行有效预测。若 应用在电子警察的十字路口场景中，跟踪车辆会出现不规则的启停和加减速状态，Kalman 滤波不能得到一个有效的跟踪准确率。同时由于Kalman滤波包含预测和修正两个过程，在 利用当前状态模型完成轨迹预测后，Kalman滤波需要通过修正流程更新当前状态模型，而 更新流程需要一组目标位置的测量值作为输入，在电子警察的应用场景中，很难通过其它 手段得到这样一组测量值，以致算法很难整体实现。
[0006] 而Lucas-Kanade稀疏光流跟踪算法具有较强的抗干扰性，适合在十字路口这种 场景复杂的环境中实现跟踪算法，但是Lucas-Kanade算法仍然存在一定的不足之处，较大 的运动或者噪声的干扰可能导致跟踪点移出跟踪窗口，虽然采用金字塔算法后，较大运动 导致的算法失败得到改善，由于噪声或者目标形变的影响，但仍存在一定算法失败的概率。
【发明内容】
[0007] 本发明的目的是提供一种基于稀疏光流法的多角点跟踪方法及装置，适用于复杂 场景目标跟踪，克服了现有技术在复杂场景跟踪效果差，无法应对目标的不规则加减速、跟 踪鲁棒性差，或者不能应用于实时系统的问题。
[0008] 为了实现上述目的，本发明技术方案如下：
[0009] -种基于稀疏光流法的多角点跟踪方法，用于对待处理视频图像序列进行目标跟 踪，该方法包括：
[0010] 结合参考视频图像中K个角点的邻域窗口所有像素点的像素值，水平方向导数值 以及垂直方向导数值，在当前待跟踪视频图像的当前跟踪窗口中基于稀疏光流法得到所述 K个角点在待跟踪视频图像中的偏移信息和当前位置；
[0011] 判断所述K个角点的偏移信息是否可信，如果全部角点的偏移信息都不可信，则 以历史偏移信息计算当前目标位置，否则，利用可信角点的偏移信息计算当前目标位置；
[0012] 更新待跟踪视频图像中需要更新的角点，保存待跟踪视频图像中更新后K个角点 的邻域窗口中所有像素点的像素值，水平方向导数值以及垂直方向导数值，将当前待跟踪 视频图像作为参考视频图像，转入下一个待跟踪视频图像进行目标跟踪。
[0013] 其中，所述当前待跟踪视频图像的当前跟踪窗口通过如下步骤获得：
[0014] 如果当前待跟踪视频图像是第一帧视频图像，则获取目标位置，基于目标位置作 矩形框作为当前跟踪窗口；如果当前待跟踪视频图像不是第一帧视频图像，则当前跟踪窗 口与参考视频图像的跟踪窗口大小一致，当前跟踪窗口的中心位置通过参考视频图像计算 获得的目标位置得到，如果没有参考视频图像计算获得的目标位置，则采用参考视频图像 的跟踪窗口位置作为当前跟踪窗口位置；
[0015] 所述K个角点通过如下方法获得：
[0016] 如果当前待跟踪视频图像是第一帧视频图像，则在当前跟踪窗口内以目标位置为 中心获得角点搜索窗口，在角点搜索窗口内使用Harris方法计算角点搜索窗口内每个像 素点的最小特征值，并按照最小特征值排列，从大到小选取K个像素点作为待跟踪的角点； 如果当前待跟踪视频图像不是第一帧视频图像，则以参考视频图像中的K个角点为待跟踪 的角点。
[0017] 本技术方案所述判断所述K个角点的偏移信息是否可信，包括步骤：
[0018] 根据如下公式为K个角点设置偏移置信度T:
[0019] T = MinEig/PixelDiff
[0020] MinEig = A22+An-sqrt ((An-A22) X (An-A22)+4XA12XA12)
[0021] PixelDiff = Σ Σ abs (Icur-Ipre)
[0022]
[0023] 其中MinEig表示该角点的最小特征值，PixelDiff表示待跟踪视频图像与前一帧 视频图像角点邻域窗口内像素点像素值差值的和，为待跟踪视频图像中角点邻域窗口 内像素点的像素值，Ipra为前一帧视频图像内角点邻域窗内像素点的像素值，Ix表示待跟踪 视频图像角点的邻域窗口中像素值在X方向的导数，Iy表示待跟踪视频图像角点的邻域窗 口中像素值在Y方向的导数；
[0024] 判断角点的偏移置信度是否小于指定阈值，如果小于指定阈值，则认为该角点的 偏移信息不可信，否则认为该角点的偏移信息可信。
[0025] 本发明为角点设置偏移置信度，并与指定阈值进行比较，判断待跟踪视频图像中 的角点的偏移信息是否可信，可以避免由于跟踪算法准确率限制造成的位置偏离、或者跟 踪目标形变、遮挡等造成的特征减弱以至于不利于跟踪的影响。
[0026] 本技术方案所述利用可信角点的偏移信息计算当前目标位置，包括步骤：
[0027] 首先根据偏移置信度按照如下公式计算角点的偏移权重值：
[0028] w；= Σ T；
[0029] 然后按照如下公式进行加权求和得到当前目标偏移：
[0030] Dx =Σ,ψ? · xi Dy = Xw；· y；
[0031] 其中，Dx，Dy分别为跟踪目标的最终X方向偏移和Y方向偏移；Wl为偏移置信度大 于等于指定阈值的角点的偏移权重值，?\为偏移置信度大于等于指定阈值的角点的偏移置 信度，Xl和yi分别为偏移置信度大于等于指定阈值的角点的水平和垂直方向偏移值；
[0032] 根据当前目标偏移Dx，Dy，以及参考视频图像中的目标位置计算得到当前目标位 置。
[0033] 本技术方案所述更新待跟踪视频图像中需要更新角点，为更新待跟踪视频图像中 不可信角点，具体包括步骤：
[0034] 对于待跟踪视频图像中的不可信角点，根据当前目标位置设置角点搜索窗口，计 算角点搜索窗口内所有像素邻域窗口的自相关矩阵，并对每个像素计算自相关矩阵的最小 特征值；
[0035] 对角点搜索窗口内所有像素点依照最小特征值排序,输出最小特征值最大的像素 点作为当前更新后的角点；
[0036] 其中，所述像素邻域窗口的自相关矩阵计算公式如下：
[0037]
[0038] 其中A为邻域窗口自相关矩阵，Ix为邻域窗口内像素水平方向导数，仁为邻域窗 口内像素垂直方向导数；
[0039] 所述自相关矩阵的最小特征值计算公式如下：
[0040]E=A22+An-sqrt((An-A22)X(An-A22)+A12XA12)
[0041] 其中，E为像素自相关矩阵的最小特征值，An，A12,A21，A22为自相关矩阵的矩阵元素 值。
[0042] 本发明还基于偏移置信度提出了角点更新策略，利用角点搜索算法重新在目标附 近寻找角点进行替换，以提高跟踪算法的可靠性和准确率。
[0043] 本发明同时还提出了一种基于稀疏光