专利名称：基于四元数的物体光流跟踪方法
技术领域：
本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于四元数的物体光流跟踪方法。
背景技术：
物体光流跟踪首先在图像序列的第一帧中检测出被跟踪物体上可以被可靠跟踪的特征点，然后采用光流估计算法依次在图像序列相邻两帧中计算这些特征点的光流，得到下一帧中特征点的位置，如此反复，得到图像序列所有帧中被跟踪物体上所有特征点的位置，以获得被跟踪物体的位置。光流估计算法在图像处理和计算机视觉领域已经使用了很多年。Lucas-Kanade光流估计算法效率高，并且能够估计稀疏特征点的光流，因此适合于实时的物体跟踪。然而，原算法仅仅基于灰度值图像，而颜色作为一个整体单元包含了更多的信息。此外，在用于物体跟踪时，一些颜色特征是很稳定的，适合于跟踪，但是它们转化到灰度值上丧失了显著性，Lucas-Kanade光流估计算法就不能很好的工作。在其他一些情况下，比如用于估计光流的两帧图像间存在光照差异，颜色信息也会比灰度信息更稳定，有助于估计更准确的光流。因此在进行光流估计时使用颜色信息是非常重要的。经过对现有技术的文献检索发现，C. Lei和Y. Yang在《Proceedings of the 12thInternational Conference onComputer Vision》(第 12 届计算机视觉国际会议集)第 1562 页至Ij 1569 页上发表的 “Optical Flow Estimation on Coarse-to-Fine Region-Trees using Discrete Optimization”(在粗略到精细部位树上使用离散最优化的光流估计)文章中提出了一种使用颜色分割结果来改进光流估计结果的方法。但是该方法基于整体能量最小化，因此不适合于跟踪稀疏特征点。G. Demarcq等人在《Proceedings of 2009International Conference on Image Processing)) (2009 ^Sft^bSH^^il 集)第 481 页至 Ij 484 页上发表的"The Color Monogenic Signal :A new framework for color image processing, application to color optical flow” (颜色单基因信号彩色图像处理的新框架及其在彩色光流估计中的应用)文章中基于颜色图像的颜色单基因信号，提出了局部颜色相位的概念，并使用局部颜色相位来估计光流。P. Golland and A. Μ· Bruckstein 在《Computer Vision and Image Understanding》(计算机视觉和图像理解)杂志1997年第68卷第3期346页到362页上发表的“Motion from Color” (由颜色获得运动信息)文章中，以及Kelson Aires等人在《Proceedings of 2008 ACM symposium on Applied computing》Q008年ACM应用计算研讨会论文集)第1607页到 1611 页上发表的"Optical f lowusing color information !preliminary results，，(使用颜色信息的光流估计初步结果)文章中使用了直接的三通道方法，在RGB三通道上分别应用Lucas-Kanade光流约束，并合并这些约束，以估计光流。也有其他的一些研究工作将颜色从RGB空间转换到其他颜色空间，并在转换后的空间估计光流，比如X. Xiang等人在〈〈Proceedings of 2009 International Conference on Test and Measurement)) (2009 年测试和测量国际会议集)第378页到381页上发表的“A method of optical flowcomputation based on LUV color space”(基于LUV颜色空间的一种光流计算方法)文章中将颜色从RGB空间转换到LUV空间，而前述P. Golland and Α. Μ. Bruckstein所著文章中将颜色从RGB空间转换到HSV空间。在使用RGB空间或其他颜色空间来估计光流方面， 以前的工作还是将颜色视为分离的通道信号，而非把颜色视为一个整体信号。这促使寻找一种新的彩色光流估计算法，以整体利用颜色信息，提高光流估计的准确度。此外，成功的物体光流跟踪需要检测并跟踪可靠的特征点。直观上，颜色特征在跟踪上是可靠的，在有光照变化的情况下也比灰度特征稳定。这促使寻找一种适合于物体光流跟踪的颜色特征，配合彩色光流估计算法，提高物体跟踪的准确率。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于四元数的物体光流跟踪方法，利用了颜色的四元数表示，以整体信号的形式来处理颜色并估计光流。通过这种方式在具有空间颜色变化的像素位置能获得更准确的光流估计，从而能更健壮地跟踪物体上的特征点，降低跟踪误差。本发明同时采用四元数颜色角点，作为跟踪时可靠的特征点。采用四元数颜色角点和和灰度值角点共同构成跟踪时良好的特征点集，结合四元数光流估计算法进行物体光流跟踪。本发明是通过以下技术方案实现的，本发明包括以下步骤第一步、在图像序列的第一帧I中设定待跟踪目标的范围并在此范围内检测 Harris角点，并保留角点程度度量大于阈值、的nh个Harris角点，具体步骤包括1. 1)计算图像序列的第一帧I在二维空间χ和y方向的梯度Ix和Iy作为像素点局部邻域的幅值变化；1. 2)通过幅值相关矩阵M计算角点程度度量，以获得角点程度度量大于阈值Y的 Harris 角点。所述的幅值相关矩阵
权利要求
，其中g(o)为高斯平滑滤波器，σ为滤波器尺寸参数，*为卷
1.一种基于四元数的物体光流跟踪方法，其特征在于，包括以下步骤第一步、在图像序列的第一帧中设定待跟踪目标的范围并在此范围内检测Harris角点，并保留角点程度度量大于阈值的Harris角点；第二步、在所述待跟踪目标的范围内检测四元数颜色角点，并保留颜色角点程度度量大于阈值的四元数颜色角点；第三步、结合Harris角点以及四元数颜色角点作为光流跟踪的特征集，对特征集中的每一个特征点，采用基于四元数的光流估计算法在图像序列的相邻两帧间进行光流估计， 用所得到的光流值更新特征点在第二帧的位置并实现跟踪。
2.根据权利要求1所述的基于四元数的物体光流跟踪方法，其特征是，所述的第一步包括以下步骤1.1)计算图像序列的第一帧I在二维空间X和y方向的梯度Ix和Iy作为像素点局部邻域的幅值变化；1.2)通过幅值相关矩阵M计算角点程度度量，以获得角点程度度量大于阈值γ的 Harris 角点。
3.根据权利要求2所述的基于四元数的物体光流跟踪方法，其特征是，所述的幅值相
4.根据权利要求1所述的基于四元数的物体光流跟踪方法，其特征是，所述的第二步包括以下步骤2.1)将图像序列的第一帧I表示为纯四元数矩阵Itl，对I,进行如下的四元数滤波，并分别取滤波结果的饱和度表示χ方向的颜色变化程度Cx以及y方向的颜色变化程度Cy
5.根据权利要求4所述的基于四元数的物体光流跟踪方法，其特征是，所述的颜色相 [χ Cx Cy
6.根据权利要求1所述的基于四元数的物体光流跟踪方法，其特征是，所述的第三步包括以下步骤1.3. l)t时刻时，在图像序列相邻两帧It和间使用下述步骤估计特征点集中每一个特征点的光流，并把t时刻该特征点的位置加上其光流，得到t+Ι时刻该特征点的位置，并进行t+Ι时刻的光流估计，初始时t = 1 ；2.3.2)将It和Iw分别进行下采样并生成ρ层图像金字塔Γ’1和Γ+1’1，1 e [1，ρ]为图像金字塔层号，首先在金字塔顶层进行步骤3. 3)和3. 4)所述的光流估计，所获得的光流放大至金字塔下一层面，作为该层面光流的初始值，再次进行步骤3. 3)和3. 4)所述的光流估计，如此反复，直至金字塔底层，得到最终估计的光流，为了进一步提高估计准确度，步骤 3. 3)和3. 4)所述的光流估计在图像金字塔每一层面都进行q次循环；3. 3)在图像金字塔第1层，将Γ’1和Γ+1’1分别表示为纯四元数图像巧和A+1，给定特征集中的Harris角点或四元数颜色角点中任一在三维空间的坐标为(x，y，t)，取其空间方向上wXw大小的局部邻域；令该邻域中心(x，y)处像素和另一像素i的四元数颜色值分别为Q(c)和Q(i)，计算Qu)和Q(i)的四元数内积以表示像素i和中心像素的颜色相似程度，当颜色相似程度小于阈值α则排除像素i不执行以下步骤；4.3.4)计算四元数图像
7.根据权利要求6所述的基于四元数的物体光流跟踪方法，其特征是，所述的颜色相似程度是指Li = <Q⑴，Q(。)>/(|Q 、⑴Qw I)，其中<>代表四元数内积，代表四元数模。
全文摘要
一种视频图像处理技术领域的基于四元数的物体光流跟踪方法，利用了颜色的四元数表示，以整体信号的形式来处理颜色并估计光流。通过这种方式在具有空间颜色变化的像素位置能获得更准确的光流估计，从而能更健壮地跟踪物体上的特征点，降低跟踪误差。本发明同时采用四元数颜色角点，作为跟踪时可靠的特征点。采用四元数颜色角点和和灰度值角点共同构成跟踪时良好的特征点集，结合四元数光流估计算法进行物体光流跟踪。
文档编号G06T7/20GK102156991SQ20111008932
公开日2011年8月17日 申请日期2011年4月11日 优先权日2011年4月11日
发明者徐奕, 杨小康, 陈尔康 申请人:上海交通大学