一种基于向量符号框架的事件相机光流估计方法

本发明属于计算机视觉和事件相机领域，具体涉及一种基于向量符号框架的事件相机光流估计方法。

背景技术：

1、在计算机视觉领域，光流估计作为一项关键任务，被广泛应用于运动分析、物体跟踪和场景重建等应用中。传统的光流估计方法主要用于基于帧的传统相机，通过比较前后两帧之间的像素强度差异来计算光流。然而，这些方法在处理快速运动、非刚性变形和遮挡等复杂情况时存在限制，且无法满足高时空分辨率的要求。

2、近年来，事件相机作为一种新兴的传感器，引起了广泛关注。事件相机是仿生传感器，不同于传统的帧相机：它们不是以固定速率捕获图像，而是异步测量每个像素的亮度变化，并输出编码时间、位置和亮度变化符号的事件流。与传统相机相比，事件相机具有的优势特性包括：高时间分辨率(微秒级)、超高动态范围、低功耗和高像素带宽，可减少运动模糊。因此，在低延迟、高速和高动态范围等对传统相机具有挑战性的场景中，事件相机在机器人技术和计算机视觉方面具有巨大潜力。然而，事件相机的数据特点与传统相机截然不同，传统的光流估计方法无法直接应用于事件数据。

3、当前，已经提出了多种用于事件的光流估计算法，它们大致能分成两类，第一类是传统算法，研究支持光流估计的事件数据的原理和特征，从而推断出光流信息，一个经典的算法就是lk光流法，这种方法是在亮度恒定假设、小运动假设以及空间一致性的这三个假设下来求解光流方程来计算光流的，这种方法应用场景仅在角点或者梯度丰富的区域效果较好而在平滑和边缘区域效果较差，而另一个比较有代表性算法的是对比度最大化算法，它通过最大化一个目标函数，让事件转换到参考帧时而形成的图片是最清晰的，直观的解释是通过恢复引起事件的边缘的清晰图像(运动补偿)来估计运动，但这种算法存在事件崩溃的现象；第二类是基于学习的方法，利用数据中的相关性或应用上述原理来计算光流。基于事件的光流估计的困难之一是现在已有的真实数据集中缺乏真实的光流，这使得很难正确地评估和比较这些方法，以及训练有监督学习的方法。事实上的标准数据集中的真实光流由使用额外的深度传感器和相机信息给出。然而，此类数据受到深度传感器的视野和分辨率(空间和时间)的限制，与事件相机的数据不匹配。

技术实现思路

1、为解决现有技术中算法在光流估计方面的缺陷不足，本发明将向量符号框架(vsa)应用于事件相机的数据处理，充分利用了事件相机的特点和矢量符号架构的优势，实现光流估计更精确、更鲁棒的目的，本发明采用如下的技术方案：

2、一种基于向量符号框架的事件相机光流估计方法，包括如下步骤：

3、步骤s1：事件表征；通过事件相机获取连续事件流，事件包含正负极性的时空坐标，分别将两个极性的事件转换为时间曲面(time surface)的表征方式；

4、步骤s2：生成高维特征描述子；通过高维向量编码卷积核，再将编码后的卷积核与每个时间曲面(time surface)卷积，形成时间曲面(time surface)的高维特征描述子；

5、步骤s3：生成代价体(cost volume)；在多尺度上集成多对高维特征描述子的相似性估计，计算局部相似度，得到的代价体(cost volume)作为前后两帧之间相似性的度量空间；

6、步骤s4：光流估计；根据代价体预测每个像素在局部的光流的概率，通过光流概率结合光流位置先验信息对光流进行估计。

7、进一步地，所述步骤s1中，事件相机的连续事件流ε＝{e1,e2,…}以稀疏和异步的方式响应亮度变化，每个事件ek＝(xk,yk,tk,pk)包含极性为pk∈{+1,-1}的时空坐标，像素(x,y)在时间t处累积的时间曲面如下：

8、

9、其中，τts表示指数衰减率，tj(x,y)表示时间t之前在像素(x,y)发生的任何事件的时间戳，累积时间曲面能够模拟接收事件流后发生的突触活动。

10、进一步地，所述步骤s1中，由于基于事件的光流估计的准确性受到事件中的随机性和噪声的阻碍，特别是当仅依赖两个时间差为δt的时间曲面(time surface)时，为了解决这个限制并将更全面的中间运动信息纳入此方法中，在时间0、δt/4、δt/2和δt生成两个极性的时间曲面(time surface)，依次表示为s表示下采样的尺度，如图2b所示，通过利用这组扩展的事件框架，本发明可以实现从时间0到δt的更精确的光流估计，后三个时间都遵循渐进加倍模式(×2)。

11、进一步地，所述步骤s2中，使用带有分数阶幂编码的向量符号框架vsa得到点(x,y)的高维向量空间表示：

12、

13、其中，基向量x和分别表示横轴和纵轴上的单位，表示实数，d表示维度，符号表示绑定操作，自绑定xx和yy表示任意坐标轴上的整数位置x和y的高维向量表征，是由基向量x和y分别绑定x和y次实现的，为了保证较高的概念检索效率，采用改进的全息简化表征(holographic reduced representation，hrr)生成所有基向量。

14、进一步地，所述步骤s2中，图像中以像素(x,y)为中心的n×n邻域的高维特征表示用以下公式编码为高维向量：

15、

16、其中，(δx,δy)表示像素(x,y)到其n×n邻域内任意像素的偏移量，n表示邻域长和宽的像素数，h表示图像i的高，w表示图像i的宽；

17、通过将图像i与高维向量核进行卷积：得到每个像素的高维特征描述子

18、f＝i*d。

19、进一步地，所述步骤s2中，考虑到高维向量的伪正交特性，这种基本的向量符号框架(basic vsa)表示忽略了二维空间中重要的拓扑相似关系，因此，考虑到同一对象在不同时间的事件表示的固有随机性，空间表示s不适合用来从事件表示中提取特征；因此，在本发明中，通过向量函数框架vfa使用极性相关的高维向量核获得每个极性fp(p∈{+,-})的累积时间曲面的高维特征描述子，表示实数，d表示维度，n×n表示邻域，这是一种特定类型的向量符号框架(vsa)，定义如下：

20、kp＝d*g

21、其中，g表示标准差为σk的二维高斯核，使用vfa的高维向量空间表示包含了二维空间中的拓扑相似关系；

22、通过多尺度方法得到t时刻的特征描述子ft(t＝0,1,2,4)(图2a)，每个极性p的累积时间曲面(time surface)以一定的比例(1/2)连续向下插值s-1次，得到一组s个的时间曲面(time surface)(x,y)表示像素坐标，h、w表示图像的高和宽，利用极性相关的高维核kp，每个极性对应时间曲面的高维特征描述子计算如下：

23、

24、其中，s表示下采样的尺度；

25、因此，在时间t时的高维特征描述子包含两个极性和多个空间尺度，用以下等式表示：

26、

27、其中，本发明采用角色填充绑定来生成结构化的高维特征描述符，r+和r-分别表示两个极性的高维向量，rs表示相应的空间尺度，符号表示绑定操作。

28、进一步地，所述步骤s3中，尺度0下的f0和f1，尺度1下的f0和f2，以及尺度2下的f0和f4(图2b)，尺度s下f0和之间的时间间隔δts为δt/4·2s，后面两个尺度的高维特征描述子是通过对尺度0的特征描述子进行平均池化得到的，内核大小分别为2和4，步幅一致，然后在代价体模块中，首先计算每对高维描述子f0和在尺度s＝0,1,2处的局部视觉相似度，h、w表示图像的高和宽。

29、进一步地，所述步骤s3中，任何高维描述子f0中的像素(i,j)仅与中周围m×m邻域内的像素(k,l)描述符进行相似性比较，使用余弦相似度有效地计算代价体如下所示：

30、

31、ds是f0中的每个像素到中对应的匹配点的偏移，是通过最大相似度获得的(图2c)。事件相机原始尺度(s＝0)下的估计光流v可以计算如下：

32、

33、其中，d0表示ds从尺度s变换到尺度0的相应偏移；假设光流v在该时间间隔内恒定，可以看出，ds与尺度无关，并且在不同尺度下保持不变；这表明不同规模的代价体理论上应该是相同的；因此，通过将不同尺度的所有代价体向上插值至尺度0的相同大小，得到最终代价体并将其作为所有代价体的总和。

34、进一步地，所述步骤s4中，光流概率分布根据最终代价体c预测每个像素在局部区域内的光流概率，关于光流位置的先验信息由预定义的二维网格模板给出，其中包含了与光流概率对应的所有可能的光流方向；

35、光流概率p计算如下：

36、

37、其中，表示所有代价体k由1至m，l由1至m构成的一个矩阵，s＝0,1,2，和表示cij的最大值和平均值，系数α决定了对估计光流有贡献的概率区域，表示矩阵中位置(k,l)处的值。

38、进一步地，所述步骤s4中，光流tflow的模板是通过沿x轴和y轴连接两个二维网格而形成的，范围是[-m,m]·4/δt，m等于m/2取整，分别为：

39、

40、接下来，根据预定义模板tflow上的光流概率p的加权平均值来估计光流u∈h×w×2，公式为：

41、

42、其中，ux和uy分别表示预测光流沿x轴和y轴的分量，pijkl是矩阵pij中位置(k,l)处的值，表示坐标(i,j)处光流为tx(k,l),ty(k,l)的概率。

43、本发明的优势和有益效果在于：

44、本发明是以特征点匹配为基础的光流估计方法，根据向量符号框架的空间表征方法和结构化特征绑定理论，研究事件帧局部时空特性的高维向量表征，为后续以特征点匹配为基础的光流估计方案提供精确而稳定的信息输入，再利用前后事件帧高维向量表征相似性作为基础，研究给定时间间隔内多事件帧相似性融合的特征匹配算法，进而实现事件光流的准确估计。本发明利用向量符号框架，在抗噪声方面具有一定优势，能有效减少事件表征的随机性和噪声特性带来的影响，以提升局部时空特性表征的准确和稳定，减小光流估计的误差。