一种基于事件相机的结构光系统及其感知方法

本发明涉及计算摄像学领域，尤其涉及一种基于事件相机的结构光系统及其对运动物体进行六维信息感知的方法。

背景技术：

1、运动物体的三维速度信息在日常生活中起到至关重要的作用，例如在无人驾驶中，对行驶场景中目标速度信息的感知有助于汽车提前做出应急措施，有效降低事故发生率。目前，物体的三维速度感知技术根据工作原理可分为间接速度估计和直接速度估计两大类。

2、间接三维速度估计主要通过分析三维信息在不同时间段的变化来计算三维速度，并利用三维视觉技术对其进行重构，主要方法为场景流。通过利用立体或多视图图像序列，场景流算法分析空间和时间对应关系，计算三维运动向量，提供物体的三维速度信息。提取场景流的经典方法是利用多视角下的光流求解。此外，已经出现了基于深度学习的场景流估计的方法，并且表现出良好的性能。近年来，基于点云的场景流求解方法得到了广泛关注，并逐渐成为主流方向。然而，从场景流中获得的3d速度在提供密集运动信息的同时，却也极度依赖于捕获3d信息的商用摄像机的帧率，并且需要大量的计算负载，这使得它不适合一些需要在线处理且计算资源有限的应用场景。

3、与间接方法相比，以毫米波雷达为代表的直接三维速度估计方法可以直接从传感器获取的信号中获得物体的速度，在很大程度上消除了繁重的计算需求。利用多普勒效应原理，雷达系统能够通过识别发射信号和接收信号之间的相位和频移，直接捕获3d速度信息。毫米波雷达凭借其高精度的探测能力、成本效益和强大的抗干扰能力，在自动驾驶等领域获得了广泛的应用。然而，系统的扫描频率限制了三维速度检测的时间分辨率。除了毫米波雷达之外，多普勒飞行时间(tof)成像技术通过调幅照明和tof相机，也能捕捉3d速度。然而，速度检测的时间分辨率仍然受到商用tof相机帧速率的限制。

4、综上所述，传统的三维速度感知技术都受限于相机的帧率，在无人驾驶等高速运动的场景中效果不佳。而随着事件相机的出现，这一问题有望得到解决。事件相机最早诞生于20世纪初，是一种从生物视觉中获得灵感的动态视觉传感器。与传统的基于帧的传感器不同，这种动态视觉传感器仅对光强变化的区域有所响应，且每个像素独立异步输出信号。简单来说，当像素检测到光照变化达到一定阈值时，会产生一个事件，该事件可以用四维信号(x,y,p,t)表示，其中，(x,y)表示事件在动态视觉传感器上的二维坐标，p表示事件的极性，t表示事件产生的时间戳。通过这样的形式，事件相机仅对场景中的动态部分敏感，对于静态的部分不会有数据产生，大大降低了数据的冗余。凭借着其高时间分辨率、高动态范围、低功耗的优点，事件相机在高速运动、高动态范围的场景中有着巨大的应用前景。

技术实现思路

1、针对传统三维速度感知技术时间分辨率不足的缺点，本发明提供了一种基于事件相机的结构光系统及其感知方法，能够实现对高速运动物体的六维感知，包括了三维位置感知以及高时间分辨率的三维速度感知。

2、本发明系统采用的技术方案如下：

3、一种基于事件相机的结构光系统，该系统包括线激光器、振镜、带通滤波片、事件相机a、投影仪和事件相机b，其中，线激光器通过振镜向运动物体场景投影动态图案，经场景反射的光经带通滤波片进入事件相机a，所述事件相机a用于实现对运动物体稠密的三维位置信息估计；同时，投影仪向运动物体场景投影静态图案，经场景反射的光经进入事件相机b，所述事件相机b用于实现对运动物体水平方向的三维速度信息估计。

4、进一步地，所述线激光器发出固定波长的线激光，通过振镜旋转实现对整个运动物体场景的动态线扫图案的扫描，所述事件相机a输出的事件均由动态线扫图案触发，通过匹配事件和线激光的信息可以计算出物体的三维位置信息。

5、进一步地，所述事件相机b捕捉物体在所述静态图案下的运动信息，从事件相机b产生的事件流中计算出物体的三维速度信息。进一步地，所述静态图案为多线条组成的曲线图案，满足以下特征：(1)图案背景为黑色，线条为白色；(2)不同曲线之间相互无交点；(3)不同曲线之间局部不平行。

6、本发明还提供利用上述一种基于事件相机的结构光系统的感知方法，包括如下步骤：

7、步骤1：线激光器发出固定波长的线激光，通过振镜向运动物体场景投影动态图案，同时，投影仪向运动物体场景投影静态图案；

8、步骤2：将所述事件相机a由动态图案产生的事件通过时间戳与图案的位置进行时间上的匹配，根据三角测量的原理得到场景的稠密深度图；

9、步骤3：根据所述深度图对场景中的运动物体进行边缘检测，再通过定位物体边缘和静态图案的交点，得到事件相机a像平面上待追踪目标点的初始位置；然后通过事件相机a和b的位置关系，计算出事件相机b像平面上待追踪目标点的初始位置；

10、步骤4：基于所述事件相机b像平面上待追踪目标点的初始位置，通过检测每个目标点周围累计事件极大值的方法更新目标点的位置，每一个事件检测一次，以μs级别的时间分辨率得到目标点的二维运动速度；

11、步骤5：计算事件相机b像平面目标点在静态图案上的对应点，计算出该点的斜率，根据所述斜率将目标点二维运动速度反投影至三维空间中，得到目标点的三维运动速度；

12、步骤6：根据物体上多个点的三维运动速度，计算出物体在水平方向上的实际运动速度，实现对运动物体的六维信息感知。

13、本发明设计了一套新颖的基于事件相机的结构光系统，通过分别投影静态曲线图案和动态线扫图案，实现了对高速运动物体的六维感知(三维位置+三维速度)。其中，动态线扫图案实现了对运动场景低帧率但稠密的深度估计，静态曲线图案实现了对场景中运动物体高时间分辨率的速度估计。本发明克服了传统速度检测方法信息冗余、延迟大、时间分辨率低的缺点，非常适用于无人驾驶、机器人等应用场景。

技术特征：

1.一种基于事件相机的结构光系统，其特征在于，该系统包括线激光器、振镜、带通滤波片、事件相机a、投影仪和事件相机b，其中，线激光器通过振镜向运动物体场景投影动态图案，经场景反射的光经带通滤波片进入事件相机a，所述事件相机a用于实现对运动物体稠密的三维位置信息估计；同时，投影仪向运动物体场景投影静态图案，经场景反射的光经进入事件相机b，所述事件相机b用于实现对运动物体水平方向的三维速度信息估计。

2.根据权利要求1所述的一种基于事件相机的结构光系统，其特征在于，所述线激光器发出固定波长的线激光，通过振镜旋转实现对整个运动物体场景的动态线扫图案的扫描，所述事件相机a输出的事件均由动态线扫图案触发，通过匹配事件和线激光的信息可以计算出物体的三维位置信息。

3.根据权利要求1所述的一种基于事件相机的结构光系统，其特征在于，所述事件相机b捕捉物体在所述静态图案下的运动信息，从事件相机b产生的事件流中计算出物体的三维速度信息。

4.根据权利要求3所述的一种基于事件相机的结构光系统，其特征在于，所述静态图案为多线条组成的曲线图案，满足以下特征：(1)图案背景为黑色，线条为白色；(2)不同曲线之间相互无交点；(3)不同曲线之间局部不平行。

5.利用如权利要求1所述一种基于事件相机的结构光系统的感知方法，其特征在于，包括如下步骤：

6.根据权利要求5所述的感知方法，其特征在于，步骤1中，动态图案为竖直线扫图案，静态图案为多线条组成的曲线图案，满足以下特征：(1)图案背景为黑色，线条为白色；(2)不同曲线之间相互无交点；(3)不同曲线之间局部不平行。

技术总结
本发明公开了一种基于事件相机的结构光系统及其感知方法。其系统包括线激光器、振镜、带通滤波片、事件相机A、投影仪和事件相机B，其中，线激光器通过振镜向运动物体场景投影动态图案，经场景反射的光经带通滤波片进入事件相机A，事件相机A用于实现对运动物体稠密的三维位置信息估计；同时，投影仪向运动物体场景投影静态图案，经场景反射的光经进入事件相机B，事件相机B用于实现对运动物体水平方向的三维速度信息估计。利用本发明可以对运动物体进行位置和速度的全方面感知，在无人驾驶、虚拟现实等领域有着广阔的应用前景。

技术研发人员：岳涛,包镘超,胡雪梅
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/6/30