使用来自事件相机的数据产生图像帧的制作方法

本发明涉及用于根据事件相机信息来形成至少一个图像帧的方法和模块。

背景技术：

1、事件相机是具有传感器的相机，其中传感器的像素独立地响应于测量值的变化。例如，每个像素可以存储参考亮度，并且连续地将参考亮度与测量的亮度进行比较。如果在像素中测量的亮度和参考亮度之间的差异超过预定阈值，则该像素重置其参考亮度，并且事件被称为已经发生。事件使事件包由相机生成并发送。事件包的内容由事件相机的类型和/或事件相机的配置来定义。内容包括检测到事件的像素的地址和通常与事件发生的时间相对应的时间戳。内容可以包括检测到的变化的极性(指示增加或减少)、当前测量值或检测到的变化。在操作中，事件相机将输出事件包的异步流，该异步流由事件相机所成像的场景中的变化触发。

2、posch,c,serrano-gotarredona,t.,linares-barranco,b.,&delbruck,t.“retinomorphic event-based vision sensors:bioinspired cameras with spikingoutput”,proceedings of the ieee,102(10),1470-1484,(2014),的欧洲专利号ep3440833、来自prophesee的pct申请wo2019/145516和pct申请wo2019/180033中被公开。

3、当采用事件相机时，仍然期望使用在给定时间内累积的一组事件来重建纹理(或空间)图像。例如，当对面部进行成像时，重建的纹理图像可以被用于确定诸如眼睛注视或眼睛状态(例如眨眼或睁眼)之类的特性，如pct申请wo2019/145578(参考号：fn-630-pct)中所述。(还应当了解，无论空间图像信息在何处可用，也可以生成光谱图像信息。)

4、两个基于神经网络(nn)的事件相机重建方法是：在scheerlinck，c.、rebecq，h.、gehrig，d.、barnes，n.、mahony，r.和scaramuzza，d.的“fast image reconstruction withan eventcamera”(2020年，在ieee winter conference on applications of computervision(第156-163页))中的讨论的e2vid和firenet。

5、此外，标题为“object detection for event cameras”(参考号：fn-662-cip)的在2020年6月17日提交的美国专利申请号16/904,122和在2020年7月29日提交的美国专利申请号16/941,799公开了用于以图像帧的形式累积来自事件相机的事件信息的方法，以用于包括物体检测、图像重建和眨眼检测的应用。

技术实现思路

1、本发明由独立权利要求限定。在从属权利要求中限定了其他可选特征。

2、在本发明的实施例中，与已知方法相比，通过使用尺寸被设置为仅存储事件相机的像素子集的信息的区块缓冲区，减少了处理来自事件相机的事件包所需的存储器量。

3、基于事件相机的性质，可以假设事件包仅由与移动或改变物体相对应的像素生成。事件相机的传感器中的剩余像素不生成事件包，并且可以被认为与成像场景的非移动部分相关。本发明防止存储器被不必要地分配用于成像场景的非移动部分。

4、在一些实施例中，初步解码器被用于对接收到的事件包进行计数或者从接收到的事件包中提取时间戳。由初步解码器确定的接收到的事件包的数目或接收到的事件包的时间然后可以被用于触发一个或多个图像帧的写出。

5、在一些实施例中，执行区块缓冲区的附加过滤以确保从区块缓冲区中移除生成少量事件的事件相机传感器的区域。这用于允许使区块缓冲区的尺寸被最小化，并有助于避免在区块缓冲区中存储仅包括噪声的区块。

技术特征：

1.一种通过从事件相机接收的一系列事件包产生图像帧的方法，每个事件包包括指示所述事件相机的x、y像素位置的事件信息、对所检测到的在所述x、y像素位置处入射的光强度的变化的指示以及所述事件发生的事件周期，所述图像帧由区块阵列来定义，每个区块对应于多个像素位置，所述方法包括：

2.根据权利要求1所述的方法，还包括，

3.根据权利要求2所述的方法，包括：响应于缓冲区溢出的指示，丢弃所述事件包的信息。

4.根据权利要求2所述的方法，包括：响应于缓冲区溢出的指示，从所述区块缓冲区中刷新至少一个区块的信息。

5.根据权利要求4所述的方法，其中所述刷新包括：

6.根据权利要求1所述的方法，所述方法还包括：

7.根据权利要求1所述的方法，其中所述停止条件包括：接收针对事件周期范围之后发生的事件周期的事件包，其中对于所述事件周期范围，事件信息针对图像帧而被累积。

8.根据权利要求1所述的方法，包括：针对将被累积图像信息的多个图像帧中的每个图像帧，提供区块缓冲区和相关联的区块表。

9.根据权利要求8所述的方法，其中形成所述图像帧包括：将所述图像帧信息跨系统总线写入到系统存储器。

10.根据权利要求9所述的方法，还包括：在写入针对另一个图像帧的图像帧信息的同时，累积针对一个图像帧的事件信息。

11.根据权利要求8所述的方法，其中针对一个图像帧的所述停止条件不同于针对另一帧的所述停止条件。

12.根据权利要求1所述的方法，包括：丢弃与图像帧的感兴趣区域之外的图像区块相对应的事件信息。

13.根据权利要求1所述的方法，包括：以小于或等于所述形成的图像帧的空间分辨率的所述空间分辨率在所述区块缓冲区中累积事件信息。

14.根据权利要求1所述的方法，其中所述将所述事件信息添加到所述区块缓冲区包括：从所述区块缓冲区中读取针对像素位置的当前累积值；将所检测到的入射在所述像素位置处的光强度的变化的所述指示添加到所述当前累积值；以及将总和写回到所述区块缓冲区中的针对所述像素的所述位置。

15.根据权利要求14所述的方法，其中所述将所述事件信息添加到所述区块缓冲区还包括：从所述区块缓冲区中读取针对像素位置的当前计数，递增所述当前计数并将递增的所述计数写回到所述区块缓冲区中的针对所述像素的所述位置。

16.一种模块，包括被配置为从所述事件相机接收所述事件的接口和用于跨系统总线将图像帧信息写入到存储器的接口，所述模块被配置为执行根据权利要求1所述的方法。

17.一种车辆，包括根据权利要求16所述的模块，所述模块可操作地跨所述系统总线耦合到事件相机和所述存储器。

技术总结
一种通过从事件相机接收的事件包产生图像帧的方法，包括：形成区块缓冲区，该区块缓冲区的尺寸被设置为累积针对图像区块的子集的事件信息，该区块缓冲区具有相关联的区块表，该相关联的区块表确定图像帧的每个区块与图像帧之间的映射，其中在区块缓冲区中针对图像帧的每个区块累积事件信息。对于每个事件包：标识与事件包的像素位置相对应的图像区块；响应于区块缓冲区存储与图像区块相对应的一个其他事件的信息，将事件信息添加到区块缓冲区；以及响应于区块缓冲区未存储与图像区块相对应的另一事件的信息并且响应于区块缓冲区能够累积至少一个以上区块的事件信息，将图像区块添加到区块缓冲区。

技术研发人员：L·巴萨,C·扎哈里亚,V·吉奥尔吉斯卡,J·莱姆利
受保护的技术使用者：快图有限公司
技术研发日：
技术公布日：2024/1/12