用于自动标记的方法、设备和系统与流程

本公开涉及一种用于自动标记的方法、设备和系统，并且具体地涉及一种用于自动标记dvs(动态视觉传感器)帧的方法、设备和系统。

背景技术：

1、近年来，作为新型前沿传感器的dvs已被广泛认知并应用于诸如人工智能领域、计算机视觉领域、自动驾驶领域、机器人领域等许多领域。

2、与常规相机相比，dvs具有低延时、无运动模糊、高动态范围、低功耗的优点。具体地，dvs的延时为微秒级，而常规相机的延时为毫秒级。因此，dvs不会受到运动模糊的影响。并且因此，dvs的数据速率通常为40～180kb/s(对于常规相机，数据速率通常为10mb/s)，这意指需要的带宽和功耗更少。此外，dvs的动态范围为约120db，而常规相机的动态范围为约60db。更宽的动态范围在极端光照条件下(例如车辆进入和离开隧道、相反方向的其他车辆开启远光灯、阳光方向变化等)将很有用。

3、由于这些优点，dvs得到了广泛应用。为了将dvs应用于不同场景中，已经做出了努力。在所有技术中，深度学习是热门且重要的方向。当谈到深度学习时，大量的标记数据是必要的。然而，可能没有足够的体力劳动来手工标记数据。因此，需要对dvs帧进行自动标记。

4、目前，dvs帧的自动标记方法有两种。一种方法是在显示监视器的屏幕上播放常规的相机视频，并使用dvs来记录屏幕并标记对象。另一种方法是使用深度学习模型直接从相机帧生成标记的dvs帧。然而，这两种方法都具有难以克服的缺点。第一种方法会损失精度，因为在记录时，难以将dvs帧100％与显示监视器精确匹配。第二种方法将生成不自然的dvs帧。不同材料的反射率不同。但是第二种方法对它们进行相同处理，因为dvs帧是直接从相机帧生成的，这因此使得生成的dvs帧非常不自然。此外，这两种方法都会陷入浪费dvs优势的问题，因为相机视频的质量从以下几个方面限制了生成的dvs帧的最终输出。首先，生成的dvs帧率最多只能达到相机帧率(尽管第二种方法可以使用放大方法来获得更多帧，但是仍然没有希望)。其次，由相机记录的运动模糊、后象和拖影也会存在于生成的dvs帧中。该事实是荒谬可笑的，因为dvs以低延时和无运动模糊而闻名。第三，dvs的高动态范围被浪费了，因为常规相机的动态范围较低。

5、因此，必须提供改进的技术来自动标记dvs帧，同时充分利用dvs的优点。

技术实现思路

1、根据本公开的一个或多个实施方案，提供了一种用于自动标记动态视觉传感器(dvs)帧的方法。所述方法可以包括接收由一对相机在时间区间内生成的一对相机帧并接收由dvs在所述时间区间内生成的至少一个dvs帧。所述方法还可以基于该对相机帧来计算视差帧并基于计算的视差帧获得该对相机帧的3d信息。所述方法可以使用深度学习模型来确定用于自动标记的对象区域，并且可以基于获得的3d信息和确定的对象区域来获得3d点。然后，所述方法可以将3d点重新投影到至少一个dvs帧以在至少一个dvs帧上生成重新投影的点。所述方法还可以通过组合至少一个dvs帧上的重新投影的点在至少一个dvs上生成至少一个自动标记的结果。

2、根据本公开的一个或多个实施方案，提供了一种用于自动标记动态视觉传感器(dvs)帧的系统。所述系统可以包括一对相机、dvs和计算装置。该对相机可以被配置为在时间区间内生成一对相机帧。dvs可以被配置为在所述时间区间内生成至少一个dvs帧。计算装置可以包括处理器和存储指令的存储器单元，所述指令可由处理器执行以：接收该对相机帧和至少一个dvs帧；基于该对相机帧来计算视差帧并基于计算的视差帧获得该对相机帧的3d信息；使用深度学习模型来确定用于自动标记的对象区域；基于获得的3d信息和确定的对象区域来获得3d点，并将3d点重新投影到至少一个dvs帧以在至少一个dvs帧上生成重新投影的点；并且通过组合至少一个dvs帧上的重新投影的点在至少一个dvs上生成至少一个自动标记的结果。

3、根据本公开的一个或多个实施方案，提供了一种用于自动标记动态视觉传感器(dvs)帧的设备。所述设备可以包括计算装置，所述计算装置包括处理器和存储指令的存储器单元，所述指令可由处理器执行以：接收该对相机帧和至少一个dvs帧；基于该对相机帧来计算视差帧并基于计算的视差帧获得该对相机帧的3d信息；使用深度学习模型来确定用于自动标记的对象区域；基于获得的3d信息和确定的对象区域来获得3d点，并将3d点重新投影到至少一个dvs帧以在至少一个dvs帧上生成重新投影的点；并且通过组合至少一个dvs帧上的重新投影的点在至少一个dvs上生成至少一个自动标记的结果。

4、本公开中描述的方法、设备和系统可以实现dvs帧的高效且更准确的自动标记。本公开的方法、设备和系统可以将一对相机与dvs绑定并同时记录同一场景。基于获得的相机帧与dvs帧的组合使用，可以在记录dvs帧的同时自动标记dvs帧。因此，用于dvs深度学习训练的大量标记数据将成为可能。与现有方法相比，本公开中描述的方法和系统充分利用了dvs的优点并且可以获得更加准确且高效的自动标记。

技术特征：

1.一种用于自动标记动态视觉传感器(dvs)帧的方法，所述方法包括：

2.根据权利要求1所述的方法，其还包括：

3.根据权利要求1至2中任一项所述的方法，其中所述确定用于自动标记的对象区域还包括：

4.根据权利要求1至3中任一项所述的方法，其中所述3d信息包括3d点，所述3d点中的每一者表示与一个相机帧内的每个像素相对应的空间位置/坐标。

5.根据权利要求1至4中任一项所述的方法，其中所述时间区间是基于两个连续相机帧之间的时间跨度预定的。

6.根据权利要求1至5中任一项所述的方法，其中所述至少一个dvs帧通过对所述时间区间内的像素事件进行积分而生成。

7.根据权利要求1至6中任一项所述的方法，其还包括：

8.根据权利要求1至7中任一项所述的方法，其中所述动态变化包括强度变化和对象移动中的至少一者。

9.一种用于自动标记动态视觉传感器(dvs)帧的系统，其包括：

10.根据权利要求9所述的系统，其中该对相机包括左相机和右相机，并且其中所述dvs被布置为与所述左相机和所述右相机刚性地组合。

11.根据权利要求9至10中任一项所述的系统，其中所述处理器还被配置为：

12.根据权利要求9至11中任一项所述的系统，其中所述3d信息包括3d点，所述3d点中的每一者表示与所述相机帧内的每个像素相对应的空间位置/坐标。

13.根据权利要求9至12中任一项所述的系统，其中所述至少一个dvs帧通过对所述时间区间内的像素事件进行积分而生成。

14.根据权利要求9至13中任一项所述的系统，其中所述时间区间是基于两个连续相机帧之间的时间跨度预定的。

15.根据权利要求9至14中任一项所述的系统，其中所述处理器还被配置为：

16.根据权利要求9至15中任一项所述的系统，其中所述动态变化包括强度变化和对象移动中的至少一者。

17.一种用于自动标记动态视觉传感器(dvs)帧的设备，其包括：

技术总结
本公开提供了一种用于自动标记动态视觉传感器(DVS)帧的方法、系统和设备。所述方法可以包括由一对相机在时间区间内生成一对相机帧并由DVS在所述时间区间内生成至少一个DVS帧。所述方法还可以基于该对相机帧来计算视差帧并基于计算的视差帧获得该对相机帧的3D信息。所述方法可以使用深度学习模型来确定用于自动标记的对象区域，并且可以基于3D信息和确定的对象区域来获得3D点。然后，所述方法可以将3D点重新投影到至少一个DVS帧以在至少一个DVS帧上生成重新投影的点。所述方法还可以通过组合至少一个DVS帧上的重新投影的点在至少一个DVS上生成至少一个自动标记的结果。

技术研发人员：周任高
受保护的技术使用者：哈曼国际工业有限公司
技术研发日：
技术公布日：2024/1/16