多任务多模态数据仿真方法和装置

本发明涉及数字图像采集，尤其涉及一种多任务多模态数据仿真方法和装置。

背景技术：

1、互补视觉传感器(complementary vision sensor，cvs)是一种新型的神经形态视觉传感器。互补相机是基于互补感知理论提出的，互补理论即参考人类视觉的特性，要求获取的数据分属于多个不同的通路，并且每个通路的数据结构应当在不同性质上达到互补。互补视觉传感器的特点是仿照人视网膜，以单个视觉芯片输出多种数据模态，也就是说，使用同一块cmos芯片可以输出rgb、空间差分和时间差分数据信息，并以不同的模态编码这些信息。

2、在对例如互补视觉传感器图像传感器的视觉应用解决方案，如图像识别方案进行算法迭代时，需要大量不同场景下的图像作为训练数据，因此需要对图像传感器的硬件设备进行大量的调整、改动，在硬件调整搭建完成后，才能拍摄图像，需要耗费大量的时间成本。算法迭代本身需要大量的训练数据，尤其是具有实例级别标注信息的训练数据、特殊场景的训练数据等，因此需要一种可靠且低成本的多任务多模态数据仿真方法。

3、目前，已有图像传感器的仿真器都是高度定制的，对于不同图像传感器研发公司以及需要开发支持图像传感器的芯片设计公司而言，其关注的角度不同，相关图像传感器的行为级仿真模型也不同，不同的仿真模型只适用于固定的图像传感器，扩展性低。而对于能够输出多模态数据的互补视觉传感器，目前还没有适合的仿真方法。

技术实现思路

1、本发明提供一种多任务多模态数据仿真方法和装置，用以解决现有技术中缺乏多任务多模态数据仿真方法的缺陷，实现可靠且低成本的多任务多模态数据仿真。

2、本发明提供一种多任务多模态数据仿真方法，包括：

3、获取原始图像数据；

4、将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据；所述目标仿真数据包括目标图像数据、目标空间差分数据和目标时间差分数据。

5、根据本发明提供的一种多任务多模态数据仿真方法，所述原始图像数据为静态数据；所述将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据，具体包括：

6、根据第一曝光设置将所述原始图像数据进行曝光模拟，并对曝光模拟的结果进行采样，得到目标图像数据；

7、根据第二曝光设置将所述原始图像数据进行灰度曝光模拟，得到灰度模拟结果；

8、基于所述灰度模拟结果通过空间差分响应得到目标空间差分数据；

9、基于所述灰度模拟结果通过时间差分响应得到目标时间差分数据。

10、根据本发明提供的一种多任务多模态数据仿真方法，所述原始图像数据为动态数据，包括第一原始图像数据和第二原始图像数据；所述将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据，具体包括：

11、根据第一曝光设置将所述第一原始图像数据进行曝光模拟，并对曝光模拟的结果进行采样，得到目标图像数据；

12、根据第二曝光设置将所述第一原始图像数据进行灰度曝光模拟，得到第一灰度模拟结果；根据第二曝光设置将所述第二原始图像数据进行灰度曝光模拟，得到第二灰度模拟结果；

13、基于所述第一灰度模拟结果通过空间差分响应得到目标空间差分数据；

14、基于所述第一灰度模拟结果和所述第二灰度模拟结果通过时间差分响应得到目标时间差分数据。

15、根据本发明提供的一种多任务多模态数据仿真方法，所述原始图像数据为实拍数据，包括第一原始图像数据和第二原始图像数据；所述将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据，具体包括：

16、对所述第一原始图像数据进行采样，得到目标图像数据；

17、基于所述第一原始图像数据通过空间差分响应得到目标空间差分数据；

18、基于所述第一原始图像数据和所述第二原始图像数据通过时间差分响应得到目标时间差分数据。

19、根据本发明提供的一种多任务多模态数据仿真方法，所述第一原始图像数据包括高动态范围相机实拍的数据和高速相机实拍的数据，所述第二原始图像数据包括所述高速相机实拍的数据；所述获取原始图像数据，之前还包括：

20、根据第一曝光设置对所述高动态范围相机进行设置，根据第二曝光设置对所述高速相机进行设置；

21、利用预先设定的空间标定参数和时间戳将所述高动态范围相机和所述高速相机进行空间上的对齐和时间上的同步。

22、根据本发明提供的一种多任务多模态数据仿真方法，所述原始图像数据为基于物理仿真的3d场景；所述将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据，具体包括：

23、基于所述3d场景，根据预先编写的摄像头运动脚本、场景物体运动脚本、光环境变化脚本和天气变化脚本，通过预设仿真工具得到预设成像平面上的光子密度；

24、根据所述光子密度和预先设定的传感器的核心指标，通过预设仿真工具得到目标仿真数据。

25、根据本发明提供的一种多任务多模态数据仿真方法，所述将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据，之后还包括：

26、基于所述目标仿真数据构建目标多任务多模态数据集。

27、本发明还提供一种多任务多模态数据仿真装置，包括：

28、获取单元，用于获取原始图像数据；

29、仿真单元，用于将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据；所述目标仿真数据包括目标图像数据、目标空间差分数据和目标时间差分数据。

30、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多任务多模态数据仿真方法。

31、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多任务多模态数据仿真方法。

32、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多任务多模态数据仿真方法。

33、本发明提供的多任务多模态数据仿真方法和装置，通过获取原始图像数据；将所述原始图像数据输入至预先构建的多任务多模态数据仿真模块，根据所述原始图像数据的类型，在所述原始图像数据的基础上依照仿真目标相机的物理参数与仿真的拟真度的层级进行仿真，得到目标仿真数据；所述目标仿真数据包括目标图像数据、目标空间差分数据和目标时间差分数据。本发明针对原始图像数据的不同输入方式的数据流与采集系统，对多任务多模态数据仿真模块做出不同设计，在输入的原始图像数据的基础上增加仿真数据，最终输出仿真数据为主、真实数据为辅的多任务多模态目标仿真数据，实现可靠且低成本的多任务多模态数据仿真，从数据源头上解决极端情况(corner cases)数据的稀疏和不可获取。