一种用于车载自动驾驶系统的目标与背景分离方法及装置

本发明涉及计算机视觉，具体而言，尤其涉及一种用于车载自动驾驶系统的目标与背景分离方法及装置。

背景技术：

1、红外成像传感器广泛应用于天文学、空间科学、夜间观察、红外成像制导、搜索、跟踪、告警以及科学实验中。为了测试用于卫星、红外成像导引头、红外搜索与跟踪系统、红外告警系统的红外成像传感器的性能，需要在实验室内为其提供一定的与使用条件匹配的红外景象作为输入图像，使红外成像传感器产生一定的输出，进行半实物仿真测试。数字阵列器件(digital micromirror devices,dmd)可产生宽波段红外光学景象。dmd通常采用脉宽调制实现对图像灰度的控制。

2、当前基于dmd的红外景象模拟器主要由图形工作站、红外dmd动态图像转换器和红外成像光学系统组成，在一帧时间内，dmd根据驱动器输入的脉宽信号，通过控制dmd的微镜反射照射其上的光进入成像光学系统的时间来实现对像素灰度的数字控制。

3、随着红外成像传感器的发展，红外成像传感器的积分时间越来越短。这意味着，在一帧时间内，只有在红外成像传感器的积分时间内控制dmd的微镜反射照射其上的光进入成像光学系统的时间才是有效的。例如，对于积分时间只有500μs的红外成像传感器，需要在500μs内通过脉宽调制完成对像素灰度的数字控制。但是，现有的dmd及其驱动器控制1个微镜处于开态(能够反射照射其上的光进入成像光学系统的状态)的最短时间通常为7.5μs，因此，dmd的微镜反射光进入成像光学系统的最短时间通常为7.5μs，再加上每一位的成像加载时间30.72μs与复位时间12.5μs。根据以上参数计算可得出，在500μs积分时间内通过脉宽调制方式最多只能实现32级灰度。图像加载时间与复位时间最少占据整个有效图像显示时间的17.288％，导致有效显示时间大幅降低。由于现有红外景象生成方法无法在帧频范围时间内生成高灰度的红外景象，导致基于红外景象进行前景分割的精度不能满足实际驾驶系统的应用需求。

技术实现思路

1、鉴于现有技术的不足，本发明提供一种用于车载自动驾驶系统的目标与背景分离方法及装置，能够在帧频范围内通过脉宽调试方法生成高灰度的红外景象，并基于预训练的神经网络模型实现目标前景的高效精确提取。

2、本发明采用的技术手段如下：

3、一种用于车载自动驾驶系统的目标与背景分离方法，包括：

4、构建红外镜像生成系统，所述红外镜像生成系统用于将输入图像进行像素的逐级提取，并将各级提取的红外辐射图像在物面叠加；

5、基于所述红外镜像生成系统获取待处理红外景象生成数据；

6、将所述红外景象生成数据输入训练后的语义分割模型进行语义特征提取，从而获取红外景象生成数据的语义分割特征；

7、将所述语义分割特征输入训练后的前景背景判断模型景象前景提取，从而获得与所述红外景象生成数据对应的前景掩码，实现目标与背景分离。

8、进一步地，所述红外镜像生成系统包括图形工作站、图形处理模块、红外dmd动态图像转换器、红外分束器组以及红外成像光学系统；

9、所述图形工作站用于获取低灰度的红外图像，并将所述低灰度的红外图像发送至图形处理模块；

10、所述图像处理模块用于对灰度的红外图像进行逐级像素处理，并将各级生成图像通过红外分束器组叠加至所述红外成像光学系统的物面上，包括：

11、将接收到的低灰度的红外图像按照2乘2像素合并再求平均，利用所述平均值对3125取商后，获取第一商值和第一余数，将第一商值送入第一红外dmd动态图像转换器中对应2乘2矩阵镜片翻转；

12、第一余数对625取商，获取第二商值和第二余数，将第二商值送入第二红外dmd动态图像转换器中对应2乘2矩阵镜片翻转；

13、第二余数对125取商，获取第三商值和第三余数，将第三商值送入第三红外dmd动态图像转换器中对应2乘2矩阵镜片翻转；

14、第三余数对25取商，获取第四商值和第四余数，将第四商值送入第四红外dmd动态图像转换器中对应2乘2矩阵镜片翻转；

15、第四余数对5取商，获取第五商值和第五余数，将第五商值送入第五红外dmd动态图像转换器中对应2乘2矩阵镜片翻转；

16、对第五余数对1取商，获取第六商值和第六余数，将第六商值送入第六红外dmd动态图像转换器中对应2乘2矩阵镜片翻转。

17、进一步地，将各级生成图像通过红外分束器组叠加至所述红外成像光学系统的物面上，包括将各级生成图像对应的像素叠加后投射至红外成像光学系统的物面上。

18、进一步地，所述红外分束器组包括第一红外分束器、第二红外分束器、第三红外分束器、第四红外分束器以及第五红外分束器，设置方式如下：

19、通过第二红外分束器将第一红外dmd动态图像转换器的输出与第二红外dmd动态图像转换器的输出叠加；

20、通过第三红外分束器将第三红外dmd动态图像转换器的输出与第四红外dmd动态图像转换器的输出叠加；

21、通过第四红外分束器将第五红外dmd动态图像转换器的输出与第六红外dmd动态图像转换器的输出叠加；

22、通过第一红外分束器将第二红外分束器的输出与第三红外分束器的输出叠加；

23、通过第五红外分束器将第一红外分束器的输出与第四红外分束器的输出叠加。

24、进一步地，各红外dmd动态图像转换器结构相同，均包括红外光源、红外光源光学系统、dmd和红外dmd动态图像转换器的驱动器。

25、进一步地，各红外分束器的反射率和透射率的设置，以及各红外dmd动态图像转换器的光源强度设置，满足以下约束：

26、e1/e2＝5

27、e2/e3＝5

28、e3/e4＝5

29、e4/e5＝5

30、e5/e6＝5

31、其中，e1为第一红外dmd动态图像转换器的dmd处于开态时一个像素经过红外分束器叠加后在参照面上的光强，e2为第二红外dmd动态图像转换器的dmd处于开态时一个像素经过红外分束器叠加后在参照面上的光强，e3为第三红外dmd动态图像转换器的dmd处于开态时一个像素经过红外分束器叠加后在参照面上的光强，e4为第四红外dmd动态图像转换器的dmd处于开态时一个像素经过红外分束器叠加后在参照面上的光强，e5为第五红外dmd动态图像转换器的dmd处于开态时一个像素经过红外分束器叠加后在参照面上的光强，e6为第一红外dmd动态图像转换器的dmd处于开态时一个像素经过红外分束器叠加后在参照面上的光强，所述参照面为位于第五红外分束器与红外成像光学系统之间的任意一个与光轴垂直的面。

32、本发明还公开了一种用于车载自动驾驶系统的目标与背景分离装置，包括：

33、数据生成单元，用于基于红外镜像生成系统获取待处理红外景象生成数据；

34、特征提取单元，用于将所述红外景象生成数据输入训练后的语义分割模型进行语义特征提取，从而获取红外景象生成数据的语义分割特征；

35、前景提取单元，用于将所述语义分割特征输入训练后的前景背景判断模型景象前景提取，从而获得与所述红外景象生成数据对应的前景掩码。

36、较现有技术相比，本发明具有以下优点：

37、本发明通过对现有的单个dmd动态图像转换器进行改进，增加一个图像处理单元输出接口和一套红外dmd动态图像转换器组与红外分束器组，对空间位置关系和光强关系进行优化设置，即可生成高灰度的红外景象。并基于预训练的神经网络模型实现目标前景的高效精确提取。