一种基于机器视觉的红外热成像夜视辅助驾驶系统的制作方法

本发明涉及先进辅助驾驶，尤其涉及一种基于机器视觉的红外热成像夜视辅助驾驶系统。

背景技术：

1、随着现代社会道路交通的迅猛发展，汽车的保有量在不断增长，在为人们生活提供便利的同时也带来了巨大的交通安全隐患，尤其在夜间、大雾等能见度较低的恶劣条件下发生的交通事故占到了相当大的比重。因此提升汽车夜间驾驶的安全性能也尤为重要。现今大部分的车辆都具备辅助驾驶系统，一般采用摄像头、激光雷达、超声波雷达等传感器感知车身周围环境和道路前方路况，帮助驾驶员避开障碍物，提升驾驶员的主动安全性。这些辅助驾驶系统通常在白天有良好的辅助效果，在夜间的效果却大大减弱，车辆的夜间事故依然频发。因此研究夜间的辅助驾驶系统迫在眉睫。

2、辅助驾驶系统常用的视觉传感器分为可见光摄像头和红外摄像头。可见光摄像头的成像原理是接收外界反射的白光光源成像，在光照充足的条件下能清晰显示目标物体的形状大小等外观特征。但若光照条件差，可见光摄像头就难以发挥作用。红外摄像头分为近红外线摄像头和远红外线摄像头，近红外摄像头通过发射红外线光源到目标上，然后通过捕捉反射的红外线光源成像，它的有效距离比较短；由于自然界所有温度在绝对零度以上的物体都会辐射红外线(即热辐射)，近红外线会被大气、烟云等吸收，而远红外线则能透过，因此远红外摄像头即红外热成像摄像头可以测定目标和背景之间的红外线差映射得到红外图像，也就是热图像。在光照不足、强光眩光、高速团雾、风沙扬尘等长尾场景中，红外热成像摄像头均可清晰成像，而且普通民用的红外热成像摄像头就能探测到数百米远的场景，很适合应用于夜视辅助驾驶系统。但与正常光照下的可见光成像相比，红外图像成像的目标边缘模糊、纹理细节信息丢失，远距离的目标可能会难以凭肉眼分辨。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种基于机器视觉的红外热成像夜视辅助驾驶系统，用以解决现有技术中红外图像成像的目标边缘模糊，纹理细节信息丢失，远距离的目标可能会难以凭肉眼分辨的问题。

2、一方面，本发明实施例提供了一种基于机器视觉的红外热成像夜视辅助驾驶系统，该系统包括红外热成像摄像头、ai图像处理控制器、和显示器；

3、所述红外热成像摄像头，将目标红外辐射转换为红外图像，并进行预处理，将预处理后的红外图像传输至ai图像处理控制器；

4、所述ai图像处理控制器，用于对预处理后的红外图像进行目标识别和位置检测，并将结果发送至显示器；

5、所述显示器，用于显示目标。

6、进一步的，所述ai图像处理控制器包括目标检测模块，通过所述目标检测模块对预处理后的红外图像进行目标检测，所述目标检测模块包括：输入端、主干网络、瓶颈层和预测层；

7、所述输入端，采用mosaic方式做数据增强，并将增强后的数据传输至主干网络；

8、所述主干网络，对所述增强后的数据进行图像特征提取，生成第一级特征图像和第二级特征图像并传输至瓶颈层；

9、所述瓶颈层，采用fpn特征金字塔结构，对所述第一级特征图像和第二级特征图像进行逐点卷积、上采样、特征拼接生成第一级卷积特征图像和第二级卷积特征图像；

10、所述预测层，接收第一级卷积特征图像和第二级卷积特征图像，采用anchorbased目标检测算法分别对两级卷积特征图像进行目标位置检测和目标识别，输出目标的位置和类别。

11、进一步的，所述主干网络包括依次连接的卷积神经网络组件、多级倒残差结构和spp模块。

12、进一步的，所述多级倒残差结构的级数为五级；

13、所第四级倒残差结构的输出为第二级特征图像；所述spp模块的输出为第一级特征图像。

14、进一步的，所述瓶颈层包括：第一支路和第二支路；

15、所述第一支路包括第一逐点卷积模块，用于接收所述第一级特征图像，经逐点卷积生成第一级卷积特征图像；

16、所述第二支路包括上采样模块、特征拼接模块和第二逐点卷积模块，上采样模块接收所述第一级卷积特征图像，经上采样后传输至特征拼接模块，特征拼接模块同时接收第二级特征图像，将第二级特征图像和第一级卷积特征图像进行特征拼接后输出至第二逐点卷积模块，经逐点卷积后生成第二级卷积特征图像。

17、进一步的，所述预测层包括两个预测通道，每个预测通道均包括依次连接的第三逐点卷积模块、逐通道卷积模块、第四逐点卷积模块、标准卷积层和linear激活函数；

18、两个预测通道分别对第一级卷积特征图像和第二级卷积特征图像进行逐点卷积、逐通道卷积、逐点卷积、标准卷积和linear激活后，识别出目标位置和目标类别。

19、进一步的，所述ai图像处理控制器还包括目标跟踪模块和目标距离计算模块；

20、所述目标跟踪模块，通过卡尔曼滤波算法预测当前目标位置，与目标检测模块输出的目标位置加权得到一个最佳位置后将其更新为当前帧目标位置；

21、所述目标距离计算模块，通过相似三角形原理和/或基于标定计算相机俯仰角的测距方法对目标距离进行计算。

22、进一步的，所述ai图像处理控制器还包括ai核心处理器，所述ai核心处理器用于执行所述目标检测模块、目标跟踪模块和目标距离计算模块中的算法。

23、进一步的，所述ai图像处理控制器还包括：gmsl视频解码器和视频转换模块；

24、所述gmsl视频解码器，用于将红外热成像摄像头预处理后的红外图像转换为ai核心处理器可接收的数据格式，传输至ai核心处理器；

25、所述视频转换模块，用于将ai核心处理器输出的视频转换成gmsl格式或者ahd格式的视频信号输出至显示器。

26、进一步的，所述目标跟踪模块采用如下方式进行目标跟踪：

27、经过卡尔曼滤波预测目标位置，估算出本帧目标的位置，将上一帧的目标位置与本帧目标检测模块检测出的目标位置一起送入级联匹配器进行匹配，产生三种状态的目标，分别是已匹配的目标、未匹配的上一帧目标和未匹配的本帧目标；

28、未匹配的上一帧目标和本帧目标再经iou match匹配，删除还是未匹配的上一帧目标；

29、将两次匹配后的已匹配的目标合并，进行卡尔曼滤波的更新，输出为下一帧的目标；

30、未匹配的本帧目标加入到下一帧目标中；整个目标跟踪过程持续预测-匹配-更新的状态。

31、与现有技术相比，本发明至少可实现如下有益效果之一：

32、本技术通过在ai图像处理控制器中设置目标检测模块，目标检测模块基于深度神经网络开发，具有准确率高，误报少，实时性好的优势，解决了红外图像图像成像的目标边缘模糊，纹理细节信息丢失，远距离的目标可能会难以凭肉眼分辨的问题，使红外图像在能见度低的夜晚依然能够较为清晰得显示道路情况，使驾驶员清楚分辨前方道路存在的目标类别。

33、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。