红绿灯状态提醒方法、装置、终端及计算机可读存储介质与流程

本发明涉及图像处理，特别是涉及一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质。

背景技术：

1、在科技飞速发展的当今社会，汽车的普及率越来越高，而智能化作为如今汽车行业发展的重要趋势之一备受关注，其中行车记录仪不管是出厂预装或者后期用户从市场购买安装几乎每车必备。随着汽车用户越来越年轻化，行车记录仪单纯记录功能已经无法满足用户需求，行车记录仪的智能化程度变的越来越重要并且越来越普及。目前很多厂商已经将各种高级驾驶辅助系统(advanced driving assistant system，adas)功能加入到产品中，用于增加产品的卖点，使记录仪变的更智能，更安全，更多样化。

2、汽车行驶过程中，红绿灯路口是经常遇到的场景，司机等待时间少则几秒多则几分钟，在此期间司机很难专注的关注红绿灯的变化，容易被手机等外部条件干扰，到变成绿灯，容易被后方车辆鸣笛催促，并造成车况拥堵。

技术实现思路

1、本发明主要解决的技术问题是提供一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质，解决现有技术中无法精确提醒绿灯的问题。

2、为解决上述技术问题，本发明采用的第一个技术方案是：提供一种红绿灯状态提醒方法，红绿灯状态提醒方法包括：

3、对待处理图像进行颜色还原处理，得到预处理图像；

4、通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。

5、其中，红绿灯状态提醒方法还包括：

6、基于所述车道信息和所述红绿灯信息，确定是否进行提醒。

7、其中，卷积神经网络包括第一神经网络模型和第二神经网络模型；

8、通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息，包括：

9、通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息；

10、通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息。

11、其中，第一神经网络模型包括第一特征提取模块、车道线检测模块和车道箭头检测模块，特征提取模块分别与车道线检测模块和车道箭头检测模块连接；

12、通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息，包括：

13、通过第一特征提取模块对预处理图像进行特征提取，得到第一特征图；

14、通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息；

15、通过车道箭头检测模块对第一特征图进行车道箭头检测，得到车道箭头信息。

16、其中，通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息，包括：

17、通过车道线检测模块对第一特征图进行车道线检测，得到目标像素点信息；

18、基于目标像素点信息拟合出符合最小二乘法原则的三次多项式，得到车道线。

19、其中，第一神经网络模型的训练方法包括如下步骤：

20、获取第一图像集，第一图像集包括多个包含车道线和车道箭头的第一样本图像，第一样本图像关联有车道线标签信息和车道箭头标签信息；

21、通过第一神经网络模型对第一样本图像分别进行车道线预测和车道箭头预测，得到车道线预测信息和车道箭头预测信息；

22、基于第一样本图像对应的车道线预测信息和车道线标签信息之间的第一误差值与车道箭头预测信息与车道箭头标签信息之间的第二误差值迭代训练第一神经网络模型。

23、其中，车道线标签信息为第一样本图像对应的栅格化图像中各栅格的标注信息；车道线预测信息为第一样本图像对应的栅格化图像中各栅格的预测信息；

24、第一损失值基于如下公式计算得到：

25、

26、式中：loss1表示第一损失值；qi(j)表示第i行第j个栅格为车道线的预测信息，qi(j)为概率值；pi(j)表示第i行第j个栅格的标签信息；标签信息为0或1。

27、其中，车道箭头标签信息包括车道箭头标注位置和车道箭头标注类型；车道箭头预测信息包括车道箭头预测位置和车道箭头预测类型；

28、第二损失值基于如下公式计算得到：

29、

30、式中：loss2表示第二损失值；pclsi表示车道箭头标注类型；gclsi表示车道箭头预测类型；pbboxi表示车道箭头标注位置；gbboxi表示车道箭头预测位置。

31、其中，第二神经网络模型包括目标位置检测网络和目标识别模块，目标识别模块与目标位置检测网络连接，

32、通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息，包括：

33、通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息；

34、通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，红绿灯信息包括各子灯的位置信息、类别信息和颜色信息。

35、其中，目标位置检测网络包括第二特征提取模块和红绿灯区域检测模块，第二特征提取模块分别与红绿灯区域检测模块和目标识别模块连接，且红绿灯区域检测模块与目标识别模块连接；

36、通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息，包括：

37、通过第二特征提取模块对预处理图像进行特征提取，得到第二特征图；

38、通过红绿灯区域检测模块基于第二特征图，确定红绿灯区域信息。

39、其中，第二特征提取模块包括第一特征提取单元和第二特征提取单元，目标识别模块包括第一特征抽取单元和第二特征抽取单元；

40、通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，包括：

41、第一特征抽取单元对红绿灯区域信息进行特征提取，得到第三特征图；

42、将第三特征图与基于第一特征提取单元得到的特征图进行融合，得到第四特征图；

43、第二特征抽取单元对第四特征图进行特征提取，得到第五特征图；

44、对第五特征图进行识别，得到红绿灯信息。

45、其中，目标位置检测网络的训练方法包括如下步骤：

46、获取第二图像集，第二图像集包括多个包含红绿灯的第二样本图像，第二样本图像关联有红绿灯位置标签和红绿灯类别标签；

47、通过目标位置检测网络对第二样本图像中的红绿灯进行预测，得到红绿灯预测位置和红绿灯预测类别；

48、基于第二样本图像对应的红绿灯预测位置和红绿灯位置标签之间的第三误差值与红绿灯预测类别与红绿灯类别标签之间的第四误差值迭代训练目标位置检测网络。

49、其中，第二神经网络模型的训练方法包括如下步骤：

50、获取第三图像集，第三图像集包括多个包含红绿灯的第三样本图像，第三样本图像中标注有红绿灯中各子灯的位置标签、类别标签和颜色标签；

51、通过第二神经网络模型对第三样本图像中的红绿灯中的各子灯进行预测，得到各子灯的预测位置、预测类别和预测颜色；

52、基于第三样本图像中红绿灯中子灯对应的预测位置和位置标签之间的误差值、预测类别和类别标签之间的误差值以及预测颜色和颜色标签之间的误差值迭代训练第二神经网络模型。

53、其中，基于车道信息和红绿灯信息，确定是否进行提醒，包括：

54、基于车道线信息和车道箭头信息，确定当前车道对应的行驶方向；

55、响应于红绿灯指示当前车道的子灯由红色转为绿色，则发出提醒。

56、为解决上述技术问题，本发明采用的第二个技术方案是：提供一种红绿灯状态提醒装置，红绿灯状态提醒装置包括：

57、处理模块，用于对待处理图像进行颜色还原处理，得到预处理图像；

58、检测模块，用于通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。

59、为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述的红绿灯状态提醒方法中的步骤。

60、为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的红绿灯状态提醒方法中的步骤。

61、本发明的有益效果是：区别于现有技术的情况，提供的一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质，红绿灯状态提醒方法对待处理图像进行颜色还原处理，得到预处理图像；通过卷积神经网络对所述预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。本技术中通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，可以提高车道信息和红绿灯信息的检测准确率，使输出的车道信息和红绿灯信息的稳定性更高，提高了鲁棒性；进而通过高准确率的车道信息和红绿灯信息可以提高绿灯提醒的精确度。