一种基于模糊视频图像的智能路灯调控方法及系统与流程

1.本发明属于路灯调控技术领域，具体涉及一种基于模糊视频图像的智能路灯调控方法及系统。


背景技术：

2.节能减排是实现碳达峰、碳中和的关键支撑，其中道路照明能耗大，通过对路灯监控视频智能分析，从而智能调控路灯系统，在低交通流量的深夜调节照明，降低运行功率，是道路照明节能的重要手段。又道路照明宜根据所在道路的照明等级、夜间路面实时照明水平以及不同时间段的交通流量、车速、环境亮度的变化等因素，确定相应时段需要达到的照明水平，通过智能控制方式，调节路面照度或亮度。但经过调节后的快速路、主干路、次干路的平均照度不得低于10lx，支路的平均照度不得低于8lx。”3.现有技术的照明方案主要有以下两种方式，一是通过路灯内置的控制器预设调光的时间节点，在路灯开启后，运行一段时间后自动降低路灯光输出，以达到节能的目的。举例如下：一是设置路灯开启后先是100％光输出，同时开始计时，在运行4小时后(进入深夜时段)自动降低到50％光输出。二是当路灯内置控制器具备通信、时钟校准功能时，设置路灯为分段运行，在开灯后100％光输出，在22:00后降低到50％光输出，在24:00后降低到30％光输出，在凌晨5点(如果还未到关灯时间)再恢复到100％光输出。二是通过摄像装置和/或运动传感器检测所述道路预设范围内是否存在处于运动状态的目标对象。专利zl201611131825.2公开了如道路预设范围内存在处于运动状态的目标对象，则按照所述道路的照明等级信息，控制所述道路预设范围内的路灯提高亮度并持续预设时间段。如果所述道路预设范围内不存在处于运动状态的目标对象，则控制所述道路预设范围内的路灯保持原状和/或降低亮度。
4.虽然上述两种方案都能够对路灯的照明时段和亮度进行调整，但是上述方案的调整针对的是路面正常情况下的灯光调控，不能对路面上出现异常状况时根据路面的异常状况进行调整，不能根据路面的特征调节路灯的亮度，保障特殊情况下的路面和交通安全，避免造成更大的资源浪费。


技术实现要素：

5.为了解决现有技术中的问题，本发明提供了一种基于模糊视频图像的智能路灯调控方法及系统，能够对模糊视频中的路面特征进行识别和提取，并根据识别的结果调整路灯的亮度，保障了交通安全，节约资源。
6.为了实现上述目的，本发明提供如下技术方案：
7.一种基于模糊视频图像的智能路灯调控方法，包括以下步骤，
8.s1：对模糊视频图像进行去模糊处理，得到去模糊后的视频图像；
9.s2：识别去模糊后视频图像中的路面特征，并对路面上的不同特征进行特征提取，得到特征提取后的图像；
10.s3：获取特征提取后图像的图像子图，对图像子图根据预设的路面特征进行比对校准，并将比对校准后的图像子图输入到已有深度学习训练模型中进行学习和训练，根据模型输出的检测结果，调节路面路灯的亮度。
11.进一步地，所述路面特征包括交通事故、行人跌倒、发生火情、严重积水和井盖缺失。
12.进一步地，根据模型输出的检测结果，若在路面上检测到上述路面特征的任意一种，则控制系统控制路灯的亮度提高；若在路面上未检测到上述路面特征之一，则路灯亮度正常。
13.进一步地，所述去模糊处理采用图像去模糊算法进行处理。
14.进一步地，所述去模糊算法包括，对同一模糊视频图像进行去模糊处理和超分辨处理，其中，所述去模糊模块用于去除图像中的噪点，提高图像的清晰度和像素，所述超分辨模块用于提模糊图像中的分辨率。
15.进一步地，所述图像子图为视频图像去模糊处理后的放大图像。
16.进一步地，所述放大图像的放大倍数至少为所放大图像中图像特征面积占整体图像面积的二分之一的倍数。
17.进一步地，对路面上不同特征进行特征提取时采用特征提取算法对视频图像中预设的路面特征作为特征点进行提取。
18.进一步地，对路面特征进行校准的方法为，
19.对路面特征进行比较校准时，预先获取包含上述路面特征的历史数据；
20.将原始图像输入到预先训练好的神经网络模型中进行训练，得到长宽为原始视频图片四分之一的特征向量；
21.对特征向量进行上采样，得到上采样后的图像；
22.采用目标检测算法对上采样后图像作为目标区域进行检测和特征选取；
23.并对图像子图采用多分类算法得出上述路面特征中每一种的概率与预先获取的概率值进行对比，若概率值超过阈值，则灯光亮度增强；若低于或等于阈值，则灯光亮度不变或降低。
24.一种基于模糊视频图像的智能路灯调控系统，包括，
25.去模糊模块，用于对模糊视频图像进行去模糊处理，得到去模糊后的视频图像；
26.特征识别和特诊提取模块，用于识别去模糊后视频图像中的路面特征，并对路面上的不同特征进行特征提取，得到特征提取后的图像；
27.亮度调节模块，用于获取特征提取后图像的图像子图，对图像子图根据预设的路面特征进行校准，并将校准后的图像子图输入到已有深度学习训练模型中进行学习和训练，根据模型输出的检测结果，调节路面路灯的亮度。
28.相较于现有技术，本发明的优点在于：
29.本发明的一种基于模糊视频图像的智能路灯调控方法，通过路灯监控的模糊视频图像进行获取，并对获取的模糊视频图像进行去模糊处理，和对去模糊处理后的视频图像进行特征提取，及对特征提取后的图像子图进行比较校准来对含有特殊路面特征的路灯亮度进行调节，使得路灯的亮度随着路面的情况变化，一方面使得对路面上的特殊情况给予及时充足的照明，保障路面上的车辆、行人的安全，另一方方面能够通过路灯亮度的增加起
到对路灯维修人员的反馈作用，能够对有交通事故、行人跌倒、发生火情、严重积水、井盖缺失特殊路面情况的路面进行及时处理，同时通过路灯的调节，使得能源合理的分配，避免了能源的浪费。
附图说明
30.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
31.图1为本发明一种基于模糊视频图像的智能路灯调控方法的流程示意图；
32.图2为本发明一种基于模糊视频图像的智能路灯调控方法去模糊算法的流程示意图。
具体实施方式
33.下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
34.以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
35.实施例1
36.本发明的一种基于模糊视频图像的智能路灯调控方法，如图1所示，包括以下步骤，
37.s1：对模糊视频图像进行去模糊处理，得到去模糊后的视频图像；
38.s2：在去模糊后的图像中采用视频检测技术识别出去模糊后图像中的路面特征，并对路面上的不同特征进行特征提取，得到特征提取后的图像；
39.s3：获取特征提取后图像的图像子图，对图像子图根据预设的路面特征进行比对校准，并将比对校准后的图像子图输入到已有深度学习训练模型中进行学习和训练，根据模型输出的检测结果，调节路面路灯的亮度。
40.本发明的模糊视频图像也指图像模糊，图像模糊是一种很重要的图像降质因素，在图像获取、传输、处理过程中都有很多因素可能造成图像模糊，包括视频图像中的由于图像中的元素运动造成的模糊、压缩模糊、传输造成的模糊以及其他模糊。比如在获取图像时，不正确的聚焦会产生离焦模糊，景物和照相机的相对运动会造成运动模糊，图像压缩后的高频丢失造成的模糊。包括但不限于上述方式的模糊降低了图像的清晰度，严重影响图像质量，导致图像分析、处理、接收的困难甚至失败的模糊都属于本发明所指的模糊，并非特指某一种或某一类的模糊。
41.具体地，模糊度和清晰度是描述图像清晰程度(模糊程度)的两个相对但又相互联系的两个概念。图像越清晰，质量越高，清晰度越大，模糊度越小；图像越不清晰(越模糊)，质量越低，清晰度越小，模糊度越大。因此描述一幅图像清晰程度时，既可以使用清晰度也可以使用模糊度，只是两个指标数值上成反比；本发明中采用模图像模糊度的指标作为依据对发明的技术方案进行分析说明。
42.具体地，路面特征包括交通事故、行人跌倒、发生火情、严重积水和井盖缺失。其中，交通事故包括但不限于车与车之间的事故，还包括车与人之间的事故，通过对移动中的车辆或行人在路面上的停留时间来判断是否发生交通事故，当移动的车辆或行人突然停止，或速度发生急剧变化时则判定我交通事故。行人跌倒的方式和交通事故的判断方法一致，指对运动中的人进行检测，若运动中的人，速度在一定时间内的移动速度为0，则判定为行人跌倒。发生火情则根据路面的颜色变化，以及路面上空气含量中二氧化碳气体和其他气体浓度是否处于正常状态时的最值为判断依据，判断路面是否发生火情。严重积水，指路面上的积水占路面宽度面积的二分之一或更以上时则判定为路面积水。井盖缺失包括但不限于井盖完全丢失和井盖未完全设置于地面的井上，根据夜晚地面的亮度情况来判断井盖是否丢失，采用智能型数字颜色传感器或高精度数字颜色传感器对路面进行检测，若检测到路面上的某一固定区域颜色深度或过深有明显由于井盖丢失造成的黑色阴影，则判定为井盖丢失；具体地，当路面上颜色形状为圆形或椭圆形等黑色阴影或图案的固定形状或区域时，则判定为井盖丢失，若检测到部分黑色阴影，如半圆形或半椭圆形结构的黑色阴影时，则判定为井盖未完全设置于地面的井上。具体地，可选传感器型号为cl1-n3s1(npn)/cl1-p3s1(pnp)型智能型数字颜色传感器，或cl2-n3a1(npn)/cl2-p3a1(pnp)高精度数字颜色传感器。
43.具体地，根据模型输出的检测结果，若在路面上检测到上述路面特征的任意一种，则控制系统控制路灯的亮度提高；若在路面上未检测到上述路面特征之一，则路灯亮度正常。具体地，当检测到低交通流量的深夜调节照明，降低运行功率，进一步节约能源，本实施例的低交通指在预设时间或一定时间内，车流量未超过预设数量或人流量未超过预设数量，则为低交通，如在一个小时内汽车流量未超过10辆，人流量未超过10人等。
44.具体地，控制系统包括监控系统，监控系统的监控设施设置于路灯上最近的交通灯上，如监控器等；监控设备的画面显示设备和图像检测和分析设备设置于监控室内，监控系统的监控设施和画面显示设备无线或有线连接，通过网络实时传输监控设施监控画面至画面显示设备和画面监控设备的分析系统或仪器上进行分析。
45.具体地，去模糊处理采用图像去模糊算法进行处理。包括，对同一模糊视频图像进行去模糊处理和超分辨处理，其中，所述去模糊模块用于去除图像中的噪点，提高图像的清晰度和像素，所述超分辨模块用于提模糊图像中的分辨率。
46.初始状态，路灯处于深夜降低运行功率条件下，采集得到视频图像具有模糊、低分辨率等特点。在此种视频上直接采用视频检测技术会造成误差较大，识别准确率等状况，因此本发明采用基于多任务学习的监控视频去模糊算法。其中，多任务学习指多个任务共享底层神经网络模型，在本发明中包括对同一模糊视频图像的去模糊处理和超分辨处理两项任务，两项任务可同时进行或以排列组合的方式先后进行均可，但两项任务是基于相同的视频图像进行清晰化处理，因此使用多任务学习机制可以有效降低模型参数量。整个低光照条件下的视频去模糊超分辨算法包含了视频图像特征提取，超分辨网络分支，去模糊网络分支。具体地，超分辨和去模糊共享底层特征提取部分，整体算法为：搭建好的神经网络模型中输入待去模糊的图像，对输入的图像按照预先设定的方式进行特征提取，使得特征提取后的图像为原始输入图像长和宽的四分之一，随后进行去模糊处理和超分辨处理，在进行去模糊处理时，将输入神经网络特征提取后的图像变换为特征提取后图像长和宽的两
倍，也即变换为原始输入图像的二分之一，随后对变换后的图像进行反卷积，将图像的细节还原，得到去模糊后的图像；在进行超分辨处理时，神经网络模型以多个残差块长跃进的方式连接，将待超分辨处理的图像细节和图像质量提高，得到超分辨后的图像；结合超分辨和去模糊后的图像或单独分析，得出去模糊处理后的图像。
47.具体地，输入神经网络模型的图像为图片，在将所监控的视频画面传输至神经网络时，自动将待输入的视频图像按照帧数等方式将视频画面划分为若干图片，以图片的形式将图片输入至神经网络中进行去模糊处理，待所有的图片去模糊处理后将所有去模糊处理后的图片重新按照划分的顺序整合为完整的视频图像进行分析或对单独的图片进行分析，得出最终的结果。
48.具体地，本优选实施例中的视频图像特征提取以原始输入的图像大小为n
×
32
×
100为例说明特征提取过程中的尺寸变化，其中，32为图像的长度，100为图像的宽度。具体地，特征提取模块基于卷积神经网络的结构和残差块用于提取视频图片特征，特征提取模块如下表所示，输入选择将原始输入视频图片尺寸调整为32x100,经过特征提取模块得到的输出为512x8x25的特征向量，也即长宽尺寸转变为原始图像的1/4。
[0049][0050]
具体地，在表中：特征提取中kernel表示卷积神经网络卷积核大小，stride表示卷积核采样步长，padding表示采样边框大小。
[0051]
具体地，如图2所示，卷积神经网络的深度对于图像超分辨率非常重要。但是更深通道维度的图像超分辨网络通常难以训练。而低分辨率输入对特征包含丰富的低频信息，这些信息在各个通道之间均被平等对待，因此阻碍了cnn的表示能力，因此采用基于通道注意力机制的深度残差网络，首先使用残差连接模块，通过残差的模式避免了过拟合以及更加注重于原始图片中的细节特征，并且算法中加入了通道注意力机制，最后采用上采样技术得到超分辨后的视频图像。
[0052]
具体地，去模糊处理采用多尺度卷积神经网络，充分利用视频图像特征提取得到的特征向量，采用基于残差块的卷积网络将特征向量尺度转化为32x100，即和原始输入相同尺寸的去模糊后视频图像，对去模糊后图像和采集训练集合同时刻清晰图像计算像素相似度作为损失函数，约束模型训练。
[0053]
具体地，图像子图为视频图像去模糊处理后的放大图像。放大图像的放大倍数至少为所放大图像中图像特征面积占整体图像面积的二分之一的倍数。
[0054]
具体地，对路面上不同特征进行特征提取时采用特征提取算法对视频图像中预设
的路面特征作为特征点进行提取。
[0055]
具体地，对路面特征进行校准的方法为，对路面特征进行比较校准时，预先获取包含上述路面特征的历史数据；将原始图像输入到预先训练好的神经网络模型中进行训练，得到长宽为原始视频图片四分之一的特征向量；对特征向量进行上采样，得到上采样后的图像；采用目标检测算法对上采样后图像作为目标区域进行检测和特征选取；并对图像子图采用多分类算法得出上述路面特征中每一种的概率与预先获取的概率值进行对比，若概率值超过阈值，则灯光亮度增强；若低于或等于阈值，则灯光亮度不变或降低。
[0056]
具体地，历史数据为所检测路面上发生本技术所包含路面特征的历史数据值，包括根据交通事故统计的数据值，及天气情况统计的数据值；上述阈值为历史数据值的平均值。
[0057]
具体地，根据常见的交通事故、行人跌倒、发生火情、严重积水、井盖缺失等异常情况，首先采用图像检测技术，得到视频图像中目标子图，目前常见图像目标检测算法即可完成对目标区域检测和选取，再对子图使用多分类算法得到属于每一种异常情况的概率，并根据历史发生异常情况下概率值设定阈值，当多分类模型预测得到的概率超过阈值，则认为现场出现异常状况，触发灯光调控机制，自动调亮现场灯光，并初次发送消息给值班人员提醒。当经过异常检测模块后触发灯光调控机制，此时现场路灯亮度提升，视频采集图像清晰度上升，对清晰度更高视频图像再次调用异常检测模块中的图像检测技术和多分类模块，得到异常事件的概率，如再次超过阈值，即再次提醒值班人员注意异常事件，路灯亮度持续直到异常事件的概率小于阈值后一段时间自动降低灯光亮度。
[0058]
具体地，本发明的方法，能够对现有技术存在的缺点，即主要是只以正常的道路交通行为作为依据进行调光控制，缺乏对异常情况的识别、自动判断和智能调光，以及无法在低光照情况下模糊视频中有效检测出异常情况进行检测和获取，并及时调整路面特殊情况所对应的路灯亮度，能够对路面的情况作出及时的相应和反馈，节约能源的同时，对路面的异常情况作出提醒，保障了特殊路面情况下的交通安全。
[0059]
实施例2
[0060]
一种基于模糊视频图像的智能路灯调控系统，包括，
[0061]
去模糊模块，用于对模糊视频图像进行去模糊处理，得到去模糊后的视频图像；
[0062]
特征识别和特诊提取模块，用于识别去模糊后视频图像中的路面特征，并对路面上的不同特征进行特征提取，得到特征提取后的图像；
[0063]
亮度调节模块，用于获取特征提取后图像的图像子图，对图像子图根据预设的路面特征进行校准，并将校准后的图像子图输入到已有深度学习训练模型中进行学习和训练，根据模型输出的检测结果，调节路面路灯的亮度。
[0064]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0065]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0066]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0067]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0068]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。