基于影像融合的交通事故检测方法、装置、设备及介质与流程

[0001]
本申请涉及图像检测技术领域，尤其是涉及一种基于影像融合的交通事故检测方法、装置、设备及介质。


背景技术：

[0002]
随着我国经济的飞速发展，人们的出行量大幅度增加，对交通的需求也越来越大，随之交通事故的发生也越来越频繁。例如，为了满足出行需求或运输需求，部分车辆需要经过山区，但是山区道路一般多为危险路段，容易导致交通事故。
[0003]
传统的交通事故检测方法，通常只采用单一的传感器对道路和车辆进行拍摄，然后对拍摄的图像或影像进行检测，从而识别出是否发生交通事故。但是单一传感器的应用范围有限且具有一定的局限性，使得获取的图像信息往往比较单一，无法全面地反映出目标区域和目标对象的特征，分析价值较低，影响对交通事故的检测和识别精度。


技术实现要素：

[0004]
为了提高交通事故检测精度，本申请提供一种基于影像融合的交通事故检测方法、装置、设备及介质。
[0005]
第一方面，本申请提供一种基于影像融合的交通事故检测方法，采用如下的技术方案：一种基于影像融合的交通事故检测方法，包括：按照多个预设方向分别获取目标区域的多源遥感影像；将属于同一预设方向的多源遥感影像进行预处理；将预处理后的属于同一预设方向的多源遥感影像进行融合，获取该预设方向的融合影像；将所述多个预设方向的融合影像分别输入训练好的深度神经网络模型中进行识别，获取所述多个预设方向的识别结果；根据所述多个预设方向的识别结果检测所述目标区域是否发生交通事故。
[0006]
通过采用上述技术方案，根据多源遥感影像可以更全面的反映出目标区域和目标对象的特征，基于影像融合的方法可以更多地保留多源遥感影像的有效特征，提高交通事故检测的准确率。
[0007]
可选的，所述预处理包括辐射定标、正射校正和影像配准。
[0008]
通过采用上述技术方案，便于消除各遥感影像因遥感传感器本身而产生的误差以及因地形起伏而产生的畸变。
[0009]
可选的，所述多源遥感影像包括高光谱影像和全色影像；所述将预处理后的属于同一预设方向的多源遥感影像进行融合，包括：通过ihs变换融合法将属于同一预设方向的所述高光谱影像和所述全色影像进行影像融合。
[0010]
通过采用上述技术方案，可以得到光谱分辨率较高的全色影像，便于提高交通事故检测的准确率。
[0011]
可选的，在所述将所述多个预设方向的融合影像分别输入训练好的深度神经网络模型中进行识别之前，还包括：选取训练集，构建深度神经网络模型，将所述训练集输入所述深度神经网络模型中进行训练，得到所述训练好的深度神经网络模型。
[0012]
可选的，所述识别结果为交通事故或者非交通事故；所述根据所述多个预设方向的识别结果检测所述目标区域是否发生交通事故，包括：判断所述识别结果为交通事故的占比是否达到预设值，若是，则判定所述目标区域发生交通事故，否则判定所述目标区域未发生交通事故。
[0013]
通过采用上述技术方案，分别对每个预设方向得出识别结果，再根据多个识别结果得出目标区域是否发生交通事故的结论，可以减少因单一识别结果产生的误差。
[0014]
可选的，在所述判定所述目标区域发生交通事故之后，还包括：发出告警并进入救助模式。
[0015]
通过采用上述技术方案，便于救助人员了解现场情况、指导现场人员采取急救措施。
[0016]
第二方面，本申请提供一种基于影像融合的交通事故检测装置，采用如下的技术方案：一种基于影像融合的交通事故检测装置，包括：获取模块，用于按照多个预设方向分别获取目标区域的多源遥感影像；预处理模块，用于将属于同一预设方向的多源遥感影像进行预处理；影像融合模块，用于将预处理后的属于同一预设方向的多源遥感影像进行融合，获取该预设方向的融合影像；识别模块，用于将所述多个预设方向的融合影像分别输入训练好的深度神经网络模型中进行识别，获取所述多个预设方向的识别结果；以及，检测模块，用于根据所述多个预设方向的识别结果检测所述目标区域是否发生交通事故。
[0017]
通过采用上述技术方案，根据多源遥感影像可以更全面的反映出目标区域和目标对象的特征，基于影像融合的方法可以更多地保留多源遥感影像的有效特征，提高交通事故检测的准确率。
[0018]
第三方面，本申请提供一种计算机设备，采用如下的技术方案：一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被所述处理器加载并执行上述任一种基于影像融合的交通事故检测方法的计算机程序。
[0019]
通过采用上述技术方案，根据多源遥感影像可以更全面的反映出目标区域和目标对象的特征，基于影像融合的方法可以更多地保留多源遥感影像的有效特征，提高交通事故检测的准确率。
[0020]
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种基于影像融合的交通事故检测方法的计算机程序。
[0021]
通过采用上述技术方案，根据多源遥感影像可以更全面的反映出目标区域和目标对象的特征，基于影像融合的方法可以更多地保留多源遥感影像的有效特征，提高交通事故检测的准确率。
[0022]
综上所述，本申请包括以下至少一种有益技术效果：1.根据多源遥感影像可以更全面的反映出目标区域和目标对象的特征，基于影像融合的方法可以更多地保留多源遥感影像的有效特征，提高交通事故检测的准确率；2.可以得到光谱分辨率较高的全色影像，便于提高交通事故检测的准确率。
附图说明
[0023]
图1是本申请实施例一提供的基于影像融合的交通事故检测方法的流程示意图。
[0024]
图2是本申请实施例一提供的四架无人机按照四个预设方向进行拍摄的示意图。
[0025]
图3是本申请实施例二提供的基于影像融合的交通事故检测装置的结构框图。
[0026]
图4是本申请实施例二提供的另一种基于影像融合的交通事故检测装置的结构框图。
[0027]
图5是本申请实施例三提供的计算机设备的结构示意图。
具体实施方式
[0028]
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0029]
实施例一本实施例提供一种基于影像融合的交通事故检测方法，如图1所示，该方法的主要流程描述如下（步骤s101～s105）：步骤s101：按照多个预设方向分别获取目标区域的多源遥感影像。
[0030]
控制多架无人机飞行至目标区域，例如山区危险路段、事故频发路段，分别从多个预设方向对目标区域进行拍摄。如图2所示，每架无人机上均安装有两个不同类型的遥感传感器，分别为高光谱影像传感器和全色影像传感器，四架无人机分别从四个预设方向同时对目标区域进行拍摄，从每个预设方向均能获取该目标区域的多源遥感影像，并通过无人机上设置的无线通信模块将多源遥感影像无线传输至远程终端等计算机设备，由远程终端进行影像处理和识别。每架无人机拍摄的多源遥感影像均包括全色影像传感器拍摄的全色影像和高光谱影像传感器拍摄的高光谱影像，其中，全色影像的空间分辨率较高，但是其光谱分辨率较低，高光谱影像的空间分辨率较低，但是其光谱分辨率较高。
[0031]
步骤s102：将属于同一预设方向的多源遥感影像进行预处理。
[0032]
本实施例中，分别针对属于同一预设方向即同一无人机拍摄的多源遥感影像进行预处理，具体如下：对高光谱影像进行辐射定标、大气校正和正射校正，对全色影像进行辐射定标和正射校正，再将处理后的高光谱影像和全色影像进行影像配准。其中，辐射定标将影像的亮度灰度值转换为光谱反射率或光谱辐射亮度，从而减小影像因遥感传感器本身产生的误差，确定遥感传感器入口处的准确辐射值。大气校正将目标区域的辐射亮度或者表面反射率转换为目标区域的真实反射率，从而减小影像因大气散射、吸收、反射引起的误差。
[0033]
上述中，对高光谱影像进行大气校正处理是因为在高光谱影像成像时，其蓝光到近红外光的波段易受大气散射、吸收、反射的影响，尤其是蓝光波段，因为蓝光波长较短，所以蓝光波段受影响程度最大，而我们常见全色影像是不包含蓝光波段的，所以全色影像无需进行大气校正。
[0034]
正射校正是几何校正的最高级别，几何校正主要是为了消除因遥感传感器本身、大气折光、地球曲率等因素造成的几何畸变，正射校正除了进行常规的几何校正的功能外，还可以利用原来已经获取的影像范围内的数字高程模型(dem)数据，纠正影像因地形起伏而产生的畸变。
[0035]
影像配准的作用是将高光谱影像和全色影像进行匹配和叠加，便于后续进行多源遥感影像融合的操作。由于多个遥感传感器获取各类影像的灰度特征往往不一致，因此很难运用传统的基于图像灰度的方法，本申请采用基于图像特征的配准方法进行影像配准，提取各影像中保持不变特征，如边缘点、角点和闭区域的中心等，作为影像配准的参考信息，从而避免这种问题。
[0036]
步骤s103：将预处理后的属于同一预设方向的多源遥感影像进行融合，获取该预设方向的融合影像。
[0037]
本实施例中，通过ihs变换融合法将预处理后的属于同一预设方向的高光谱影像和全色影像进行影像融合，获取融合影像即高分率的全色影像，该融合影像保留了高光谱影像和全色影像的有效特征，从而可以更全面地反映出目标区域和目标对象（例如目标区域中的人、车辆、山体和道路等）的特征，其具体方法如下：将各高光谱影像重采样，使之与全色影像具有相同的分辨率；将各高光谱影像从rgb空间转换到ihs空间，得到i、h和s三个分量；对全色影像的i’分量和ihs空间中的i分量进行直方图匹配；用直方图匹配后的i’分量替代i分量，然后同ihs空间中的h、s分量一起逆变换到rgb空间，从而得到融合影像。
[0038]
进一步地，对步骤s103得到的融合影像进行影像裁剪和影像增强。
[0039]
其中，通过影像裁剪提取出仅包含目标区域的融合影像，便于减少非目标区域的影像特征对下述步骤s104中深度神经网络模型识别融合影像的干扰。影像增强可以有选择性地突出影像中目标对象特征，便于提高影像判读性能和效果。
[0040]
步骤s104：将多个预设方向的融合影像分别输入训练好的深度神经网络模型中进行识别，获取多个预设方向的识别结果。
[0041]
在步骤s104之前，需选取训练集，构建深度神经网络模型，将训练集输入深度神经网络模型中进行训练，得到训练好的深度神经网络模型。该技术为本领域技术人员常规技术，此处不作展开介绍。
[0042]
在选取训练集时，注重采集以山区交通事故为前提的影像，包括车与车相撞、车与人相撞、车与山体或山石相撞、车与树相撞、车因天气原因或路况翻车的影像。
[0043]
步骤s105：根据多个预设方向的识别结果检测目标区域是否发生交通事故。
[0044]
本实施例中，识别结果为交通事故或者非交通事故，计算识别结果为交通事故的占比，然后判断占比是否达到预设值（例如75%），若是，则判定该目标区域发生交通事故，若否，则判定该目标区域没有发生交通事故。
[0045]
在判定该目标区域发生交通事故之后，迅速发出告警通知救助人员，并控制无人
机进入救助模式，开启无人机的监控和语音功能，其监控的内容通过无线通信模块传输给远程终端，远程终端显示监控的内容，便于救助人员了解现场情况或指导现场人员采取急救措施，为搜救争取时间。
[0046]
本实施例中，如果只基于一个预设方向对目标区域进行拍摄，会使得最终的识别结果具有偶然性，所以本申请从不同的预设方向对目标区域进行拍摄，从而减少检测结果的误差。而且每一个预设角度均采用多个不同的遥感传感器对目标区域进行拍摄，获取的多源遥感影像可以更全面的反映出目标区域和目标对象的特征，使后续检测识别出交通事故的准确率更高。
[0047]
实施例二为了更好地实施以上方法，本申请实施例提供了一种基于影像融合的交通事故检测装置，该装置具体可以集成在计算机设备中，例如终端或服务器等设备中，该终端可以包括但不限于手机、平板电脑或台式电脑等设备。
[0048]
图3为本申请实施例提供的一种基于影像融合的交通事故检测装置的结构框图，如图3所示，该装置主要包括：获取模块201，用于按照多个预设方向分别获取目标区域的多源遥感影像；预处理模块202，用于将属于同一预设方向的多源遥感影像进行预处理；影像融合模块203，用于将预处理后的属于同一预设方向的多源遥感影像进行融合，获取该预设方向的融合影像；识别模块204，用于将多个预设方向的融合影像分别输入训练好的深度神经网络模型中进行识别，获取多个预设方向的识别结果；以及，检测模块205，用于根据多个预设方向的识别结果检测目标区域是否发生交通事故。
[0049]
作为本实施例的一种可选实施方式，预处理模块202中，预处理包括辐射定标、正射校正和影像配准。
[0050]
作为本实施例的一种可选实施方式，多源遥感影像包括高光谱影像和全色影像；影像融合模块203，具体用于通过ihs变换融合法将属于同一预设方向的高光谱影像和全色影像进行影像融合。
[0051]
作为本实施例的一种可选实施方式，如图4所示，该装置还包括训练模块206，用于在将多个预设方向的融合影像分别输入训练好的深度神经网络模型中进行识别之前，选取训练集，构建深度神经网络模型，将训练集输入深度神经网络模型中进行训练，得到训练好的深度神经网络模型。
[0052]
作为本实施例的一种可选实施方式，识别结果为交通事故或者非交通事故；检测模块205，具体用于判断识别结果为交通事故的占比是否达到预设值，若是，则判定目标区域发生交通事故，否则判定目标区域未发生交通事故。
[0053]
作为本实施例的一种可选实施方式，如图4所示，该装置还包括告警救助模块207，用于在判定目标区域发生交通事故之后，发出告警并进入救助模式。
[0054]
实施例一提供的方法中的各种变化方式和具体实例同样适用于本实施例的基于影像融合的交通事故检测装置，通过前述对基于影像融合的交通事故检测方法的详细描述，本领域技术人员可以清楚的知道本实施例中的基于影像融合的交通事故检测装置的实施方法，为了说明书的简洁，在此不再详述。
[0055]
实施例三为了更好地执行上述方法的程序，本申请实施例提供一种计算机设备，如图4所示，计算机设备300包括存储器301和处理器302。
[0056]
计算机设备300可以以各种形式来实施，包括手机、平板电脑、掌上电脑、笔记本电脑和台式计算机等设备。
[0057]
其中，存储器301可用于存储指令、程序、代码、代码集或指令集。存储器301可以包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如影像配准和影像融合等)以及用于实现上述实施例一提供的基于影像融合的交通事故检测方法的指令等；存储数据区可存储上述实施例一提供的基于影像融合的交通事故检测方法中涉及到的数据等。
[0058]
处理器302可以包括一个或者多个处理核心。处理器302通过运行或执行存储在存储器301内的指令、程序、代码集或指令集，调用存储在存储器301内的数据，执行本申请的各种功能和处理数据。处理器302可以为特定用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器302功能的电子器件还可以为其它，本申请实施例不作具体限定。
[0059]
实施例四本申请实施例提供一种计算机可读存储介质，例如包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述实施例一的基于影像融合的交通事故检测方法的计算机程序。
[0060]
本申请具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。