一种双光谱交通事件检测方法及装置与流程

一种双光谱交通事件检测方法及装置
1.技术领域
2.本申请涉及交通事件检测的领域，尤其是涉及一种双光谱交通事件检测方法及装置。


背景技术：

3.目前，交通事件检测一般基于可见光图像。可见光图像在晴朗的白天等良好光环境下较为清晰，交通事件检测的效果较好，但在异常天气、无照明夜晚等较差光环境下较为模糊，交通事件检测的效果较差。因此，亟待提供一种在不同光环境下均能够较好的实现交通事件检测的技术，填补相关技术的空白。


技术实现要素：

4.为了便于在不同光环境下均能够较好的实现交通事件检测，本申请提供了一种双光谱交通事件检测方法及装置。
5.第一方面，本申请提供了一种双光谱交通事件检测方法。该方法包括：获取检测区域的可见光图像信息和红外光图像信息；根据所述可见光图像信息和红外光图像信息，判断所述检测区域是否有交通事件发生；若是，则生成通知消息并保存所述交通事件的录像。
6.通过采用上述技术方案，利用可见光图像信息检测交通事件，在良好光环境下检测效果较好；利用红外光图像信息检测交通事件，在较差光环境下检测效果较好，且利用红外图像信息有利于较好的检测温度相关的交通事件。利用可见光图像信息和红外光图像信息相配合实现交通事件的检测，在不同光环境下检测效果均有所改善，有利于在不同光环境下均能够较好的实现交通事件的检测，也有利于较好的实现多种交通事件的检测。
7.可选的，所述获取同一检测区域的可见光图像信息和红外光图像信息包括：获取所述检测区域内的红外光图像信息；基于预设灰度与温度映射关系，根据所述红外光图像信息生成灰度图像信息。
8.可选的，所述灰度图像信息的分辨率小于所述红外图像信息的分辨率。
9.可选的，所述判断所述可见光图像信息和红外光图像信息中是否有交通事件发生包括：由可见光光谱数据和红外光光谱数据，预训练所述交通事件模型库，所述交通事件模型库包括可见光和红外光一体化模型；调用所述可见光和红外光一体化模型，判断所述检测区域中是否有交通事件发生。
10.可选的，所述判断所述可见光图像信息和红外光图像信息中是否有交通事件发生
还包括：判断所述灰度图像信息中是否存在灰度大于预设灰度阈值的区域；若是，则判断所述检测区域有交通事件发生。
11.可选的，所述生成通知消息并保存所述交通事件的录像包括：根据所述可见光和红外光一体化模型对应交通事件的种类，确定所述可见光和红外光一体化模型和交通事件的适应图像种类；所述适应图像种类为可见光图像、红外光图像或灰度图像；在发生交通事件时，以该交通事件对应的适应图像种类保存得所述录像。
12.第二方面，本申请提供了一种双光谱交通事件检测装置。该装置包括：图像获取模块，用于获取检测区域的可见光图像信息和红外光图像信息；发生判断模块，用于根据所述可见光图像信息和红外光图像信息，判断所述检测区域是否有交通事件发生；以及事件报警模块，用于在所述检测区域有交通事件发生时，生成通知消息并保存所述交通事件的录像。
13.综上所述，本申请包括以下至少一种有益技术效果：1.提供了一种双光谱交通事件检测方法、装置及系统，该方法、装置及系统均利用可见光图像信息和红外光图像信息配合进行交通事件的检测，有利于改善在不同光环境下交通事件检测的效果以及对不同交通事件检测的效果；2.训练可见光和红外光一体化模型，有利于简化模型调用算法，提高模型调用效率；3.根据红外光图像信息生成灰度图像信息，以灰度图像信息检测交通事件，有利于烟火等与温度相关的交通事件的检测。
附图说明
14.图1示出了能够在其中运行本申请实施例的示例性运行环境的示意图。
15.图2示出了本申请实施例中一种双光谱交通事件检测方法的方法流程图。
16.图3示出了本申请实施例中一种双光谱交通事件检测装置的方框图。
具体实施方式
17.为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
18.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
19.本申请中，利用可见光图像和红外光图像对同一检测区域进行交通事件检测，有利于改善在不同光环境下、不同交通事件的检测效果。
20.图1示出了能够在其中运行本申请实施例的示例性运行环境100的示意图。如图1
所示，运行环境100包括双光谱相机110、服务器120和监控装置130。
21.双光谱相机110即配置有可见光感应芯片和红外光感应芯片的相机，其一般配置于检测区域，例如道路上方的交通灯架上、朝向检测区域如道路；双光谱相机110朝向检测区域，即可实现对检测区域的可见光图像和红外光图像的采集，输出可见光图像信息和红外光图像信息。
22.服务器120连接双光谱相机110，以接收双光谱相机110采集所得的可见光图像信息和红外光图像信息，服务器120可作为存储可见光图像信息和红外光图像信息，也可对可见光图像信息和红外光图像信息进行处理。
23.监控装置130与服务器120信息交互，其能够调取服务器120中存储的数据信息或接收服务器120主动发送的信息。监控装置130可操作并带有显示功能，监控装置130可以包括直接配置于服务器120的键盘、鼠标等外部操作设备和显示器、投影仪等显示设备，也可以表现为带有数据信息存储、处理以及操作和显示功能的终端设备例如计算机、手机、平板电脑等。
24.双光谱相机110、服务器120以及监控装置130之前的信息交互可通过有线信道，也可以通过无线信道。
25.图2示出了本申请实施例中一种双光谱交通事件检测方法200的方法流程图。方法200可由图1中的服务器120和/或监控装置130执行，下述内容以服务器120执行为例进行说明。
26.参照图2，方法200包括以下步骤：s210：获取检测区域的可见光图像信息和红外光图像信息。
27.双光谱相机110与服务器120之间均存在信息交互，即服务器120均能够获得双光谱相机110输出的可见光图像信息和红外光图像信息。
28.在应用时，双光谱相机110实时采集检测区域的可见光图像和红外光图像，以实时输出可见光图像信息和红外光图像信息。服务器120采集可见光图像信息和红外光图像信息可通过数据采集模块实现，数据采集模块以固定的帧率连续接收每一帧可见光图像信息和红外光图像信息。
29.应理解，数据采集模块同时采集可见光图像信息和红外光图像信息，同时采集所得的可见光帧图像和红外光帧图像带有相同的时间标识，使服务器120能够确定同时发生的可见光帧图像和红外光帧图像。
30.在本步骤的方法中，服务器120还将红外光图像信息转换为灰度图像信息，具体来说，服务器120将对每一帧红外帧图像进行处理，得到灰度帧图像。
31.灰度帧图像与红外帧图像对应关系也可基于时间标识确定，即服务器120或监控设备130也可以由灰度帧图像生成灰度视频流。总之，服务器120或监控装置能够根据红外光图像信息生成灰度图像信息。
32.为了降低信号传输压力、提高信号传输效率，在满足交通事件检测需求的基础上，可使灰度图像信息的分辨率小于红外图像信息的分辨率，也可降低灰度图像信息的帧率，以减少同等信息量的灰度图像信息的数据量大小，降低信号传输压力、提高信号传输效率。
33.s220：根据可见光图像信息和红外光图像信息，判断检测区域是否有交通事件发生。
34.交通事件包括慢速、超速、异常变道、非法停止、非法逆行、抛洒物、拥堵、行人、大货车禁行、应急车道占道、非法走机动车道、施工、交通事故、车牌号遮挡等常规事件，还包括路面结冰、烟火等温度相关事件。
35.交通事件是否发生主要基于预先训练的交通事件模型进行检测。例如，收集车辆、行人的图像信息，并基于相关算法模型如ssd/y0lov3算法模型训练得到车辆以及行人的轮廓形状为目标模型。在检测时，基于采集所得的检测区域的图像信息，以一定置信度推算检测区域的图像信息中目标模型的位置及类型，并以连续的帧图像进行逻辑判断，确定交通事件是否发生。在ssd/y0lov3算法模型中，采集检测区域的图像信息时会同时以外接矩形标注车辆及行人，并收集车辆及行人的轮廓，以使目标模型的训练愈发准确。
36.常规事件在良好的光环境下可以基于可见光图像信息较好的检测，而在较差光环境下，在可见光图像信息中可能无法准确分辨车辆的轮廓、动作以及车牌号等信息，但在红外光图像信息中仍能够准确分辨前述信息，即常规事件在较差光环境下以红外光图像信息检测效果较好。
37.本实施例中，应用较之ssd/y0lov3算法模型更为高效和准确的y0lov4算法模型，并基于可见光图像信息和红外光图像信息训练得到车辆及行人的轮廓信息，继而得到交通事件的可见光和红外光一体化模型，形成交通事件模型库。
38.服务器120可调用交通事件模型库中的可见光和红外光一体化模型。同样基于检测逻辑、以一定置信度判断可见光图像信息和红外光图像信息中是否发生交通事件。
39.服务器120在检测可见光图像信息和红外光图像信息中的交通事件时，均通过调用可见光和红外光一体化模型实现，有利于方便服务器120调用交通事件模型。
40.另外，温度相关事件例如路面结冰、烟火等因其目标形状不固定，故难以通过深度学习形成目标模型、以检测目标模型的方式进行检测，相关技术中较难实现对温度相关事件的而检测。
41.本实施例中，温度相关事件可基于灰度图像信息进行检测。
42.具体来说，服务器120存储有预设灰度与温度映射关系，此处映射关系可选择为：温度值=灰度值*3.13 + t, t为常量值，从而使灰度值0至255，代表温度值0.0℃至800.0℃。应理解，灰度与温度映射关系应与实际情况相对应，相关工作人员可根据需要自由调整该映射关系，仅需灰度值能够较好反映实际的温度值即可。
43.服务器120中还预存储有预设灰度阈值，服务器120能够判断每一帧灰度图像信息中是否包含灰度大于预设灰度阈值的内容，若灰度图像信息中存在灰度大于预设灰度阈值的内容，则检测区域发生温度相关时间。
44.例如，预设灰度阈值对应的温度为300℃，若灰度图像信息中存在灰度大于预设灰度阈值的内容，则检测区域中存在温度高于300℃的内容，此时可判断烟火时间发生。
45.基于同样的原理，服务器120还可判断检测区域内是否发生路面结冰等低温导致的温度相关事件，不作赘述。
46.以前述方式检测温度相关事件，有效客服了温度相关事件的目标形状不确定造成的检测困难，有利于较好的进行温度相关事件的检测。
47.s230：若判断有交通事件发生，则生成通知消息并保存交通事件的录像。
48.通知消息即用于通知相关工作人员的消息，其可表现为文字标识、图像说明等多
种形式，例如将“逆行”或“非法停止”等标识交通事件的文字呈现于作为服务器120的显示设备的监控装置130上或者发送，或者将“逆行”或“非法停止”等标识交通事件的文字发送至作为终端终端设备的监控装置130，仅需能够指示交通事件发生即可。通知消息中还可以携带有其他信息，例如检测区域的位置、交通事件发生的时间等。
49.由于不同种类的交通事件在不同种类图像中的清晰度不同，故服务器120还可根据交通事件的种类确定保存的交通录像的种类。
50.服务器120中预存储有交通事件与适应图像种类的对应关系。具体来说，在服务器120基于可见光图像信息、红外光图像信息和灰度图像信息进行交通事件是否发生的逻辑判断时，若基于可见光图像信息判断交通事件发生，则存储相应的可见光图像为交通事件的录像，若基于红外光图像信息判断交通事件发生，则存储相应的红外光图像为交通事件的录像，同样的，若基于灰度图像信息判断交通事件发生，则存储相应的灰度图像信息为交通事件的录像。
51.服务器120还可以存储可见光和红外光一体化模型对应的交通事件的种类，从而确定基于可见光和红外光一体化模型检测所得发生的交通事件的适应图像种类。适应图像种类反映该交通事件适于以可见光图像信息、红外光图像信息、灰度图像信息中的一种或多种保存。
52.在发生交通事件时，服务器120能够以交通事件的适应图像种类确定保存何种类的图像信息作为交通事件的录像。
53.应用方法200进行交通事件检测，不仅在良好光环境下能够较好的检测交通事件，在较差光环境下同样能够检测交通事件，并且对于一些难以检测的交通事件也能够实现较好的检测，从而有利于实现不同光环境下、不同类型交通事件的检测。
54.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
55.以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
56.图3示出了本申请实施例中一种双光谱交通事件检测装置300的方框图。装置300可以被包括在图1的服务器120和/或监控装置130中或者被实现为图1的服务器120和/或监控装置130。如图3所示，装置300包括：图像获取模块310，用于获取检测区域的可见光图像信息和红外光图像信息；发生判断模块320，用于根据可见光图像信息和红外光图像信息，判断检测区域是否有交通事件发生；以及事件报警模块330，用于在检测区域有交通事件发生时，生成通知消息并保存交通事件的录像。
57.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
58.以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人
员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。