一种基于投影的低照度环境下目标检测系统及其应用的制作方法

1.本发明涉及智能驾驶技术领域，具体涉及一种基于投影的低照度环境下目标检测系统、方法及其应用。


背景技术：

2.目前摄像头传感器已成为智能驾驶最重要的传感器之一，是一种被动式的传感器，被动接收环境光来探测目标的传感器，不对外发射光波。基于自身特点，摄像头在如下场景下的目标检测能力弱：1、低照度环境；2、无纹理的目标；3、没有经过训练的目标(现有摄像头仅仅是拍摄到了目标的图片，要从图片中分割出目标，最常用的是基于机器学习的方法，需要大量含有目标信息的数据进行训练后才具备这个能力；卡车装载货物多样，导致形状也经常改变，训练的数据无法完全覆盖异形的卡车，导致无法检测)。因此，对于比较依赖摄像头感知的智能驾驶车辆而言，在低照度环境下，由于难以探测到较远的目标，识别异形目标困难，无法识别墙壁等无纹理的目标，造成主动安全功能触发晚，甚至不触发，对行车安全造成很大的影响。
3.毫米波雷达、超声波雷达、激光雷达在低照度下不受影像，但是有其自身的缺陷，无法替代摄像头：1、毫米波雷达测高度能力较差，无法描述物体宽度和形状；2、超声波雷达作用距离近；3、激光雷达成本高昂，较少使用。此外，摄像头方案作为性价比较高的方案，某些车型中可能只配备摄像头，只依赖于摄像头检测。
4.目前的现有摄像头检测技术，不能解决低照度环境的检测的问题。例如cn201710748308.8公开了“一种基于投影的摄像头标定方法”，以主动投影的方式投出标定影像，供摄像头进行标定，但是无检测目标的能力。又如cn202010795287.7公开的“一种车载摄像头测距方法及系统”，其向地面投影等距的线，根据目标和地面相交位置和投影线的相对位置确定距离。但是，这种方法需要事先在低照度环境下识别出目标，再确定目标和地面相交位置，存在以下缺点：1、低照度环境下，摄像头识别目标能力差；2、只能识别实现训练过的目标；3、一旦识别出了目标和地面相交位置，摄像头可以直接计算出距离，投影线的提升作用不大。
5.因此，如何提高智能驾驶车辆的安全性，解决在低照度环境下，由于难以探测到较远的目标，识别异形目标困难，无法识别墙壁等无纹理的目标，造成主动安全功能触发晚，甚至不触发等问题，成为本领域有待解决的技术问题。


技术实现要素：

6.针对现有技术存在的上述不足，本发明的目的在于提供一种基于投影的低照度环境下目标检测系统、方法及其应用，解决现有摄像头在低照度环境下识别目标能力差，不能识别未经训练过的目标以及无纹理目标的问题，从而提高智能驾驶车辆的安全性。
7.为实现上述目的，本发明采用如下技术方案：
8.一种基于投影的低照度环境下目标检测系统，其特征在于，包含投影设备、感知设
备、计算单元和执行器；所述投影设备与计算单元相连，投影设备将计算单元确定的图案投射到目标处或者地面上，由感知设备拍摄投影到目标或者地面上的图案；计算单元根据投影设备投影出去的图案和感知设备拍摄到的图案进行对比，计算出前方的目标信息，并根据该信息进行数据处理及发出决策指令；由执行器执行计算单元输出的命令。
9.其中，所述投影设备为车辆的投影大灯或新增投影装置，所述投影设备投射可见光或投射不可见光。
10.所述计算单元确定的图案任意设置；例如投射网状图案易探测路面的起伏，投影长条图案易用于检测目标的存在及测距。
11.所述感知设备为车辆原有的可见光摄像头，或者为能检测不可见光的摄像头。
12.进一步，本发明还提供一种基于投影的低照度环境下目标检测方法，采用上述基于投影的低照度环境下目标检测系统，检测包括以下步骤：
13.1)确定主动投影图案；可以选择多种投影图案，在投影前，投影设备和计算单元之间需要确认好投影的图案，方便计算单元基于图案进行反射图像的分析；
14.2)主动投影，通过车辆的投影大灯或者独立的投影设备，将图案向远处，可以投向地面；为了检测较远处的车辆，也可以平行于地面进行投影；
15.3)摄像头检测投影的图案；摄像头对投影出去的图案进行拍摄，拍摄到的图像送到计算单元进行分析，根据已知的投影图案，寻找图像中图案的位置；
16.4)判断是否检测到图案。如果检测到图案，进入第5)；如果无法检测到图案，说明前方存在路面丢失情况，可能是存在下坡或无道路情况，则进入6)；
17.5)图案分析；计算单元分析图案的位置和形变，计算出前方目标的存在状态、目标距离、宽度等信息；
18.6)决策执行；根据前方目标的存在状态，目标信息，路面情况等，可与其他传感器进行融合，进行后续的规划，并由执行器进行动作。
19.所述系统和方法应用于机器人、智能驾驶、工业技术领域，监测目前对象是否存在、目标距离和目标宽度，以提高其运行的安全性能。
20.相比现有技术，本发明具有如下有益效果：
21.1、本发明提供了一种摄像头主动测距的方法，不依赖于阳光或自然光线，采用预先设计的投射光线(投射形状和角度都预先设计)再由摄像头再拍摄投出去的实际形状，根据形状的变化，测监测对象是否存在、目标距离和目标宽度；本发明对目标的纹理、形状无要求，无需进行事先的数据训练，解决了单目摄像头在低照度环境下，探测目标能力差，对未训练过的目标无检测能力的问题。可以向地面投射复杂的图案，根据图案的形变可以获取前方道路的坡度，平整程度等信息。
22.2、本发明占用计算资源少，无需通过复杂的神经网络就能检测出目标的形状和位置，通过主动在目标上投影图案，比较主动投影图案和摄像头拍摄到图案之间形变，只需要根据原图案找到投影到目标上的图案即可获得目标存在状态以及距离。
23.3、本发明以低成本方式，增强摄像头目标检测能力；对于单目视觉而言，在路面绘制障碍物图案，可以对摄像头进行欺骗，采用本发明提供的方法，由于图案不能改变路面形状，投影到路面的图案不会发生变化，不会误检测目标，可以解决这种方式的欺骗。
24.4、本发明方法原理简单，成本低，对算力的要求也远低于传统摄像头感知算法。
25.5、本发明应用于机器人、智能驾驶、工业等领域，如移动机器人障碍物探测监测等，尤其适合于智能驾驶技术领域，大大提高其安全性。
附图说明
26.图1为本发明系统组成示意图；
27.图2为本发明系统流程图；
28.图3为本发明提供的一种可选的投影图案示意图；
29.图4为摄像头拍摄到的目标上投影图像；
30.图5为本发明提供的一种系统工作原理图；
31.图6为本发明提供的一种目标位置计算方法图。
具体实施方式
32.为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步详细说明，但本发明的实施方式不仅限于此。
33.参见图1，本发明提供一种通过主动光线投射辅助摄像头检测目标系统，包含投影设备、感知设备、计算单元和执行器。其中：
34.1、投影设备：可以使用车辆的投影大灯，也可使用额外增加的投影设备，可以投射可见光，也可以投射不可见光，对于投射的不可见光，需要使用能检测不可见光的摄像头；投影设备将和计算单元确定的图案投射到远处路面，图案可任意选择，不同的图案探测的效果有所差异，投射网状图案易探测路面的起伏，投影长条图案易用于检测目标的存在及测距。
35.2、感知设备：由感知设备拍摄投影到目标或者地面上的图案。如使用可见光投影，可直接使用车辆原有的可见光摄像头；如果使用不可见光，需要使用能检测不可见光的摄像头。
36.3、计算单元：根据投影设备投影出去的图案和感知设备拍摄到的图案进行对比，计算出前方的目标信息。根据该信息进行数据处理及行为决策
37.4、执行器：执行计算单元输出的命令。
38.参见图2，本发明还提供一种基于投影的低照度环境下目标检测方法，采用上述系统进行检测，具体包括以下步骤：
39.第一步，确定主动投影图案。可以选择多种投影图案，在投影前，投影设备和计算单元之间需要确认好投影的图案，方便计算单元基于图案进行反射图像的分析。
40.第二步，主动投影。通过车辆的投影大灯或者独立的投影设备，将图案向远处，可以投向地面；为了检测较远处的车辆，也可以平行于地面进行投影。可以使用可见光投影，也可以使用不可见光，如使用不可见光，需要使用对应的不可见光的摄像头进行接收。
41.第三步：摄像头检测投影的图案。摄像头对投影出去的图案进行拍摄，拍摄到的图像送到计算单元进行分析，根据已知的投影图案，寻找图像中图案的位置。可以使用多种方案确定图案的位置，如使用神经网络进行图案的识别和位置的确认，也可以通过像素点感应到的光线明暗的变化找到图案位置。
42.第四步，判断是否检测到图案。如果检测到图案，进入第五步；如果无法检测到图
案，说明前方存在路面丢失情况，可能是存在下坡或无道路情况，则进入第六步。
43.第五步，图案分析。计算单元分析图案的位置和形变，计算出前方目标的存在状态、目标距离、宽度等信息。
44.第六步：决策执行。根据前方目标的存在状态，目标信息，路面情况等，可与其他传感器进行融合，进行后续的规划，并由执行器进行动作。
45.下面以选择直线横条图案为例，对本发明基于投影的低照度环境下目标检测方法作进一步说明，通过本发明检测方法，解决在低照度环境下目标测距问题。
46.参见图3，为本发明提供的一种可选的投影图案示意图投影设备可以选择多种投影图案，由于目标对投影光线的阻挡，投影光线会照射到目标上，目标上的投影点在发射回摄像头，根据投影点在图像传感器上的位置，可以计算出目标的位置。
47.如其中，感知设备拍摄的照射到目标上的图案参见附图中图4。
48.第一步，投影设备和计算单元之间需要确认投影的图案，如选择直线横条图案。
49.第二步，主动投影。通过车辆的投影大灯或者独立的投影设备，将图案向远处，可以投向地面；为了检测较远处的目标，可以平行于地面进行投影。可以使用可见光投影，也可以使用不可见光，如使用不可见光，需要使用对应的不可见光摄像头进行接收。
50.第三步：摄像头检测投影的图案。摄像头对投影出去的图案进行拍摄，拍摄到的图像送到计算单元进行分析，根据已知的投影图案，寻找图像中图案的位置。对于这种简单图案，可以通过像素点感应到的明暗变化确定图案位置，也可以使用神经网络的方法找到图案的位置。
51.第四步，判断是否检测到图案。如果检测到图案，进入第五步；如果无法检测到图案，说明前方存在路面丢失情况，可能是存在下坡或无道路情况，则进入第六步。
52.系统工作原理见图5，图案分析见图6。
53.第五步，图案分析。计算出前方目标的存在状态、距离、宽度等信息。
54.t：投影设备的投影起点
55.d：没有目标遮挡时，投影与地面的交点
56.c：投影照在目标上的点
57.c＇：c点在地面的投影
58.l：摄像头镜头的中心点
59.l＇：l点在地面的投影
60.o：摄像头图像传感器的中心点
61.p：摄像头看到的c点在图像传感器上的位置
62.o＇：ol连线与cc＇连线的交点
63.x：目标和摄像头之间的距离
64.投影前，已知的长度信息如下：
65.dt＇的长度l1：由投影设备的投影角度决定
66.t＇l＇的长度l2：投影设备和摄像头之间的水平距离，车辆出厂时已确定
67.lo的长度l3：摄像头镜头和图像传感器之间的距离，摄像头自身特性
68.tt＇的长度h1：投影设备的离地高度，车辆出厂时已确定
69.o点的离地高度h2：摄像头的离地高度，车辆出厂时已确定
70.op的长度h3：p点距离图像传感器中心点的距离，由摄像头测量得到
71.根据o＇cl三角形和opl三角形的相似性可得：
[0072][0073]
根据dcc＇三角形和dtt＇三角形的相似性可得：
[0074][0075]
计算可得：
[0076][0077]
计算得到的x距离和l1+l2的值接近，则认为前方没有目标，图案照射在地面上。如果x距离小于l1+l2的值，x则为目标的距离。
[0078]
如果拍摄不到投影出去的图像，则认为前方路面丢失，存在下坡或无道路情况，将信息提供给车辆计算单元做后续处理。
[0079]
如果第三步中的投影方向平行于地面，则l1的值为无穷大，带入x的距离计算，可以得到：
[0080][0081]
第六步：决策执行。根据前方目标的存在状态，目标信息，路面情况等，可与其他传感器进行融合，进行后续的规划，并由执行器进行动作。
[0082]
采用本发明基于投影的低照度环境下目标检测系统，在低照度行车场景下，向远处投射规则图案影像(可见光/不可见光)，从摄像头的视角看，规则图案打在不同形状、高度的目标上将产生不同的形变，与投射图案进行对比，根据图案的形变，可以获取更多的目标信息，可探测到高于地面的障碍物，异形目标等，保障行车安全。
[0083]
采用本发明一种摄像头主动测距的方法，不依赖于阳光或自然光线，在摄像头检测时主动向外投射光线，并接收目标发射回来的光线，通过比较发射和接收光线的差异，获取比原来更多的信息，增强摄像头的监测能力，并克服摄像头固有的部分缺陷；采用预先设计的投射光线(投射形状和角度都预先设计)再由摄像头再拍摄投出去的实际形状，根据形状的变化，来判断目标距离；以低成本方式，增强摄像头目标检测能力。并且，本发明对目标的纹理、形状无要求，无需进行事先的数据训练，解决了单目摄像头在低照度环境下，探测目标能力差，对未训练过的目标无检测能力的问题。
[0084]
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。