多光谱智能光电环境感知装置及方法与流程

1.本发明涉及精密光电智能传感技术领域，具体涉及一种多光谱智能光电环境感知装置及方法。


背景技术：

2.随着技术的不断进步，车载、舰载在驾驶过程中朝着安全又可靠的方向发展。交通工具能够识别环境，考虑各种因素，并根据这些因素作出适当的决策，以安全、准确地到达预定的目的地。
3.为了提供能够安全准确航行的自动驾驶交通工具，需要解决许多问题，采用单一传感器获取的数据已不能满足需求。例如，激光雷达主要用于距离和深度信息的采集，但是无法获取环境的色彩信息，而摄像头能够直接获取色彩信息。因此，多种传感器进行配合工作比单传感器更具优势，可以充分发挥各自优势来弥补彼此的劣势，具有更高的可靠性和抗干扰性，成为相互独立又彼此补充的探测手段。目前自动驾驶使采用单一的传感器激光雷达，或者将摄像头通过标定与激光雷达进行融合的方案，但是系统中采用的摄像头和激光雷达的相对位置是固定的，传感器标定的角度需要人工进行调节，安装和调试较为繁琐，而且数据无法同步。因此需要解决车载、舰载普遍存在的传感器调试标定、多传感器同步等痛点的问题，做到无需额外适配工作、支持同步触发、一体式装配惯导和北斗定位，达到满足多种需求的目的。


技术实现要素：

4.本发明提供一种多光谱智能光电环境感知装置及方法，通过融合多光谱光电传感器立体避障的方法，使得具有多种传感器的优势同时，又无需额外的人工调节和适配的工作，容易安装。
5.根据第一方面，一种实施例中提供一种多光谱智能光电环境感知装置，包括：
6.主控单元、传感单元、定位单元以及数据传输单元，其中，所述传感单元包括多个传感设备，所述传感设备包括：激光雷达、摄像模块或太赫兹传感成像模块中至少两种，所述定位单元用于定位；
7.所述传感单元中的各个传感设备均与所述主控单元信号连接，所述定位单元与所述主控单元信号连接，所述主控单元用于控制所述传感单元中的各个传感设备进行检测以获取各路检测数据，并将所述检测数据进行数据预处理，以获得数据帧；
8.所述数据传输单元用于将所述数据帧传输至后台或云端。
9.可选的，所述主控单元用于将所述检测数据进行数据预处理包括：
10.对各路传感设备检测得到的所述检测数据进行分析和提取；
11.将分析和提取后的所述检测数据进行融合处理。
12.可选的，所述主控单元还用于：
13.建立统一的时间基准；
14.获取统一时间基准下的所述检测数据。
15.可选的，所述传感设备还包括红外相机或深度相机，所述定位单元包括：imu以及gnss；
16.根据第二方面，一种实施例中提供一种光电成像环境感知方法，包括：
17.触发传感单元以及定位单元进行工作，其中，所述传感单元包括多个传感设备，所述传感设备包括激光雷达、摄像模块或太赫兹传感成像模块中至少两种，所述定位单元用于定位；
18.获取所述传感单元中各传感设备检测得到的各路同步检测数据；
19.分别对各个传感设备检测得到的所述检测数据进行分析和提取；
20.将分析和提取后的所述检测数据进行融合处理，形成数据帧。
21.可选的，获取所述传感单元中各传感设备检测得到的各路同步检测数据，
22.包括：
23.建立统一的时间基准；
24.获取统一时间基准下的各传感设备所采集的同步的检测数据。
25.可选的，触发传感单元进行工作之后，还包括：
26.确定传感单元中各传感设备所检测得到的所述检测数据的全部为正常。
27.可选的，确定传感单元中各传感设备所检测得到的所述检测数据的全部为正常之前，还包括：分别将异常的所述检测数据进行复位，以得到正常的检测数据。
28.根据第三方面，一种实施例中提供一种多光谱智能光电环境感知装置，包括：
29.装置外罩、激光雷达、摄像头机构、搭载有多种电子元器件的pcb板以及布置有天线，所述激光雷达、摄像头机构和pcb板设置在所述装置外罩内；
30.所述摄像头机设置在所述构激光雷达的底部，所述摄像头机构用于采集目标区域的图像和视频数据，所述摄像头机构包括能够涵盖可见光波段、近红外波段、中波波段或太赫兹波波段的传感设备；
31.所述pcb板上与所述激光雷达以及所述摄像头机构电连接，用于将所述摄像头所采集的所述图像和视频数据进行拼接处理以及用于gnss定位、imu姿态识别和惯性导航；
32.所述天线设置在所述装置外罩上，用于gnss的接收。
33.可选的，所述摄像头机构包括可见光摄像头、红外相机、深度相机、太赫兹传感器中的一种或多种；所述pcb板包括第一pcb板、第二pcb板以及第三pcb板，所述第一pcb板和第二pcb板用于所述摄像头所采集的所述图像和视频数据进行拼接处理；所述第三pcb板用于gnss定位、bds/gps系统联合定位或姿态识别和惯性导航的数据处理；还包括中间支柱，所述第一pcb板、第二pcb板以及第三pcb板以及所述摄像头机构固定在所述中间支柱上。
34.依据上述实施例的多光谱智能光电环境感知装置，包括主控单元、传感单元以及数据传输单元，其中，所述传感单元包括多个传感设备，传感设备可以包括激光雷达、摄像模块或太赫兹传感成像模块中至少两种。通过主控单元与传感单元中的各个传感设备形成电连接，主控单元可以控制各个传感设备进行检测并获取各个传感设备所采集到的检测数据，并且将所采集到的检测数据进行处理之后，可以实现多个传感器协同进行探测的效果，由于这样形成的是一个一体化的多光谱智能光电环境感知装置，可以直接安装使用，不需要人工额外的对各个传感器进行标定、安装、调试等繁琐工作，接上电源即可使用，大大提
高了安装使用效率，稳定性更好。特别对恶劣环境条件下的作业，有高应用价值；将无序的车联网、汽车大数据、人车交互数据、舰载运营网络交互数据等变成有序的结构性数据；建立有可靠数据基础的数据模型。
附图说明
35.图1为本发明一实施例中提供的光电感应装置结构示意图；
36.图2为本发明一实施例中提供的光电感应方法流程图；
37.图3为本发明一实施例中提供的光电感应装置示意图；
38.图4为本发明一实施例中提供的光电感应装置结构爆炸图。
具体实施方式
39.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
40.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
41.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
42.由背景技术可知，目前的自动驾驶中所采用摄像头和激光雷达进行融合应用的系统在使用和安装的过程时，各传感器需要人工进行标定，安装和调试较为繁琐，并且，各个传感器所采集到的数据无法同步。
43.因此需要一种能够解决车载、舰载普遍存在的传感器调试标定、多传感器同步等痛点的多光谱智能光电环境感知装置，可使得无需进行额外适配工作，可以支持同步触发满足一体式装配惯导和北斗定位等多种需求。可应用在前装汽车厂、运营类车载市场、无人车(物流)惯导、特种应用车辆惯性定位、自动泊车、新能源汽车、无人货船、游艇等领域中。
44.在本发明实施例中提供的多光谱智能光电环境感知装置，包括一体化设置的主控单元、传感单元、用于定位的定位单元以及数据传输单元，其中，所述传感单元包括激光雷达、摄像模块或太赫兹传感成像模块中至少两种。由于通过主控单元与传感单元中的各个传感设备形成电连接，主控单元可以控制各个传感设备进行检测并获取各个传感设备所采集到的检测数据，并且将所采集到的检测数据进行处理之后，可以实现多个传感器协同进行探测的效果，由于这样形成的是一个一体化的多光谱智能光电环境感知装置，可以直接安装使用，不需要人工额外的对各个传感器进行标定、安装、调试等繁琐工作，大大提高了
安装使用效率，稳定性更好。
45.参考图1，本实施例中提供一种多光谱智能光电环境感知装置10，包括主控单元100、传感单元、定位单元以及数据传输单元300。其中，所述传感单元包括多个传感设备，所述传感设备可以包括摄像模块202、激光雷达201或太赫兹传感与成像模块203中的至少两种，所述定位单元用于定位，可以包括imu204以及gnss205等。
46.本实施例中，所述摄像模块202可以是可见光摄像模块，可以用来拍摄可见光波段下的图像和视频数据。
47.本实施例中，所述激光雷达201能够向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而可以对例如障碍物、行人、其他交通工具等目标进行探测、跟踪和识别。
48.本实施例中，所述太赫兹传感与成像模块203能够向目标位发出太赫兹波段的波，然后将接收到的从目标反射回来的信号，与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标深度信息、目标物质属性等参数，从而可以对障碍物等目标进行探测、跟踪和识别；有效穿透浓雾、复合材料、木板等干扰物。
49.本实施例中，所述imu204(inertial measurement unit，惯性测量模块)为能够测量物体三轴姿态角及加速度的器件。
50.本实施例中，所述gnss205(global navigation satellite system，全球卫星导航系统或全球导航卫星系统)可以是北斗定位。
51.本实施例中，所述传感单元中包括激光雷达201和三个用来拍摄可见光波段下的图像和视频数据的摄像模块202。
52.一些实施例中，所述传感单元中包括激光雷达201和太赫兹传感成像模块203。
53.一些实施例中，所述传感单元中还可以包括红外相机或深度相机206。
54.所述传感单元中的各个传感设备均与所述主控单元100信号连接，所述主控单元100用于控制所述传感单元中的各个传感设备进行检测以获取各路检测数据，并将所述检测数据进行数据预处理，以获得数据帧，所述数据传输单元可以将所述数据帧传输至后台或云端，以应用达到探测目的。可以理解的是，获得数据帧指的是将所述检测数据进行数据预处理之后能够用于传输和应用的数据单元。
55.本实施例中，通过将摄像模块202、激光雷达201、太赫兹传感与成像模块203、imu204以及gnss205等与主控单元进行信号连接，通过主控单元触发其工作，并获取到各个传感设备所检测得到的检测数据为同步数据，因此解决了现有技术中数据无法同步的问题。并且，主控单元将所采集到的数据进行处理之后，通过数据传输单元传输至后台或者云端，可以更好的进行探测，由于这样形成的是一个一体化的多光谱智能光电环境感知装置，可以直接安装使用，不需要人工额外的对各个传感器进行标定、安装、调试等繁琐工作，大大提高了安装使用效率，稳定性更好。
56.本实施例中，所述主控单元100用于将所述检测数据进行数据预处理可以包括：
57.对各路传感设备检测得到的所述检测数据进行分析和提取，然后再将分析和提取后的所述检测数据进行融合处理。
58.对各路传感设备检测得到的所述检测数据进行分析和提取时，可以分析所述检测
数据，将不符合应用需求的信号进行筛除，提取符合应用的检测数据，然后将各个传感设备检测到的监测数据进行融合处理，得到探测数据。例如，将摄像模块202检测的检测数据和激光雷达201检测的检测数据进行融合时：摄像模块202采集到了丰富的光谱信息、纹理特征，但易受外界环境的影响，激光雷达传感设备能够直接获取目标的空间几何信息，但难以获取物体表面的纹理和结构，且点云数据的不连续性、不规则性和数据密度不均匀等特点，直接利用激光雷达扫描数据以提取车辆信息还较为困难，因此，将上述中摄像模块202检测得到的检测数据和激光雷达201检测得到的数据进行融合，利用两者的优势进行车辆识别。
59.本实施例中，所述传感单元中的传感设备可以包含激光雷达、摄像模块、太赫兹传感与成像模块等传感设备，从而融合包含可见光、近红外、中波以及太赫兹波段等多传感器所检测得到的检测数据，具有特别强的穿透力和适应性，可以使得本多光谱智能光电环境感知装置应用在各种环境中。
60.一些实施例中，所述传感单元中的传感设备还可以包括红外相机或深度相机，从而还可以融合更多传感设备的检测数据的优势。
61.本实施例中，由于设置有定位单元，包括imu和gnss等。从而本实施例中的多光谱智能光电环境感知装置支持imu陀螺仪车辆行驶姿态数据输出、对司机危险驾驶行为数据进行输出、支持惯性定位和导航功能、在无北斗信号时也有车辆位置信息输出、与地图和导航引擎配合，可实现惯性导航，以及与高精度定位基站服务结合能实现高精度惯性定位等功能。
62.需要说明的是，本多光谱智能光电环境感知装置中的主控单元所采集到的各个传感设备的检测数据为同步的数据，例如是在统一时间基准下检测得到的检测数据。其中，所述主控单元可以建立统一的时间基准，然后获取统一时间基准下的所述检测数据。
63.参考图2，基于上述多光谱智能光电环境感知装置，本实施例中还提供一种光电成像环境感知方法，包括：
64.步骤1，上电，开机启动，以触发传感单元以及定位单元进行工作，其中，所述传感单元包括多个传感设备，所述传感设备包括激光雷达与摄像模块或太赫兹传感与成像模块，所述定位单元包括imu和gnss。
65.本实施例中，在所述多光谱智能光电环境感知装置中，具有主控单元、多个传感设备以及定位设备，可以利用主控单元触各个传感设备开始工作，即使得各个传感设备开始进行检测。
66.步骤2，获取所述传感单元中各传感设备检测得到各路同步的检测数据。
67.本实施例中，触发传感单元和定位单元开始工作后，可以对所述传感单元和定位单元进行采集各路检测数据，例如可以通过控制单元进行检测数据的采集，获取各个传感设备所采集的检测数据。
68.需要说明的是，所述激光雷达、摄像模块、太赫兹传感与成像模块彼此融合使用时所采集的是目标区域内的检测数据。
69.由于本实施例中设有定位单元，因此所获取的检测数据是基于gnss所获取的统一时间基准下的检测数据，即为同步的检测数据。
70.本实施例中，所述同步的检测数据可以是统一时间基准下所述激光雷达与摄像模块、太赫兹传感与成像模块所采集得到的检测数据。
71.本实施例中，在步骤2之前，还需要经过：判断各路传感设备所检测的数据是否为正常；数据正常之后才可以正常启动系统，开始工作，获取系统中的同步信息。具体的：判断所述检测数据是否正常，若所述检测数据正常，则该检测数据可以用于融合，具体方法可以是：判断所述检测数据的标志位是否正常。例如，将所获取的检测数据的标志位与预存数据的标志位进行对比，若对比结果为1，则判定所述检测数据的标志位正常，从而确定所述检测数据为正常；若对比结果为0，则判定所述检测数据的标志位异常，从而确定所述检测数据为异常。需要说明的是，本实施例中的，所述检测数据的标志位可以是该检测数据的数据帧标志位，也可以理解为检测数据的整体字节都为标志位，数据帧中每一位都相同可判定数据帧标志位为1。
72.本实施例中，检测数据为异常的数据不能够用于融合，也就是说，需要获得统一时间基准下的正常的检测数据才能进行融合处理。
73.需要说明的是，若是确定各个传感设备所检测得到的所述检测数据的标志位异常的，则将异常的检测数据对应的传感设备进行复位，可以是重新检测，通过重新检测使得该传感设备所采集得到的检测数据的标志位正常。
74.若是复位后，还是有标志位异常的检测数据，可以通过后台管理界面显示，并做人工修复，使得对应的传感设备正常。所有传感设备所采集得到的检测数据的标志位正常之后，所述控制单元再进行正常的数据采集工作，以获取到各个传感设备检测得到的同步的检测数据。
75.步骤3，分别对各个传感设备所述检测数据进行分析和提取。
76.本实施例中，对各个传感设备所述检测数据进行分析和提取，可以分析所述检测数据，将不符合应用需求的信号进行筛除，提取符合应用的检测数据，然后将各个传感设备检测到的检测数据进行融合处理。
77.步骤4，将分析和提取后的所述检测数据进行融合处理，形成数据帧。
78.将各个传感设备所采集得到的检测数据进行融合处理，可以得到各个传感设备的优势数据。例如，摄像模块采集到了丰富的光谱信息、纹理特征，但易受外界环境的影响，激光雷达传感设备能够直接获取目标的空间几何信息，但难以获取物体表面的纹理和结构，且点云数据的不连续性、不规则性和数据密度不均匀等特点，直接利用激光雷达扫描数据以提取车辆信息还较为困难，因此，将上述中摄像模块检测得到的检测数据和激光雷达检测得到的数据进行融合，形成的数据帧，就是利用了两者的优势。
79.参考图3和图4，本实施例中还提供一种多光谱智能光电环境感知装置，包括：装置外罩、激光雷达402、摄像头机构412、pcb板以及天线411，所述激光雷达402、摄像头机构和pcb板设置在所述装置外罩内。
80.本实施例中，所述装置外罩分为雷达视窗408、摄像头视窗413以及雷达下罩409三部分，其中，所述雷达视窗408罩在所述激光雷达402的外周，所述雷达下罩409位于激光雷达402的底部，可通过注塑而成，用于罩在所述摄像头机构412的外周，所述雷达下罩409上开设有视窗，视窗位置处设置有摄像头视窗413，摄像头视窗413为透镜，不同摄像头对应的透镜的材质的选择不同，如采用红外相机则选用锗镜；可见光传感器则采用增透膜透镜片；太赫兹传感器则采用硅镜；深度相机则采用红外镀膜滤光片。
81.本实施例中，所述激光雷达402可以是sipm倍增管apd雪崩光电二极管spad光电探
测器的一种光电雷达，可以支持旋转与控制。所述摄像头机构412设置在所述构激光雷达402的底部，所述摄像头机构412可以采集目标区域的图像和视频数据。所述摄像头机构412包括能够涵盖可见光波段、近红外波段、中波波段以及太赫兹波波段的多个传感设备。所述摄像头机构412中可以集合多种传感设备，以提高该多光谱智能光电环境感知装置的探测能力。
82.本实施例中，所述摄像头机构412可以包括用于采集前方主目标区域的主传感设备以及用于采集四周次目标区域的次传感设备，主传感设备可以是可见光摄像头、红外相机、深度相机、太赫兹传感器中的一种或多种，次传感设备可以是深度相机、全景相机、红外相机等。
83.本实施例中，所述pcb板为搭载有多种电子元器件的电路板，所述pcb板与所述激光雷达402以及所述摄像头机构412电连接，可以将所述摄像头机构412所采集的所述图像和视频数据进行拼接处理，还可以用于gnss定位、imu姿态识别和惯性导航。
84.本实施例中，天线411可以设置在所述装置外罩上，可以是倒f天线，用于gnss的接收。
85.本实施例中，根据设计构造的需要，所述具有三个pcb板，为第一pcb板403、第二pcb板405以及第三pcb板406，所述第一pcb板403和第二pcb板405可以用于所述激光雷达402和所述摄像头机构412所采集的所述图像和视频数据进行拼接处理。所述第三pcb板406可以用于gnss定位、姿态识别和惯性导航的数据处理。
86.本实施例中，还设置有中间支柱404，设置在雷达下罩409的内部，所述第一pcb板403、第二pcb板405以及第三pcb板406以及所述摄像头机构412可以固定在所述中间支柱404上，使得整个光电成像装置结构更为紧凑。
87.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。