1.本发明属于自动驾驶技术领域,具体涉及一种用于自动驾驶方向的主动激光雷达盲区探测系统及方法。
背景技术:2.以非视距隐藏物的图像成像和运动趋势预判为目标,紧密围绕提高远距离、实时潜在危险探测性能,通过理论分析、计算机模拟与实验相结合的方式进行。按照仿生学研究的三个阶段:生物学原型研究阶段、理论模型研究阶段和硬件模型研究阶段来开展课题的研究。首先,运用仪器设备对仿生对象扇贝眼睛的特殊生理结构进行量化测量,得到眼睛内部几何尺寸、银膜厚度、视网膜感光细胞分布等结构参数的实验数据,开展生物视觉成像特性机理研究。其次,结合相关数据资料对扇贝眼进行虚拟样机重建与仿真分析,设计多层微纳米反射仿生结构和mems制造工艺,建立变曲率调控与双视场离轴变焦距反射成像调控方法,应用基于散斑相关法的隐藏物图像重建与运动趋势预测算法。最后,进行软硬件系统集成,研制出新型防扇贝眼非视距探测装置,建立性能测试平台,通过不断实验进行装置结构优化和性能提升。
3.自动驾驶车辆在行驶时能提前探测到前方及周围区域潜在危险非常重要,不仅可提升车辆的安全性,也保护了那些无保护措施的道路使用者和公共设施。
4.因此,基于上述技术问题需要设计一种新的用于自动驾驶方向的主动激光雷达盲区探测系统及方法。
技术实现要素:5.本发明的目的是提供一种用于自动驾驶方向的主动激光雷达盲区探测系统及方法。
6.为了解决上述技术问题,本发明提供了一种用于自动驾驶方向的主动激光雷达盲区探测系统,包括:
7.光源,所述光源适于发射激光以照射车辆行驶方向上的环境;
8.仿生扇贝眼光学成像子系统,所述仿生扇贝眼光学成像子系统适于接收环境经过照射后反射的散射光,并根据散射光识别并生成被遮挡物体的图像。
9.进一步,所述仿生扇贝眼光学成像子系统包括:双视场离轴成像光路;
10.所述双视场离轴成像光路适于接收环境经过照射后反射的散射光。
11.进一步,所述双视场离轴成像光路包括:广角物镜、第一平面反射镜、第一仿生mems变形反射镜和第一ccd;
12.车辆行驶方向上的环境中中央视野光束通过广角物镜汇聚后到达第一平面反射镜,通过第一平面反射镜汇集到第一仿生mems变形反射镜,通过第一仿生mems变形反射镜进行入射光波长过滤后在第一ccd上形成散斑图案。
13.进一步,所述双视场离轴成像光路还包括:准直透镜、第二平面反射镜、凸面镜、第
二仿生mems变形反射镜和第二ccd;
14.车辆行驶方向上的环境中周边视野光束通过广角物镜汇聚后到准直透镜准直,平行光束经过第二平面反射镜、凸面镜、第二平面反射镜构成的离轴三反成像系统,由第二仿生mems变形反射镜完成入射光波长过滤和可控变曲率变焦功能,最后光束汇聚到第二ccd上形成环状散斑图案。
15.进一步,所述仿生mems变形反射镜包括:微控制器、若干微镜单元和若干平行板驱动器;
16.所述微镜单元由至少一个平行板驱动器独立控制;
17.所述微控制器适于控制所述平行板驱动器带动对应的微镜单元形变,以使仿生mems变形反射镜整体产生局部受控变形以达到所需镜面面形;
18.所述微控制器适于接收上位机发送的控制信号,数字电压信号经过d/a转换器后变为模拟电压信号,微控制器将控制信号通过译码器转化为通道选择信号,控制对应的放大器通道接通,使模拟电压信号经放大后施加给对应的微镜阵列。
19.进一步,所述平行板驱动器为平行板电容器,则平行板驱动器的电压与位移的关系为:
20.e为两极板间的电场强度;v为两极板间的电势差;d为两极板间的距离; q为极板上的总电荷量;c为平行板驱动器的电容;a为极板的面积;k为弹性结构的等效弹性系数;
21.当上极板不固定,在静电力作用下平板在垂直方向上有一微小位移
△
z,静电力fe对平板做的功为fe
△
z,根据能量守恒定律,平行板能量的变化等于静电力做的功和电源提供的能量之和:
[0022][0023][0024]
向平行板驱动器施加一个电压时,上极板在静电力fe与弹性力fk相互作用下运动距离后达到平衡位置,则根据虎克定律有:
[0025][0026]
平行板驱动器的实际工作的电压和位移关系为:
[0027][0028]
获取平行板驱动器的电压与位移曲线,以通过调整电压调整平行板驱动器的位移,精确获取所需镜面面形。
[0029]
进一步,所述主动激光雷达盲区探测系统还包括:上位机;
[0030]
所述上位机适于接收仿生扇贝眼光学成像子系统发送的散斑图案,以根据散斑图案获取被遮挡物体的图像,即
[0031]
cnn数据准备:
[0032]
构建图像训练数据集,通过散斑图案中的散粒噪声统计分布规律,通过开源图像训练数据集形成对应散斑图案,并添加随机散粒噪声,从而合成所需的训练数据集;
[0033]
构建损失函数,通过softmax层来产生一对相互补充的通道以分别表示对象和背景,并通过平均交叉熵作为损失函数,以促进稀疏性,则损失函数为:
[0034][0035]
其中,g为分割金标准像素值;p为预测值;平均值在两个通道c上的所有n像素x上;g和p均采用二进制或连续值;
[0036]
数据预处理,裁剪部分输出散斑图像,所有输入和输出图像分辨率统一设为预设像素,根据模型在散斑图中加入模拟随机噪声,以及散斑图像在0和1 之间进行归一化处理;
[0037]
cnn架构实现:
[0038]
根据u-net总体结构,包含一个左侧编码器压缩路径和一个右侧解码器扩展路径;
[0039]
编码器压缩路径包括4个block,每个block都使用了一个3
×
3卷积、一个密集连接操作以及一个步长为2的2
×
2最大池化层下采样;
[0040]
初始图像通过下采样操作以缩小图像尺寸,每次下采样后都加倍特征通道数量,最终编码器输出具有较小尺寸16
×
16像素的高维编码特征图;
[0041]
解码器扩展路径包括4个block,每个block都使用了一个3
×
3卷积、一个密集连接操作以及一个步长为2的2
×
2反卷积进行上采样;
[0042]
低分辨率高维特征图通过4个步长为2的2
×
2反卷积向上采样操作,每一步反卷积操作时将输入特征图尺寸增大两倍和特征图数量减半,通过跳跃连接将来自对应压缩路径裁剪后的特征图进行串联拼接,直到最后恢复出输入图像的尺寸;
[0043]
使用一个1
×
1附加卷积层产生最终网络输出,完成双通道散斑图案原始图像恢复成像,生成被遮挡物体的图像。
[0044]
另一方面,本发明还提供一种用于自动驾驶方向的主动激光雷达盲区探测方法,包括:
[0045]
照射车辆行驶方向上的环境;以及
[0046]
接收环境经过照射后反射的散射光,并根据散射光识别并生成被遮挡物体的图像。
[0047]
进一步,所述用于自动驾驶方向的主动激光雷达盲区探测方法适于采用上述的用于自动驾驶方向的主动激光雷达盲区探测系统生成被遮挡物体的图像。
[0048]
本发明的有益效果是,本发明通过光源,所述光源适于发射激光以照射车辆行驶方向上的环境;仿生扇贝眼光学成像子系统,所述仿生扇贝眼光学成像子系统适于接收环境经过照射后反射的散射光,并根据散射光识别并生成被遮挡物体的图像,实现了自动驾驶车辆在行驶时能提前探测到前方及周围区域潜在危险,提升车辆的安全性,保护了那些无保护措施的道路使用者和公共设施。
[0049]
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变
得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
[0050]
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
[0051]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0052]
图1是本发明所涉及的用于自动驾驶方向的主动激光雷达盲区探测系统的原理框图;
[0053]
图2是本发明中仿生双视场离轴反射变焦距成像系统光路示意图;
[0054]
图3是本发明中银膜晶体的多层方形密铺结构和薄膜叠加提高系统反射效率示意图;
[0055]
图4是本发明中仿生银膜正方形镜面单元及方形阵列排布示意图;
[0056]
图5是本发明中仿生银膜分立式镜面单元结构设计示意图;
[0057]
图6是本发明中mems表面硅加工工艺流程;
[0058]
图7是本发明中多层微纳米级分立式方形阵列仿生结构示意图;
[0059]
图8是本发明中仿生银膜微镜阵列的虚拟样机与系统仿真示意图;
[0060]
图9是本发明中仿生银膜成像系统的控制系统示意图;
[0061]
图10是本发明中静电驱动器工作原理及不同电压下的静电力与位移变化的示意图;
[0062]
图11是本发明中静电驱动器工作原理及不同电压下的静电力与位移变化的关系折线图;
[0063]
图12是本发明中基于改进型u-net架构深度卷积网络的散斑图像重建流程图;
[0064]
图13是本发明中bsds500数据集中人体姿势分割数据及其模拟合成噪声散斑测试集示意图;
[0065]
图14是本发明中cnn算法结构来学习散斑图案与隐藏物体之间的统计关系示意图;
[0066]
图15是本发明中非视距隐藏物探测成像的专用试验平台示意图;
[0067]
图16是本发明所涉及的用于自动驾驶方向的主动激光雷达盲区探测方法的流程图。
[0068]
图中:
[0069]
1为广角物镜、2为第一平面反射镜、3为第一仿生mems变形反射镜、31 为分立式镜面、32为执行机构柱、33为驱动器表面、34为驱动器支撑、35为驱动电极、36为硅基材料基底、4为第一ccd、5为准直透镜、6为第二平面反射镜、7为凸面镜、8为第二仿生mems变形反射镜、9为第二ccd。
具体实施方式
[0070]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0071]
实施例1
[0072]
如图1所示,本实施例1提供了一种用于自动驾驶方向的主动激光雷达盲区探测系统,包括:光源(主动激光照明),所述光源适于发射激光以照射车辆行驶方向上的环境;仿生扇贝眼光学成像子系统,所述仿生扇贝眼光学成像子系统适于接收环境经过照射后反射的散射光,并根据散射光识别并生成被遮挡物体的图像,以有效探测隐藏在视野前方和周围角落隐藏物的图像和运动趋势,实现了自动驾驶车辆在行驶时能提前探测到前方及周围区域潜在危险,提升车辆的安全性,保护了那些无保护措施的道路使用者和公共设施。
[0073]
具体的,用于自动驾驶方向的主动激光雷达盲区探测系统的原理为:主动激光发射器(即光源,拟采用垂直腔表面发射激光器vcsel)发射远距离面阵激光(考虑人眼安全非侵害性,因此选择波长为905nm的短波近红外激光),发射光线经由视野前方及周边角落的各种镜面表面(反光镜、金属等)或非规则粗燥表面(墙壁、地面等)作为二次照明光源,反射到遮挡物后的隐藏物(被遮挡物体)并产生漫反射;其次,利用共焦仿生扇贝眼光学系统(仿生扇贝眼光学成像子系统)接收端不仅能高效接收各种间接路径反射回来的散射光,而且能利用仿生结构所特有的薄膜干涉增反波长过滤机制筛选有效散射光(预处理去噪声,即只允许905nm光线),然后利用其特殊的双视场ccd结构实现离轴反射变焦距成像(散斑图案);最后,利用ai图像算法对散斑图像进行图像重建和运动趋势预测。
[0074]
在本实施例中,所述仿生扇贝眼光学成像子系统包括:双视场离轴成像光路;所述双视场离轴成像光路适于接收环境经过照射后反射的散射光。
[0075]
在本实施例中,所述双视场离轴成像光路(双视场离轴反射变焦距成像系统)包括:广角物镜1、第一平面反射镜2、第一仿生mems变形反射镜3和第一ccd4;
[0076]
车辆行驶方向上的环境中中央视野光束通过广角物镜1汇聚后到达第一平面反射镜2,通过第一平面反射镜2汇集到第一仿生mems变形反射镜3,通过第一仿生mems变形反射镜3进行入射光波长过滤后在第一ccd4上形成散斑图案。
[0077]
在本实施例中,所述双视场离轴成像光路还包括:准直透镜5、第二平面反射镜6、凸面镜7、第二仿生mems变形反射镜8和第二ccd9;
[0078]
车辆行驶方向上的环境中周边视野光束通过广角物镜1汇聚后到准直透镜5 准直,平行光束经过第二平面反射镜6、凸面镜7、第二平面反射镜6构成的离轴三反成像系统,由第二仿生mems变形反射镜8完成入射光波长过滤和可控变曲率变焦功能,最后光束汇聚到第二ccd9上形成环状散斑图案。
[0079]
借鉴扇贝眼睛的双视网膜离轴反射变焦距成像模式,实现中央与周边视野同步成像和变焦视距切换。由于需要考虑自动驾驶车辆上有限安装位置和尺寸的限制,并且尽可能覆盖视野前方和周边区域广角视场,因此本实施例设计的双视场离轴反射变焦距光学成像系统,通过引入广角物镜1、两个仿生mems 变形反射镜和三反离轴变焦结构来设计一种紧凑、小巧、高效的双视场离轴成像光路系统。另外,由于双视场需要同步侦察和并行预判
各种潜在危险,因此采用广角鱼眼物镜实现180度视野最大范围接收返回的散射光。整体成像光路系统可分解为两个子光路系统,即:中央视场子光路和周边视场子光路构成。中央视场(中央视野)模拟扇贝的远端视网膜成像原理,对视野前方不同视距范围物体变焦扫描,仿生mems变形反射镜堆叠干涉结构对入射光进行波长过滤,并通过致动器控制微镜表面面形变化实现变焦反射成像,从而确保中央视场各焦距处任意roi内的成像质量可均达到衍射极限。周边视场(周边视野) 子光路模拟扇贝的近端视网膜成像原理,由于需要尽可能采集周边区域散射光线且不遮挡中央视场子光路,因此考虑采用三反离轴变焦结构。离轴三反光学系统无中心遮拦且调制传递函数mtf高,在获得同等能量利用率的情况下使用离轴结构能够实现比共轴结构更小的主镜口径和系统结构尺寸,将三反离轴结构中的凹面镜替换为可编程控制的仿生mems变形反射镜,提高了光学系统的光能利用率和成像质量。
[0080]
光学系统(双视场离轴成像光路、仿生双视场离轴反射变焦距成像系统光路)如图2所示,广角物镜1充当整个系统(双视场离轴成像光路)的物镜,由于尽可能需要采集180
°
视角范围之内所有从非视距隐藏物返回的散射光,因此广角物镜1拟考虑采用鱼眼镜头。来自中央和周边视野的散射光从广角物镜1 进入后,根据散射光线方的不同,分解为两个独立子光路系统并行处理,即:中央视野光束通过广角物镜1汇聚后到达第一平面反射镜2,通过镜面反射汇集到可编程控制的第一仿生mems变形反射镜3,由于第一仿生mems变形反射镜3独特的薄膜干涉增反效应进行入射光波长过滤,最大程度地汇聚了间接激光照明后返回的被遮挡物低通量、有效散射光,然后在第一ccd4上形成高分辨率散斑图案,为后续视野中央区域基于散斑相关性的被遮挡物图像恢复提供了保障。另外,由于第一仿生mems变形反射镜3的可控变曲率变焦功能,因此可以通过给第一仿生mems变形反射镜3施加控制信号来实现中央视野远场和近场入射光成像的连续扫描。周边视野光束通过广角物镜1后,汇聚到准直透镜5准直,平行光束经过由第二平面反射镜6、凸面镜7、可编程控制的第二仿生mems变形反射镜8构成的离轴三反成像系统,最终由第二仿生mems 变形反射镜8完成入射光波长过滤和可控变曲率变焦功能,最后光束汇聚到第二ccd9上形成环状散斑图案,为后续视野周边区域基于散斑相关性的被遮挡物图像恢复提供了保障。因此,整体系统(双视场离轴成像光路)能实时完成视野中央和周边区域散射光的双视场离轴反射变焦距成像功能。
[0081]
在本实施例中,所述仿生mems变形反射镜(第一仿生mems变形反射镜3、第二仿生mems变形反射镜8)包括:微控制器、若干微镜单元(分立式镜面31)和若干平行板驱动器(执行机构柱32、驱动器表面33、驱动器支撑34、驱动电极35、硅基材料基底36);
[0082]
驱动器表面33通过驱动器支撑34设置在硅基材料基底36上,驱动电极35 设置在硅基材料基底36并位于驱动器表面33下方,分立式镜面31通过执行机构柱32设置在驱动器表面33上;
[0083]
所述微镜单元由至少一个平行板驱动器独立控制;
[0084]
所述微控制器适于控制所述平行板驱动器带动对应的微镜单元形变,以使仿生mems变形反射镜整体产生局部受控变形以达到所需镜面面形;
[0085]
所述微控制器适于接收上位机发送的控制信号,数字电压信号经过d/a转换器后变为模拟电压信号,微控制器将控制信号通过译码器转化为通道选择信号,控制对应的放大器通道接通,使模拟电压信号经放大后施加给对应的微镜阵列(若干微镜单元和若干平
行板驱动器构成)。
[0086]
扇贝眼空间视觉是通过位于每只眼内的层状结构反光镜将光线聚焦在视网膜上获得的,经过精细的调节层状结构,扇贝可以高效收集穿透其栖息地的不同波长的光线。如图3所示,扇贝反射银膜由正方形鸟嘌呤晶体密铺20-30层堆叠而成,层与层之间由细胞质隔开,晶体与细胞质的界面形成反光镜。低折射率的胞质与高折射率的晶体薄片构成了一个薄膜干涉系统,扇贝精密控制了方形晶体与液态薄层的尺寸,在面对特定光线时就会发生薄膜干涉,有效地增加特定波长光线的反射效率,多层薄膜叠加将显著提高反射效率。
[0087]
在实际应用场景中,不仅有隐藏对象间接反射回来的散射光线,还从场景中的墙、地板和杂波捕获其他物体的散射光线,可形成漫射背景和散斑测量中不相关的散斑噪声,引入不可预知随机噪声,加大图像重建算法设计难度。受扇贝眼特殊生理结构对光线波长过滤和双视场离轴反射变焦距成像的启发,本实施例将对扇贝眼特殊的反射银膜进行结构仿生,设计多层分立式单元凹形反射镜结构实现光线有效过滤和离轴反射聚焦成像,利用mems工艺制造仿生微光机电系统,从而有效去除随机噪声,提供高分辨率预处理图像,降低后续图像重建算法设计难度,提高探测实时性。
[0088]
首先,设计微镜单元形状和排布方式。借鉴扇贝银膜超微单元阵列结构特点,本实施例采用层状堆叠的正方形微镜反射单元和方形阵列排布,如图4所示。由于需要多层堆叠“干涉薄膜”结构从而实现特定波长光线的筛选和汇聚反射,因此镜面反射单元材料需要选择高折射率半透明材料,层间填充层需要选择低折射率材料,从而形成薄膜干涉增反效应。表层镜面单元选择具有良好光学性能材料(拟选多晶硅作为基底),由于硅在可见光及近红外光谱范围内的反射率很低,一般在结构层上再沉积一层可见光和近红外光谱范围的光学镀膜来达到良好光学性能。
[0089]
其次,设计微镜单元的驱动结构(平行板驱动器)。由于扇贝眼睛“凹形反射镜面”并不是曲率固定的半球面或椭圆面,它的曲率会随位置的不同而变化,本实施例采用分立式微镜驱动结构实现变曲率面型调整功能,分立式镜面31有助于消除单元驱动器之间的相互耦合。如图5所示,分立式镜体由大量紧密排列的微镜单元组成,每个微镜单元则通过一个或多个微驱动器(平行板驱动器) 独立控制,通过精确控制每一个微镜的空间位置,促使变形镜整体产生局部受控变形以达到所需镜面面形,由于各微镜单元独立控制,因此相邻单元驱动器之间不存在相互影响。
[0090]
最后,选择合适的制造工艺。mems加工工艺能较好地保证各单元驱动器的一致性,且能一次性加工出具有大量驱动器单元的仿生变形镜。如图6所示,表面硅微加工是一种对顺序沉积在硅基底上的材料层进行雕刻成形的工艺,利用对牺牲层薄膜选择性刻蚀来形成独立垂直甚至完全独立的薄膜微结构,由于基底只提供机械支撑,因此可以利用类似ic制造中各种标准方法,通过一系列的薄膜沉积和成形步骤来形成复杂多层堆叠微结构。本实施例利用mems表面硅微加工工艺,即采用对多层硅的沉积、刻蚀等基本工艺制造仿生银膜结构,该技术制作的mems微变形镜集成度高、体积小、结构设计灵活,且可采用与 ic兼容的标准工艺设备加工单元制造,如图7所示。
[0091]
本实施例利用虚拟样机相关工具(如:ug、adams、ansys、matlab等) 和设计方法对仿生银膜mems微镜阵列进行准确、有效的系统级建模与虚拟设计,然后对虚拟样机模型微镜阵列进行静力学分析,动力学、运动学以及加工工艺等仿真,对仿生结构的表面形貌、离
面变形、静态电压-位移曲线和谐振频率等性能指标进行虚拟分析测试,从而快速得到其可靠的设计结果,以减少设计成本,缩短开发周期,如图8所示。
[0092]
本实施例第二仿生mems变形反射镜8用平行板式静电驱动,通过对每个微镜单元联合实时控制来拟合校正面型,利用不同控制信号并行地控制各个单元结构的偏转顺序、角度和方向,实现镜面有效调控。如图9所示,本实施例采用多通道d/a模块和多通道高压放大模块构成控制电路,微控制器功能通过ni(national instruments)提供的现场可编程门阵列器件(fpga)实现,电脑通过can总线接口与微控制器传递数据,数字电压信号经过d/a转换器后变为模拟电压信号,微控制器将控制信号通过译码器转化为通道选择信号,控制对应的放大器通道接通,使模拟电压信号经放大后施加给对应的仿生微镜电极。
[0093]
在本实施例中,镜面单元的驱动控制方式:由于多层反射之间形成薄膜增反效应,可以平滑有效过滤掉非激光器照明反射波长905nm以外散射光,因此当薄膜厚度是入射光波长λ的1/4时,其干涉相长达到最佳反射光最强,薄膜的反射效率可以达到同样单介面的四倍,由此可以确定薄膜基本厚度(即最佳平行板之间的间距)。本实施例仿生结构中上层镜面单元与下层镜面单元之间需要填充低折射率材料(拟定空气较为合适),因此平行板静电驱动是比较理想的选择;
[0094]
所述平行板驱动器为平行板电容器,则平行板驱动器的电压与位移的关系为:平行板驱动器本质上就是平行板电容器,它是利用电容两极板间产生的异种电荷的静电吸引力来实现静电驱动的。当平行板电容器两极板上的电位不同时,就会在两极板上产生等量的异种电荷,从而会在两极板间的空间里产生均匀的静电场;上极板为驱动器表面33,下极板为驱动电极35;
[0095]
e为两极板间的电场强度;v为两极板间的电势差;d为两极板间的距离; q为极板上的总电荷量;c为平行板驱动器的电容;a为极板的面积;k为弹性结构的等效弹性系数;
[0096]
当上极板(驱动器表面33)不固定,在静电力作用下平板在垂直方向上有一微小位移
△
z,静电力fe对平板做的功为fe
△
z,根据能量守恒定律,平行板能量的变化等于静电力做的功和电源提供的能量之和:
[0097][0098][0099]
如果考虑上极板与弹性结构相连,如图10所示,向平行板驱动器施加一个电压时,上极板在静电力fe与弹性力fk相互作用下运动距离后达到平衡位置,则根据虎克定律有:
[0100][0101]
在已知电压条件下,通过数值解求出极板位移解。如图11所示为弹性回复力及施加不同电压时产生静电力与位移的关系,随着施加电压的不断增大,使得a、b两个不同性质平衡点的位置逐渐靠近。当达到v2值时两点重合为c 点,因此v2所对应的电压值就是所能施加的电压的上限。
[0102]
由此,可以得到平行板驱动器的实际工作的电压和位移关系如下:
[0103][0104]
根据公式可以得到平行板驱动器的电压与位移曲线,以通过调整电压调整平行板驱动器的位移,精确获取所需镜面面形。
[0105]
在本实施例中,所述主动激光雷达盲区探测系统还包括:上位机(可以为微型电脑、汽车中的控制器等);
[0106]
所述上位机适于接收仿生扇贝眼光学成像子系统发送的散斑图案,以根据散斑图案获取被遮挡物体的图像,即
[0107]
基于改进u-net网络和低信噪比散斑相关图的被遮挡物图像实时重建算法;在非视距情况下,当探测器发送端发射激光后(光源发射激光),光线经由视野前方及周边角落的各种镜面表面(反光镜、金属等)或非规则粗糙表面(墙壁、地面等)形成“二次光源”,间接照明被遮挡物体后,产生的散射光经“中继”粗糙表面形成散斑图案,由于中间存在多种可能光路,因此对散射过程进行全面确定性描述非常困难。光学记忆效应理论证明,散斑相关法是利用散斑图像内在的相关性来重建原图的一种高效方法,散斑图像的自相关结果近似等于原始图像信号的自相关,后续计算中在除去背景项常数后,即可利用自相关运算和相位恢复(即pr,phase retrieval)算法有效且快速地恢复出遮挡物物体的原始图像。通常可以通过经典迭代相位恢复算法(即hio混合输入输出算法、er误差减少算法或dm差分映射算法等)从散斑自相关中恢复相位信息,并结合散斑图像自相关运算获取的图像幅度信息,最终实现重建隐藏物原始图像。这些方法一般适用于高通量激光照明成像模式,并需要较长采样时间和较近探测距离。
[0108]
自动驾驶车辆需要在快速行驶中远距离、实时地主动探测和预判潜在危险。而被遮挡物体发出的散射光在到达接收端之前会沿着多个间接路径行进并散射多次,因此实际返回到接收端的间接信号非常微弱,散射光强度将随距离的增加大幅衰减,从而极大降低信噪比(snr)。因此,需要从光子匮乏的远距离低通量间接散射信号中实时、高分辨率地恢复出被遮挡物体的原始图像;
[0109]
为了更好地建模、表征和利用低信噪比散斑信息,使探测器(用于自动驾驶方向的主动激光雷达盲区探测系统)达到快速行进时远距离、弱散射光、毫秒级响应的探测性能,利用间接散射成像的散斑图案实现高分辨率、实时恢复被遮挡物体原始图像功能,本实施例设计一种基于改进u-net深度卷积网络和低信噪比散斑相关图的被遮挡物图像实时重建和运动预测算法,如图12所示。 u-net采用典型encoder-decoder结构,编码器逐渐减少空间维度,解码器逐步修复物体的细节和空间维度,两者之间通常存在跳跃连接,能帮助解码器更好地修复目标的细节,该cnn网络只需少量图像数据即可训练出一个高精度的端对端图像分割网络,执行效率非常高,非常适用非视距散斑图像重建。另外,为进一步提高训练效率拟引入密集连接层(densenet),即:每一层都获取其前面所有层的特征图作为输入并将自己的特征图作为随后所有层的输入,从而有效消除网络梯度消失,加强特征复用,大大减少了参数数量。
[0110]
cnn数据准备:
[0111]
构建图像训练数据集(training datasets),深度学习是解决计算成像问题的有
力工具,但需要大量符合要求的训练数据集才能成功。在非视距成像背景下,通过现场大量采集符合要求的实验数据来建立训练数据集显然非常困难,因为在真实路况下散斑图像样本数据采集时受各种环境照明、非规则粗糙表面散射特性、遮挡物多样性以及隐藏物本身形态特征等多方面因素影响,对散射过程进行全面的确定性描述需要大规模的数据测量。
[0112]
通过散斑图案中的散粒噪声统计分布规律,通过开源图像训练数据集形成对应散斑图案,并添加随机散粒噪声,从而合成所需的训练数据集;本实施例采用berkeley segmentation dataset and benchmark500开源图像分割和边界检测数据集(bsds500),该数据集由30个人类受试者完成,包含200张图像的训练集和100张图像的测试集,将bsds500通过canny边缘检测器对数据集进行裁剪,最终可以形成大约2000064
×
64个稀疏、非结构化、连通的边缘图像构成训练数据集,如图13所示。
[0113]
构建损失函数,由于本实施例被遮挡物体成像具有稀疏性,而广泛使用的损失函数包括均方误差(mse)和平均绝对误差(mae),都不能促进图像稀疏性,因为其基础信号分别遵循高斯和拉普拉斯统计,使用平均交叉熵作为损失函数能有效促进稀疏性,因此通过softmax层来产生一对相互补充的通道以分别表示对象和背景,并通过平均交叉熵作为损失函数,以促进稀疏性,则损失函数为:
[0114][0115]
其中,g为分割金标准像素值;p为预测值;平均值在两个通道c上的所有n像素x上;g和p均采用二进制或连续值;
[0116]
数据预处理,基于计算实时性和毫秒级响应要求,在使用cnn进行训练之前,需要对来自模拟和实验的散斑图数据进行预处理,由于计算时间限制,
[0117]
裁剪一小部分输出散斑图像,所有输入和输出图像分辨率统一设为预设像素(256
×
256),由于输出散斑图像的每一部分都包含了整个目标的信息,所以即使是小部分的散斑图像也可以用于目标识别,这一过程既减少了网络参数的数量,又减少了训练所需的数据量,而不需要过度拟合,图像裁剪不会影响最终重新定义结果;根据模型(噪声模型)人为在散斑图中加入模拟随机噪声,以及散斑图像在0和1之间进行归一化处理;
[0118]
cnn架构实现:
[0119]
为有效提高cnn训练效率,本实施例改进u-net原有cnn网络中两个重复卷积层,将其中一个修改为密集连接层,每个密集连接都包含批处理规范化 (batch normalization)、校正线性单元(relu)非线性激活函数和带16个滤波器的卷积(conv)组成的多个层,如图14所示:根据u-net总体结构,包含一个左侧编码器压缩路径和一个右侧解码器扩展路径;
[0120]
编码器压缩路径包括4个block,每个block都使用了一个3
×
3卷积、一个密集连接操作以及一个步长为2的2
×
2最大池化层(max pooling)下采样;
[0121]
初始图像通过下采样操作以缩小图像尺寸,每次下采样后都加倍特征通道数量,最终编码器输出具有较小尺寸16
×
16像素的高维编码特征图(具有1088 个activation maps);
[0122]
解码器扩展路径包括4个block,每个block都使用了一个3
×
3卷积、一个密集连接
操作以及一个步长为2的2
×
2反卷积(up conv)进行上采样;
[0123]
低分辨率高维特征图通过4个步长为2的2
×
2反卷积向上采样操作,每一步反卷积操作时将输入特征图尺寸增大两倍和特征图数量减半,通过跳跃连接将来自对应压缩路径裁剪后的特征图进行串联拼接,直到最后恢复出输入图像的尺寸;
[0124]
使用一个1
×
1附加卷积层产生最终网络输出,完成双通道散斑图案原始图像恢复成像,生成被遮挡物体的图像。对从光子匮乏低通量间接散斑信息中重建出被遮挡物体原始图像算法进行深入研究和优化,从而使探测器能适应快速运动状态下远距离、弱散射光、毫秒级从间接散射光成像的散斑成像中实现高分辨率、迅速地恢复出被遮挡物体的原始图像。
[0125]
通过对仿生扇贝眼进行虚拟样机设计与仿真分析,实现多层微纳米仿生银膜结构和mems制造工艺优化,并将制造出仿生mems探测器的各个零部件进行有序装配和修整,同时将微控制器、fpga、can总线控制器和各类电子元器件按照预定控制电路图进行组装和集成,并将编制的设备控制程序和图像重建软件烧录到专用嵌入式控制器或者主控电脑,完成原理样机的软硬件系统集成工作。如图15所示,在实验室和真实路况条件下分别搭建非视距隐藏物探测成像的专用试验平台,进行设备有效性、稳定性以及安全性的相关测试,采集各种实验数据并加以分析,通过试验发现效率提高的因素,对装置再加以改进和优化。
[0126]
实施例2
[0127]
如图16所示,在实施例1的基础上,本实施例2还提供一种用于自动驾驶方向的主动激光雷达盲区探测方法,包括:照射车辆行驶方向上的环境;以及
[0128]
接收环境经过照射后反射的散射光,并根据散射光识别并生成被遮挡物体的图像。
[0129]
在本实施例中,所述用于自动驾驶方向的主动激光雷达盲区探测方法适于采用上述的用于自动驾驶方向的主动激光雷达盲区探测系统生成被遮挡物体的图像。
[0130]
综上所述,本发明通过光源,所述光源适于发射激光以照射车辆行驶方向上的环境;仿生扇贝眼光学成像子系统,所述仿生扇贝眼光学成像子系统适于接收环境经过照射后反射的散射光,并根据散射光识别并生成被遮挡物体的图像,实现了自动驾驶车辆在行驶时能提前探测到前方及周围区域潜在危险,提升车辆的安全性,保护了那些无保护措施的道路使用者和公共设施。
[0131]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0132]
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部
分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
[0133]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0134]
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。