一种两轮车转向判决及行驶环境目标检测策略的制作方法

1.本发明属于交通管理技术领域，尤其是涉及一种两轮车转向判决及行驶环境目标检测策略。


背景技术：

2.随着外卖，快递等行业的兴起，城市内两轮车的使用率大大提高。根据公安部数据统计，城市内的交通事故有三分之一是由两轮车引起的，城市内交通事故的死亡率超过一半是和两轮车相关的。在这些交通事故中，绝大多数事故发生在两轮车转向时，所以为两轮车提供转向判决和行驶环境目标检测有利于提高道路交通的安全性和效率。
3.由于精密惯导仪器价格昂贵，一般应用于汽车的运动状态检测。文献“基于mems和gps的驾驶行为和车辆状态监测系统设计”直接将惯导安装在汽车方向盘上检测转向，但不同车型、不同路况下条件下，方向盘的转动不能真实反映车辆转向情况；文献“an integrated land vehicle navigation system based on context awareness”通过惯导z轴数据均值检测转向，单轴数据的判断缺乏鲁棒性，误判的情况时有发生；文献“a gnss/ins-integrated system for an arbitrarily mounted land vehicle navigation device”利用惯导3轴数据判断转向，但其主要针对大角度转弯。由于汽车配有转向指示灯，其转向对道路行人车辆的预警性比两轮车要大，并且单纯地转向预警并不能使得驾驶人迅速正确地躲避转向时的车辆及行人。
4.综上所述，在实际交通道路中，由于两轮车缺乏后视镜和转向灯，转向尤其是右转时不但存在较大的视觉盲区，还不能同时兼顾前后方来车，很容易带来危险，造成交通事故，开发一种应用于两轮车的转向判决及行驶环境目标检测策略迫在眉睫。


技术实现要素：

5.有鉴于此，本发明旨在提出一种两轮车转向判决及行驶环境目标检测策略，开创性地将低成本惯导元件应用于两轮车的转向判决，并且在转向时实时输出车辆行人检测信息，提高驾驶两轮车的安全性，减少交通事故的发生率。
6.为达到上述目的，本发明的技术方案是这样实现的：一种两轮车转向判决及行驶环境目标检测策略，包括如下步骤：s1:从惯导元件读入惯导数据，进行数据解码和数据平滑，得到待测数据；s2:将待检测的惯导数据输入转向判决模型，对当前两轮车是否正在转向进行判断；s3:根据转向判决结果按需开启图像采集设备采集图像数据，输入到目标检测模型进行推理，得到两轮车转向时的车辆行人状况。
7.进一步的，所述图像采集设备分别装在两轮车的前后左右，所述惯导元件安装在两轮车的踏板下面，通过记录两轮车的转向信息进行转向判决。
8.进一步的，s2步骤所述的转向判决模型的实现过程具体包括以下步骤：
s21:根据两轮车当前行驶速度设定阈值；s22：将惯导各轴数据在窗口时间内的变化与阈值进行比较,大于阈值，则该轴置,否则置为；s23:利用车辆行驶姿态的惯导数据集进行线性回归，得到各轴的贡献度权重；s24:若满足 ，则此时两轮车正在转向，其中，为根据经验设定的阈值。
9.进一步的，s3步骤中，根据转向判决的结果按需启动图像采集设备时，两轮车左转时则读取左侧和前侧图像采集设备的图像数据，两轮车右转时则读取右侧和前侧图像采集设备的图像数据。
10.进一步的，所述s3步骤所述的目标检测模型的实现过程具体包括以下步骤：s31:收集两轮车在实际道路场景下的车辆行人图片集，对图片集进行图片清洗和人工标注，得到带有车辆行人标签的图片集；s32:利用标注好的图片进行模型的训练，得到目标检测模型；s33:输入图像到目标检测模型，利用轻量化的骨干网络对输入图像进行特征提取，得到特征图像；s34:将特征图像输入一个自顶向下和自下及上的双向特征融合网络进行特征融合，得到多尺度融合图像；s35:利用检测头分别对每一尺度图像进行检测，最终输出多尺度目标检测结果的置信度和检测框位置；s36:利用非极大值抑制获得单一目标的唯一检测框。
11.相对于现有技术，本发明所述的一种两轮车转向判决及行驶环境目标检测策略具有以下优势：1、本发明开创性地将低成本惯导元件应用于两轮车转向判决，成本低，效果好，能够极大程度上减少两轮车转向时交通事故的发生率；2、本发明将转向判决与目标检测结合起来，将两轮车转向时的道路状况告知给驾驶人，提高了道路行驶的安全性和效率；3、本发明将自动转向判决和目标检测检测应用于两轮车，提高了两轮车的辅助驾驶能力；4、本发明利用线性回归对惯导多轴数据进行耦合，使得转向判决的判断效果更准确，更鲁棒。
附图说明
12.构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1为一种两轮车转向判决及行驶环境目标检测策略的示意图；图2为两轮车转弯盲区示意图；图3为两轮车摄像头惯导架设示意图；图4为图像数据采集的流程图；
图5为转向判决模型算法流程图；图6为目标检测模型算法流程图。
13.附图标记说明：1-惯导元件；2-前摄像头；3-后摄像头；4-右摄像头。
具体实施方式
14.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
15.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
16.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
17.为更好理解上述技术方案，下面将结合说明书附图以及最佳实施方式，对上述技术方案进行详细的说明。
18.当前，在实际交通道路中，由于两轮车缺乏后视镜和转向灯，转弯尤其是右转时不但存在较大的视觉盲区，还不能同时兼顾前后方来车，很容易带来危险，造成交通事故。
19.例如，如图2所示，当两轮车转弯时，此时两轮车右后方的视觉盲区有车辆，同时右前方转弯处存在车辆，这种情况下，两轮车的转弯很有可能带来三辆车的连环相撞，从而造成交通事故。
20.基于此情况，当前两轮车亟需一种两轮车转向判决及行驶环境目标检测策略，以降低交通事故发生的概率。
21.为了解决此问题，本发明提供一种两轮车转向判决及行驶环境目标检测策略，其硬件系统组成包括图像采集设备和一个低成本惯导元件，其中图像采集设备包括4个摄像头，摄像头和惯导元件1的安装位置如图3所示，摄像头包括前摄像头2、后摄像头3、右摄像头4、以及与右摄像头4对称安装的左摄像头，分别装在两轮车的前后左右，解决驾驶人视觉盲区的问题，惯导元件1安装在两轮车的踏板下面，通过记录两轮车的行驶姿态进行转向判断。
22.下面对本发明的转向判决及行驶环境目标检测策略进行介绍。
23.如图1所示，一种两轮车转向判决及行驶环境目标检测策略，包括以下步骤：s1:从低成本惯导元件读入惯导数据，进行数据解码和数据平滑，得到待测数据；
s2:将待检测的惯导数据输入转向判决模型，对当前两轮车是否正在转向进行判断；s3:根据转向判决结果按需开启图像采集设备采集图像数据，输入到目标检测模型进行推理，得到两轮车转向时的车辆行人状况。
24.具体的，步骤s1中，本发明首先采集两轮车上低成本惯导元件1的16进制数据，并根据惯导元件协议对原始数据进行数据解码，从而得到车辆运动信息。例如16进制数据串“55 53 76 fd 8b 0e 50 59 45 38”通过解码可以得到俯仰角为-3.56
°
，翻滚角为20.45
°
，偏航角为125.59
°
。由于硬件设备内部误差，我们需要对解码的车辆姿态数据进行平滑，例如可以进行小波变换，小波变换可以通过变换充分突出惯导数据的特征，通过对时间频率的局部化分析，并且通过伸缩平移运算对数据逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号的要求，从而可聚焦到细节，去除噪声。得到待测数据后，送入到转向判决模型进行转向判断。
25.具体的，如图5所示，所述步骤s2中的转向判决模型包括以下步骤：s21:根据两轮车当前行驶速度设定阈值；s22：将惯导各轴数据在窗口时间内的变化与阈值进行比较,大于阈值，则该轴置,否则置为；其中，主要运用的惯导数据为偏航角、偏航角的变化率、翻滚角、以及翻滚角的变化率；s23:利用车辆行驶姿态的惯导数据集进行线性回归，其中，惯导数据集为自己采集标注，主要标注偏航角、偏航角的变化率、翻滚角、以及翻滚角的变化率；令,贡献度权重和偏置b初始值为随机设定,根据损失函数不断调整贡献度权重和偏置b，直至达到最好的训练效果，其中损失函数可以采用预测值与真实值误差的平方，,其中为惯导数据集中已标注的真实结果。当损失函数达到最小，表明训练结果最好，取此时各轴的贡献度权重；s24:若满足，则此时两轮车正在转向，其中，为根据经验设定的阈值。
26.对于转向判决模型，由于惯导元件1的x-y平面平行于地平面安装，两轮车转向时对车辆转向信息贡献最大的为偏航角和翻滚角。例如驾驶人驾驶两轮车沿正东方向形式，此时车辆的偏航角为0
°
左右，当驾驶人进行直角右转时，理论上右转结束时车辆的偏航角变为90
°
左右。假设惯导元件一秒钟采集h帧数据并且两轮车的车速为am/s左右的话，那么在驾驶人刚要进行转弯的n帧数据之内，偏航角的角度变化如果超过了设定的阈值，此时两轮车很大概率进行了转向。除了偏航角，与此同时，我们对偏航角的变化率，翻滚角及其变化率也在窗口时间进行转向判断，并且判断的阈值根据两轮车的速度自适应调整，因为两轮车形式的车速不同，其转向时各轴角度变化也不一样，本发明为偏航角、偏航角的变化率、翻滚角、以及翻滚角的变化率设置不同的阈值。
27.s2步骤选取的各轴转向特征进行转向判断，在实际情况中，两轮车不可能完全沿
直线行驶，难免会有微小摆动，本发明将这两种情况都视作直线行驶，将弧段路线和转弯视作非直线行驶，并且不对其做明确的区分。转向判决模型选取惯导元件1采集的特征数据，采用窗口时间内根据速度自适应阈值判断转向。弧段路线道路往往由于地形原因而把路修得带有一定曲线，一般没有岔路，弯道较缓，车速较快，倘若用同一个阈值对多轴数据进行判断，算法的错误率会很高。根据不同速度自适应调整阈值之后，再将特征数据进行线性耦合，最后向目标检测单元输出两轮车此刻是否在进行转向。
28.具体的，步骤s3中，根据转向判决的结果按需启动图像采集设备，两轮车左转时则读取左侧和前侧图像采集设备的图像数据，两轮车右转时则读取右侧和前侧图像采集设备的图像数据，按需调度，节省计算资源。
29.利用图像采集设备采集行驶过程中的图像时，流程图如图4所示，首先打开视频设备文件，例如此摄像头设备为“/dev/video0”,查询视频设备的能力，然后设置视频采集的参数；例如采集图像的大小，格式；其次向驱动申请视频流数据的帧缓冲区，一般申请k帧帧缓冲区，然后通过内存映射，将帧缓冲区的地址空间映射到用户空间，将申请到的帧缓冲全部放入视频采集输出队列开始数据采集，最后重复循环从视频采集输出队列中取出帧缓冲区，再将该帧缓冲区重新排入输入队列，实时得到最新的图像数据。
30.在得到最新的图像数据后，需要通过调整图像大小为算法模型推理做好数据准备。例如可以采用双线性插值调整图像大小，假设原来图像大小为m*n，目标图像为a*b。那么两幅图像的边长比分别为：m/a和n/b。目标图像的第（i,j）个像素点（i行j列）可以通过边长比对应回原图像。其对应坐标为（i*m/a,j*n/b）。显然，这个对应坐标一般来说不是整数，而非整数的坐标是无法在图像这种离散数据上使用的，所以要通过寻找距离这个对应坐标最近的四个像素点，来计算该点的值。例如根据已知位置的四个像素点、、、，首先在x方向上进行线性插值，在、之间插入，在、之间插入，然后在y方向上进行线性插值，根据在y方向上的差值计算出p的插值。
31.得到处理好的图像数据后，送入目标检测模型进行推理，如图6所示，s3步骤中的目标检测模型包括以下步骤：s31:收集两轮车在实际道路场景下的车辆行人图片集，对图片集进行图片清洗和人工标注，得到带有车辆行人标签的图片集；s32:利用标注好的图片进行模型的训练，得到目标检测模型；s33:输入图像到目标检测模型，利用轻量化的骨干网络对输入图像进行特征提取，得到特征图像；s34:将特征图像输入一个自顶向下和自下及上的双向特征融合网络进行特征融合，得到多尺度融合图像；s35:利用检测头分别对每一尺度图像进行检测，最终输出多尺度目标检测结果的置信度和检测框位置；s36:利用非极大值抑制获得单一目标的唯一检测框。
32.本发明的目标检测模型的步骤s33的轻量化骨干网络选取shufflenetv2，使用输
入输出通道平衡的卷积，尽可能让输入输出的通道相等，可以最小化内存访问成本，降低群组数量，减少群卷积的计算成本，降低网络的碎片化程度，尽可能地做到轻量化。特征融合模块选取pan结构，在高维度向低维度传达语义信息以获取明确的大目标的同时，低维度向高维度再传递一次语义信息，使得小目标也更明确。与此同时，为了模型的轻量化，通道对齐采用1*1的卷积，上下采样也抛弃了卷积而采用插值。在pan多尺度图像中，每一个尺度都对应一个检测头，对当前尺度进行分类，最后输出一个包含置信度和多个检测框的矩阵，利用非极大值抑制进行筛选重组，对单一目标得到唯一的检测框。
33.具体地，步骤s34特征融合模块选取pan结构，在高维度向低维度传达语义信息以获取明确的大目标的同时，低维度向高维度再传递一次语义信息，使得小目标也更明确。与此同时，为了模型的轻量化，通道对齐采用1*1的卷积，上下采样也抛弃了卷积而采用插值。
34.在实际应用过程中，驾驶员驾驶安装有此发明的两轮车时，在直行的过程中，本发明不会对驾驶员提出预警，但是当驾驶员将要转向时，即出现转向迹象时，目标检测系统将会开启，对此刻两轮车的前侧，后侧和左右侧的车辆行人进行检测，如若出现车辆行人，则对驾驶员发出预警。转弯的迹象是通过转向判决模型给出的，即惯导元件通过采集车辆转向数据，将此刻两轮车的车速，偏航角，俯仰角，角变化率等信息输入转向判决模型，模型通过此时的车速设置阈值，再将惯导的偏航角，俯仰角，角变化率等数据在窗口时间内的变化与阈值m进行比较,再利用各轴数据进行线性回归，最后与经验阈值k相比较，满足则代表此时正在进行转弯，触发行驶环境目标检测模型。
35.本发明首次将惯导-相机用于两轮车，将转向判决与行驶环境目标检测结合，按需启动相机，根据转向判断结果输出车辆行人检测结果，有无车辆或者行人，通过设置在车辆上的预警装置通知给驾驶员，提高两轮车的高级辅助驾驶能力，降低两轮车转弯时发生交通事故的概率。
36.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。