V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法

文档序号:36833111发布日期:2024-01-26 16:48阅读:来源:国知局

技术特征:

1.一种v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,包括:

2.如权利要求1所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,所述视觉识别跟踪模块采用以yolov7-tiny模型为基础网络架构,对yolov7-tiny模型网络基础架构中的p3层进行卷积和上采样操作,增大特征图的尺寸,并与yolov7-tiny模型网络基础架构中的backbone层中的包含了大量细节信息的f2层进行拼接,再经过yolov7-tiny模型网络基础架构中的基础构建块mcb充分混合图像特征,输出额外构建的特征图p2,得到改进后的yolov7-tiny模型,利用改进后的yolov7-tiny模型进行多尺度预测。

3.如权利要求2所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,在基础构建块mcb充分混合图像特征的过程中引入simam注意力机制模块,具体引入位置为在backbone层中每个mcb块后、neck层concat块后和特征图p2、p3、p4中concat块前引入simam注意力机制模块。

4.如权利要求2所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,所述视觉识别跟踪模块对拍摄得到的视觉图像进行多尺度预测时,还对以yolov7-tiny模型为基础网络的训练损失函数进行优化,使用focal-eiou损失函数代替yolov7-tiny模型中默认的ciou损失函数。

5.如权利要求4所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,进行目标检测时,将横纵比的损失项拆分成预测的宽、高分别与最小外接框宽、高的差值,提出并集有效交集损耗,明确测量bbr中重叠面积、中心点和边长3个几何因子的差异,同时加入focal聚焦优质的锚框,从而优化边界框回归任务中样本不平衡的问题,进而实现对识别到的每帧目标通过strongsort进行跟踪;边界框优化过程中的惩罚项公式为其中为focal-eiou惩罚项,iou为预测框与真实框交并比,γ是用于控制曲线弧度的超参数,为eiou惩罚项。

6.如权利要求1所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,测速测距模块进行对识别跟踪到的目标车辆进行测速测距的步骤包括:首先对识别到的图像进行视觉透视变换,即对目标车辆四个角的像素点通过进行齐次坐标变换,其中表示目标车辆四个角的像素点的齐次坐标,表示变换矩阵,表示转换后的坐标,并对目标车辆进行分类,对于社会车辆,使用目标车辆真实长度与视觉识别中的目标车辆像素长度的比值,乘以两帧视觉图像中目标车辆移动的像素距离,求出目标车辆的真实移动距离,随后使用目标车辆的真实移动距离与两帧视觉图像之间的时间的比值,计算目标车辆的车速其式中,l′为目标车辆真实移动距离,δt为两帧视觉图像之间的时间,(xk,yk)为目标车辆k时刻的位置,(xk+1,yk+1)为目标车辆k+1时刻的位置,tk为k帧时刻,tk+1为k+1帧时刻,li为目标车辆真实长度,pi为目标车辆像素长度;使用目标车辆真实长度、真实宽度与目标车辆像素长度宽度的比值,乘上相机焦距,计算出目标车辆x,y方向距离,根据车辆距离公式得到两车距离其中m为相机焦距,wi是目标车辆的真实宽度,li是目标车辆的真实长度,qi是指目标车辆在视觉图像中的车辆像素宽度,pi是指目标车辆在视觉图像中的车辆像素长度。

7.如权利要求2所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,所述轨迹预测模块通过strongsort算法中卡尔曼滤波的短期预测来不断矫正lstm算法中的长期预测的方法为:

8.如权利要求1所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,风险预判模块的风险预判方法为:按照公式(12)对预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行同一时间纬度下的融合判断,得到目标车辆的行驶轨迹与自身车辆的行驶轨迹的最小距离,当连续三帧视觉图像中预测出的两条轨迹的最小距离小于设定的最小安全距离阈值时,判断两车存在碰撞风险,并进行风险提示;

9.如权利要求1所述的v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统,其特征在于,所述v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统还包括震动提示模块和显示模块,所述通讯模块还将预判到的社会车辆和其他智能网联车辆切入风险信息发送到所述显示模块和所述震动提示模块,所述震动提示模块接收到所述通信模块发送的风险预警信息,通过蜂鸣器的震动来提示驾驶员当前存在驾驶风险,警示驾驶员进行接管;所述显示模块包括屏幕显示装置,所述显示模块能够将所述风险预判模块的风险提示信息进行显示,以此来警示驾驶员及时进行车辆接管,同时将所述轨迹预测模块预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行显示,使驾驶员清楚的了解当前车辆及周围车辆信息,以便驾驶员接管后有足够的信息进行安全驾驶。

10.一种v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判方法,其特征在于,包括以下步骤:


技术总结
一种V2X环境下基于改进YOLOV7‑Tiny和SS‑LSTM的自动驾驶风险预判系统和方法,包括:视觉识别跟踪模块,用于对自身车辆周围的图像进行拍摄,对拍摄得到的视觉图像进行目标检测;测速测距模块,用于将检测到的目标车辆分类为社会车辆和智能网联车辆,得到社会车辆的位置、速度及与自身车辆的两车距离;轨迹预测模块,用于通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测,以建立SS‑LSTM轨迹预测模型,将两车距离和目标车辆的位置、速度作为模型的输入得到目标车辆的行驶轨迹;车联网通信模块,用于获得智能网联车辆的速度、位置及两车距离;风险预判模块,用于根据目标和自身车辆的行驶轨迹判断两者是否存在碰撞风险。其提高了自动驾驶风险预判的准确性。

技术研发人员:赵红专,张继康,潘佳雯,李文勇,王涛,周旦,何水龙,李新凯,廉冠,周长红,徐奇,陈倩,付建胜,陈昊,农常,刘永磊,韦德宇
受保护的技术使用者:桂林电子科技大学
技术研发日:
技术公布日:2024/1/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1