一种高速公路路警联动模式下合流区可变限速控制方法与流程

本发明属于合流区可变限速控制，具体是一种高速公路路警联动模式下合流区可变限速控制方法。

背景技术：

1、高速公路合流区是交通瓶颈的常见区域之一，特别是在交通需求量较大时，合流区常常会引发交通冲突、交通震荡和行驶速度下降等问题。一般来说，来自匝道的车辆进入加速车道后，需要执行一系列复杂的操作，包括加速、选择可接受的间隙以及变道，与主线车流合流。这些操作不仅增加了驾驶员的操作负担，也容易导致交通冲突，进而影响主线车流的正常运行。

2、在国内外，合流区交通管理一直是研究的重点。国外如美国、德国和日本等国家，已经在智能交通系统和车路协同技术上取得了显著进展，通过实际部署和大规模测试验证了可变限速在缓解交通拥堵、减少交通事故方面的有效性。例如，美国的智能交通系统(its)中广泛应用了可变限速技术，根据实时交通流数据动态调整限速，以提高道路通行能力和安全性。

3、在国内，随着智能交通系统的发展，越来越多的研究机构和高校也开始关注合流区交通管理问题。清华大学和同济大学等机构在车路协同和智能交通系统方面开展了大量研究，开发了多种基于v2x通信技术的交通管理系统，并在实际道路上进行了测试和验证。

4、为了缓解合流区的交通压力，优化交通流运行，提高高速公路的通行效率，本技术提出了一种高速公路路警联动模式下合流区可变限速控制方法。该方法基于合流区主线各车道交通流运行状况受合流车辆影响的差异性，利用强化学习算法，提出了一种车道级可变限速控制模型。

5、本技术提出的合流区可变限速控制方法，通过强化学习算法，根据实时交通数据和车道级交通流特性，动态调整各车道的限速。这种差异化限速策略(dvsl)能够更好地适应合流区复杂的交通环境，有效减少交通冲突，缓解交通震荡，提高主线车流的运行效率。在实际应用中，该方法结合了路警联动模式，通过实时监控和动态调整，进一步提升了交通管理的智能化水平和响应速度。综上所述，本技术在借鉴国内外研究成果的基础上，创新性地提出了基于强化学习的车道级可变限速控制模型，为解决高速公路合流区交通管理问题提供了新的思路和方法，具有重要的理论意义和实际应用价值。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种高速公路路警联动模式下合流区可变限速控制方法。

2、一种高速公路路警联动模式下合流区可变限速控制方法，该方法具体包括：

3、首先，基于强化学习的车道级可变限速控制模型构建，具体方式为：

4、st1、设置相应的参数，包括最大仿真回合数n、每回合仿真步长t、软更新速率τ、每回合ε衰减速率k0，最小ε取值εmin；初始化per-ddqn智能体本地q网络参数θ和目标q网络参数令n＝0，t＝0；

5、st2、仿真回合数n＝n+1；

6、st3、仿真时间步数t＝t+1；

7、st4、在第t个时间步，sumo仿真软件将道路上传感器采集的状态信息st传递给per-ddqn智能体；

8、st5、智能体使用ε-贪婪策略选取相应动作，即以ε概率从动作空间中随机选择一个动作，或是以1-ε概率将根据状态输出动作

9、st6、使用安全检测机制进行规范，并将输出动作转化为限速值传递给限速区域车辆，随后进入下一个控制周期，智能体获取新的状态st+1以及奖励rt；

10、st7、将经验轨迹(st，at，st+1，rt)存储入经验回放池中，使用优先经验回放的抽取样本，根据式(9)使用梯度下降的方式更新本地q网络参数θ，使用软更新更新目标网络参数

11、st8、如果t＜t，返回st3，否则进入st9；

12、st9、ε＝min(ε*k0,εmin)，如果n＜n，返回st2，否则进入st10；

13、st10、流程结束；

14、其次，进行安全性约束与智能控制，保证输出端限速值满足，同一时段相邻车道车速变化不高于预设时速一；同一车道相邻时段车速变化不高于预设时速二；

15、最后，引入人工辅助，在人工辅助结合实时监控和动态调整机制下，确保在高速公路合流区内的可变限速控制方法能够迅速响应交通状况的变化，提供即时的交通引导和管理。

16、进一步地，预设时速一为20km/h，预设时速二为10km/h。

17、进一步地，车道级可变限速控制模型构建过程前还需要对状态空间进行定义，具体方式为：

18、定义状态空间包含19个状态，具体如下：

19、

20、式中，s为状态集合，rup为上游各车道占有率集合，rdown为下游各车道占有率集合，rbottleneckup为瓶颈区上游各车道占有率集合，rramp为匝道上游车道占有率，为瓶颈区上游各车道平均速度集合，为瓶颈区下游各车道平均速度集合，vlimit为控制区域各车道限速值集合；上述合流区的交通流信息利用相应位置设置的探测器收集。

21、进一步地，对状态空间进行定义后，需要用全程行程时间和合流区行程时间共同构建奖励函数；具体为：

22、fr＝α1ftts-merge+α2ftts；

23、式中，fr为综合奖励函数；α1、α2为预设的权重系数，ftts-merge为合流区行程时间构建奖励函数；ftts为全程行程时间相关的奖励函数。

24、进一步地，ftts-merge具体为：

25、

26、式中，ftts-merge为合流区行程时间相关奖励函数，k为经过合流区的车辆编号；k为一个时间步内经过合流区的车辆数。

27、进一步地，ftts通过下属方式确定：

28、首先构建路网的流入和流出与车辆全程行程时间之间的关系，如下式：

29、

30、式中，z为总时间补偿，t为时间间隔，fin为路网流入的所有车辆，fout为路网流出的所有车辆；

31、由于且因此设计关于全程行程时间的奖励函数如下式：

32、ftts＝fout-fin；

33、式中，ftts为全程行程时间相关的奖励函数，fin为一个时间步内路网流入的车辆数；fout为一个时间步内路网流出的车辆数。

34、进一步地，安全性约束与智能控制具体方式为：

35、首先定义输出的限速值需满足以下安全性约束：同一时段相邻车道车速变化不高于20km/h；同一车道相邻时段车速变化不高于10km/h；

36、引入车道间安全检测机制，具体为：

37、获取到当前限速值，在满足安全性约束情况下智能交通系统输出限速变化值，自动计算出新一轮限速值，判断是否可行，如果不行则重新进行此步骤，若可以行则自动计算下一轮限速值。

38、与现有技术相比，本发明的有益效果是：

39、本技术在合流区可变限速控制方面，显著提升了高速公路合流区的通行效率和安全性。通过基于强化学习的dvsl控制模型、优化的动作空间设计、以及完善的安全性约束和车道间安全检测机制，为智能交通系统的发展提供了新的技术路径和解决方案。