一种自适应智慧城市智能交通信号的控制方法
【技术领域】
[0001] 本发明属于交通智慧管理系统领域，尤其涉及一种智能交通信号的控制方法。
【背景技术】
[0002] 城市道路不断兴建和扩宽，基础设施建设投入也越来越大，然而城市交通拥堵问 题却越来越严重，主要原因是现有的城市交通信号控制TSC(TrafficSignalControl)系 统不能充分做到对交通流量的最优控制和管理。因此，如何通过交通信号的最优控制来设 计优化城市TSC系统，成为保障交通安全和畅通、增加道路通行效率及其缓解交通拥塞问 题的关键所在。
[0003] 随着人民生活水平的不断提高和城市化进程的加快，我国汽车人均保有量急剧攀 升。由此引发国内一些大中城市相继出现了交通超负荷的情况，再加上各地政府大力发展 的公交、城际巴士和出租车，使得道路上的车辆越来越多。过多的车辆意味着道路拥塞的概 率大大增加，导致行车效率大大降低。此外，车辆缓慢行驶甚至过多停车等待意味着更多的 废气被排放到空气中，导致城市中重度雾霾的天数激增，人民的生活质量大幅度下降。城市 交通拥堵带来了一系列的问题，成为影响城市发展的关键因素。
[0004] 解决城市拥堵最直接的办法就是不断的修建和扩宽道路，或者限制城市车辆的出 行，显然这是非常不合理和不现实的方法。城市交通信号控制（TrafficSignalControl, TSC)系统主要是通过对城市交叉口的车辆和行人进行指挥控制，使车辆和行人安全有序通 过且不发生相互干扰。交通信号灯是城市TSC系统的关键组成部分，交通信号灯主要使用 在车流较大、通行干扰较多地方，特别是分流的交叉口，在保障城市道路交通安全和畅通， 提高了城市道路通行效率上发挥着重要作用。浙江省宁波市和金华市在城市TSC系统的研 宄上，对城市新建道路运用了 "城市交通绿波带"技术，主要通过对相邻路口交通信号相位 差的合理设置，在车速限制范围内，使得车辆在道路通行的过程中遇到最少的红灯，减少了 车辆等红灯的次数。综合以上所述，对自适应城市TSC系统的优化研宄主要落在对交通信 号灯配时方案的优化上，自适应城市TSC系统给城市道路交通流分配通行权，减少道路交 通拥堵和交通事故，实现城市交通安全有序行驶。
【发明内容】
[0005] 为了克服已有城市交通信号控制方式的控制效果差、控制算法对环境的影响较 大、控制不稳定及控制效果不佳的不足，本发明提供一种控制效果良好、控制算法对环境的 影响较小、稳定性良好及控制效果良好的自适应智慧城市智能交通信号的控制方法。
[0006] 本发明解决其技术问题所采用的技术方案是： 一种自适应智慧城市智能交通信号的控制方法，所述控制方法包括以下步骤： 1)道路传感器对采集的车辆交通流信息进行处理，生成对应的交通状态集和决策集； 交通状态集包括单路口的信号周期C，单路口相位的绿信比X和各相位对应车辆的排队长 度L，决策集包括交通信号灯实时采取的动作，包括红灯、黄灯、绿灯； 2) 设置奖惩函数、学习率和折扣因子； 奖惩函数的设置；
其中，V:s,3):状态<5时，米取策略a后获得的处罚； s:交通环境当前状态； a:环境状态为s时Agent采取的动作 rf,:时刻t采取策略q后产生车辆排队长度； 6 :预设排队长度临界值； 学习率为a，aG[0, 1]，折扣因子为y，yG[0, 1]; 3) 将处理的交通流信息送到Q学习器生成交通决策，基于以上变化的量全都满足 Q-learning算法对交通信号状态空间的要求，所以对于交通状态空间的选择用Q值估计的 形式表示，交通状态Q值的估计值近似表示为： Q=f((C,A,L,P),a(t)) (2) 式（2)中，a(t)是交通信号控制选择的策略，P为交通流量趋势预测概率； 4) 交通决策序列通过交通信号控制器作用于交通路口； 5) 反馈奖惩函数值，评估决策的好坏； 6) 继续感应环境的下一个状态。
[0007] 本发明的技术构思为：Q-learning算法优化交通信号最开始是需要得到环境的 状态信息的，所以需要Agent来控制路口，传感器获得环境的状态信息，通信系统来实现信 息传递、控制系统来实现信息处理和控制。研宄中需要使用不同的车辆传感器、检测系统、 通信系统、处理系统、控制系统来获得实时的交通流信息。
[0008] 在基于Q-learning的TSC单路口Agent控制体系结构框架图中，整个过程主要包 括以下几个部分：检测器收集车流信息，输入到交通分析/处理器中分析处理；处理得到的 路口状态信息输入在Q-learning优化控制决策器中；Q-learning优化控制决策器会得到 该策略下的Q值；策略决策器会得到一个较优策略作用于交通口；通过不断循环，Agent能 寻优找到最优的控制方案；在交通事故、天气因素以及道路变更等的影响下，该Agent框架 能继续准确检测和处理交通流信息。实际上，Agent对路口的控制是具有实时反馈的学习 过程。
[0009] 城市交通信号控制TSC(TrafficSignalControl)系统是一个大规模复杂非线 性随机系统。城市TSC是指城市多个相邻路口之间实现协调控制，单个路口的交通信息和 决策是影响周围相邻路口的交通流的。城市区域交通信号控制UATSC(UrbanAreaTraffic SignalControl)系统的研宄是建立在单路口信号优化控制的基础上的。UATSC的目标是 均衡城市交通流的道路使用权，使整个交通区域类的交通流实现整体路口等待时间最短， 资源浪费最少，事故发生最低为标准。为了实现UATSC的协作最优控制，以整个交通网络 的车辆平均等待时间最小为目标，设计了相邻路口多Agent协调的控制体系结构，多路口 Multi-Agent系统控制系统结构如图3所示。
[0010] 如图3所示，路口Agent主要实现控制功能，分布式Agent主要是处理实现多个路 口Agent的协作控制，中心控制Agent主要实现全局协作的功能。将整个城市交通网络看 成一个整体，每个路口表示一个Agent，组成一个Multi-Agent系统。
[0011] 路口信号通过Agent控制，路口Agent之间可以相互共享信息，智能Agent根据本 地观察的交通信息和从相邻路口获取的信息，制定协作控制策略，使得本区域信号控制最 优。
[0012] 对于多路口的TSC问题，研宄中选择多路口协作控制的Multi-Agent系统。研宄 中首先以A和B这两个相邻路口作为研宄对象，如图4所示。路口A和路口B之间的协作 通过交通流信息的交换，以B路口为参考，通过交叉口A通向交叉口B的道路上传感器检测 到的输出交通流信息，和B路口其他相邻的交叉口也会把输出到B路口的交通流信息传给 单路口B，B路口根据相邻交叉口传入的交通流信息制定控制策略。
[0013] 本发明的有益效果主要表现在：控制效果良好、控制算法对环境的影响较小、稳定 性良好及控制效果良好。
【附图说明】
[0014] 图1是基于Q-learning的TSC单路口Agent体系结构框架图。。
[0015] 图2是路口智能体Agent反馈控制结构图。
[0016] 图3是多路口Multi-Agent系统体系结构图。
[0017] 图4是交通路口之间的交通流信息交换示意图。
[0018] 图5是四相位TSC系统的控制方案图，其中，（a)是第一相位；（b)是第二相位；（c) 是第三相位；（d)是第四相位。
【具体实施方式】
[0019] 下面结合附图对本发明作进一步描述。
[0020] 参照图1~图5,一种自适应智慧城市智能交通信号的控制方法，适用于大型交通 流量背景、单路口和中小型区域路口； 各模块的基本功能为：（1)感知模块：采集路口交通流环境的当前信息；（2)学习 模块：对接收到的路况信息进行学习或者依据有关的经验知识得到定量信息，为决策模块 提供决策依据；（3)决策模块：根据学习模块提供的信息，制定相应的控制策略；（4)执 行模块：执行决策模块所制定的控制策略；(5)知识库：存储对应于不同路况的控制信息； (6)通信模块：为Multi-agent控制预留的接口，其功能主要是负责与相邻路口Agent间 信息的交互；（7)协调模块：为Multi-agent控制预留的接口，其功能主要是负责与相邻路 口Agent间进行控制任务的协调。
[0021] 该控制方法包括以下步骤： 1) 道路传感器对采集的车辆交通流信息进行处理，生成对应的交通状态集和决策集； 交通状态集包括单路口的信号周期C，单路口相位的绿信比X和各相位对应车辆的排队长 度L，决策集包括交通信号灯实时采取的动作，包括红灯、黄灯、绿灯； 2) 设置奖惩函数、学习率和折扣因子； 奖惩函数的设