本发明属于智能交通，尤其涉及一种基于离线强化学习的信号灯及路由协同控制方法。
背景技术：
：：1、随着城市化的快速发展，交通拥堵和低效的道路使用已成为一个全球问题。传统的交通管理系统通常依赖于人工设定的规则和固定的信号时序，很难适应复杂和动态的交通场景。近年来，强化学习已经在多个领域表现出强大的优化能力，但常规的在线强化学习需要与环境进行实时交互，这在交通控制系统中由于安全和稳定性的考虑往往是不可行的。2、离线强化学习(offline reinforcement learning,offline rl)作为一种从历史数据中学习最优策略的方法，避免了与实时环境的交互，因此具有很高的应用潜力。然而，如何有效地将离线强化学习应用于交通管理，尤其是在信号灯控制和路由优化等多个方面进行协同优化，仍然是一个具有挑战性的问题。技术实现思路1、本发明的目的是提出一种基于离线强化学习的信号灯及路由协同控制方法，通过协同优化的方式，有效地解决复杂和动态的交通问题，而且具有很高的安全性和用户体验。2、为了达到上述目的，在本发明提供一种基于离线强化学习的信号灯及路由协同控制方法，所述方法包括：3、s1、获取不同的数据源的数据，并对数据进行预处理；4、s2、设计数据源优先等级，根据数据源的优先级对数据源输入图神经网络模型的优先级进行控制；5、s3、设置自适应数据融合算法对数据进行融合；6、s4、使用离线强化学习算法对预处理后的数据和奖励函数进行模型训练；7、s5、实时检测交通状态和图神经网络模型输出，并在检测到异常或不安全情况时切换到预定义的安全策略；8、其中，所述离线强化学习算法的实现步骤如下：9、初始化q-table，设置q(s,a)为0；10、初始化经验回放缓冲区replaybuffer；11、设置学习率η＝0.01、折扣因子γ＝0.99；12、在每个训练周期，对状态特征s进行动态特征扩充；13、其中，所述对状态特征s进行动态特征扩充具体为：14、根据最接近的几个时间步的状态特征来预测末来某段时间可能的状态，然后将这些预测的特征添加到当前状态特征中，如下表示：15、16、其中，s表示当前状态，包含一系列与当前交通状况相关的特征；⊕表示连接操作，用于将当前状态和预测的未来状态合并成一个增强的状态表示；predictfuturestates(s)表示接受当前状态s作为输入，并输出预测的未来状态的函数，实际采用的就是lstm网络；17、从缓冲区replaybuffer中随机抽取一个批次b的样本；18、使用重要性采样权重wt，所述重要性采样权重wt是基于图神经网络模型在一个滑动窗口内的表现来动态调整的，如下表示：19、20、其中，wt表示重要性权重，在离线强化学习中用于校正样本偏差；π(at∣st)表示目标策略下在状态st选择动作at的概率；b(at∣st)表示行为策略下在状态st选择动作at的概率；windowedloss表示windowedloss函数；所述行为策略表示数据收集策略；21、所述windowedloss函数表示如下：22、23、其中，rt是实际奖励，是图神经网络模型预测的奖励，t是窗口大小，t是指时间步的索引；24、对于每个样本(saugmented,a,r,s'augmented)在批次b中，使用q-value更新规则，所述q-value表示如下:25、26、其中，η表示学习率；wt表示重要性权重；r表示当前奖励；γ表示折扣因子；maxa'q(s'augmented,a')表示下一个增强状态s'augmented下所有可能动作a'的最大q值；27、根据图神经网络模型在验证集上的表现，动态调整学习率η和重要性采样权重wt,表示如下：28、η＝η×(1-validationlossrate)29、wt＝wt×(1+λ×validationloss)30、其中，validationlossrate表示验证集上的损失率，用于衡量图神经网络模型的性能；λ表示调节因子，用于控制validationloss对重要性全权重wt的影响程度；validationloss表示验证集上的损失，用于衡量图神经网络模型的性能。31、进一步地，所述s2，具体包括：32、s21、根据数据的精确度、延迟率和完整性设置优先级原则，为每个数据源分配优先级得分；33、s22、设计动态优先级调整算法、数据源切换机制和优先级队列更新机制对数据源的优先级进行调整；34、s23、对数据源和数据进行存储并定期备份，其中，所述数据附带一个时间戳和数据源标识，用于保证数据的完整性。35、进一步地，所述s3，具体包括：36、s31、对数据源与特征进行选择；37、s32、设计自适应融合图神经网络模型，具体为：38、假设每个数据源为图神经网络模型中的节点，节点之间的边则表示不同数据源之间的关联性，每个节点i有一个特征向量xi，所述特征向量xi包含了当前数据源提供的所有特征；39、定义一个关联矩阵a，其中aij表示节点i和节点j之间的关联程度；引入一个融合权重向量w，用于确定不同数据源在最终融合结果中的权重；40、使用图神经网络模型进行信息传播和融合，具体的更新公式如下:41、h(t+1)＝σ(ah(t)w(t))42、其中，h(t+1)是在第t+1轮迭代后的节点特征矩阵，σ是激活函数，h(t)是在第t轮迭代后的节点特征矩阵，w(t)是第t轮迭代的权重矩阵；43、根据当前交通场景，动态调整图神经网络模型中的参数，用于获得准确的融合结果，表示如下：44、w(t+1)＝softmax(α·h(t+1))45、其中，α是一个根据场景动态调整的系数。46、进一步地，所述图神经网络模型训练具体为基于预处理后的数据和特定的奖励函数进行图神经网络模型训练，具体包括：47、s41、定义状态、动作和奖励：48、状态(s)；其中，交通流量、信号灯状态、天气条件表示为49、s＝[straffic,slight,sweather]50、其中，straffic表示交通状态，slight表示信号灯状态，sweather表示天气条件状态；51、动作(a)：其中，路由建议a＝[alight,aroute]，其中，alight表示信号灯动作，aroute表示路由建议；52、奖励(r)；53、s42、构建离线数据集；54、s43、使用离线强化学习算法动态调整学习率和重要性采样权重。55、进一步地，所述重要性采样权重还引入动态权重调整，具体表示为：56、57、其中，λ表示调节因子，用于控制validationloss对w_t的影响程度；π(at∣st)表示目标策略下在状态st选择动作at的概率；b(at∣st)表示行为策略下在状态st选择动作at的概率。58、进一步地，所述对数据进行标注具体步骤为：59、对于每一个时间步和位置，使用实际观测到的交通状况来标注奖励；60、使用z-score方法来识别和剔除异常数据；61、对于不常见但重要的事件，进行上采样，用于平衡数据集。62、进一步地，所述奖励函数设计为：63、奖励函数r(s,a)由四个子奖励函数组成，表示如下：64、r(s,a)＝ω1·rflow(s,a)+ω2·rsafety(s,a)+ω3·rmobility(s,a)+ω4·renv(s,a)65、其中，ωi是权重参数，用于调整各个子奖励函数的重要性，i∈[1,2,3,4]；rflow(s,a)表示交通流量奖励；rsafety(s,a)表示交通安全奖励；rmobility(s,a)表示交通流动性奖励；renv(s,a)表示环境影响奖励；66、所述交通流量奖励rflow(s,a)用于量化车流的流畅度，表示如下：67、68、其中，vi是第i条道路上的车速，vmax是道路的最大限速。69、所述交通安全奖励rsafety(s,a)用于量化交通安全状况，表示如下：70、rsafety(s,a)＝-λ·naccidents71、其中，naccidents是近期交通事故的数量，λ是一个惩罚因子；72、所述交通流动性奖励rmobility(s,a)用于量化交通的流动性，表示如下：73、74、其中，d表示道路拥堵程度，d0表示拥堵阈值，k是一个常数；75、所述环境影响奖励renv(s,a)表示量化交通对环境的影响，表示如下：76、77、其中，ei是第i条道路上的排放量；78、为了适应不同的交通场景和目标，引入了一个动态权重调整机制：79、ωi(t+1)＝ωi(t)+η·(performancei-targeti)80、其中，η表示学习率，performance和targeti分别表示第i个目标的当前表现和目标值；ωi(t+1)表示在时间t+1的动态权重。ωi(t)表示在时间t的动态权重。81、进一步地，所述步骤s5包括：82、s51、构建安全边界检测机制：83、计算安全指数sindex，具体如下：84、sindex＝w1·traffic congestion+w2·predicted accidents；85、其中，w1和w2表示权重，用于平衡拥堵和预测事故的影响；traffic congestion表示实时交通拥堵度；predicted accidents表示预测将要发生的交通事故数量；86、s52、根据安全检测的风险程度判断是否进行安全模式的切换；87、s53、根据系统性能自适应调整安全模式的参数：88、wi＝wi×(1-m×(sindex,recent-sindex,target))89、其中，sindex,recent是最近一段时间内sindex的平均值；m是一个小于1的学习率，且m∈η；wi表示数据源i的权重。90、进一步地，还包括：91、s6、通过分析个别用户或车队的历史行为和实时需求，生成个性化的路由规划，用于使个别用户的出行时间和费用最小化。92、进一步地，所述s6具体包括：93、s61、根据收集数据和构建数据结构利用特征工程构建用户画像；94、s62、根据数据源构建分析图神经网络模型判断出行需求；95、s63、利用改进型的离线q学习算法生成个性化路由。96、本发明的有益技术效果至少在于以下几点：97、(1)本发明通过一个高度创新的数据融合与预处理模块，将多源交通数据(如交通流量、天气、节假日等)融合为一个统一的状态表示。然后，系统使用一种特定设计的奖励函数，综合实时交通数据和历史数据，以优化交通流量、减少拥堵和提高道路安全。98、(2)本发明引入了一个实时监控模块，用于检测图神经网络模型输出和交通状态，以及一个个性化路由建议模块，为不同用户或车队提供最优路径。99、(3)本发明的图神经网络模型中嵌入了一个可解释性模块，该模块能够清晰地展示每一个决策背后的主要因素和逻辑。100、(4)在训练图神经网络模型方面采用自适应学习策略，当图神经网络模型在连续几个epoch中性能没有提高时，会自动调整学习率，帮助图神经网络模型跳出局部最优。101、(5)本发明提出的适应数据融合框架：使用基于图神经网络(gnn)的数据融合策略，该框架能够考虑不同数据源之间的关联性，并根据不同交通场景动态调整融合权重。同时具有：捕捉局部与全局依赖性：gnn可以通过多轮的信息传播捕捉局部和全局依赖性，以自适应地调整不同数据源的影响；局部依赖性：对于每个数据源(节点)，gnn考虑与其相邻的数据源(邻居节点)全局依赖性：多轮的信息传播使得每个节点能够间接地受到所有其他节点的影响；动态特征更新：在每一轮迭代中，每个节点的特征都会根据其邻居的特征进行更新。这意味着，如果一个数据源的质量下降，它的影响力会自然地被降低，而其他更可靠的数据源的影响力会增加。当前第1页12当前第1页12