一种混动车辆能量管理及协同控制方法、系统及应用

1.本发明属于混动车辆能量管理技术领域，尤其涉及一种多模混动车辆、能量管理及协同控制方法、多模混动车辆能量管理及多动力协同系统、接收用户输入程序存储介质、计算机设备、多模混动车辆。


背景技术：

2.对于多模混动车辆，为保证其动力性及燃油经济性要求，根据不同的运行工况，通常需要涉及模式切换，以及不同模式下的自适应能量管理与协同控制问题。传统相关技术存在以下不足：1）模式切换方面。现有的模式切换策略常常是基于确定性规则、模糊规则或在线优化的，基于规则的算法对于特定的传动系统及行驶工况能够实现较好的表现，但其泛化及自适应能力存在显著缺陷；模糊规则虽然能够在一定程度上提高确定性规则在泛化能力上的不足，然而其最优性仍然更多的依赖于人为经验，相比于优化算法最优性有所欠缺；最优性算法能够实现全局或局部的最优，然而其常用的方法，诸如动态规划、庞特里亚金极小值原理等方法，求解速率较慢，成为了制约其实时应用的瓶颈。
3.2）能量管理方面。当前，众多优化算法被研究者作为求解器用来设计基于模型预测控制的能量管理策略。mpc的滚动优化机制在极大程度的提高了能量管理策略的稳定性及最优性，然而面对滚动优化带来的计算量问题，算法的实时性仍然是亟待解决的关键难题；3）协同控制方面。当前的能量管理方法和系统在设计过程中，通常忽略了发动系统内部各组件的动态响应特性，这导致机电复合传动下层动力部件无法快速跟随上层能量管理策略优化控制指令，从而影响上层优化能量管理策略控制效果的问题。
4.通过上述分析，现有技术存在的问题及缺陷为：（1）在现有多模混动车辆能量管理技术中，求解实时性与最优性的权衡问题难以得到有效解决，使得基于自适应模式切换的能量管理效果较差。
5.（2）现有技术没有充分考虑传动系统内部各组件响应特性，对来自整车级的能量管理控制没有进行底层修正，使得下层动力部件无法快速跟随上层能量管理策略优化控制指令而导致的控制效果下降。


技术实现要素：

6.为克服相关技术中存在的问题，本发明公开实施例提供了一种多模混动车辆、能量管理及协同控制方法、系统、接收用户输入程序存储介质及计算机设备。
7.所述技术方案如下：一种多模混动车辆能量管理及协同控制方法包括：利用q学习算法作为最优控制参考规划器，进行多模混动车辆能量管理中模式切换的实时规划；基于获取的实时规划，利用sqp算法将由插值所获取的最优控制量相邻网格值作
为对应sqp算法优化的上下限约束，并将此最优控制量作为sqp算法的初始解，使多模混动车辆能量管理中进行自适应模式切换的同时，实时进行最优能量管理；并发出优能量管理控制指令；充分考虑混动车辆传动系统内部各组件动态响应特性，对获取的最优能量管理控制指令进行修正，使多模混动车辆的传动系统内部各组件响应特性与修正后的最优能量管理控制指令同步。
8.在一个实施例中，所述利用q学习算法作为最优控制参考规划器前，还需进行多尺度概率转移矩阵获取：基于多步概率转移矩阵进行多尺度速度预测，多步概率转移矩阵由个状态转移矩阵组成，为速度预测模块预测域的长度；n时刻各转移概率的计算公式如下：；若n时刻系统状态为i时，则t时刻后，系统状态转移到j的概率为；基于n时刻各转移概率的计算公式获取的多步概率转移矩阵，利用实现对于未来的速度预测；其中，为系统当前速度，即为对应t时刻的预测速。
9.在一个实施例中，所述进行多模混动车辆能量管理中模式切换的实时规划包括：离线学习与在线应用；所述离线学习包括：建立多模混合动力车辆能量管理模型，根据多模混合动力车辆能量管理模型将电池soc选取为q学习算法状态变量，取值范围内进行离散化处理，则，其中等于soc下限值，等于发动机功率上限值；所述在线应用包括：在车辆实际行驶过程中将获取的未来预测速度与需求功率序列、系统初始状态变量作为训练所获取的控制率map的输入，通过查表得方式获取最优及次优控制参考序列。
10.在一个实施例中，在离线学习中，选取发动机输出功率、动力电池电流、运行模式选取为q学习算法动作变量，即，并确定动作变量上下限，进行离散化处理，将发动机功率p在其上下限范围内利用线性插值将其离散为多个点，则，其中等于发动机功率下限值，等于发动机功率上限值；，而，对应该车辆的3种传动模式；对所选状态参数进行归一化处理；
调整发动机与电池的能量分配关系使车辆动力性的同时提高车辆燃油经济性并保持电池soc稳定，将q学习算法中反馈奖励设置为，其中，为车辆的瞬时燃油消耗率，其值的大小与发动机转矩转速存在映射关系，为参考soc；然后将训练工况，以及所选取的状态变量、动作变量、反馈奖励输入嵌入混动车辆能量管理模型的q学习算法，迭代训练直至算法收敛；最终输出最优控制率，并以多维图表的形式呈现，当给定车辆需求功率、行驶速度、soc则通过插值查表的形式获取车辆在该状态下对应的最优控制量。
11.在一个实施例中，所述使多模混动车辆能量管理中进行自适应模式切换的同时，实时进行最优能量管理包括：将车辆行驶状态输入获取的控制率中，通过插值查表的方式获取该状态下对应的最优控制量、和最优运行模式，同时，将离散化网格中与最优控制量相邻的控制量定义为次优控制量，分别表示为和，其中将作为后续sqp算法求解mpc问题时待优化量的上限，作为待优化量的下限；对于同理得到次优控制量和；不同运行模式对应不同的传动系统参数，确定最优运行模式后，构造基于模型预测控制的能量管理表达式：调用sqp算法对基于模型预测控制的能量管理表达式进行求解，将获取的最优控制量和设置为求解时的初始值，将次优控制量、、和作为所求控制量的边界条件，最优控制量和为上限约束，次优控制量、、和为下限约束，进行求解。
12.在一个实施例中，所述对获取的最优能量管理控制指令进行修正包括：利用二阶惯量模型表征发动机响应特性，用一阶惯量模型表征电机响应特性，利用pid控制器作为多动力协同模块的控制器，将求解的发动机转矩命令与实际发动机转矩进行差值比较，将差值作为多动力协同控制模块输入，输出修正后的发动机转矩命令；再将此命令作为车辆的控制输入，对车辆状态进行更新，更新的状态反馈至控制器中，作为初始状态值进行下一时刻的迭代优化，如此循环反复实现实时的最优能量管理。
13.本发明的另一目的在于提供一种多模混动车辆能量管理及多动力协同系统，实施所述的多模混动车辆能量管理及协同控制方法，所述多模混动车辆能量管理及多动力协同系统包括：基于强化学的模式切换规划模块，用于利用强化学习方法，结合混动车辆动力性
及燃油经济性，实时模式切换及最优控制参考规划；基于快速sqp求解的模型预测控制模块，用于结合基于强化学的模式切换规划模块提供的模式切换规则及最优控制参考，实时稳定的能量管理；多动力转矩协同模块，用于结合传动系统内部各组件实际响应特性，对基于快速sqp求解的模型预测控制模块获取的控制命令进行修正，使多模混动车辆的传动系统内部各组件响应特性与修正后的最优能量管理控制指令同步。
14.本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述的多模混动车辆能量管理及协同控制方法。
15.本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的多模混动车辆能量管理及协同控制方法。
16.本发明的另一目的在于提供一种多模混动车辆，所述多模混动车辆执行所述的多模混动车辆能量管理及协同控制方法。
17.结合上述的所有技术方案，本发明所具备的优点及积极效果为：第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：1）q学习算法的维数灾问题是其一大痛点，即由于q学习算法所获取控制率的最优性受其网格划分的精细程度的影响，网格划分过于稀疏的情况下虽然算法训练速度快，然而其最优性将受到显著影响；网格划分较密虽然可以有效提高算法最优性，但算法训练的计算量以及控制map所占设备内存将会呈指数倍增加，影响其进行实车应用。因此本发明通过将其作为最优控制参考规划器，而不直接作为能量管理策略的基础算法，在为后续提供控制参考提高算法效率的同时又成功规避了上述问题带来的影响。
18.2）sqp算法作为基于mpc的能量管理策略的求解算法，常常由于其求解效率低而难以实现实时的能量管理，并且sqp算法的初值如何设定对算法求解速率以及优化结果影响很大。因此本发明通过将q学习与sqp算法结合，将由插值所获取的最优控制量相邻网格值作为对应步sqp算法优化的上下限约束，并将此最优控制量作为sqp算法的初始解x0，代替原有算法依赖于随机初值所可能带来的无解、局部最优、求解速率慢、实时性难以满足等问题，从而使得算法在最优性及实时性上得到巨大改进，并且使其实现自适应模式切换的同时，完成实时最优的能量管理。
19.3）本发明通过引入多动力转矩协同模块，充分结合传动系统内部各组件响应特性，对来自整车级的能量管理控制进行了底层修正，有效解决了由于下层动力部件无法快速跟随上层能量管理策略优化控制指令而导致的控制效果下降问题，显著改善了发动机响应延迟对能量管理策略优化效果的影响。
20.第二，把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：本发明提出一种面向多模混动车辆的能量管理及多动力协同方法与系统，包含自适应在线模式规划模块、实时能量管理模块以及多组分协同控制模块，旨在实现多模混动车辆最优能量管理与协同控制。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
22.图1是本发明实施例提供的多模混动车辆能量管理及多动力协同系统示意图；图2是本发明实施例提供的多模混动车辆能量管理及多动力协同方法流程图；图3(a)是本发明实施例提供的利用多步概率转移矩阵5s后状态对应的转移概率；图3(b)是本发明实施例提供的利用多步概率转移矩阵10s后状态对应的转移概率；图3(c)是本发明实施例提供的利用多步概率转移矩阵15s后状态对应的转移概率；图3(d)是本发明实施例提供的利用多步概率转移矩阵20s后状态对应的转移概率；图4是本发明实施例提供的多模混动车辆能量管理及多动力协同方法原理图；图中：1、基于强化学的模式切换规划模块；2、基于快速sqp求解的模型预测控制模块；3、多动力转矩协同模块。
具体实施方式
[0023] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0024]
实施例1本发明实施例提供一种多模混动车辆能量管理及多动力协同系统包括：基于强化学的模式切换规划模块1。利用强化学习方法，充分结合混动车辆动力性及燃油经济性，实现实时模式切换及最优控制参考规划；基于快速sqp求解的模型预测控制模块2。结合基于强化学的模式切换规划模块1提供的模式切换规则及最优控制参考，实现实时稳定的能量管理；多动力转矩协同模块（底层多动力转矩协同模块）3。结合传动系统内部各组件实际响应特性，对能量管理策略获取的控制命令进行修正，解决多动力高效协同问题。
[0025]
实施例2利用实施例1提供的多模混动车辆能量管理及多动力协同系统，如图2所示，本发明该实施例提供一种多模混动车辆能量管理及多动力协同方法包括以下步骤：s101，多尺度概率转移矩阵获取：基于markov多步概率转移矩阵进行多尺度速度预测，多步概率转移矩阵由个状态转移矩阵组成，即为速度预测模块预测域的长度。而n时刻各转移概率的计算公式如下，
ꢀꢀ
（1）其代表若n时刻系统状态为i时，则t时刻后，系统状态转移到j的概率为。基于
公式（1）获取的多步概率转移矩阵，利用公式（2）即可实现对于未来的速度预测，
ꢀꢀ
（2）其中，为系统当前速度，即为对应t时刻的预测速度。在本发明实施例中，将多种标准工况组合构造成一个总长度为ntotal混合工况，从混合工况中根据预测步长np（np=1,2,
…
,20s）提取训练样本，所得训练样本为，其中n=1,2,
…
,ntotal，一组训练样本用以训练一个概率转移矩阵，根据公式（1）计算预测步长为np时对应的概率转移矩阵，最终能够获得20个概率转移矩阵，部分结果如图3(a)为5s后状态对应的转移概率，图3(b)为10s后状态对应的转移概率，图3(c)为15s后状态对应的转移概率，图3(d)为20s后状态对应的转移概率所示。
[0026]
基于本发明实施例提供的多尺度概率转移矩阵获取，取得的效果为：构造混合工况并提取训练样本，利用工况（如速度）的马尔可夫特性通过公式（1）计算工况所对应的多尺度概率转移矩阵，而后以车辆速度为模块输入，通过公式（2）即可获得所预测的未来速度序列。即以训练工况作为输入，概率转移矩阵作为输出。该转移矩阵有两个用途，一是作为速度预测器用来预测未来速度序列，二是用于后续q学习算法的训练。
[0027]
s102，利用q学习算法，实现模式切换的实时规划，即基于q学习的基于强化学的模式切换规划模块1构建。主要分为两个阶段，即离线学习与在线应用。
[0028]
离线学习阶段：建立多模混合动力车辆能量管理模型，根据模型特性将电池soc选取为q学习算法状态变量，根据电池特性设定soc初值以及变化上下限，并利用线性插值对其在上下限取值范围内进行离散化处理，则，其中等于soc下限值，等于发动机功率上限值。
[0029]
选取发动机输出功率、动力电池电流、运行模式选取为q学习算法动作变量，即，并确定动作变量上下限，进行离散化处理，将发动机功率p在其上下限范围内利用线性插值将其离散为20个点，则，其中等于发动机功率下限值，于发动机功率上限值；同理，，而，对应该车辆的3种传动模式；对所选状态参数进行归一化处理；调整发动机与电池的能量分配关系使车辆动力性的同时提高车辆燃油经济性并保持电池soc稳定，将q学习算法中反馈奖励设置为，其中，为车辆的瞬时燃油消耗率，其值的大小与发动机转矩转速存在映射关系，为参考soc；然后将训练工况，以及所选取的状态变量、动作变量、反馈奖励输入嵌入混动车辆能量管理模型的q学习算法，迭代训练直至算法收敛；最终输出最优控
制率，并以多维图表的形式呈现，当给定车辆需求功率、行驶速度、soc则通过插值查表的形式获取车辆在该状态下对应的最优控制量。
[0030]
在线应用阶段：在车辆实际行驶过程中将步骤s101所获取的未来预测速度与需求功率序列、系统初始状态变量作为训练所获取的最优控制率map的输入，通过查表的方式获取最优及次优控制参考序列，为后续模型预测控制中sqp算法提供初始解及其约束。
[0031]
s103，构建模型预测控制器，设计快速sqp求解算法，实现实时能量管理；即构建基于快速sqp求解的模型预测控制模块2（sqp-mpc）。
[0032]
将车辆行驶状态输入步骤2所获取的控制率中，通过插值查表的方式获取该状态下对应的最优控制量、和最优运行模式，同时，将离散化网格中与最优控制量相邻的控制量定义为次优控制量，分别表示为和，其中前者将作为后续sqp算法求解mpc问题时待优化量的上限，而后者作为待优化量的下限；对于同理可得次优控制量和。此外，不同运行模式对应不同的传动系统参数，确定最优运行模式后，构造基于模型预测控制的能量管理问题，其本质是一个优化问题，表达如下：调用sqp算法对其进行求解，在每个仿真瞬时算法求解一次，由于sqp算法求解过程中待优化控制量的猜测值及其上下限对算法的最优性、求解速率具有很大的影响，因此本方案针对此问题设计一种改进的快速sqp求解方法，即将上述步骤中获取的最优控制量和设置为sqp算法求解时的初始值，将次优控制量、、和作为算法所求控制量的边界条件，前两者为上限约束，后两者为下限约束，从而实现快速准确的求解。
[0033]
s104，设计多动力转矩协同控制策略，实现多动力高效协同控制，即构建多动力转矩协同模块3对最优控制指令进行底层修正。
[0034]
由于实际车辆传动系统在运行过程中发动机及电机等各动力部件皆存在响应延迟的作用，而处于整车优化控制层面的能量管理策略忽略了这一实际车辆特性，导致能量管理策略在实际应用时常常出现各部件无法按既定策略实施底层控制。
[0035]
实施例3基于实施例2提供的多模混动车辆能量管理及多动力协同方法中记载的步骤s103，本发明实施例以车辆当前状态作为控制map的输入，输出最优控制参考值，和该值在网格对应点位相邻点位的参考值，即次优参考值；再将车辆状态、最优和次优参考作为模型预测控制器的输入，通过快速sqp算法求解最优控制指令。
[0036]
实施例4基于实施例2提供的多模混动车辆能量管理及多动力协同方法中记载的步骤
s104，本发明实施例设计了底层多动力转矩协同模块3，结合各组件响应特性，用二阶惯量模型来表征发动机响应特性，用一阶惯量模型表征电机响应特性，设计pid控制器作为多动力协同模块主要控制器，而后将模型预测控制策略求解的发动机转矩命令与实际发动机转矩做差，将二者的差值作为多动力协同控制模块输入，输出修正后的发动机转矩命令。最终，将此命令作为车辆的控制输入，从而对车辆状态进行更新，更新的状态反馈至控制map中，作为初始状态值进行下一时刻的迭代优化，如此循环反复实现实时的最优能量管理。
[0037]
实施例5利用实施例1提供的多模混动车辆能量管理及多动力协同系统，如图4所示，本发明该实施例提供一种多模混动车辆能量管理及多动力协同原理。
[0038]
实施例6本发明实施例提供一种多模混动车辆，所述多模混动车辆执行上述实施例所述的多模混动车辆能量管理及协同控制方法。
[0039]
应用实施例：上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0040]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0041]
应用例1本发明实施例还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
[0042]
应用例2本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
[0043]
应用例3本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
[0044]
应用例4本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
[0045]
应用例5本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行
时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
[0046]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。
[0047]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0048]
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。