基于TD3算法的电动汽车空调与乘客舱热管理控制方法

本发明属于整车热管理，涉及基于td3算法的电动汽车空调与乘客舱热管理控制方法。

背景技术：

1、电动汽车乘客舱环境的舒适健康与否直接影响着人们的驾驶体验，而好的驾驶体验又可以进一步降低交通事故发生风险，也有利于提高驾驶安全性。乘客舱的舒适温度调节离不开空调，而空调能耗又是电动汽车能耗的重要部分，其对电动汽车续航里程的影响同样很大：相同工况下若开启空调则会使电动汽车续航里程大幅度下降，因此，需要更加精确与智能的控制器对乘员舱热平衡进行调节。

2、实现压缩机转速的精确控制是保障乘员舱温度精确控制的前提。电动汽车压缩机主要以电机带动的方式运行，不受车速和发动机转速影响，控制较为灵活精确。在控制领域中，现如今的控制方法类型多样。现在汽车空调系统主流的控制方法，是基于规则的开关控制器并根据相应的查表的方式进行控制，包括pid控制方法，模糊控制方法，或者结合pid控制和模糊控制的方法等一些较为传统的方法。这些传统的控制方法主要根据系统给予的反馈信号，利用目标值与反馈值的差值进行控制与调节。

3、上述类型的控制方法虽然能够解决对舒适性控制的基本要求，但是对于汽车系统而言，车速变化剧烈，工况多变，单单依靠传统的反馈信号的方式的效果往往具有一定局限性，例如，信号反馈存在时间差，反馈的信号实际是根据前一刻的工况得到的，而后一刻的工况可能与前一刻的工况存在较大的差异，导致根据反馈信号作出的控制与当前实际工况不符，这种控制称为无效控制，由于汽车工况变化的复杂性，这种无效控制将逐步累计并造成不可忽视的能耗。

技术实现思路

1、有鉴于此，本发明的目的在于提供基于td3算法的电动汽车空调与乘客舱热管理控制方法，以舒适温度控制和节能为目标，在更精确地平衡的电动汽车空调与能耗控制的基础上，更好的适应电动汽车实际行驶中复杂的工况，降低控制所消耗的电能。

2、为达到上述目的，本发明提供如下技术方案：

3、包括以下步骤：

4、s1、根据移动边界法和集总参数法建立汽车空调系统的一维仿真模型，所述汽车空调系统包括压缩机，冷凝器，蒸发器和膨胀阀；建立汽车乘客舱系统的动态热模型，并与空调系统模型进行耦合，建立电动汽车空调与乘客舱热耦合模型；

5、s2、建立乘客热舒适性评估计算模型；

6、s3、进行td3算法的设计；

7、s31、对td3算法引入目标策略平滑机制；

8、td3算法如下：

9、

10、

11、

12、其中，y1表示对进行优化，y2表示对进行优化；θi为critic网络参数，为actor网络参数；

13、目标策略更新后的公式为：

14、

15、其中，∈～clip(n(0,σ)代表所添加的噪声服从高斯分布，且噪声的绝对值小于等于超参数c；

16、s32、进行td3算法的智能体设计；选取状态空间元素，所述状态空间元素包括乘客舱温度tcab与目标温度之差的绝对值、pmv值、以及空调能耗；空调能耗包括压缩机能耗eac和换热器风扇能耗tevap,wall；

17、state＝{|tcab-25℃|,pmv,eac,tevap,wall}

18、选取压缩机转速和换热器风扇转速作为智能体的控制动作：

19、action＝{ncomp,nfan}

20、采用主线奖励和辅线奖励结合的方式设计奖励函数，将人体热舒适的重要指标pmv和空调能耗设计为主线奖励；

21、s33、设置td3算法的智能体参数，并进行强化学习训练，当乘客舱温度超过预设高温阈值或低于预设低温阈值时，所述强化学习训练停止；

22、s4、进行智能体训练验证，建立关于汽车空调与乘客舱热耦合模型相匹配的控制策略。

23、进一步，在所述s1中，汽车空调系统的一维仿真模型包括：

24、s11、建立压缩机内制冷剂一维动态模型，表示如下：

25、

26、

27、ηv＝f1(ncomp,pc/pe)

28、ηis＝f2(ncomp,pc/pe)

29、其中，ηv代表压缩机的容积效率，ρr代表压缩机入口处制冷剂的密度，ncomp代表压缩机的转速；vd代表压缩机的排量。hc,o代表压缩机出口处的比焓，hc,i代表压缩机入口处的比焓，his,o代表在等熵压缩下的制冷剂的出口比焓，ηis代表压缩机在等熵压缩条件下的等熵效率；f1代表压缩机容积效率和等熵效率对压缩机进口压差的拟合函数，f2代表压缩机容积效率和等熵效率对压缩机出口压差的拟合函数，pc/pe代表压缩机出入口的压比，其中pc代表冷凝器的压力，pe代表蒸发器的压力；

30、s12、蒸发器建模，对于蒸发器的两相区长度le的变化由下式得到：

31、

32、其中，ρle代表制冷剂的密度，hlge代表制冷剂发生相变吸收的潜热，ae代表蒸发器扁管结构的截面面积，代表制冷剂在蒸发器的两相阶段中平均蒸气比例，代表蒸发器入口的制冷剂质量流量，hge代表制冷剂在蒸发器出口处的焓值，hie则代表制冷剂在蒸发器进口处的焓值，aie代表蒸发器壁面与制冷剂的换热系数，die代表蒸发器管内直径，twe代表蒸发器壁面的温度，tre代表目前压力状态下的制冷剂温度；

33、蒸发器中制冷剂蒸气密度用如下公式表示：

34、

35、其中，le代表蒸发器所有扁管的总长度，ρge代表气体状态下饱和制冷剂的密度，pe代表制冷剂的当下压力，代表蒸发器出口的制冷剂质量流量，蒸发器壁面的温度变化为：

36、

37、aoe＝fp2(nfan)

38、

39、

40、其中，cp代表蒸发器的比热容，m代表蒸发器的质量，ais代表在蒸发器过热阶段中的制冷剂与壁面的换热系数，tie代表入口制冷剂温度，aoe代表蒸发器在空气侧换热系数，其中fp2、nfan分别表示多项式拟合公式和蒸发器风扇的转速，aoe代表蒸发器空气侧的迎风面积，tae代表蒸发器入口周围的环境空气温度，代表空气侧的空气质量流量，cp,air,mix代表空气的比热容，tair,mix代表在混合风门作用后的进入蒸发器的空气的温度，代表乘客舱中的以前的空气质量流量，代表外界环境中的新的空气质量流量，cp,air,cab和cp,air,amb则是二者对应的空气比热；和的和为混合后的总的空气质量流量的计算方式如下：

41、

42、

43、

44、其中，γcycle代表旧风在混合风中所占的循环比例，ρair,cab代表旧风的密度，ρair,amb代表新风的密度，vair代表混合风门的进风总量，其大小受风扇转速影响。

45、s13、冷凝器建模：

46、

47、

48、

49、假定空调系统制冷剂在整个制冷循环管路中没有泄露，则系统中总的制冷剂的质量保持不变，则蒸发器和冷凝器中制冷剂总的质量视为常数，故有：

50、

51、其中，ρlc为冷凝器中液体制冷剂的密度，hlgc为冷凝器中制冷剂的气化潜热，ac为冷凝器的扁管微通道总的截面积，为冷凝器两相区的平均空隙率，hgc、hlc和hic分别表示在当前压力下冷凝器中气体、液体以及进口制冷剂的比焓值，aic是两相区中冷凝器内壁与制冷剂间的换热系数，dic冷凝器扁管内部的直径，twc为冷凝器壁面温度，trc是冷凝器当前压力下制冷剂的饱和温度，lc是冷凝器扁管的总长度，(cpm)wc表示冷凝器材料的比热和的质量，aoc是空气与冷凝器壁面间的换热系数，aoc为冷凝器的迎风面积，tac是当前冷凝器周围的环境温度，∑表示常数；

52、在汽车行驶中，冷凝器外部风速受车速影响，aoc与车速的关系为：

53、aoc＝fp2(vcar)

54、其中，vcar为车速，为仅受驾驶员操作控制的扰动输入；

55、s14、膨胀阀建模，动态过程中，通过膨胀阀制冷剂质量流量与其膨胀阀压降δp的关系为：

56、

57、其中，cq为膨胀阀的流量系数，ρv为通过膨胀阀入口处的制冷剂密度，av为膨胀阀的流通面积，δp为压降，即膨胀阀入口与出口压差。

58、进一步，在所述s1中，建立汽车乘客舱系统的动态热模型并与空调系统模型耦合具体为：

59、汽车乘客舱的总热负荷表示为：

60、

61、在行车期间，车舱与外界对流换热量受车速vcar和环境温度tac影响，且不受控制器控制的输入扰动，在换热模型中，由下式计算：

62、

63、其中ts为乘员舱外围的结构的温度，基于能量守恒定律，外围结构的温度的动态变化为：

64、

65、乘员舱的空气温度动态变化表示为：

66、

67、其中，为车身表面结构的换热，为太阳辐射热负荷，为通风引起的热负荷，为人体热负荷，为机械和仪表热负荷，tcab为乘客舱的温度，为单位时间空调系统传入客舱的制冷量，ma为乘客舱体积范围内的空气质量，cpa为空气比热，ho是外部车舱外围结构外侧与空气侧的换热系数，由车速决定，s为乘客舱外表面结构的总的表面积，hi为乘客舱内表面与空气的换热系数，ms和cps分别是车舱外围封闭结构的质量和比热。

68、进一步，所述乘客热舒适性评估计算模型包括pmv计算器、学习调节器和tcomfort计算器；

69、所述pmv计算器模块用来计算人们的舒适温度预测平均评价值，pmv的计算公式如下：

70、pmv＝(0.303e-0.036m+0.028)×(m-φ1-φ2-φ3-φ4-φ5-φ6)

71、其中，m代表人体新陈代谢，此处设定乘客的代谢率为1，驾驶者的代谢率为1.5；φ1～φ6的具体计算方式为：

72、φ1＝3.05e-3+5733-6.99m-pw

73、

74、φ3＝1.7e-5m(5867-pw)

75、φ4＝1.4e-3m(34-tcab)

76、φ5＝3.96e-8fcl[(tcl+273)4-(tr+273)4]

77、φ6＝fclhc(tcl-tcab)

78、其中，hc的计算方式为：

79、

80、

81、tcl＝35.7-0.028m-icl(φ5+φ6)

82、其中，pw代表水蒸气分压力，tcab和tr分别代表乘客舱内温度和驾驶室内的平均辐射温度，hc代表人体表面的换热系数，tcl代表人的衣服表面温度，icl代表衣服的热阻，va代表车内空气的流速；

83、所述学习调节器通过分析以往人们对温度调节的数据，计算n次人为调整温度后的pmv平均值：

84、

85、其中，i为表示人为调节次数的调节序号，n代表pmv适应性采样周期，当n超出n时，pmva按n次pmv平均值来计算；

86、所述tcomfort计算器用来根据pmva值计算出此时舒适的目标温度tcomfort。

87、icl在夏季高温状态该值大小一般为0.7；由于在热舒适的计算中湿度影响较小，故湿度设置为50％。

88、进一步，在所述s32中，所述主线奖励为：

89、

90、其中，α,β为目标权重系数，α大于β，反映了奖励函数对热舒适性和节能性的重视程度，m,n为比例系数；

91、所述辅线奖励为：

92、

93、

94、其中，i,j,p,q为比例系数，其中，i,j,p,q为比例系数，tev,wall为换热风扇能耗，tcab为乘客舱温度，ttarget为目标温度。

95、进一步，所述智能体参数包括高斯动作探索噪声模型参数、目标网络参数和训练参数；所述高斯动作探索噪声模型参数包括标准偏差、衰减速率和衰减最小值，所述目标网络参数包括更新频率和平滑因子，所述训练参数包括经验池样本数、软更新参数、折扣因子、actor网络学习率、critic网络学习率和最小样本集样本数。

96、进一步，在所述s4中，所述智能体训练验证具体包括：

97、s41、通过回报动态曲线图观察其每一步的实际回报、平均回报以及预测回报的变化；

98、s42、选取实际回报最高的智能体训练算例，在仿真测试后进行分析；

99、s43、判断智能体训练是否同时满足所有合格标准，若是，则训练合格，若否，则训练不合格；

100、s44、根据训练不合格的智能体及相关训练结果进行分析，重新调整控制动作、观测状态和奖励函数；

101、s45、进行超参数调优，然后重新训练。

102、进一步，在所述s43中，所述合格标准包括：训练过程中的累加折扣奖励和是否有收敛趋势；控制动作是否有变化过程；pmv值是否能始终处在人体舒适区间。乘客舱温度是否在预设时间内逐渐降到目标温度。

103、本发明的有益效果在于：

104、在控制中，将搭建的汽车空调与乘客舱热耦合模型作为强化学习算法的训练环境，设计了一种基于td3算法并结合乘客热舒适性计算方法的空调与乘客舱热管理智能控制策略。在对强化学习智能体设计中，采用了主线奖励与辅线奖励相结合的奖励函数，通过训练学习、验证分析后的td3控制策略可以随外界环境变化根据乘客热舒适性计算的pmv值自动地调节乘客舱温度以保证人体的热舒适性，有效保护了乘客和驾驶员的热舒适性，并实现了空调系统安全、节能、健康的智能自动调节，使得整个空调控制更为人性化，智能化。

105、具体优点有：

106、(1)选用td3算法通过选取critic网络对动作价值函数估计最小值的方法有效抑制了过估计问题；使用网络延迟更新保证了actor网络训练的稳定性；加入的探索噪声有效提高了算法的收敛性；

107、(2)建立了乘客热舒适性评估计算模型。利用该模型，当车辆在行驶过程中时，可以较为准确地实时地估计生成出乘客的热偏好温度并计算出此时乘客的热舒适程度，以便智能体能更高效的学习到好的控制策略。

108、(3)采用主线奖励与辅线奖励相结合的奖励设计方式对智能体进行训练学习，有效地实现了目标与算法之间的沟通交流，利于智能体策略的学习，使智能体的回报在1000次训练左右就能快速进入收敛状态。

109、相较于现有的反馈控制算法，本发明通过改良后的td3算法与乘客热舒适性评估计算模型结合，更精确地平衡的电动汽车空调与能耗控制，控制更加智能高效，从而更好的满足电动汽车实际驾驶中复杂的工况，增强智能网联汽车热管理系统的节能化控制，减少无效控制出现的次数。

110、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。