一种基于强化学习的智能电网虚假数据注入攻击检测方法与流程

技术特征：

1.一种基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，所述方法包括以下步骤：

步骤一：建立电网的一般线性模型，

步骤二：虚拟攻击获得样本，

步骤三：观察值获取，

步骤四：使用ε贪婪策略得到t时刻检测器动作at：

步骤五：使用sarsa算法进行训练，

步骤六：重复步骤一到步骤五直到到达阶段最大检测时间t，或与中有as出现；

步骤七：重复步骤一到步骤六直到将总样本数e用尽，得到完整q^d表与q^s表；

步骤八：检测，判断系统是否受到直接虚假数据注入攻击。

2.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，

步骤一：建立电网的一般线性模型：

xt＝axt-1+vt(1)

yt＝hxt+wt(2)

其中xt＝[x1,t,…,xn,t,…,xn,t]为t时刻系统状态，xn,t表示为t时刻第n个节点上的相角，n表示系统的总状态数；t时刻测量值表示为yt＝[y1,t，…,ym,t,…,ym,t]，ym,t表示为t时刻第m个测量仪表的检测值，m表示总测量仪表值；为状态转移矩阵，为由电网拓扑结构决定的雅克比矩阵，表示实数集；表示t时刻系统噪声，表示过程噪声的方差，其值由系统决定，in表示n维单位矩阵；表示t时刻测量噪声，表示测量噪声的方差，其值测量设备决定，im表示m维单位矩阵。

3.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，

步骤二：虚拟攻击获得样本：对于直接攻击可以使用式(3)获得受攻击的测量值，对于隐匿攻击可以使用式(4)获得受攻击的测量值，

式中at表示t时刻直接攻击的攻击向量，hct表示隐匿攻击的攻击向量，由于h不会随着时间改变，因此使用ct表示隐匿攻击攻击向量，at与ct在样本训练中已知，在实际检测中未知，τ为系统受到攻击时间，表示阶跃函数，即当有t≥τ时

4.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，

步骤三：观察值获取：计算测量值yt与其估计值的残差模长，将其用作直接虚假数据注入攻击的检测，将当前检测值yt与上一时刻的检测值yt-1的残差模长作为隐匿虚假数据注入攻击的检测，使用阈值分割法对两个模值进行程度划分，分别得到直接虚假数据注入攻击即时观察值与隐匿虚假数据注入攻击即时观察值，使用滑窗法将两个即时观察值更新至观察值中，分别得到对应时间的直接虚假数据注入攻击观察值与隐匿虚假数据注入攻击观察值。

5.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，

步骤四：使用ε贪婪策略得到t时刻检测器动作at：将系统划分为两个状态，分别为sn系统未受到攻击与sa系统受到攻击，将检测器动作也分为两个状态as为算法认为系统受到攻击发出警报，ac表示算法认为系统未受到攻击不发出警报，在t时刻得到直接攻击检测观察值与隐匿攻击检测观察值使用贪婪策略基于直接虚假数据注入攻击检测的q表qⁿ与隐匿虚假数据注入攻击检测的q表q^s对检测器动作进行选择，ε贪婪策略即检测器以概率1-ε选择最优动作、以概率ε随机选择动作，ε每d步更新一次，更新公式如式(5)所示

ε＝max(ε-e^-1,εmin)(5)

式中e为当且已经进行使用的样本值，εmin为人为设置的最小ε值。

6.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，

步骤五：使用sarsa算法进行训练，使用式(4)更新q表，

式中含有上角标i的参数表示用于检测i类型攻击的参数，i＝n或s，即当i＝n时表示该参数用于检测直接攻击，当i＝s表示该参数用于检测隐匿攻击，qⁱ为检测i类型攻击所需要的q表，为t时刻用于检测i类型攻击的观察值，为t时刻得到后对于i类型攻击可以采取的动作，α为学习效率，γⁱ为针对i型攻击训练的贴现因数，为t时刻用于检测i型攻击的状态为动作为时的回报，其取值如式(7)所示，

式中r0与b为预先确定的超前警报回报值与滞后警报回报值系数，为t时刻i类型检测的系统状态。

7.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，步骤六：重复步骤一到步骤五直到到达阶段最大检测时间t，或与中有as出现。

8.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，步骤七：重复步骤一到步骤六直到将总样本数e用尽，得到完整q^d表与q^s表。

9.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，步骤八：在检测时，使用步骤一到步骤三得到观察值与使用式(8)分别根据q^d表与q^s表获得动作与当两个动作值均为ac时重复本步骤，直到与有一个为as时停止检测发出警报，当为as时认为系统受到直接虚假数据注入攻击，当为as时认为系统受到直接虚假数据注入攻击，

10.根据权利要求1所述的基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，所述步骤三通过以下子步骤来实现：

(3.1)设置阈值：根据不同的电网结构分别设置直接虚假数据注入攻击阈值与隐匿虚假数据注入攻击阈值

(3.2)获得检测值：从各个检测仪表获得t时刻检测值yt，调用t-1时刻检测值yt-1；

(3.3)实用卡尔曼滤波估计检测值：使用式(9)与式(10)所示的最小二乘算法得到t时刻状态估计值使用式(11)计算得到t时刻测量估计值

式中为测量值偏差的方差矩阵；

(3.4)计算偏差模方值：使用式(12)和(13)分别计算t时刻测量值与估计值的偏差模方值和t时刻与t-1时刻变化的模方值

(3.5)使用阈值分割法获得即时观察值：由与可根据式(14)得到直接虚假数据注入攻击与隐匿虚假数据注入攻击的即时观察值与

由于阈值分割方法一致，因此依旧使用上角标i代替上角标n和上角标s，即式(14)中i可以同时为n或s；

(3.6)使用滑窗法获得观察值：令t-1时刻直接虚假数据注入攻击观察值为隐匿虚假数据注入攻击观察值为使用滑窗法即为将对应的t时刻即时观察值加入至t-1时刻的观察值，再将最旧的即时观察值剔除，可得到t时刻的直接虚假数据注入攻击观察值为隐匿虚假数据注入攻击观察值为

技术总结
本发明公开了一种基于强化学习的智能电网虚假数据注入攻击检测方法，该方法基于Sarsa算法的虚假数据注入攻击的检测方法，将攻击分为直接虚假数据注入攻击与隐匿虚假数据注入攻击进行分别检测。在观察值构造上上，直接虚假数据注入攻击检测将残差法与阈值分割结合，隐匿虚假数据注入攻击将测量值的差值范数与阈值分割结合分别得到观察值。使用观察值训练分别得到Q表，使用Q表实现对攻击的检测。本设计实现了隐匿攻击的快速检测，增加了检测速度与成功率，其实现方法简单，检测效率能够有显著提升。

技术研发人员：吴争光;张阔
受保护的技术使用者：群智未来人工智能科技研究院(无锡)有限公司
技术研发日：2021.05.01
技术公布日：2021.08.17