基于智能演化博弈的网络攻防策略选取方法及系统

本发明属于网络安全，特别涉及一种基于智能演化博弈的网络攻防策略选取方法及系统。

背景技术：

1、当前网络安全形势日益严峻，网络攻击正朝着智能化、组合化、隐蔽化方向不断发展，越来越多的安全事件对网络空间安全造成了极大的破坏。网络攻防博弈对抗局势愈演愈烈，网络防御也正从被动防御向主动防御不断演进，但是网络安全态势的不对称性仍尤为显著，对于攻击者而言，具有充分的信息、成本和时间优势，可以利用尽可能小的代价造成尽可能大的攻击破坏；而对于防御者而言，疲于应对攻击者固有的各方优势，必须采用尽可能小的成本获取尽可能大的防御收益。博弈论提供一种分析决策理论工具，已经在网络空间安全领域取得了长足的应用，而基于博弈理论研究网络攻防决策已经成为当前的研究热点，因此，通过分析网络攻防行为可以帮助网络安全运维人员提高网络信息系统的防护能力，有助于网络安全运维人员把控网络安全态势，及时科学地实施网络防御策略，从而扭转当前网络空间安全“易攻难守”的不对称态势。

2、当前网络攻防博弈决策已经发展到非完全理性博弈决策，目前主流的方法主要分为两类，一类是基于演化博弈的网络攻防决策方法，一类是基于强化学习的网络攻防决策方法。基于演化博弈的网络攻防决策方法在无线传感器网络(wireless sensor networks,wsn)中得到了广泛的应用，该类侧重于为防御者提供策略选取指导，但大都基于复制动态方程求解最优策略，策略寻优过程与实际网络攻防过程并不相符，大大降低了应用价值与实际意义。基于强化学习的网络攻防决策方法在车联网、云环境、智能电网、自组织网络等场景中取得了极大的研究进展，但大都基于markov决策过程，根据未来收益的预期折现，基于值函数进行确定性策略选取，决策收敛性较差，会存在策略退化的现象，不适用于高维连续动作空间。

技术实现思路

1、为此，本发明提供一种基于智能演化博弈的网络攻防策略选取方法及系统，将演化博弈与遗憾最小化算法相结合，解决现有技术中网络攻防实际应用中受限的情形。

2、按照本发明所提供的设计方案，提供一种基于智能演化博弈的网络攻防策略选取方法，包含如下内容：

3、通过分析网络场景脆弱性信息来获取攻防策略集，结合有限理性博弈情境构建网络攻防演化博弈决策模型，并依据模型来获取攻防双方不同策略组合的攻防收益；

4、在攻防博弈过程中，依据双方未实施策略的收益及当前实施策略收益来设置遗憾值，利用策略权值和策略期望收益损失并基于遗憾最小化rm算法来构建攻防智能体各自实施策略的概率方程，联合攻防双方的概率方程构造攻防双方博弈过程决策选取的微分方程组；

5、通过对微分方程组进行演化均衡求解来获取攻防双方最优策略。

6、作为本发明中基于智能演化博弈的网络攻防策略选取方法，进一步，通过分析网络场景脆弱性信息来获取攻防策略集之前，还包含：利用漏洞扫描工具来获取网络场景的脆弱性信息。

7、作为本发明中基于智能演化博弈的网络攻防策略选取方法，进一步地，结合有限理性博弈情境构建的网络攻防演化博弈决策模型利用五元组(n,d,π,s,u)表示，其中，n表示攻防博弈局参与人集合，d表示攻防博弈策略空间，π表示攻防博弈策略选取概率集合，s表示攻防博弈状态集合，u表示攻防博弈收益矩阵集合。

8、作为本发明中基于智能演化博弈的网络攻防策略选取方法，进一步地，利用策略权值和策略期望收益损失并基于遗憾最小化rm算法构建攻防智能体各自实施策略的概率方程：首先，依据策略期望收益设置攻防博弈时策略权值；然后，基于遗憾最小化rm算法将策略选取过程建模为其中，表示防御者在时刻t攻防博弈时策略dsj所具有的权值，表示防御者在时刻t选取攻防博弈策略dsj的概率，表示攻击者在时刻t攻防博弈时策略asj所具有的权值，表示攻击者在时刻t选取攻防博弈策略asj的概率。

9、作为本发明中基于智能演化博弈的网络攻防策略选取方法，进一步地，依据策略期望收益设置的攻防博弈时策略权值表示为其中，λ为学习能力参数，为防御者在时刻t-1攻防博弈时实施策略dsj时的损失函数，为攻击者在时刻t-1攻防博弈时实施策略asj时的损失函数。

10、作为本发明基于智能演化博弈的网络攻防策略选取方法，进一步地，攻防双方的损失函数由攻防双方中各自所有单个策略期望收益中的最大值和其攻防博弈时刻实施各自对应策略的期望收益的差值来表示。

11、作为本发明基于智能演化博弈的网络攻防策略选取方法，进一步地，攻防双方博弈过程决策选取的微分方程组表示为其中，a和b分别表示攻防双方的收益矩阵，概率向量p为所有纯攻击策略选取概率元素组成的向量，概率向量q为所有纯防御策略选取概率元素组成的向量，pi表示选取攻击策略asi的概率，dpi/dt表示选取策略asi的概率随时间的变化率，(aq)i表示策略asi的期望收益，ptaq表示攻击策略集的平均收益；qj表示选取防御策略dsj的概率，dqj/dt表示选取策略dsj的概率随时间的变化率，(bp)j表示防御策略dsj的期望收益，qtbp表示防御策略集的平均收益，λ为学习能力参数，k表示所有单个策略期望收益中的最大值策略标记。

12、作为本发明基于智能演化博弈的网络攻防策略选取方法，进一步地，通过对微分方程组进行演化均衡求解来获取攻防双方最优策略中，通过遗憾值的学习来更新策略选取概率及策略在策略集中的权重，依据更新后的权重来选取最优策略。

13、进一步地，本发明还提供一种基于智能演化博弈的网络攻防策略选取系统，包含：模型构建模块、攻防分析模块和最优输出模块，其中，

14、模型构建模块，用于通过分析网络场景脆弱性信息来获取攻防策略集，结合有限理性博弈情境构建网络攻防演化博弈决策模型，并依据模型来获取攻防双方不同策略组合的攻防收益；

15、攻防分析模块，用于在攻防博弈过程中，依据双方未实施策略的收益及当前实施策略收益来设置遗憾值，利用策略权值和策略期望收益损失并基于遗憾最小化rm算法来构建攻防智能体各自实施策略的概率方程，联合攻防双方的概率方程构造攻防双方博弈过程决策选取的微分方程组；

16、最优输出模块，用于通过对微分方程组进行演化均衡求解来获取攻防双方最优策略。

17、本发明的有益效果：

18、本发明针对网络安全攻防双方认知能力的差异性与局限性，结合有限理性博弈情境，通过构建基于遗憾最小化rm算法的网络攻防演化博弈决策模型，应用演化博弈理论刻画攻防演化过程，采用rm算法优化策略学习机制，将传统博弈中的静态分析拓展为动态演化过程，保证策略学习的随机性与收敛性，分析不同状态攻防双方不同策略的演化规律，有效提高策略选取算法的收敛性与学习效率；最后通过求解演化稳定均衡给出最优防御决策方法，以刻画攻防双方最优策略的演化轨迹，为适度安全下的网络主动防御提供决策支持。并进一步通过数值实验结果验证，本案方案与与其他博弈决策方法相比，具有较好的优越性。

技术特征：

1.一种基于智能演化博弈的网络攻防策略选取方法，其特征在于，包含如下内容：

2.根据权利要求1所述的基于智能演化博弈的网络攻防策略选取方法，其特征在于，通过分析网络场景脆弱性信息来获取攻防策略集之前，还包含：利用漏洞扫描工具来获取网络场景的脆弱性信息。

3.根据权利要求1或2所述的基于智能演化博弈的网络攻防策略选取方法，其特征在于，结合有限理性博弈情境构建的网络攻防演化博弈决策模型利用五元组(n,d,π,s,u)表示，其中，n表示攻防博弈局参与人集合，d表示攻防博弈策略空间，π表示攻防博弈策略选取概率集合，s表示攻防博弈状态集合，u表示攻防博弈收益矩阵集合。

4.根据权利要求1所述的基于智能演化博弈的网络攻防策略选取方法，其特征在于，利用策略权值和策略期望收益损失并基于遗憾最小化rm算法构建攻防智能体各自实施策略的概率方程：首先，依据策略期望收益设置攻防博弈时策略权值；然后，基于遗憾最小化rm算法将策略选取过程建模为其中，表示防御者在时刻t攻防博弈时策略dsj所具有的权值，表示防御者在时刻t选取攻防博弈策略dsj的概率，表示攻击者在时刻t攻防博弈时策略asj所具有的权值，表示攻击者在时刻t选取攻防博弈策略asj的概率。

5.根据权利要求4所述的基于智能演化博弈的网络攻防策略选取方法，其特征在于，依据策略期望收益设置的攻防博弈时策略权值表示为其中，λ为学习能力参数，为防御者在时刻t-1攻防博弈时实施策略dsj时的损失函数，为攻击者在时刻t-1攻防博弈时实施策略asj时的损失函数。

6.根据权利要求5所述的基于智能演化博弈的网络攻防策略选取方法，其特征在于，攻防双方的损失函数由攻防双方中各自所有单个策略期望收益中的最大值和其攻防博弈时刻实施各自对应策略的期望收益的差值来表示。

7.根据权利要求1所述的基于智能演化博弈的网络攻防策略选取方法，其特征在于，攻防双方博弈过程决策选取的微分方程组表示为其中，a和b分别表示攻防双方的收益矩阵，概率向量p为所有纯攻击策略选取概率元素组成的向量，概率向量q为所有纯防御策略选取概率元素组成的向量，pi表示选取攻击策略asi的概率，dpi/dt表示选取策略asi的概率随时间的变化率，(aq)i表示策略asi的期望收益，ptaq表示攻击策略集的平均收益；qj表示选取防御策略dsj的概率，dqj/dt表示选取策略dsj的概率随时间的变化率，(bp)j表示防御策略dsj的期望收益，qtbp表示防御策略集的平均收益，λ为学习能力参数，k表示所有单个策略期望收益中的最大值策略标记。

8.根据权利要求7所述的基于智能演化博弈的网络攻防策略选取方法，其特征在于，通过对微分方程组进行演化均衡求解来获取攻防双方最优策略中，通过遗憾值的学习来更新策略选取概率及策略在策略集中的权重，依据更新后的权重来选取最优策略。

9.一种基于智能演化博弈的网络攻防策略选取系统，其特征在于，包含：模型构建模块、攻防分析模块和最优输出模块，其中，

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

技术总结
本发明属于网络安全技术领域，特别涉及一种基于智能演化博弈的网络攻防策略选取方法及系统，通过分析网络场景脆弱性信息来获取攻防策略集，结合有限理性博弈情境构建网络攻防演化博弈决策模型，并依据模型来获取攻防双方不同策略组合的攻防收益；在攻防博弈过程中，依据双方未实施策略的收益及当前实施策略收益来设置遗憾值，利用策略权值和策略期望收益损失并基于遗憾最小化RM算法来构建攻防智能体各自实施策略的概率方程，联合攻防双方的概率方程构造攻防双方博弈过程决策选取的微分方程组；通过对微分方程组进行演化均衡求解来获取攻防双方最优策略。本发明将演化博弈与遗憾最小化算法相结合，提升攻防博弈过程中策略选取的正确性和实用性。

技术研发人员：谭晶磊,金辉,孙鹏宇,张森磊,李哲铭,张恒巍,刘小虎,张玉臣,王瑞祥
受保护的技术使用者：中国人民解放军战略支援部队信息工程大学
技术研发日：
技术公布日：2024/1/13