一种针对不确定性攻击的CPPS最优防御策略博弈方法
摘要文本
本发明公开了一种针对不确定性攻击的CPPS最优防御策略博弈方法，属于智能电网安全领域。本发明基于博弈论计算样本数据中不同动作空间下的期望收益，并且根据期望收益评价深度学习算法中的即时奖励指标，最终通过深度Q网络(DQN)算法进行学习，并输出最优的防御策略。该方法不仅针对不确定的攻击方法可以提供更全面的防御策略，也解决了对系统的包含多种方式和目标的攻击方式(即混合多节点攻击)提出决策的挑战。考虑到攻击和防御策略的快速迭代，本方法可以在线更新，在拥有可信任的样本情况下，可以持续训练该模型，提升其检测精度和检测广度。
申请人信息
- 申请人:浙江大学
- 申请人地址:310058 浙江省杭州市西湖区余杭塘路866号
- 发明人: 浙江大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种针对不确定性攻击的CPPS最优防御策略博弈方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311490949.X |
| 申请日 | 2023/11/9 |
| 公告号 | CN117439794A |
| 公开日 | 2024/1/23 |
| IPC主分类号 | H04L9/40 |
| 权利人 | 浙江大学 |
| 发明人 | 杨强; 颜秉晶; 黄刚 |
| 地址 | 浙江省杭州市西湖区余杭塘路866号浙江大学紫金港校区药学院309室 |
专利主权项内容
1.一种针对不确定性攻击的CPPS最优防御策略博弈方法，其特征在于，包括如下步骤：S1.通过基础博弈论针对不同攻击类型建立不完全信息下的博弈论模型；S2.利用S1建立的博弈论模型对不同类型的攻击所获得的样本数据进行处理，在纳什均衡的情况下计算出包含所有动作空间下的期望收益，所述的所有动作空间包含所有可能的攻击者行为和防御者行为；S3.引入DQN算法对系统当前阶段进行学习，通过对DQN代理系统的环境模型的交互，体现出系统当前状态的不确定性；初始化DQN代理系统的相关元素，所述相关元素包含：环境模型、状态空间、动作空间以及奖励函数；其中，环境模型包括信息物理电力系统的网络拓扑、设备配置、实时负载数据、通信数据以及已知的攻击类型和历史攻击数据；状态空间包括电力系统的各种特征和指标；动作空间包括攻击者/防御者可以采取的不同反应策略，其由S2中的动作空间输入而得；S4.重新定义DQN代理系统不同动作空间下的即时奖励函数；考虑到对于不确定攻击，即时奖励函数应该包含各种攻击的概率分布，记攻击类型m的概率为Pr(m)；另外，因为资源的消耗和相应的收益均通过博弈论进行了分析，此处的即时奖励仅由攻击的概率分布和博弈论中获得的期望收益影响；因此对于节点n的即时奖励函数r重新定义为：其中，和/>分别是该节点上攻击者和防御者能采取的动作概率的合集，Pr(m)是该节点上攻击类型m的概率，M为攻击类型的种类数量；/>为该节点上给定攻击者防御者策略对/>下的防御者期望收益；nS5.利用历史数据对DQN代理系统进行训练，得到训练好的DQN模型；S6.在每个时间步，训练好的DQN模型根据当前CPPS状态选择最优防御动作。