(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221043269 2.1 (22)申请日 2022.04.24 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 刘博涵　刘坤　林业茗　曾恩　 董昭财　曹渊　张淇瑞　韩冬昱　 王浩军　夏元清　 (74)专利代理 机构 北京东方昭阳知识产权代理 事务所(普通 合伙) 11599 专利代理师 方兰 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) (54)发明名称 一种深度强化学习模型对抗攻击的防御方 法 (57)摘要 本发明公开了一种深度强化学习模型对抗 攻击的防御方法， 通过训练样 本观测数据内部统 计规律， 基于所得的概率分布模型， 产生与原始 样本同分布的样本， 使模型能抵御不同类型的对 抗攻击， 较之其他防御算法,本发明提供的防御 方法在保证防御效果的基础上,具有更强的泛化 能力和鲁棒性。 此外， 本发明的对抗样本是在原 始样本基础上加入扰动后生 成， 再将对抗样本中 的扰动去除重构为原始样本， 因此本发明提供的 防御方法更具可解释性。 样本数据形成了一个从 对抗攻击到防御的闭环， 满足循环一致性的原 则。 权利要求书1页 说明书8页 附图3页 CN 114757351 A 2022.07.15 CN 114757351 A 1.一种深度强化学习模型对抗 攻击的防御方法， 其特 征在于， 包括以下步骤： 确定需要防御的深度强化学习 模型作为防御目标模型； 模拟攻击者采用针对状态观测 的攻击方法构建攻击扰动得到对抗样本， 将所述对抗样本添加到所述防御目标模型的智能 体的状态观测中； 基于WGAN ‑GDP建立附加网络； 由防御目标模型的原始状态观测样本和所 述对抗样本构成训练样本集， 采用所述训练样本集完成附加网络的训练； 将训练得到的附 加网络应用到深度强化学习模型 上实现对 对抗攻击的防御。 2.根据权利要求1所述的防御方法， 其特征在于， 所述附加网络的生成网络包括编码子 网和解码子网， 所述编码子网由全局特征提取卷积块、 降采样卷积块和局部特征提取卷积 块组成， 所述全局特征提取卷积块由卷积层和激活层组成， 所述降采样卷积块由卷积层、 批 标准化层、 随机失活层和激活层组成， 所述局部特征提取卷积块由多个残差密集网络连接 形成； 所述 解码子网由上采样卷积块、 反卷积层和激活层组成。 3.根据权利要求2所述的防御方法， 其特征在于， 所述全局特征提取卷积块中的卷积层 可选取具有32个步长为1的7 ×7过滤器的卷积层， 所述降采样卷积块中的卷积层可选取具 有64个步长为2的5 ×5过滤器的卷积层。 4.根据权利要求1所述的防御方法， 其特征在于， 所述附加网络的判别网络包括四个卷 积块和全连接层， 所述卷积块由卷积层、 归一 化层和激活层组成。 5.根据权利要求4所述的防御方法， 其特征在于， 所述判别网络的卷积块中的归一化层 采用风格归一化(Instance  Normaliz ation， IN)算法， 激活层采用Leaky  ReLu作为激活函 数。 6.根据权利要求4所述的防御方法， 其特征在于， 所述判别网络的损失函数为： 所述生成网络的损失 函数为： 其中， x表示为原始状态观测图 像， 其数据分布 空间为Pr； z表示为添加了对抗扰动的状态观测图像， 其数据分布 空间为Pg； 惩罚因子 λ设置 为10， 是对真实样本Pr与生成样本Pg之间的空 间采样， D()表示判别网络， G()表示 生成网络 。 7.根据权利要求1所述的防御方法， 其特征在于， 所述将训练得到的附加网络应用到深 度强化学习模型 上实现对 对抗攻击的防御， 包括以下步骤： 步骤7.1、 初始化深度强化学习模型智能体的状态观测sori， 获取攻击者生成的对抗样 本sadv； 步骤7.2、 将对抗样本sadv输入到训练得到的附加网络的生成网络中， 从对抗样本中编 码提取重要特 征， 将重要特 征解码成与原 始样本相近的样本 步骤7.3、 将得到的样本 输入深度强化学习模型的智能体中， 智能体根据策略执行 动作a， 与环境交 互获得奖励r和下一时刻的状态 观测s′ori。 8.根据权利要求1所述的防御方法， 其特征在于， 所述深度强化学习模型为采用深度Q 网络建立的网络模型。权　利　要　求　书 1/1 页 2 CN 114757351 A 2一种深度强化学习模型对抗攻 击的防御方 法 技术领域 [0001]本发明属于对机器学习模型的对抗攻击的防御技术领域， 具体涉及一种深度强化 学习模型对抗 攻击的防御方法。 背景技术 [0002]作为人工智能算法的重要分支， 深度强化学习模型集成了深度学习强大的信息表 征能力与强化学习对序列决策的优化能力， 可以从原始的高维输入数据中提取出有效信息 进行决策， 实现端到端的学习。 深度强化学习模型在许多复杂的实际问题中实现了应用， 例 如自动驾驶汽车自主导航和避障、 机器人夹持操作控制、 信息物理系统入侵自主检测等。 然 而， 类似于其他连接主义模型， 深度强化学习模型也存在一定的脆弱性。 在应用过程中， 对 抗攻击会对深度强化学习模型造成潜在威胁， 例如攻击者可以在原始样本中加入轻微扰动 来影响智能体的决策过程， 从而导致整个深度强化学习模型性能显著下降， 同时模型 的脆 弱性进一步加剧了私有数据信息泄露等安全风险。 因此， 研究深度强化学习模型对抗攻击 的防御问题， 提高模型的防御能力和鲁棒 性具有必要性和实际意 义。 [0003]深度强化学习模型防御问题是针对可能存在的对抗攻击， 通过设计防御方法来提 高深度强化学习模型的对抗鲁棒性和可靠性， 保证模型在面对攻击者恶意输入对抗样本的 情况下， 依然能做出正确的决策。 目前， 深度强化学习模型对抗攻击的防御主要使用对抗训 练、 鲁棒学习等方式实现。 对抗训练通过不断地在训练集中添加对抗样本， 从而提高模型对 正常样本以外的泛化能力。 鲁棒学习是训练模型在面对来自训练阶段或者测试阶段的攻击 方法时提高其自身鲁棒性的学习机制， 通过控制训练过程来使深度强化学习模型的智能体 与攻击者达 到鞍点均衡， 从而增强智能体在面对干扰时的鲁棒 性。 [0004]上述防御方法在特定的攻击形式下起到提高深度强化学习模型鲁棒性的作用， 然 而针对不同类型攻击存在局限性。 同时， 已有防御方法增强模型对抗鲁棒性的机制缺 乏理 论依据， 方法的可解释性不足。 此外， 已有防御方法需要调整模型原有结构和参数， 进一步 导致算法 复杂度的增大。 针对以上问题， 部 分研究针对对抗样本的特性， 通过对输入样 本进 行重构来去除样本中的对抗扰动， 从而保证深度强化学习模型的安全性。 相比于对抗训练 和鲁棒学习的防御方法， 该方法基于对抗样本的数据分布特性对输入样本进行处理， 可以 应对不同形式的对抗 攻击， 具有更强的泛化能力和可解释性。 [0005]MagNet是一种通过重构对抗样本来实现有效防御的方法， 其利用自编码器将对抗 样本转换为更接近原始样 本数据分布的样 本， 能达到较好的防御效果。 然而， 由于MagNet需 要大量先验知识对实际问题进行建模， 在 复杂的实际问题中所需的计算量往往十分庞大。 然而， 采用生成对抗网络的方式能够有效解决上述问题， 其核心思想源于博弈论的纳什均 衡， 主要由生成器和判别器作为博弈的双方， 博弈的双方通过对抗学习的方式来迭代训练， 逼近纳什均衡。 生成对抗网络基于训练样本观测数据内部统计规律， 通过所得到的概率分 布模型， 最 终生成与训练样 本具有相同分布的数据。 目前， 生成对抗网络已经广泛应用于深 度学习的攻防领域。 但是， 现有原始的生成对抗网络算法仍存在训练不稳定、 收敛困难等问说　明　书 1/8 页 3 CN 114757351 A 3