(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210160129.3 (22)申请日 2022.02.21 (71)申请人 南京大学 地址 210000 江苏省南京市栖霞区仙林大 道163号 (72)发明人 毛云龙　袁新雨　华景煜　仲盛　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 李培 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于目标检测模型特征向量迁移的对抗样 本生成方法 (57)摘要 本发明公开了一种基于目标检测模型特征 向量迁移的对抗样本生成方法， 包括如下步骤： 步骤S1、 卷积神经网络 特征向量迁移； 步骤S2、 对 抗噪声的生成， 步骤S3、 对 抗样本攻击效果评估。 本发明对抗样本在目标检测等深度学习模型中 攻击效果更强， 并且在兼顾攻击隐蔽性的前提下 具备更好的可迁移性。 本发明对抗样本生成方法 揭示了特征向量在目标检测模型的对抗机制中 发挥的重要作用， 验证了本发明所述的对抗样本 的攻击威胁， 能够启发探索鲁棒性目标检测算法 领域的研究， 以此设计出新的防御机制， 对于目 标检测模型在实际生活中的应用有着重要意 义。 权利要求书2页 说明书10页 附图1页 CN 114549933 A 2022.05.27 CN 114549933 A 1.一种基于目标检测模型特征向量迁移的对抗样本生成方法， 其特征在于， 包括如下 步骤： 步骤S1、 卷积神经网络特 征向量迁移； 所述卷积神经网络特 征向量迁移包括如下步骤： S101、 卷积神经网络特征的提取与融合； 从颈部网络提取出特征向量 其中， ω为目标检测模型的颈部网络每一层的参数， x为对应每层的输入， k为为神经网络层 序号； S102、 目标特征向量的构造； 构造的目标特征向量 其中， θ为目标 检测模型中检测头， J为 攻击者的攻击目标对应的损失函数； S103、 目标特征向量的迁移； 抽取图像样本中目标物体i对应真实物体的特征向量 中 的关键区域信息 计算提取关键区域信息 后的标准差之和， 即损失函数： 步骤S2、 对抗噪声的生成， 所述对抗噪声的生成步骤 包括： S201、 随机初始化 首先， 将所有的原 始图像样本X进行归一 化处理， 取值范围为[ ‑1,1]； 然后， 生成一个随机的初始化噪声Z： Z～N(0,0.1)； 其中N(0,0.1)表示均值为0， 标准差 为0.1的正态分布； 最后， 生成初始的对抗样本 S202、 计算目标检测模型对应的梯度 根据目标损失函数L计算目标检测模型对应的梯度g： 其中， 为当前生成 的对抗样本， θ 目标检测模型的参数张量； S203、 裁剪梯度获得对抗噪声 将梯度的最值约束在单次迭代的最大扰动阈值范围内， 需要对计算得到的梯度进行裁 剪， 计算公式如下： 其中， i表示第i轮梯度迭代， γ为每一步梯度迭代的最大扰动 阈值； S204、 更新对抗样本 将步骤S203生成的噪声Ni添加至对抗样本 上， 更新对抗样本； 以梯度的方向作为对抗 噪声扰动的方向， 使得生成的对抗样本 朝着攻击者的目标 方向发展： S205、 对抗样本正则化 clip函数执行的操作是保证每一个像素点上 与X最大L1距离不超过 ∈； S206、 判断是否停止迭代 攻击者根据预先设置置信度 δ和最大迭代次数T 进行判断， 步骤如下： 1)当目标检测模型输出的检测结果中的置信度最大值小于置信度阈值 时， 即可停止迭 代， 攻击成功； 2)若攻击的迭代次数已经达 到预设上限T， 停止迭代， 攻击失败； 3)否则， 继续循环执 行步骤S202至步骤S20 6。权　利　要　求　书 1/2 页 2 CN 114549933 A 22.根据权利要求1所述的基于目标检测模型特征向量迁移的对抗样本生成方法， 其特 征在于， 还 包括步骤S3、 对抗样本攻击效果评估， 所述对抗样本攻击效果评估 包括： S301、 攻击成功率评估； 以平均精度均值的下降比例ρ作为攻击成功率的评估标准， 具 体的计算公式如下： 其中， m为目标检测模型对于原始图像样本的平均精度均值， 为目标检测模型对于对 抗样本的平均精度均值； S302、 攻击隐蔽性评估； 采用结构相似性来度量， 所述结构相似性计算具体的计算公式 如下： 其中， 和 分别为原始图像样本X的平均值和标准差， μ和σ 分别为对抗样本 的平均值 和标准差， c1和c2为常数， 用以维持亮度、 对比度和结构的稳定性； 结构相似性的值域 范围为 0到1， 其值越大表示两张图像的相似度越高， 即对抗样本的隐蔽性越强； S303、 攻击可迁移性评估； 以所生成的对抗样本在黑盒模型和白盒模型上攻击成功率 的比例作为衡量 攻击可迁移性的指标θ， 计算公式如下： 其中， ρw和ρb分别为白盒攻击与黑盒攻击的平均精度均值 的下降比例， K为黑盒模型的 数量； θ介于0到1之间， θ越接近于1也就表示对抗样本 在不同的黑盒模型上的平均成功率 越大， 即攻击可迁移性越好。 3.根据权利要求1所述的基于目标检测模型特征向量迁移的对抗样本生成方法， 其特 征在于， 在所述步骤S102中， 所述损失函 数为： J＝max(si)； 其中， si为目标物体 i的检测置信 度。 4.根据权利要求1所述的基于目标检测模型特征向量迁移的对抗样本生成方法， 其特 征在于， 所述目标检测模型包括骨干网络、 颈 部网络及检测头； 所述骨干网络负责图像样本的特 征提取， 拥有预训练参数的卷积神经网络； 所述颈部网络负责图像样本的特征融合的卷积神经网络， 对骨干网络提取出的特征进 行采集、 融合； 所述检测头接收颈部网络 融合后的特征， 以此为基础来检测图像样本中的目标类别以 及对应的检测框位置， 并输出检测结果。 5.根据权利要求1所述的基于目标检测模型特征向量迁移的对抗样本生成方法， 其特 征在于， 在步骤202中， 所述目标损失函数L： L＝loss1+α·loss2； 其中： loss1为攻击者针对 分类任务的损失函数； l oss2为攻击者针对定位任务的损失函数。 6.根据权利要求1所述的基于目标检测模型特征向量迁移的对抗样本生成方法， 其特 征在于， 在步骤20 5中， L1距离为曼哈顿距离或者棋盘距离， 计算公式为 权　利　要　求　书 2/2 页 3 CN 114549933 A 3