(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210254979.X (22)申请日 2022.03.15 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市栖霞区亚 东新 城文苑路9号 (72)发明人 李群　杨锐　肖甫　盛碧云　 沙乐天　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 王素琴 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 17/00(2006.01) (54)发明名称 基于记忆增强未来视频帧预测的监控视频 异常检测方法 (57)摘要 本发明提供一种基于记忆增强未来视频帧 预测的监控视频异常检测方法， 属于视频异常检 测技术领域。 该方法， 首先搭建并优化学习异常 检测模型， 异常检测模型包括生成器网络和判别 器网络； 其中， 生成器网络包括编码器、 记忆模块 和解码器， 生成下一时刻的视频帧， 即未来视频 帧； 判别器网络通过计算未来视频帧的异常分 数， 使用异常分数作为判断未来视频帧是否异常 的标准； 通过强度损失、 梯度损失、 光流损失、 对 抗损失和交叉熵损失对搭建的异常检测模型进 行优化学习； 然后对监控视频中的异常事件进行 检测； 该方法能显著提高监控视频中的异常检测 精度； 生成器网络具有较高的通用性和鲁棒性， 能够嵌入到大多数异常检测方法中， 提高其异常 检测的性能。 权利要求书3页 说明书11页 附图2页 CN 114612836 A 2022.06.10 CN 114612836 A 1.一种基于记 忆增强未来视频帧预测的监控视频异常检测方法， 其特 征在于， 包括： 搭建并优化学习异常检测模型， 异常检测模型包括 生成器网络和判别器网络； 生成器网络包括编码器、 记忆模块和解码器， 将视频帧输入编码器后， 编码器进行卷 积、 池化操作并进 行特征通道的自适应调整后， 获得编 码特征， 编码器将获得的编码特征分 别输出给记忆模块和解码 器； 记忆模块依据与输入的编 码特征的相似性来调整内存项目的 寻址权重， 通过内存项目和 寻址权重的线性组合生成查询特征， 并将查询特征输入到解码 器中； 将输入的查询特征和 编码特征进 行特征融合， 进而解码器生成下一时刻的视频帧， 即 未来视频帧； 判别器网络通过计算未来视频帧的异常分数， 使用异常分数作为判断未来视频帧是否 异常的标准； 通过强度损失、 梯度损失、 光流损失、 对抗损失和交叉熵损失对搭建的异常检测模型进 行优化学习； 由优化学习后的异常检测模型， 对监控视频中的异常事 件进行检测。 2.如权利要求1所述的基于记忆增强未来视频帧预测的监控视频异常检测方法， 其特 征在于： 搭建并优化学习异常检测模型， 具体为， S1、 在数据集上选取训练样本和测试样本， 训练样本为具有三通道的彩色视频帧图像X ＝(x1,x2,x3,…xt)， 其中， t表示一次输入模型 的视频帧数量， 视频帧的尺寸表示为H ×W× C； S2、 将训练样本的连续视频帧输入到编码器， 获得编码特 征y； S3、 将步骤S2得到的编码特征y输入到记忆模块， 依据与内存项目的相似性来调整其寻 址权重ri， 通过记忆模块中的内存项目和寻址 权重的线性组合， 生成查询特 征y'； S4、 将步骤S2所得编码特征y和步骤S3所得查询特征y'进行特征融合， 在实现信息对称 和抑制梯度的消失的同时， 得到特征表 示u， 进而解码器输出t+1时刻的未来视频帧： x't+1＝ FD(u, θd)， 其中， FD表示解码器， θd表示解码器的参数； S5、 计算步骤S4所得未来视频帧x't+1和真实视频帧xt+1之间的强度损失Lden， 计算步骤 S4所得未来视频帧x't+1和真实视频帧xt+1之间的梯度损失Lgrad， 通过轻量级光流估计网络 LiteFlownet计算未来视频帧x't+1、 真实视频帧xt+1和真实视频帧xt之间的光流损失Lop， 通 过最小二乘生成对抗网络Least  Squares GAN计算未来视频帧x't+1和真实视频帧xt+1之间 的对抗损失； S6、 计算寻址权重ri的交叉熵损失Lmem； S7、 根据步骤S5所得强度损失Lden、 梯度损失Lgrad、 光流损失Lop、 对抗损失和步骤S6所得 交叉熵损失Lmem， 计算模型整体损失L， 对异常检测模型进行反向传播优化 参数。 3.如权利要求2所述的基于记忆增强未来视频帧预测的监控视频异常检测方法， 其特 征在于： 步骤S2中， 将连续视频帧输入到编码器， 获得编码特 征y； 具体为， S21、 使用卷积网络U ‑Net作为生成器网络中的自动编码器结构， 编码器包括第一编码 器层、 若干第二编码器层和若干注意力模块， 第一编码 器层对输入的视频帧进 行卷积、 最大 池化和激活操作后获得 特征向量v′， 并输出给第二编码器层； S22、 第二编码器层和注意力模块依次交替设置， 第 二编码器层对输入的特征向量进行 卷积、 最大池化和激活操作后， 输出给注意力模块； 注意力模块用于增强重要 特征通道的权权　利　要　求　书 1/3 页 2 CN 114612836 A 2重， 降低次要特征通道的权重， 以实现特征通道的自适应调整， 以获得新的特征向量； 最后 一个注意力模块将获得的新的特 征向量作为编码特 征输出给记忆模块和解码器。 4.如权利要求3所述的基于记忆增强未来视频帧预测的监控视频异常检测方法， 其特 征在于： 步骤S22中， 注意力模块用于增强重要特征通道的权重， 降低次要 特征通道的权重， 以实现特 征通道的自适应调整， 以获得新的特 征向量， 具体为， S221、 注意力模块将编码器层输出的特征向量压缩成一个大小为1 ×1×C的全局特征 向量： zc∈Rc， 其中Fsq表示压缩过程的函数， Rc表 示特征空间； S222、 使用全连接神经网络对压缩之后的结果Zc做非线性变换， 作为激发阶段， 为每个 特征通道生成权 重s＝Fex(zc,w)， 其中， Fex表示激发过程的函数， w是激发过程中的权 重； S223、 将编码器层输出的特 征向量与权 重s相乘后， 得到新的特 征向量v。 5.如权利要求3所述的基于记忆增强未来视频帧预测的监控视频异常检测方法， 其特 征在于： 步骤S3中， 依据与内存项目的相似性来调整其寻址权重ri， 通过记忆模块中 的内存 项目和寻址 权重的线性组合， 生成查询特 征y'， 具体为， S31、 计算记忆寻址权重ri， 通过记忆模块中的内存项目si和编码特征y之间的相似性得 到： 其中， d(·)是近似度量距离， S32、 生成查询特 征y'： 其中， S代表记忆模块的记忆存储， 由N个内存项目si组成， 表示为[N,C]的矩阵向量， N表 示记忆模块中记 忆存储的容量， ri表示记忆寻址权重。 6.如权利要求3所述的基于记忆增强未来视频帧预测的监控视频异常检测方法， 其特 征在于： 步骤S5具体为， S51、 计算 步骤S4所 得未来视频帧x't+1和真实视频帧xt+1之间的强度损失Lden： 其中， x't+1表示未来视频帧， xt+1表示真实视频帧； S52、 计算 步骤S4所 得未来视频帧x't+1和真实视频帧xt+1之间的梯度损失Lgrad：权　利　要　求　书 2/3 页 3 CN 114612836 A 3