(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210326905.2 (22)申请日 2022.03.30 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 曹聪琦　张馨　张艳宁　王鹏　 张世周　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 赵革革 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/62(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于自适应图卷积网络的弱监督视频 异常检测方法 (57)摘要 本发明公开了一种基于自适应图卷积网络 的弱监督视频异常检测方法， 提出一个基于弱监 督的自适应图卷积网络(WAGCN)来 建模视频片段 之间的上下文关系， 而且在生 成每个片段的异常 概率时， 充分考虑了其他视频片段对当前片段的 影响。 首先结合视频特征具有的时间连续性以及 空间上的相似性进行构图， 充分利用了视频中异 常事件时空特征间存在的关联信息。 其次， 提出 了一个图学习层， 打破人为设定拓扑结构的局限 性， 它基于数据自适应地提取稀疏图邻接矩阵。 在两个公共数据集上进行了大量的实验证明了 方法的有效性。 权利要求书2页 说明书7页 附图1页 CN 114841312 A 2022.08.02 CN 114841312 A 1.一种基于自适应图卷积网络的弱监督视频异常检测方法， 其特征在于， 包括如下步 骤： 步骤1： 特 征提取； 训练集有N个训练视频 和相应的弱监督标签 其中yn∈{0,1}， yn＝1表示 视频Vn包含至少一个异常片段， 但开始和结束 时间未知， yn＝0表示视频Vn里全都是无异常 片段； 在每一个视频Vn被送入特征提取器之前， 将视频Vn分成固定数量的不重叠的时间片段， 用Tn表示片段的数量； 采用预训练的神经网络作为特征提取网络提取视频Vn外观和运动信 息， 构成特 征矩阵Xn， Xn的维度为Tn×D维， D表示片段 特征的维度； 步骤2： 构造全局图模块； 步骤2‑1： 特征相似图； 首先将特征矩阵Xn经过一个全连接层压缩特 征维数； 用图学习层构建一个特征相似图F； 采用公式(1)表示视频中每两个片段之间的关系； 由于片段之间的邻接矩阵是非负的， 用一个归一化的指数函数将相 似度约束在(0,1]的范 围内； 因此， 特 征相似图的邻接矩阵AF被定义为: 其中， W1和W2是维度为d×d的权重参数， 随着反向传播而更新， 所以， AF的元素在训练过 程中与其 他模型参数一 起进行优化； 步骤2： 时间连续图； 时间连续图T直接建立在视频的时间结构上， 时间连续 图T的邻接矩阵AT∈RN×N只依赖 于片段的时间位置： 对于第j个片段， 离第i个片段越近， 分配给它的权重 越大， 可以更好地 反映该段对第 i个片段的影响； 步骤3： 图卷积模块； 用图卷积网络来建模视频片段之间的关系； 对于图卷积网络第k层， 图卷积的结果 为： Xk＝σ(WkXk‑1(AF+AT))+Xk‑1  (3) 其中 是所有视频片段在图卷积网络k ‑1层的特征， dm是特征维度， 为可训练的参数矩阵， σ 为激活函数； 此外， 给每个层添加了残差连接， 以解决图卷积网络的过平滑问题； 如果输入通道的维 度与输出通道的维度不一致， 则在残差连接中插入一个1 ×1的卷积， 将输入转化为与输出 一致的通道维度； 步骤4： 损失函数； 使用k‑max损失函数； 具体来说， 一个包含Tn个片段的视频Vn通过预训练的特征提取器得到Tn×D的特征矩阵 F， 然后输入图卷积网络得到视频Vn的异常得分 选择s中的前m个元素表示权　利　要　求　书 1/2 页 2 CN 114841312 A 2其中 最终的分类损失是预测的标签和训练视频上的真值之间的二 元交叉熵值， 它由以下公式给 出： 2.根据权利要求1所述的一种基于自适应图卷积网络的弱监督视频异常检测方法， 其 特征在于， 所述预训练的神经网络为在Ki netics数据集上 预训练的I nflated 3D。权　利　要　求　书 2/2 页 3 CN 114841312 A 3