(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210454687.0 (22)申请日 2022.04.28 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 申请人 浙江工商大 学 (72)发明人 李玲　徐晓刚　王军　祝敏航　 曹卫强　何鹏飞　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于时间一致性对比学习的动作规范性检 测方法和装置 (57)摘要 本发明涉及智能视频监控及深度学习领域， 尤其涉及一种基于时间一致性对比学习的动作 规范性检测方法和装置， 该方法为： 首先将第一 数量标注和第二数量未标注的通过摄像头采集 的视频构建数据集， 第一数量小于第二数量； 然 后将未标注视频经过强弱数据增强后提取特征， 再输入时间一致性行为对齐网络， 输出特征图和 不同样本间相似动作起始与结束帧集合， 映射集 合在特征图上对应子特征图， 构造同类与不同类 子特征图样 本， 送入对比学习网络提取时空判别 性特征； 再将第一数量标注视频送入 预训练后的 网络进行迁移学习， 输出行为类别； 最后通过帧 间行为类别变化判断行为规范性， 若不规范则发 出预警。 权利要求书3页 说明书9页 附图5页 CN 114648723 A 2022.06.21 CN 114648723 A 1.一种基于时间一 致性对比学习的动作规范性检测方法， 其特 征在于， 包括以下步骤： 步骤一， 构建第一数量标注和第二数量未标注的摄像头采集视频的数据集， 第一数量 小于第二数量； 步骤二， 对第二数量未 标注视频 数据进行强、 弱增强处 理， 分别得到强、 弱增强数据； 步骤三， 将强、 弱增强数据输入自编码特 征提取网络中提取 出强、 弱增强数据的特 征； 步骤四， 将强、 弱增强数据的特征输入时间一致性行为动作对齐网络， 得到强、 弱增强 图像特征， 后在由强、 弱增强 图像特征构成的图像特征序列对间查找相似动作最近邻帧并 对齐， 得到图像特 征序列对间相似动作起始帧和结束帧集 合； 步骤五， 将强、 弱增强图像特征和图像特征序列对间相似动作起始帧和结束帧集合输 入时空判别性特征提取网络， 结合对比学习网络， 完成对第二数量未标注视频数据的自监 督预训练； 步骤六， 利用自监督预训练后的自编码特征提取网络参数， 在 自编码特征提取网络后 加入分类网络， 然后采用第一数量标注视频数据完成网络迁移学习， 最后通过视频帧间行 为类别的变化判断视频图像的动作规范性。 2.如权利要求1所述的基于时间一致性对比学习的动作规范性检测方法， 其特征在于， 所述步骤二具体为： 设无剪切视频数据为 ， 为第i帧视频， 为总的视频帧数， 从视频 X中 采样得到的图像序列 ， 其中 是高宽为H ×W的RGB图像， ， 为采样频率， 经过数据增强后， 强增强后的图像序列为 ， 即强增强数据， 弱增强后的图像序列为 ， 即弱增强数据； 其中， 其中弱数据增强方式为颜色增强结合尺度变换， 强数据增强方式为视频片段置 换结合尺度变换； 视频片段置换为： 将视频分割为不大于M的任意段， 且随机打乱分割后的 片段。 3.如权利要求2所述的基于时间一致性对比学习的动作规范性检测方法， 其特征在于， 所述步骤三具体为： 使用3D ResNet50作为自编码器即自编码特征提取网络， 将 和 经过3D  ResNet50自编码器， 映射得到高维特征 ， 其中 表示 或 ， ， 为3D ResNet50函数， ， 为输出特征向量维度， 即通过自编 码器后分别得到强 增强数据的特 征 和弱增强数据的特 征 。 4.如权利要求3所述的基于时间一致性对比学习的动作规范性检测方法， 其特征在于， 所述步骤四包括以下子步骤： 步骤4.1， 将强增强数据的特征 和弱增强数据的特征 经过时空全局平均池化权　利　要　求　书 1/3 页 2 CN 114648723 A 2层、 全连接层和卷积层， 输出图像特征序列 和 ， 其中 为第i帧强增强图像特 征， 为第i帧弱增强图像特 征； 步骤4.2， 对于步骤4.1输出的图像特征序列 和 ， 所述的图像特征序列在彼此间 查找相似动作最近邻帧， 首 先计算第i帧强增强图像特征 在 中的最近邻帧 ， 得到 后再反向计算 在 中的最近邻帧 ， 若i=k则图像特征序列对间相似动作对 齐成功； 为计 算损失函 数， 将 中第i帧标记为1， 其余帧标记为0， 预测值 ， 其中 ， ，  表示图像特征序列 中的第k帧强增 强图像特 征， 并利用交叉熵损失函数计算预测值与真实标签之间的损失 ： ，  , ， 其中 和 分别表示图像特征序列 中的第j和k帧弱增强图像特征， 表 示 和 间的相似度 度量函数，  表示真实标签，  表示预测值； 步骤4.3， 将步骤4.2中图像特征序列对中i=k的特征位置进行记录， 针对输入图像特征 序列对， 记录i=k位置组成相似动作起始帧集合 和动作结束帧集合 ， 其中N为对齐成功的图像特征序列对数， 和 分别表示图像特 征序列对齐 起始位置， 和 分别表示图像特 征序列对齐结束位置 。 5.如权利要求4所述的基于时间一致性对比学习的动作规范性检测方法， 其特征在于， 所述步骤五包括以下子步骤： 步骤5.1， 将 步骤4.1输出的图像特征序列 和 ， 经过多层感知 机层， 输出感知特 征序列 和 ， 其中 为第i帧强增强图像感知特征图， 为第i帧弱增强图像感知特 征图； 步骤5.2， 根据步骤4.3输出相似动作起始帧和结束帧集合 和 ， 统 一相似动作序列长度， 取 ， ρ 为最小序列长度， 按最小序列长权　利　要　求　书 2/3 页 3 CN 114648723 A 3