(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210221557.2 (22)申请日 2022.03.09 (71)申请人 沈阳航空航天大 学 地址 110136 辽宁省沈阳市道义经济开发 区道义南大街37号 (72)发明人 石祥滨　刘宏哲　刘翠微　刘芳　 (74)专利代理 机构 沈阳维特专利商标事务所 (普通合伙) 21229 专利代理师 陈福昌 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于注意力图卷积网络的考生动作识别方 法 (57)摘要 本发明提供了一种基于注意力图卷积网络 的考生动作识别方法， 包括： 考生姿态数据提取， 检测考场监控视频中的考生关节以及肢体的位 置， 获取考生关节点信息， 进而 提取姿态数据， 获 取视频帧数； 网络输入数据处理， 对提取的姿态 数据进行筛选、 整理和格式修改， 获取网络输入 数据； 构建注意力图卷积网络， 将注意力机制融 入到图卷积网络中， 获取注意力图卷积网络； 识 别考生动作， 将网络输入数据输入到注意力图卷 积网络中， 识别考生动作。 适用于复杂背景信息、 可检测多类动作并且计算量相对较小， 可以对考 场视频中考生的行为、 做出准确预测， 筛选出有 作弊嫌疑的考生， 帮助视频回放人员减轻工作 量， 提高工作效率。 权利要求书1页 说明书8页 附图3页 CN 114612861 A 2022.06.10 CN 114612861 A 1.一种基于注意力图卷积网络的考生动作识别方法， 其特征在于， 所述考生动作识别 方法包括： 考生姿态数据提取， 检测考场监控视频中的考生关节以及肢体的位置， 获取考生关节 点信息， 进 而提取姿态数据； 网络输入数据处理， 对提取的所述姿态数据进行筛选、 整理和格式修改， 获取网络输入 数据； 构建注意力图卷积网络， 将注意力机制融入到图卷积网络中， 获取注意力图卷积网络； 识别考生动作， 将所述网络 输入数据输入到注意力图卷积网络中， 识别考 生动作。 2.根据权利要求1所述的基于注意力图卷积网络的考生动作识别方法， 其特征在于， 所 述提取姿态数据包括： 按照COCO数据 集用18个关节点定义人体的方式， 使用op enpose算法提取所述考场监控 视频中所述考生关节 点信息， 每个所述关节 点信息为(x,y,score)， 其中， x表示关节 点在二 维图像的横坐标， y表 示关节点在二维图像中的纵坐标， score表 示该关节 点坐标(x， y)的置 信度。 3.根据权利要求1所述的基于注意力图卷积网络的考生动作识别方法， 其特征在于， 所 述网络输入数据处 理包括： 筛选帧， 选取每12帧中的一帧作为当前帧， 即每秒选取两帧， 将筛选后的帧作为当前视 频姿态集 合， 获取所述考生的人数； 姿态匹配， 将所述筛 选帧中属于同一 考生姿态数据进行一次整理划分； 提取动作集合， 每20帧划分为一个动作集合， 此后 每隔一帧选取20帧作为一个集合， 表 示所述同一 考生在此期间的动作， 直到考试 结束； 格式转换， 将所有的所述动作集 合转换为jso n格式作为网络 输入数据。 4.根据权利要求1所述的基于注意力图卷积网络的考生动作识别方法， 其特征在于， 所 述构建注意力图卷积网络包括： 空间卷积单元， 包括自注意力模块、 融合通道注意力模块、 BN层和relu层， 聚合节点空 间维度上的信息； 时间卷积单元， 包括时间卷积模块、 BN层和Relu层， 使用时间卷积提取不同帧中同一关 节点的运动特 征； 构建注意力图卷积网络， 由所述空间卷积单元和所述 时间卷积单元构 成基础的注意力 图卷积单 元， 将多个 基础的所述注意力图卷积模块进行堆叠形成注意力图卷积网络 。 5.根据权利要求1所述的基于注意力图卷积网络的考生动作识别方法， 其特征在于， 所 述识别考 生动作包括： 使用softmax分类 器预测考 生动作。权　利　要　求　书 1/1 页 2 CN 114612861 A 2基于注意力图卷积网 络的考生动作识别方 法 技术领域 [0001]本发明涉及计算机视觉和视频理解技术领域， 尤其涉及 一种基于注意力图卷积网 络的考生动作识别方法。 背景技术 [0002]目前， 在高考、 研究生考试、 自考和学业水平测试等各类考试后， 经常需要回放考 场监控， 以整肃考场纪律， 如考生作弊、 监考教师不作为等， 而这需要 大量的人力和时间， 因 此亟需一个考试视频大数据分析系统或方法， 该系统能自动分析考生和 监考教师 的行为， 根据考生的动作检测 考场中的作弊行为。 考生作弊行为检测已成为数字图像处理、 模式识 别、 计算机视觉 分析等领域的热点应用方向， 是未来智能信息化普及、 各类教育文化考试场 地建设的一项关键技术， 具有一定的前沿性和 导向作用， 并且拥有巨大 的市场应用价值和 社会意义 [0003]现阶段国内外对于考试视频分析的研究和应用较少， 而将图卷积网络应用到考生 作弊行为检测领域的案例几乎没有。 专利 “通过视频监控的学生考试作弊行为监测方法与 系统”(CN202110574505.9， 2021年)， 将视频中学生图像分割成若干子图像， 将同一学生图 像放入一个集合中， 通过比对同一学生不同子图像之间的差异， 进而判断学生是否作弊。 而 考场中考 生动作种类繁多， 仅观测图像之间的差异无法准确判断考 生是否有作弊行为。 [0004]专利“基于鼻子位置分析的考试作弊行为识别算法 ”(CN202010932607.9， 2020 年)， 该方法在课桌上安装支架， 在支架上安装摄像机和led灯， 使用摄像机采集应试人员面 部图像， 从面部图像中获取人脸矩形区域， 再从矩形区域中获取鼻子位置， 当鼻子位置小于 某一阈值时， 使用led灯闪烁方式提示应试人员遵守考场纪律。 该方法仅通过分析鼻子位置 不足以应对考场中各类繁杂的动作， 然而如今考试规模较大， 在每一课桌上安装摄像机成 本太高， 无法广泛推广。 [0005]专利“标准考场环境下的考试作弊行为检测方法及系统 ”(CN202010893771.3， 2020年)， 获取标准考场背 景图像， 将实时监控的每一帧图像与考场背 景图进行差分处理获 得掩膜图像， 将不为0的区域作为考生候选区域， 考试开始前获取考生正坐面签图像， 使用 人脸识别技术确认考生身份， 通过判断考生头部、 手部位置是否超出活动范围判断考生是 否作弊。 然而， 考试视频数据量较大， 将每一帧图像进行差分处理计算量繁多， 并且由于考 场中摄像头并不全在正前方， 如摄像头在教室前左上角或右上角， 将会导致考生身份无法 确认等问题， 因此并不具有普遍性。 [0006]因此， 有必要开发一种基于注意力图卷积网络 的考生动作识别方法， 适用于复杂 背景信息、 可检测多类动作并且计算量相对较小， 可以对考场视频中考生的行为、 做出准确 预测， 筛选出有作弊嫌疑的考 生， 帮助视频回放人员减轻工作量， 提高工作效率。 发明内容 [0007]本发明旨在解决现有技 术或相关技 术中存在的技 术问题之一。说　明　书 1/8 页 3 CN 114612861 A 3