(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211246980.4 (22)申请日 2022.10.12 (71)申请人 首都师范大学 地址 100037 北京市海淀区西三环北路10 5 号 (72)发明人 徐敏　张曦淼　王嘉豪　孙众　 邱德慧　董瑶　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/20(2012.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 区域编码和样本平衡优化的课堂参与度识 别方法和装置 (57)摘要 本申请提出了一种区域编码和样本平衡优 化的课堂参与度识别方法， 该方法包括： 获取学 生在线学习的视频数据， 并根据视频数据生成原 始样本数据， 其中， 原始样本数据包括高参与样 本数据和低参与样本数据； 将低参与样本数据输 入StarGAN模型， 生成具有不同风格的目标低参 与样本； 将原始样本数据和目标低参与样本输入 RCN模型中进行训练， 得到训练好的RCN模型； 获 取待识别视频数据， 根据待识别视频数据生成待 识别图像数据； 将待识别图像数据输入训练好的 RCN模型， 得到参与度识别结果。 本申请有效解决 了参与度识别任务中样本分布极不平衡和手遮 挡面部问题， 显著提升了网络模 型的判别力和鲁 棒性。 权利要求书3页 说明书12页 附图4页 CN 115439915 A 2022.12.06 CN 115439915 A 1.一种区域编码和样本平衡优化的课 堂参与度识别方法， 其特 征在于， 包括以下步骤： 获取学生在线学习的视频数据， 并根据 所述视频数据生成原始样本数据， 其中， 所述原 始样本数据包括高参与样本数据和低参与样本数据； 将所述低参与样本数据输入StarGAN模型， 生成具有不同风格的目标低参与样本； 将所述原始样本数据和所述目标低参与样本输入RCN模型中进行训练， 得到训练好的 RCN模型； 获取待识别视频 数据， 根据所述待识别视频 数据生成待识别图像数据； 将所述待识别图像数据输入所述训练好的RCN模型， 得到参与度识别结果。 2.如权利要求1所述的方法， 其特征在于， 所述根据所述视频数据生成原始样本数据， 包括： 利用人工及先验信息， 定义所述视频 数据的参与度标签； 从所述视频数据提取图像帧， 并裁剪提取所述图像帧的人脸区域， 得到人脸图像作为 所述原始样本数据， 其中， 根据所述参与度标签将所述原始样本数据分为高参与样本数据 和低参与样本数据。 3.如权利要求1所述的方法， 其特征在于， 所述StarGAN模型包括： 映射网络、 风格编码 器、 生成器和鉴别器， 在将所述低参与样本数据输入St arGAN模型， 生成具有不同风格的目 标低参与样本之前， 还 包括： 获取低参与训练数据， 其中， 所述低参与训练数据为人脸图像； 将所述低参与训练数据输入StarGAN模型进行训练， 通过损失函数对所述StarGAN模型 进行迭代优化。 4.如权利 要求3所述的方法， 其特征在于， StarGAN模型的损失函数， 包括： 对抗损失、 风 格重建损失、 多样性敏感损失和循环一 致性损失， 其中， 所述对抗损失表示 为： 其中， Ladv表示对抗损失， E()表示数学期望值， x表示输入图像， y表示输入图像的原始 域， Dy(x)是鉴别器在原始域y的输出， 表示目标域， z表示随机高斯噪声， 表示映射网络 根据随机高斯噪声生成目标域的风格特征， 表示鉴别器对生成器生成的图像 的输出结果， 表示生成器根据输入图像和目标风格特 征生成域 为y的虚假图像； 所述风格重建损失表示 为： 其中， Lsty表示风格重建损失， E()表示数学期望值， x表示输入图像， y表示输入图像的 原始域， 表示目标域， z表示随机高斯噪声， 表示映射网络根据随机高斯噪声生成目标域 的风格特 征， 表示生成器根据输入图像和目标风格特 征生成域 为y的虚假图像； 所述多样性敏感损失表示 为： 权　利　要　求　书 1/3 页 2 CN 115439915 A 2其中， Lds表示多样性敏感损失， E()表示数学期望值， z1和z2表示随机 高斯噪声向量， 和 分别表示由映射网络根据随机高斯噪声向量z1和z2输出得到的风格特征向量， 表示生成器根据输入图像和风格特征 生成的图像， 表示生成器根据输入 图像和风格特 征 生成的图像； 所述循环一 致性损失表示 为： 其中， Lcyc表示循环一致性损失， E()表示数学期望值， x表示输入图像， y表示输入图像 的原始域， 表示目标域， z表示随机高斯噪声， 是输入图像x的估计风格编码， 表示使用生成器将生成的虚假图像 和 进行重构， 得到带有风格 的图 像， 表示生成器根据输入图像和风格特 征 生成的图像； 使用目标函数对所述StarGAN模型进行优化， 其中， 所述目标函数表示 为： minG,F,EmaxDLadv+λstyLsty‑λdsLds+λcycLcyc； 其中， minG,F,E表示通过训练生成器、 映射网络和风格编码器最小化目标函数， maxD表示 通过训练判 别器最大化目标函 数， Ladv表示对抗损失， Lsty表示风格重建损失， Lds表示多样性 敏感损失， Lcyc表示循环一 致性损失， λsty、 λds和 λcyc是用于平衡各项损失的超参数。 5.如权利要求4所述的方法， 其特征在于， 所述将所述低参与样本数据输入StarGAN模 型， 生成具有不同风格的目标低参与样本， 包括： 将所述低参与样本数据中的人脸 图像输入StarGAN模型， 通过所述映射网络或所述风 格编码器生成不同的风格特征， 通过生成器根据输入的人脸图像和所述不同的风格特征， 生成具有不同风格的目标低参与样本 。 6.如权利要求1所述的方法， 其特征在于， 所述RCN模型包括特征提取单元、 区域注意单 元和全局注意单元， 所述将所述原始样本数据和所述 目标低参与样本输入RCN模型中进行 训练， 得到训练好的RCN模型， 包括： 将所述原始样本数据和所述目标低参与样本输入RCN模型中， 通过所述特征提取单元 对所述原 始样本数据和所述目标低参与样本进行 特征提取， 得到样本局部区域特 征； 在特征空间中， 通过所述区域注意单元学习不同面部区域的注意力 权重对所述样本局 部区域特 征进行区域编码， 得到样本全局特 征； 将所述样本局部区域特征分别和所述样本全局特征进行串联， 得到样本特征， 通过所 述全局注意单元得到所述样本特征的注意力权重， 对所述样本特征进 行加权融合得到最 终 样本特征； 根据所述最终样本特征， 通过联合区域偏差损失和交叉熵损失， 使用SGD算法对所述 RCN模型的网络参数进行迭代更新和优化， 得到训练好的RCN模型。 7.如权利要求6所述的方法， 其特征在于， 所述将所述待识别图像数据输入所述训练好 的RCN模型， 得到参与度识别结果， 包括： 将所述待识别图像数据输入所述特征提取单元进行特征提取， 得到特征图， 将所述特 征图随机 裁剪成预设数量的区域特 征；权　利　要　求　书 2/3 页 3 CN 115439915 A 3