(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221089170 5.1 (22)申请日 2022.07.27 (71)申请人 陕西师范大学 地址 710062 陕西省西安市雁塔区长延堡 办长安南路东侧 (72)发明人 房蓓　何聚厚　韩广欣　郑晓龙　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 专利代理师 梁静 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于深度联合模型的面部表情识别方法及 系统 (57)摘要 本发明公开了一种基于深度联合模型的面 部表情识别方法及系统， 涉及面部情感识别技术 领域， 其中基于深度联合模型的面部表情识别方 法包括以下步骤： 构建有 标签数据集和无标签数 据集； 构建面部表情识别网络模型并进行训练； 利用训练后的面部表情识别网络模型获得无标 签数据集的表情深度特征的初选标签； 对无标签 数据集进行深度聚类； 对无标签数据集的初选标 签以及无标签数据集的聚类结果进行比对， 选出 置信度高的人脸表情数据的面部表情标签进行 标记， 将置信度高的人脸表情数据及其面部表情 标签加入有标签数据集并对面部表情识别网络 模型进行微调。 本发明实现小数据量条件下， 面 部表情图像深度特征和标签数据的自主提取及 高精度识别。 权利要求书2页 说明书6页 附图2页 CN 115240258 A 2022.10.25 CN 115240258 A 1.基于深度联合模型的面部表情识别方法， 其特 征在于， 包括以下步骤： 构建训练数据集， 其包括： 有标签数据集和无 标签数据集； 基于MobileNetV2主干网络并利用动态瓶颈块构建面部表情识别网络模型， 利用有标 签数据集对面部表情识别网络模型进行训练； 利用训练后的面部表情识别网络模型获得训练数据集的表情深度 特征表示， 并得到无 标签数据集的表情 深度特征的初选标签； 对无标签数据集的表情深度特征的初选标签以及无标签数据集的表情深度特征的聚 类结果进 行比对， 将无标签数据集中置信度高的人脸表情数据及其面部表情深度特征标签 加入到有标签数据集； 利用更新后的有标签训练数据集对面部表情识别网络模型进行调节； 利用调节后的面部表情识别网络模型， 对待识别的面部表情图像进行表情识别， 得到 识别结果。 2.根据权利要求1所述的基于深度联合模型的面部表情识别方法， 其特征在于： 所述构 建训练数据集， 具体包括： 获取待处 理的面部表情图像数据集和人脸识别图像数据集； 通过Retinaface算法对待处理的面部表情图像数据集和人脸识别图像数据集分别进 行检测与对齐； 对待处理的面部表情图像数据集和人脸识别图像数据集分别进行尺寸归一 化； 采用50％概率随机裁剪和随机水平翻转对待处理的面部表情图像数据集和人脸识别 图像数据集分别进行 数据增强； 将面部表情图像数据集一部分数据划分为有标签训练数据集XL， 将人脸识别图像数据 集中的MS ‑Celeb‑1M‑v1c数据集划分为无 标签训练数据集Xu。 3.根据权利要求2的基于深度联合模型的面部表情识别方法， 其特征在于： 所述基于 MobileNetV2主干网络并利用动态瓶颈块构建面部表情识别网络模型， 包括以下步骤： 构建动态卷积核； 通过在每 个动态卷积核直接插 入一个注意力机制块， 构建动态瓶颈块； 根据动态瓶颈块的输入特征映射的大小将动态瓶颈块分组到MobileNetV2主干 网络中 的不同的层； 所述MobileNetV2主干网络的第一层为标准的卷积层， 其余各层为动态瓶颈 块； 利用平均池化和卷积层将Mobi leNetV2主干网络的特 征映射转换为1024维特 征向量。 4.根据权利要求3的基于深度联合模型的面部表情识别方法， 其特征在于： 所述构建动 态卷积核， 具体包括： 利用动态卷积生成输入数据的中间特 征映射， Y′＝X*f′(x)+b′               (1) 其中， Y′是中间特征映射， h′、 w′、 m分别表示中间特征映射数据的长、 宽、 通 道数； X是输入数据的长， 宽， 通道数， h、 w、 c分别表示输入数据的长、 宽、 通道权　利　要　求　书 1/2 页 2 CN 115240258 A 2数； f′表示动态卷积核操作， 其卷积核大小"为 k×k； 利用中间特 征映射的基础上， 通过分组卷积的线性 运算生成一组新的特 征映射； 将中间特征映射及新的特征映射堆叠在一起， 得到最终的输出数据， 其中输出数据的 长、 宽、 通道数 h′、 w′、 n分别表示输出 数据的长、 宽、 通道数。 5.根据权利要求4的基于深度联合模型的面部表情识别方法， 其特征在于： 在利用所述 有标签数据集XL对面部表情识别网络模型进行训练之前， 还包括利用人脸识别图像数据集 预先训练面部表情识别网络模型， 得到面部表情识别网络模型的初始参数。 6.根据权利要求1的基于深度联合模型的面部表情识别方法， 其特征在于： 利用表情引 导的人脸聚类方法对所述无标签数据集进行深度聚类， 得到无标签数据集的聚类结果{Xu， c(m)}。 7.根据权利要求5的基于深度联合模型的面部表情识别方法， 其特征在于： 所述利用有 标签数据集XL对面部表情识别网络模型进行训练， 包括： 将有标签训练数据集XL中的数据批量的输入到面部表情识别网络模型中； 从面部表情识别网络模型中抽取面部表情特征并计算输入数据的预测结果， 将输入数 据的预测结果与输入数据的实际结果之间的损失函数表示 为Lcombined， 则， Lcombined＝LC+λLA               (2) 其中LC为中心损失函数； LA为附加角裕度损失函数， λ为比例参数， λ取0.0 5； 计算面部表情识别网络模型的网络权值的偏导数， 并利用随机梯度下降算法， 更新网 络参数。 8.根据权利要求7的基于深度联合模型的面部表情识别方法， 其特征在于： 还包括将待 处理的面部表情图像数据集中的另一部 分数据作为测试数据集， 利用测试数据集对训练后 的面部表情识别网络模型进行测试。 9.一种基于深度联合模型的面部表情识别系统， 其特 征在于： 包括： 数据集构建模块， 用于构建训练数据集， 所构建的训练数据集包括有标签 数据集XL和无 标签数据集Xu； 模型构建模块， 用于基于MobileNetV2主干网络并利用 动态瓶颈块构建面部表情识别 网络模型， 利用有标签数据集对面部表情识别网络模型进行训练； 特征提取模块， 用于利用训练后的面部表情识别网络模型获得训练数据集的表情深度 特征表示， 并得到无 标签数据集的表情 深度特征的初选标签{Xu， p(m)}； 数据集更新模块， 用于对无标签数据集的表情深度特征的初选标{Xu， p(m)}以及无标签 数据集的表情深度特征的聚类结果{Xu， c(m)}进行比对， 将 无标签数据集中置信度高 的人脸 表情数据及其 面部表情 深度特征标签加入到有标签数据集XL； 模型调节模块， 用于利用更新后的有标签训练数据集对面部表情识别网络模型进行调 节； 表情识别模块， 用于利用调节后的面部表情识别网络模型， 对待识别的面部表情图像 进行表情识别， 得到识别结果。权　利　要　求　书 2/2 页 3 CN 115240258 A 3