(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216764.5 (22)申请日 2022.09.30 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 任亚洲　邵剑剑　蒲晓蓉　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于标记分布学习的面部表情识别方 法 (57)摘要 本发明公开了一种基于标记分布学习的面 部表情识别方法， 属于深度学习与面部表情识别 技术领域。 本发明包括： 对人脸图像预处理以， 进 行人脸检测和对齐； 输入表情图像， 提取表情图 像特征； 对 特征分类并以降低特征分类熵为目标 优化特征提取网络； 利用高斯函数为表情图像生 成标记分布， 并将之作为一种ground ‑truth； 重 建网络模型， 输入表情图像， 提取表情图像特征； 对图像进行分类并以降低交叉熵损失和KL散度 损失为目标优化特征提取网络； 分类损失小于停 止迭代阈值， 输出分类结果。 本发明将样本分类 损失转化 成为标准差， 通过高斯函数为样本生成 标记分布， 获得的标记分布不仅表 示了各类表情 描述样本的程度， 而且更表示了表情的强度， 能 够提高模型的识别效果。 权利要求书2页 说明书4页 附图1页 CN 115482575 A 2022.12.16 CN 115482575 A 1.一种基于标记分布学习的面部表情识别方法， 其特 征在于， 包括下列步骤： 步骤1， 构建面部表情图像数据集， 并对面部表情图像数据集进行预处理： 对图像数据 集中的各图像进行人脸检测与对齐处理， 再归一化图像尺寸， 以与图像分类特征提取网络 的输入相匹配， 得到一幅图像样本， 并为每 个图像样本设置对应的面部表情标签； 步骤2， 构建图像分类网络模型： 在图像分类特征提取网络后依次连接一个全连接层和 分类层， 其中， 全连接层的输出维度和表情 类别数量相同， 其输出为当前输入图像的表情 类 别概率， 分类层将全连接层输出的表情类别概 率归一化并使其符合高斯分布； 步骤3， 基于一定数量的图像样本对图像分类网络模型进行网络参数训练， 直到分类交 叉熵损失变化 量小于给定阈值时， 执 行步骤4； 步骤4， 计算各图像样本的分类交叉熵损失， 并将分类交叉熵损失值转换应用高斯函数 计算获得对应表情图像的标记分布； 步骤5， 以图像样本的标记分布作为图像样本的ground ‑truth标签， 对步骤2构建的图 像分类网络模型重新进行网络参数训练， 训练时， 图像分类网络模型 的损失为分类交叉熵 与相对熵散度损失的加权和， 当图像分类网络模型 的损失的变化量小于给定阈值时停止， 得到训练好的图像分类网络模型； 步骤6， 对待识别人脸图像进行尺寸归一化， 以匹配图像分类网络模型的输入， 再将尺 寸归一化后的待识别人脸图像输入训练好的图像分类网络模型， 获取待识别人脸图像的面 部表情识别结果： 最大表情类别概 率所对应的表情。 2.如权利要求1所述的方法， 其特征在于， 对面部表情图像数据集进行预处理还包括： 采用随机 裁剪、 随机水平翻转和随机擦除以避免过度拟合。 3.如权利 要求1所述的方法， 其特征在于， 图像分类特征提取网络选取ResNet 18的第一 层至倒数第二层， 并在人脸识别数据集上进行 预训练。 4.如权利要求1所述的方法， 其特征在于， 分类层输出的归一化后的表情类别概率为： 其中， pij表示归一化后的第i个输入图像属于类别j的概率， e表示自然底数， θk 表示全连接层输出的各类别的概 率， Y表示类别数， θj表示全连接层输出的类别j的概 率。 5.如权利要求1至4任一项所述的方法， 其特征在于， 步骤4中， 将分类交叉熵损失值转 换应用高斯 函数计算获得对应表情图像的标记分布， 具体为： 将分类交叉熵损失值转化成为标准差： 其中， α表示预置的权重， lossi表 示第i个输入图像的分类交叉熵损失值； 利用高斯 函数计算标记分布： 其中， 表示输入图像xi的标记分布， cj表示类别j， yi表示图像xi的面部表情标签， M表 示归一化因子， 且 6.如权利要求1所述的方法， 其特征在于， 步骤5中， 损失为分类交叉与相对熵散度损失 的权重之和为1。权　利　要　求　书 1/2 页 2 CN 115482575 A 27.如权利要求1所述的方法， 其特 征在于， 步骤3和步骤5中， 给定阈值均设置为0.0 01。权　利　要　求　书 2/2 页 3 CN 115482575 A 3