(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210731159.5 (22)申请日 2022.06.24 (71)申请人 合肥的卢深视科技有限公司 地址 230091 安徽省合肥市高新区习友路 3333号中 国 （合肥） 国际智能语音产业 园研发中心 楼611-217室 (72)发明人 刘冲冲　付贤强　何武　朱海涛　 户磊　 (74)专利代理 机构 北京智晨知识产权代理有限 公司 11584 专利代理师 张婧 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/762(2022.01) G06V 40/16(2022.01) (54)发明名称 模型训练、 人脸图像质量评分方法、 电子设 备及存储介质 (57)摘要 本发明实施例涉及人脸图像处理领域， 公开 了一种模型训练、 人脸图像质量评分方法、 电子 设备及存储介质。 本发明中， 模型训练方法， 包 括： 构建用于从人脸图像提取人脸特征向量的特 征编码网络， 人脸特征向量作为样 本服从第一正 态分布； 构建用于生成描述人脸图像为好质量和 坏质量的两个聚类中心向量的聚类中心网络， 两 个聚类中心向量分别作为样本服从第二正态分 布； 构建分类概率模型， 分类概率模型用于生成 人脸图像分别属于好质量和坏质量的分类概率 值； 以未标注标签的人脸图像作为训练样本， 对 特征编码网络、 聚类中心网络和分类概率模型进 行联合训练， 得到训练好的特征编码网络和聚类 中心网络 。 权利要求书4页 说明书14页 附图2页 CN 115063374 A 2022.09.16 CN 115063374 A 1.一种模型训练方法， 其特 征在于， 包括： 构建用于从人脸图像提取人脸特征向量的特征编码网络， 所述人脸特征向量作为样本 服从第一 正态分布； 构建用于生成描述人脸图像为好质量和坏质量的两个聚类中心向量的聚类中心网络， 所述两个聚类中心向量分别作为样本服从第二 正态分布； 构建分类概率模型， 所述分类概率模型用于生成所述人脸图像分别属于好质量和坏质 量的分类概 率值； 以未标注标签的人脸图像作为训练样本， 对所述特征编码网络、 所述聚类中心网络和 所述分类概 率模型进行 联合训练， 得到训练好的所述特 征编码网络和所述聚类中心网络； 其中， 所述联合训练的损 失包括： 所述人脸特征向量以对应的所述分类概率值靠近所 述两个聚类中心向量的距离损失， 以及利用已标注为好质量的人脸图像所对应的人脸特征 向量作为样本服从的第一正态分布与所述两个聚类中心向分别作为样本服从的第二正态 分布之间的距离损失。 2.根据权利要求1所述的模型训练方法， 其特征在于， 所述特征编码网络包括： 特征编 码模型和第一 生成模块； 所述构建用于从人脸图像提取人脸特征向量的特征编码网络， 所述人脸特征向量作为 样本服从第一 正态分布， 包括： 构建所述特 征编码模型， 其输入为人脸图像、 输出为第一均值向量和第一标准差向量； 通过所述第 一生成模块从标准正态分布中采样得到第 一采样值向量， 并通过如下公式 构建所述第一 正态分布： 其中， zn(b)为所述人脸特征向量； sn(b)为所述第一采样值向量， mun(b)为所述第一均值向 量， varn(b)为所述第一标准差向量， b＝1,2 …,B； B为训练样本的批大小， n 为向量长度。 3.根据权利要求1所述的模型训练方法， 其特征在于， 所述聚类中心网络包括： 聚类中 心模型和第二 生成模块； 所述构建用于生成描述人脸图像为好质量和坏质量的两个聚类中心向量的聚类中心 网络， 所述两个聚类中心向量分别作为样本服从第二 正态分布， 包括： 构建所述 聚类中心模型， 其无输入且输出为用于描述人脸图像为好质量和坏质量的两 个向量表达， 每 个所述向量表达包括第二均值向量和第二标准差向量； 通过所述第 二生成模块从标准正态分布中采样得到第 二采样值向量， 并通过如下公式 构建所述第二 正态分布： 其中， Ck,n为所述聚类中心向量； ssn为所述第二采样值向量， Ck,1,n为所述第二均值向 量， Ck,2,n为所述第二标准差向量； k ＝1,2， 分别代 表好质量和坏质量， n 为向量长度。 4.根据权利要求1 ‑3任一项所述的模型训练方法， 其特征在于， 构建所述人脸特征以对 应所述分类概 率值所属于所述两个聚类中心的距离损失， 包括： 通过如下公式计算所述人脸特征以对应所述分类概率值所属于所述两个聚类中心的权　利　要　求　书 1/4 页 2 CN 115063374 A 2距离损失： 其中， lossc为所述人脸特征以对应所述 分类概率值所属于 所述两个聚类中心的距离损 失， Jk(b)为所述人脸图像属于好质量和坏质量的分类概率值， varn(b)为所述第一标准差向 量， zn(b)为所述人脸特征向量， Ck,n为所述聚类中心向量， α2为超参数， B为训练样本 的批大 小； b＝1,2 …,B； k＝1,2， 分别代 表好质量和坏质量； n 为向量长度。 5.根据权利要求1 ‑3任一项所述的模型训练方法， 其特征在于， 构建所述利用已标注为 好质量的人脸图像所对应的所述第一正态分布与所述第二正态分布之间的距离损失， 包 括： 将好质量的B张人脸图像输入到所述特征编码模型， 得到B个好质量的第 一均值向量和 B个好质量的第一标准差向量， 将所述B个好质量的第一均值向量的均值记为好质量均值向 量， 将所述B个好质量的第一标准差向量的均值记为 好质量标准差向量； 确定所述好质量的人脸图像的好质量人脸特征向量作为样本服从以所述好质量的第 一均值向量 为均值、 所述 好质量的第一标准差向量 为标准差的好质量的第一 正态分布； 通过如下公式计算所述好质量的人脸图像所对应的所述第一正态分布与所述第二正 态分布之间的距离损失： 其中， lossf为所述好质量的人脸图像所对应的所述第一正态分布与所述第二正态分布 之间的距 离损失， KL(*1||*2)表示*1和*2的Kullback‑Leibler散度； p(zgn)表示zgn的概率分 布， zgn作为样本服从均值为所述好质量均值向量、 标准差为所述好质量标准差向量的正态 分布； p(C1,n)表示好质量的聚类中心向量C1,n的概率分布， C1,n作为样本服从均值为好质量 的所述第二均值向量C1,1,n， 标准差为好质量的所述第二标准差向量C1,2,n的正态分布， p (C2,n)表示坏质量的聚类中心向量C2,n的概率分布， C2,n作为样本服从均值为坏质量的所述 第二均值向量C2,1,n， 标准差为坏质量的所述第二标准差向量C2,2,n的正态分布， n为向量长 度。 6.根据权利要求1所述的模型训练方法， 其特征在于， 所述联合训练的损失还包括人脸 特征损失， 构建所述人脸特 征损失， 包括： 构建图像还原模型， 其输入为所述人脸特征向量、 输出为人脸图像形状的张量， 将所述 图像还原模型加入到所述联合训练过程中， 并通过如下公式计算所述人脸特 征损失： 其中， losse为所述人脸特征损失， x(b)为所述人脸图像， dx(b)为所述人脸图像形状的张 量， α4为超参数， B为训练样本的批大小； b＝1,2 …,B。 7.根据权利要求1所述的模型训练方法， 其特征在于， 所述联合训练的损失还包括分类 概率值均匀性损失， 构建所述分类概 率值均匀性损失， 包括： 通过如下公式计算所述分类概 率值均匀性损失：权　利　要　求　书 2/4 页 3 CN 115063374 A 3