(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211141428.9 (22)申请日 2022.09.20 (71)申请人 长沙海信智能系统研究院有限公司 地址 410006 湖南省长 沙市岳麓区洋湖街 道潇湘南路一段368号中盈广场C座5 层502号 (72)发明人 王婷　闾凡兵　吴婷　熊肖一　 (74)专利代理 机构 长沙市岳麓慧专利代理事务 所(普通合伙) 43270 专利代理师 王中华 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/62(2022.01) G06V 20/40(2022.01) (54)发明名称 人脸最优帧选取方法、 装置及电子设备 (57)摘要 本发明提供一种人脸最优帧选取方法、 装置 及电子设备。 所述方法通过人脸检测置信度、 人 脸尺寸、 人脸欧拉角、 人脸遮挡程度及人脸模糊 程度综合计算人脸画面的质量分数， 对于同一ID 的人脸， 定义其在当前帧画面中计算得到的质量 分数为第一质量分数， 其在当前帧之前确定的最 优帧中计算得到的质量分数为第二质量分数， 比 较第一质量 分数与第二质量分数， 若第一质量分 数大于或等于第二质量分数， 则将最优帧替换为 当前帧， 否则保持最优帧不变； 当人脸跟踪模型 跟丢一ID的人脸的时长超 过预设的时长阈值时， 输出最优帧的人脸图像， 能够自动识别选取同一 个监控画面下的人脸最优帧， 进而通过存储人脸 最优帧减少存 储量， 提升人脸 查找效率。 权利要求书3页 说明书8页 附图8页 CN 115311729 A 2022.11.08 CN 115311729 A 1.一种人脸 最优帧选取 方法、 其特 征在于， 包括如下步骤： 步骤S1、 获取训练图片集， 标注训练图片集中的各训练图片中人脸的关键点位置及属 性， 用标注好的训练图片集训练人脸检测模型； 步骤S2、 接收视频流， 从所述视频流中提取待检测图像输入训练好的人脸检测模型， 得 到待检测图像中各个人脸的第一信息， 所述第一信息包括人脸的检测框边界、 人脸的关键 点位置、 人脸的属性以及人脸的检测置信度； 步骤S3、 根据每一人脸的第一信息和预设的信息转换算法得到该人脸的第二信息， 所 述第二信息包括： 人脸的欧拉角、 人脸的遮挡程度值及人脸的模糊程度值； 步骤S4、 通过人脸跟踪模型对检测到的人脸进行跟踪， 确定每一人脸的ID， 并根据每一 帧画面中各个ID的人脸的第二信息、 人脸检测置信度及预设的质量分数算法确定该帧画 面 中每一ID的人脸的质量分数； 步骤S5、 对于同一ID的人脸， 定义其在当前帧画面中计算得到的质量分数为第一质量 分数， 其在当前帧之前确定的最优帧中计算得到的质量分数为第二质量分数， 比较第一质 量分数与第二质量分数， 若第一质量分数大于或等于第二质量分数， 则将最优帧替换为当 前帧， 否则保持最优帧不变； 步骤S6、 当人脸跟踪模型跟丢一ID的人脸的时长超过预设的时长阈值时， 输出最优帧 的人脸图像。 2.如权利要求1所述的人脸最优帧选取方法， 其特征在于， 所述步骤S3中预设的信 息转 换算法包括： 根据第一信息中的人脸的属性的不同选择不同的人脸遮挡程度值计算公式， 所述第 一 信息中的人脸的属性至少包括： 人脸的 口罩遮挡状态以及肤色区域； 根据确定的人脸遮挡程度值计算公式、 人脸的检测框边界以及人脸的关键点位置计算 得到人脸的遮挡程度值。 3.如权利要求2所述的人脸最优帧选取方法， 其特征在于， 根据第 一信息中的人脸的属 性的不同选择不同的人脸遮挡程度值计算公式具体包括： 当人脸的口罩遮挡区域为有口罩且同时遮挡住鼻和嘴时， 确定人脸遮挡程度值计算公 式为第一公式； 当人脸的口罩遮挡区域为有口罩且遮住嘴且暴露出鼻时， 确定人脸遮挡程度值计算公 式为第二公式； 当人脸的口罩遮挡区域为有口罩且暴露出嘴且暴露出鼻时， 确定人脸遮挡程度值计算 公式为第三公式； 当人脸的 口罩遮挡区域 为无口罩时， 确定人脸遮挡程度值计算公式为第四公式。 4.如权利要求3所述的人脸 最优帧选取 方法， 其特 征在于， 第一公式为： ；权　利　要　求　书 1/3 页 2 CN 115311729 A 2第二公式为： ； 第三公式为： ； 第四公式为： ； 其中， occupy为人脸的遮挡程度值， area_skin为肤色 区域的面积， area_face为人脸面 积， x1和y1为人脸的检测框的左上角的横坐标和纵坐标， x2和y2为人脸的检测框的右下角的 横坐标和纵坐标， yle、 yre 、 yn、 ylm及yrm分别为人脸左眼位置的纵坐标、 右眼位置的纵坐标、 鼻尖位置的纵坐标、 左嘴角位置的纵坐标及右嘴角位置的纵坐标。 5.如权利要求4所述的人脸最优帧选取方法， 其特征在于，  所述步骤S3中预设的信息 转换算法还 包括： 根据第一信息中的人脸的关键点 位置对应 计算得第二信息中的人脸的欧拉角； 提取检测框边界内的人脸图像； 通过cv2.Laplacian算法对检测框边界内的人脸图像进行模糊检测， 得到该人脸的模 糊程度值。 6.如权利要求5所述的人脸最优帧选取方法， 其特征在于， 所述步骤S4中预设的质量分 数算法为： ； 其中， score为该帧画面 中一ID的人脸的质量分数， conf为该帧画面 中该ID的人脸的检 测置信度， size为该帧画面中该ID的人脸的检测框尺寸， pitch、 yaw和roll为该帧画面中该 ID的人脸的欧拉角， occupy为该帧画面中该ID的人脸的遮挡程度值， blur为该帧画面中该 ID的人脸的模糊程度值， a1、 a2、 a3、 a4、 a5、 a6、 a7为比例常数， 所述a1、 a2、 a3、 a4、 a5、 a6、 a7的数值 通过多元梯度下降法确定 。 7.如权利要求1所述的人脸最优帧选取方法， 其特征在于， 所述人脸训练模型为加入属 性识别头和属性识别函数的ret inaface网络模 型， 以使得经过训练后的人脸训练模型能够 同时检测人脸的检测框边界、 人脸的关键点 位置、 人脸的属性以及人脸的检测置信度； 所述人脸跟踪模型是将特征提取网络从resnet18网络改进为mobilefacenet网络的 deep‑sort网络模型。 8.一种人脸 最优帧选取装置， 其特 征在于， 包括： 训练单元， 用于获取训练图片集， 标注训练图片集中的各训练图片中人脸的关键点位 置及属性， 用标注好的训练图片集训练人脸检测模型； 检测单元， 用于接收视频流， 从所述视频流中提取待检测图像输入训练好的人脸检测 模型， 得到待检测图像中各个人脸的第一信息， 所述第一信息包括人脸的检测框边界、 人脸 的关键点 位置、 人脸的属性以及人脸的检测置信度；权　利　要　求　书 2/3 页 3 CN 115311729 A 3