(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210820790.2 (22)申请日 2022.07.12 (71)申请人 天津科技大 学 地址 300457 天津市滨 海新区天津经济技 术开发区第十三大街9号 (72)发明人 张滢雪　司占军　种政　于彦辉　 杨文鹏　 (74)专利代理 机构 北京鑫瑞森知识产权代理有 限公司 1 1961 专利代理师 王立普 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/46(2022.01) G06V 10/56(2022.01)G06V 10/762(2022.01) (54)发明名称 基于关键点和视觉显著目标检测的电子人 脸照片采集方法 (57)摘要 本发明公开了一种电子人脸照片采集方法， 包括对输入图像依次进行人脸的唯一性检验、 人 脸的完整性检验和图像质量的检验， 并根据检验 结果确定符合制作电子照片要求的初始图像； 对 初始图像进行面部校正， 获取标准姿态的面部图 像； 对标准姿态的面部图像进行显著目标检测， 并根据检测结果进行图像分割， 获取分离人物前 景与背景的人物图像； 对人物图像进行图像后处 理， 调整图像的尺寸与背景颜色， 得到符合要求 的电子人物照片； 本发明能够在 进行图像处理前 更为全面地判断输入图像的可用性， 一方面避免 了处理无效图像带来的计算时间， 一方面确保经 过处理的输出图像是有效可用的， 具有更高的效 率和更强的稳定性， 同时避免了额外的人工后处 理。 权利要求书3页 说明书8页 附图1页 CN 114973384 A 2022.08.30 CN 114973384 A 1.基于关键点和视 觉显著目标检测的电子人脸照片采集方法， 其特 征在于， 包括： 对输入图像 依次进行人脸的唯一性检验、 人脸的完整 性检验和图像质量的检验， 并根 据检验结果确定符合制作电子照片要求的初始图像； 对所述初始图像进行面部校正， 获取 标准姿态的面部图像； 对所述标准姿态 的面部图像进行显著目标检测， 并根据检测结果进行图像分割， 获取 分离人物前 景与背景的人物图像； 对所述人物图像进行图像后处理， 调整图像的尺寸与背景颜色， 得到符合要求的 电子 人物照片。 2.根据权利要求1所述的电子人脸照片采集方法， 其特征在于， 所述人脸的唯一性检验 包括： 对输入图像 进行人脸检测， 获取人脸区域的选框集合{fm|m＝1， 2， ...， M}， 若M＝1， 则所述人脸的唯一 性检验通过， 若M ≠1， 咋所述人脸的唯一 性检验不 通过。 3.根据权利要求2所述的电子人脸照片采集方法， 其特征在于， 所述人脸的完整性检验 包括： 对唯一有效人脸f1进行关键点检测， 获取人脸面部的81个关键点{(xi， yi)|i＝1， 2， ...81}， 判断是否同时满足 其中， W为图像横向分辨率， H为纵向分辨率， 若能满足， 则所述人脸的完整性检验通过， 若不能满足， 所述人脸的完整性检验不 通过。 4.根据权利要求3所述的电子人脸照片采集方法， 其特征在于， 所述图像质量的检验包 括： 将输入的图像转换为二维灰度图像； 利用拉普拉斯算子L对所述灰度图像进行卷积操 作， 计算图像清晰度指标q： q＝std(CL(x， y))              (3) 其中， CL(x， y)是灰度图像所有像素点(x， y)处拉普拉斯算子的卷积， std()为标准差计 算； 设置清晰度阈值Tq， 若q＞Tq， 则输入图像 质量检验通过， 若q＜Tq， 则输入图像 质量 检验未通过。 5.根据权利要求1所述的电子人脸照片采集方法， 其特征在于， 所述获取标准姿态的面 部图像包括： 对所述初始图像 基于仿射变换矩阵进行仿射变换， 获取 标准姿态的面部图像： 其中， (x， y)(x ′， y′)分别为输入图像 及经仿射变换后的图像 的像素点坐标。 参数 a1， a2， a3， a4由5个关键点在输入 图像 及标准姿态的面部图像 中的坐标(xk， yk)， (xk′， yk′)代入求解得到。 6.根据权利要求1所述的电子人脸照片采集方法， 其特征在于， 获取人物前景与背景分 离的人物图像包括： 利用简单线性迭代 聚类超像素分割算法将图像分割为超像素； 以超像 素为节点构造图模型G(N， E)， 其中N 为节点， E为节点间的无向边；权　利　要　求　书 1/3 页 2 CN 114973384 A 2计算图模型G的权 重矩阵Ω＝{ωij|i， j＝1， 2， . ..， n}和度矩阵D＝dia g{d11， ...， dnn}， dii＝∑jωij                (6) 其中， ci和cj是图节点 i， j在LAB色彩空间的颜色平均值， σ 为常数； 基于Ω和D， 计算最优近邻矩阵A＝(D ‑α Ω)‑1， 并计算排序分数r*作为超像素的显著性 值， r*＝AY， 其中Y＝{Yi|i＝1， 2， ...， n]， 是指示向量， 指示每个节点是否为种子点， 若是则 Yi＝1， 不是则为0； 以图像上下左右四个边缘 的所述超像素分别作为背景种子点， 获取初始显著性图Sbq， Sbq(i)＝St(i)×Sb(i)×Sl(i)×Sr(i)， i＝1， 2， ...， n， 其中， St(i)， Sb(i)， Sl(i)， Sr(i)是以 上下左右四个边缘为种子点求得的显著性图 为对应的标准化的显著 性值向量； 基于初始显著性图， 重新选择 前景种子点， 计算得到最终显著性图， 对获取的最终显著性 图进行检测， 获取灰度值相差较大的两部分， 设置分割阈值Tseg， 灰度值大于Tseg的为人像区域， 灰度值小于Tseg为背景区域， 分别获得人像区域坐标集合 和背景区域 坐标集合 u＝1， 2， . ..， U， v＝1， 2， . ..， V， U+V＝ W×H。 7.根据权利要求6所述的电子人脸照片采集方法， 其特征在于， 获取人物前景与背景分 离的人物图像还包括： 需要先对所述标准姿态的面部图像进行显著目标检测， 并基于检测 结果进行基于 显著性阈值的人物前 景与背景的图像分割。 8.根据权利要求1所述的电子人脸照片采集方法， 其特征在于， 调整图像背景颜色包 括： 将图像背景区域像素点RGB三通道颜色向量进行替换， 前景人物区域像素点不变， 获得 替换背景颜色的图像 9.根据权利要求1所述的 电子人脸照片采集方法， 其特征在于， 调整图像尺寸包括： 获 取面部关键点中取最高点(xt， yt)、 最低点(xb， yb)、 最左侧点(x1， y1)、 最右侧点(xr， yr)， 将四 点所在边连接所得矩形区域作为面部区域， 输出图像的预设宽度和高度分别为W ′， H′， 通过 式(10)‑(13)计算裁 剪框角坐标， 其中， eW、 ， eT、 eB分别为 面部区域距输出图像左右及上 下边缘的距离， eW的计算方式保证面部区域在输出人像照片中左右居中， 其中， ratiot， ratiob分别代 表面部区域距顶部和底部的相对距离占比， ratiot和ratiob取值范围均为[0， 1]， ratiot+ ratiob＝1， 因此eT和eB决定了前额顶端距输出人像照片上沿、 下巴距下沿的距离， 坐标范权　利　要　求　书 2/3 页 3 CN 114973384 A 3