(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210266866.1 (22)申请日 2022.03.18 (65)同一申请的已公布的文献号 申请公布号 CN 114360033 A (43)申请公布日 2022.04.15 (73)专利权人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 王中元　黄宝金　邵振峰　梁步云　 王光成　易鹏　江奎　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 114170627 A,202 2.03.11 CN 107016 370 A,2017.08.04 CN 111881770 A,2020.1 1.03 CN 108805040 A,2018.1 1.13 CN 109583 357 A,2019.04.0 5 US 2011317872 A1,201 1.12.29 US 2022019766 A1,202 2.01.20 AU 2020101210 A4,2020.08.0 6 徐迅等.基于卷积神经网络的带遮蔽人脸识 别. 《江汉大 学学报(自然科 学版)》 .2019,(第0 3 期), 审查员 喻阳 (54)发明名称 基于图卷积融合网络的口罩人脸识别方法、 系统及设备 (57)摘要 本发明公开了一种基于图卷积融合网络的 口罩人脸识别方法、 系统及设备， 首先利用改进 ResNet‑50网络对输入的口罩人脸图像进行特征 表示， 同时利用人脸关键点检测技术得到输入人 脸的眉眼RoI信息； 然后将人脸特征图和眉眼RoI 信息输入到眉眼区域池化模块得到眉眼局部特 征以及全局特征， 再通过图卷积融合网络得出最 终的人脸判别特征； 最后， 使用Ar cFace损失函数 优化CNN骨架和图卷积融合网络的参数， 使得最 终产生更具判别性的口罩人脸识别特征。 本发明 方法有效克服了现有人脸识别方法在口罩遮挡 情况下精度低的问题。 权利要求书3页 说明书4页 附图3页 CN 114360033 B 2022.06.14 CN 114360033 B 1.一种基于图卷积融合网络的 口罩人脸识别方法， 其特 征在于， 包括以下步骤： 步骤1： 对口罩人脸图像进行 特征表示， 获得 人脸特征图； 其中， 采用改进ResNet ‑50网络， 对源于自然拍摄且经过人脸对齐后的图像进行特征提 取； 所述改进ResNet ‑50网络， 是在 ResNet‑50网络中去掉平均池化层和全连接层后获得的 网络， 通过4个CN N块学习得到四个特 征图， 记为F1， F2， F3， F4； 步骤2： 获取 人脸图像对应的眉眼Ro I信息； 步骤3： 将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征； 所述 眉眼局部特 征包括左眉特 征， 右眉特 征， 左眼特 征和右眼特 征； 步骤3的具体实现包括以下子步骤： 步骤3.1： 利用步骤2中得到的眉眼RoI信息对步骤1中得到的三个特征图 （F2， F3， F4） 的 四个区域进 行Roi‑Pooling操作， 所述四个区域包括双眼和双眉， 对于每个区域得到的三个 特征图F2， F3， F4； 步骤3.2： 采用特征级联的方式分别将每个区域对应的三个阶段特征融合为每个区域 对应的局部特 征 ； 步骤3.3： 对步骤1中得到的特 征进行全局池化操作得到全局特 征Fg； 步骤4： 融合眉眼局部特 征和全局特 征， 得到最终的人脸判别特 征； 步骤4的具体实现包括以下子步骤： 步骤4.1： 构建图 ； 其中，v表示节点集合， 由1个全局节点和2个局部节点组成； 表示边集合， 由1个全局节点连接所有的局部节点的边组成； 局部节点由特征对 组成， 全局节点由全局特征Fg组成， ； 表示图结构， 其中 d表示 眉眼特征维度； 步骤4.2： 建立图节点之 间的联系， 将全局节点作为图的第一个节点， 邻接矩阵 定义为： 其中 ， 然后正则化邻接矩阵为 ； 步骤4.3： 通过图卷积融合网络逐层传播， 融合眉眼局部特征和全局特征， 得到最终的 人脸判别特 征； 所述图卷积融合网络逐层 传播过程如下： ； 其中 表示图特征的第 l层， 以步骤3中输出的全局和局部特征作为初始化， 表 示图学习参数， 表示ReLU激活函数， 整个图卷积融合网络共有3层， 最终输出 作为 人脸判别特 征。 2.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法， 其特征在于： 步骤权　利　要　求　书 1/3 页 2 CN 114360033 B 21中， 若输入图片大小为H ×W， H和W分别表示图像的高度和宽度， 则四个特征图F1， F2， F3， F4 的大小分别为H/2 ×W/2， H/4 ×W/4， H/8 ×W/8， H/16 ×W/16； 将提取的特征记为 ， 其中 分别代表图像的高度、 宽度和通道数。 3.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法， 其特征在于， 步骤 2的具体实现包括以下子步骤： 步骤2.1： 采用face ‑alignment人脸关键点检测方法来 提取口罩人脸 面部关键点 坐标； 步骤2.2： 人脸关键点 坐标进一 步生成眉眼Ro I信息， Ro I信息表示如下： 其中Pi表示人脸图像眉眼第 i部分的关键点坐标集合， 分别表示第 i部分的关 键点的横坐标和纵坐标， 表示RoI区域 的左上角和右下角坐标， 代表 margin以增加容错率。 4.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法， 其特征在于： 步骤 3中， 采用眉眼区域池化网络将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及 全局特征； 所述眉眼区域池化网络， 输入为人脸图像通过ResNet50网络学习到的三个特征图F2， F3， F4以及人脸图像对应的眉眼RoI信息， 网络内部包含三个RoI池化模块和一个全局池化模 块， 最后分别执行四次特征级 联操作； 通过眉眼区域池化网络将人脸特征图和眉眼RoI信息 转化为对应的眉眼局部特 征以及全局特 征。 5.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法， 其特征在于： 步骤 4中， 通过图卷积融合网络融合眉眼局部特 征和全局特 征； 所述图卷积融合网络， 输入为眉眼局部特征以及全局特征， 网络内部包含三个隐含层， 第一层包含512个节点； 第二层包含256个节点， 第三层包含128个节点； 每个层之间使用 ReLU激活函数进行激活， 输出为人脸判别特 征。 6.根据权利要求1 ‑5任意一项所述的基于 图卷积融合网络的口罩人脸识别方法， 其特 征在于： 所述 改进ResNet ‑50网络和通过图卷积融合网络， 均是通过ArcFace损失函数优化 改进ResNet ‑50网络和通过图卷积融合网络的参数， 获得训练好的改进ResNet ‑50网络和通 过图卷积融合网络， 使得最终产生具判别性的 口罩人脸识别特 征。 7.一种基于图卷积融合网络的 口罩人脸识别系统， 其特 征在于， 包括以下模块： 模块1， 用于对口罩人脸图像进行 特征表示， 获得 人脸特征图； 其中， 采用改进ResNet ‑50网络， 对源于自然拍摄且经过人脸对齐后的图像进行特征提 取； 所述改进ResNet ‑50网络， 是在 ResNet‑50网络中去掉平均池化层和全连接层后获得的 网络， 通过4个CN N块学习得到四个特 征图， 记为F1， F2， F3， F4； 模块2， 用于获取 人脸图像对应的眉眼Ro I信息；权　利　要　求　书 2/3 页 3 CN 114360033 B 3