(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211137474.1 (22)申请日 2022.09.19 (71)申请人 四川轻化工大 学 地址 643000 四川省自贡 市汇东学 苑街180 号 (72)发明人 李德财　蒋行国　 (74)专利代理 机构 北京达友众邦知识产权代理 事务所(普通 合伙) 11904 专利代理师 戴剑昆 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于全局和局部注意力机制的人脸亲属关 系特征提取验证方法 (57)摘要 本发明公开了一种基于全局和局部注意力 机制的人脸亲属关系特征提取验证方法， 基于局 部注意力机制的卷积神经网络和全局注意力机 制的Vision  Transformers(ViT)模型的构建； 包 括步骤： 步骤一， 提出一种基于全局和局部注意 力机制的网络模型； 步骤二， 对预处理的人脸图 像， 通过卷积神经网络和ViT预训练模型对人脸 进行特征提取； 步骤三， 将步骤二中输出的特征 向量通过特征融合(Feature  fusion)和1 ×1卷 积用来降低特征维度， 然后组合连接成一个长向 量， 然后将长向量输入全连接网络(Full   Connection， FC)， 以测量两个 人脸图像之间的相 对相似性， 最终确定两幅图像是否有亲属关系； 其具有人脸图像特征提取速度快， 准确度高， 语 义信息强， 网络结构 简单等优点。 权利要求书1页 说明书4页 附图3页 CN 115424331 A 2022.12.02 CN 115424331 A 1.一种基于全局和局部注意力机制的人脸亲属关系特征提取验证方法， 其特征在于， 包括以下步骤： S1： 建立基于卷积神经网络模型和ViT的模型； S2： 对经处理过的人脸图像， 通过所述卷积神经网络模型和ViT模型对亲属人脸进行特 征提取， 获得 特征向量； S3： 所述特征向量通过特征融合、 1*1卷积、 特征拼接和全连接层， 最后通过sigmoid激 活用于验证。 2.根据权利要求1所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证方 法， 其特征在于， 在步骤S1中， 在建立网络模型的过程中， 采用卷积、 池化、 归一化和自注意 机制， 利用全连接层连接网络 建立基于卷积神经网络模型和V iT的模型， 其中卷积神经网络 模型共5个layer和过渡层， ViT模型4个Sta ge， 全连接包括 三层卷积层和sigmo id激活层。 3.根据权利要求2所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证方 法， 其特征在于， 在步骤S2之前， 还需要对人像进行处理， 对人脸图像进行图像标准化预处 理和分块， 获得 亲属人脸的相关数据信息 。 4.根据权利要求2所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证方 法， 其特征在于， 在卷积神经网络模型中， 第1个layer层后连接有3*3最大池化层， 第5个 layer层后连接有1*1平均池化层。 5.根据权利要求2所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证方 法， 其特征在于， 在ViT模型中， 每 个Stage均有SRA层或Path  Embedding层。 6.根据权利要求1所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证方 法， 其特征在于， 在步骤S3中特 征融合中， 通过分别融合卷积网络模型和ViT模型的特 征。 7.根据权利要求1所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证方 法， 其特征在于， 在步骤S3中1*1卷积， 分别对卷积网络模型和ViT模型的特 征进行1*1卷积。 8.根据权利要求1所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证方 法， 其特征在于， 在步骤S3全连接层中， 第一层对卷积网络模型和ViT模型的特 征进行拼接 。 9.根据权利要求1所述的基于全局和局部注意力机制的人脸亲属关系验证方法， 其特 征在于， 在步骤S 3中， 对卷积神经网络模 型或/和V iT模型进行特征提取， 特征提取数等于神 经元的个数。 10.根据权利要求1所述的基于全局和局部注意力机制的人脸亲属关系特征提取验证 方法， 其特征在于， 在步骤S3中， 利用sigmoid激活层对人脸特征进行验证， 其中验证过程 为： 权　利　要　求　书 1/1 页 2 CN 115424331 A 2基于全局和局部注意力机制的 人脸亲属关系特征提取验证 方法 技术领域 [0001]本发明涉及人脸识别验证领域， 尤其涉及一种基于卷积神经网络和ViT模型的人 脸特征提取验证方法。 背景技术 [0002]自AlexNet在过去十年中被引入以来， 卷积神经网络(CNN)推动了深度学习和计算 视觉的显著进步。 相比传统人脸识别算法， CNN避免了对图像复杂的前期预处理过程。 和传 统神经元的全连接相比， CNN的权重共享机制使神经网络结构 变得更加简单， 使其自然适合 于广泛的视觉应用。 CNN在视觉任务引入了有用的归纳偏向， 并使其在不同的输入分辨率下 具有可转移性。 高度优化的实现使其在高性能的GPU和边缘设备上都很高效。 架构的演变进 一步增加 了它在各种视觉任务上的普及。 但是， CNN还是存在不足， CNN是局 部注意力机制， 对图片的高频分量(边缘、 轮廓等)有很好的识别， 对低频分量(全局 语义信息)识别能力较 差。 于是， Vision  Transformers(ViT)架构的出现解决了这个问题。 新的具有全局捕获信息 能力的自注 意力机制V iT通过在查询、 键和值之 间进行运算， 增加空间交互的顺序来提高网 络容量， ViT在图像分类中表现出很好的性能。 [0003]面部自动亲属关系验证旨在通过比较他们的面部属性来确定两个人是否具有生 物亲属关系。 亲属关系验证在许多应用中都有作用。 可以用于生物关系验证， 也有助于理解 家庭照片中的亲属关系。 还可以用于根据当前或历史照片自动组织家庭相册和生成家庭 树。 除了图像分类外， 亲属关系验证在失踪儿童和认知能力下降的老人以及绑架案件中也 很有用。 事实上， 目前的性能对于在现实生活中使用这种算法是一个很大的障碍。 但是， 通 过开发更精确的方法， 可以缩小当前状态和期望状态之间的差距， 能更快 的在日常生活中 使用亲属识别算法。 发明内容 [0004]针对CNN不足之处， 本 发明提供一种结合具有局部注意力机制的CNN和具有全局注 意力机制的ViT两个模型 的方法， 与几种传统亲属关系人脸图像特征提取验证方法对比分 析， 本发明所提出 的方法能够极大提高亲属关系 人脸特征提取的鉴别性和准确度， 其具有 亲属关系人脸图像特 征提取速度快， 准确度高， 语义 性良好， 网络结构 简单等优点。 [0005]为实现上述目的， 本发明提供一种基于全局和局部注意力机制的人脸亲属关系特 征提取验证方法， 包括以下步骤： [0006]S1： 建立基于卷积神经网络模型和ViT的模型； [0007]S2： 对经处理过的人脸图像， 通过卷积神经网络模型和ViT模型对亲属人脸进行特 征提取， 获得 特征向量； [0008]S3： 特征向量通过特征融合、 1*1卷积、 特征拼接和全连接层， 最后通过sigmoid激 活用于验证。说　明　书 1/4 页 3 CN 115424331 A 3