(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210287449.5 (22)申请日 2022.03.22 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 宦若虹　占孜伟　池凯凯　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 基于姿态估计和非局部网络的行人重识别 方法 (57)摘要 本发明公开了一种基于姿态估计和非局部 网络的行人重识别方法， 先通过获取行人图像， 提取关节 点热力图和全局特征图， 将全局特征图 与关节点热力图进行元素间相乘， 得到关节点局 部特征。 然后将关节点局部特征拼接并经过卷积 操作得到第一特征图， 将第一特征图通过非局部 神经网络捕获每个 关节点像素之间的相关性， 得 到局部前景特征图。 最后融合全局特征图和局部 前景特征图， 将融合特征图进行全局平均池化得 到的行人特征向量， 采用行人特征向量进行比 对， 输出识别结果。 本发明克服全局特征与局部 特征的单一性问题， 提高了行人重识别的准确 率。 权利要求书1页 说明书6页 附图2页 CN 114627506 A 2022.06.14 CN 114627506 A 1.一种基于姿态估计和非局部网络的行人重识别方法， 其特征在于， 所述基于姿态估 计和非局部网络的行 人重识别方法， 包括： 获取行人图像， 分别通过姿态估计网络提取关节点热力图， 通过全局特征提取网络提 取全局特 征图； 将全局特征图与关节点热力图进行元素间相乘， 得到关节点局部特征， 然后将关节点 局部特征拼接并经过卷积操作得到第一特征图， 将第一特征图通过非局部神经网络捕获每 个关节点像素之间的相关性， 得到局部前 景特征图； 融合全局特 征图和局部前景特征图， 得到融合特 征图； 将待检索行人图像的融合特征图进行全局 平均池化得到的特征向量， 与检索图像库中 的各个行 人图像的特 征向量进行相似度比较， 输出识别结果。 2.根据权利要求1所述的基于姿态估计和非局部网络的行人重识别方法， 其特征在于， 所述姿态估计网络、 全局特 征提取网络采用高分辨 率网络HRNet‑W32。 3.根据权利要求2所述的基于姿态估计和非局部网络的行人重识别方法， 其特征在于， 所述通过姿态估计网络提取关节点热力图， 包括： 将高分辨 率网络HRNet‑W32的输出 经过卷积操作后得到关节点热力图。 4.根据权利要求2所述的基于姿态估计和非局部网络的行人重识别方法， 其特征在于， 所述通过全局特 征提取网络提取全局特 征图， 包括： 将高分辨率网络HRNet ‑W32中子网络的输出通过对应输入通道数的瓶颈块生成对应的 特征图， 并将这些特征图经过上采样， 使得各个上采样后的特征图所对应的宽度和高度相 等， 然后将上采样后的特 征图进行拼接， 得到最终的全局特 征图。 5.根据权利要求1所述的基于姿态估计和非局部网络的行人重识别方法， 其特征在于， 所述融合全局特 征图和局部前景特征图， 得到融合特 征图， 包括： 将全局特 征图Fg和局部前景特征图Fhp转换为三个非线性映射特 征， 如下式所示： Fq＝Wq·Fhp； Fk＝Pk(Wk·Fg)； Fv＝Pv(Wv·Fg)； 其中的Wq,Wk,Wv是三个1×1的卷积， Pk和Pv是金字塔平均池化； 对Fq和Fk进行点乘计算， 然后用SoftMax进行归一 化处理得到关系矩阵M， 公式如下： 其中的T为矩阵转置； 将关系矩阵M与经 过金字塔平均池化的Fv进行矩阵间相乘， 得到特 征Fc， Fc＝M·Fv； 将特征Fc与局部前景特征图Fhp进行拼接， 然后通过卷积操作得到最终的融合特征图Fh， Fh＝Conv(concat(Fc,Fhp))； 式中， concat表示拼接， Conv表示卷积。权　利　要　求　书 1/1 页 2 CN 114627506 A 2基于姿态估计和非局部网 络的行人重识别方 法 技术领域 [0001]本申请属于行人重识别技术领域， 尤其涉及一种基于姿态估计和非局部网络的行 人重识别方法。 背景技术 [0002]行人重识别是图像检索的子问题， 是给定由一台摄像机捕捉到的一个特定人物的 图像， 从不同视角的不同摄像机捕捉到的图像中重新识别出该人物的技术。 近年来， 随着人 工智能技术的不断发展， 现有的视频监控系统也向着智能化方向发展， 智能系统被普遍应 用于人民的工作和生活当中。 行人是视频监控中的主体， 其身份、 位置和行为在智能监控的 多个研究领域中被重点关注， 行人重识别正是其中一个与行人位置和身份密切相关的重要 研究方向。 [0003]行人重识别主要是解决跨摄像头和跨场景下行人的识别与检索问题。 一般是给定 一个目标行人的图像， 行人重识别技术在其他多个摄像头下采集的行人图像库中进行对比 检索， 找到与该行人相同身份的图像。 若 再结合摄像头的位置和捕获时间等信息， 就可以快 速锁定该行人位置或明确 其活动轨迹。 行人重识别是根据行人的体态、 穿着首饰等外观特 征来区分和辨别， 但由于监控场景下的复杂性， 行人重识别还面临着各种挑战： 如摄像头拍 摄的分辨率低、 不同摄像头的视角和参数不同、 不同时间行人的光线不同、 场景复杂导致行 人图像存在着遮挡现象以及不同行人 的姿态和着装的变化， 因此， 提取一个更具有判别力 特征的行人重识别方法仍具有很强的理论和应用价 值。 [0004]目前， 各种神经网络模型和计算资源的不断成熟和发展， 深度学习在图像方面取 得了较为优良的性能， 卷积神经网络在计算机视觉的各种上游和下游任务上取得了不错的 精确度， 因此一般都采用卷积神经网络来进行行人重识别。 基于深度学习的行人重识别中 主要利用了行人 的全局特征， 将行人图像经过卷积神经网络来提取全局行人特征向量， 对 每个特征向量进行相似度的比较来进行排序， 最终得到排序的结果。 然而由于行人图像存 在背景干扰， 全局特征可能会关注于背景等噪声信息。 因此要通过注意力机制或者基于部 位的模型来提取出局部信息减少背景变化对于结果的干扰， 然而 单一的局部特征和全局特 征都具有一定的局限性， 会影响行 人重识别的最终准确率的提高。 发明内容 [0005]本申请的目的是提供一种基于姿态估计和非局部网络的行人重识别方法， 克服单 纯使用全局特征和局部特征的单一性问题， 以及基于部件的局部特征中不包含部件关系信 息的问题。 [0006]为了实现上述目的， 本申请技 术方案如下： [0007]一种基于姿态估计和非局部网络的行 人重识别方法， 包括： [0008]获取行人 图像， 分别通过姿态估计网络提取关节点热力图， 通过全局特征提取网 络提取全局特 征图；说　明　书 1/6 页 3 CN 114627506 A 3