(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210226785.9 (22)申请日 2022.03.09 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 孙晓明　段彦　陈言　王永亮　 张微风　 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制与多尺度特征融合的行人 特征提取方法 (57)摘要 本发明基于注意力机制与多尺度特征融合 的行人特征提取方法属于计算机视觉、 机器视觉 和深度学习技术领域； 该方法依次执行以下步 骤： 构建自上而下渐进式交互模块； 构建M ‑ Convolution注意力机制模 块； 设置评价指标； 评 价行人特征提取方法的有效性； 本发 明在数据集 上通过Resnet50+FPN、 Resnet50+FPN+M ‑ convolution、 Resnet50+MPN三种 行人特征提取 方法进行训练， 经过对比mAP、 Rank ‑1和Rank‑5三 个衡量指标， 本发明构建的两个模块在三个指标 上的表现均有不同程度的提高， 验证了基于注意 力机制与多尺度特征融合的行人特征提取方法 的有效性， 具有较大的实用价 值。 权利要求书3页 说明书8页 附图9页 CN 114821631 A 2022.07.29 CN 114821631 A 1.基于注意力机制与多尺度特征融合的行人特征提取方法， 其特征在于， 包括以下步 骤： 步骤a、 构建自上而下渐进式交 互模块； 步骤b、 构建M ‑Convolution注意力机制模块； 步骤c、 设置 评价指标； 步骤d、 评价行 人特征提取方法的有效性。 2.根据权利要求1所述的基于注意力机制与多尺度特征融合的行人特征提取方法， 其 特征在于， 步骤a具体步骤如下： 步骤a1、 输入行人图像， 采用残差网络Resnet50完成特征卷积计算， 生成的四个特征 图， {C2,C3,C4,C5}表示所述四个特 征图； 步骤a2、 将较低层次相邻的特征图{C4,C5}进行跨尺度非局部特征操作， 将重复出现的 行人特征信息进行融合得到特 征图 所述跨尺度非局部特 征操作公式如下： f(Fi)＝WfFi g(Gj)＝WgGj θ ＝WθGj 其中， F、 G为两个行人特征图； i,j为特征图F、 G、 y的位置索引； ∑为求和符号； φ为点乘 进行相似度计算函数； θ为行人特征转换函数； Gj为生成新的行人特征图； yi为行人特征信 息； σ(F,G)为标量函数； r*r为斑块区域的大小； δ(r)为邻域大小； Wf、 Wg、 Wθ为线性嵌入函数 实现从向量到标量的转化； e为自然常数； T为转置符号； f(Fi)Tg(Gj)为点乘相似度计算公 式； 步骤a3、 将特征图 和特征图{C3}再次进行跨尺度非局部特征操作， 将重复出现的行 人特征信息再次进行融合得到特 征图 步骤a4、 将得到的特 征图进行级联操作和上采样 操作之后， 输入到注意力机制模块。 3.根据权利要求1所述的基于注意力机制与多尺度特征融合的行人特征提取方法， 其 特征在于， 步骤b具体步骤如下： 步骤b1、 在通道和空间两个维度通过CBAM网络模型结构进行特征捕捉， 得到特征图A； 具体步骤如下： 步骤b1‑1、 在CBAM网络通道 注意力子模块上进行 特征捕捉； 步骤b1‑2、 在CBAM网络空间注意力子模块上进行 特征捕捉； 步骤b2、 计算特征图之间的关联性并且增添注意力权重K， 输出行人特征图， 所述行人 特征包含检索行 人图像数量、 输出通道的数量、 输出 行人特征图的高度和宽度；权　利　要　求　书 1/3 页 2 CN 114821631 A 2所述输出 行人特征公式如下： AK＝F2(A,K)＝K+A ⊙K 其中， I、 K和O分别代表在行人重识别卷积网络中的输入行人特征、 权值和输出行人特 征； l＝0,...,N ‑1； m＝0,...,H ‑1； n＝0,...,W ‑1； o＝0,...,c1‑1； p＝0,...,c2‑1； 为输入特征； N、 c1、 H和W分别为检索行人图像数量、 输入通道数量、 输入特征的高 度和宽度； 为权重； 为输出特征； c2、 h和w分别是输出通道的数量、 输 出行人特征图的高度和宽度； 为注意力机制行人特征； ⊙表示哈达玛乘积； 表 示卷积运 算； ∑为求和符号； F1、 F2为函数； 步骤b3、 将经过注意力机制模块处理之后的特征图进行0.5倍下采样操作， 最终得到预 测特征图{P2,P3,P4,P5,P6}。 4.根据权利要求1所述的基于注意力机制与多尺度特征融合的行人特征提取方法， 其 特征在于， 步骤c具体步骤如下： 步骤c1、 绘制累积匹配曲线C MC图； 步骤c2、 采用累积匹配曲线CMC中的平均精度均值mAP、 首位命中率Rank ‑1和第五位命 中率Rank‑5作为特征提取方法的衡量指标； 具体步骤如下： 步骤c2‑1、 计算每 个查询行 人图像的准确率P(k,A)； 计算公式如下： 其中， k表示返回的前k个行人排序结果； kc表示k个行人中正例样本的数目； A为查询的 图像； P为 准确率； 步骤c2‑2、 计算每 个查询行 人图像的平均值AP(A)； 计算公式如下： 其中， M为候选行人图库中与查询的图像A同标签的行人图片数目； j为M个正例行人样 本在返回的排序结果中的位置索引； 步骤c2‑3、 计算平均精度均值mAP； 计算公式如下： 其中， N为检索行 人图像的数量； 步骤c2‑4、 计算首位命中率Ran k‑1和第五位命中率Ran k‑5； 计算公式如下： 其中， cn‑1表示N次查询中， 排在第一位的检测结果是正确行人对象的次数； cn ‑5表示N 次查询中， 排在第五位的检测结果是正确行 人对象的次数。 5.根据权利要求1所述的基于注意力机制与多尺度特征融合的行人特征提取方法， 其权　利　要　求　书 2/3 页 3 CN 114821631 A 3