(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111654128.6 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114005078 A (43)申请公布日 2022.02.01 (73)专利权人 山东交通学院 地址 250000 山东省济南市交校路5号 (72)发明人 王成　郑艳丽　姜刚武　田鑫　 庞希愚　李曦　孙珂　郑美凤　 周厚仁　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 代理人 步丽丽 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/54(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 110738146 A,2020.01.31 CN 111539316 A,2020.08.14 CN 108364023 A,2018.08.0 3 CN 110610129 A,2019.12.24 US 2021319546 A1,2021.10.14 CN 111860681 A,2020.10.3 0 CN 113610144 A,2021.1 1.05 Jun Fu 等， .Scene Segmentati on With Dual Relati on-Aware A ttention Network. 《IEEE Transacti ons on Neural Netw orks and Learning System s》 .2021,第32卷(第6期), 薛丽霞 等， .基 于多分区注意力的行 人重识 别方法. 《光电工程》 .2020,第47 卷(第11期), 审查员 杜学惠 (54)发明名称 一种基于双关系注意力机制的车辆重识别 方法 (57)摘要 本发明属于图像处理、 计算机视觉及 模式识 别技术领域， 具体涉及一种基于双关系注意力机 制的车辆重识别方法， 该方法利用双关系注意力 机制来获取用于车辆重识别的大量显著性信息。 所述方法主要由两部分组成： 双关系注意力机制 和非相似性约束。 所述的双关系注 意力机制是通 过“关系”来构建特征图上点的三维注意力， 即同 时构建某 一点在空间维度和通道维度的重要性， 来全面衡量该点的重要性； 非相似性约束使 得网 络不同的分支关注不同的鉴别性信息， 以捕获丰 富的具有可区分性的显著性信息， 从而提高车辆 重识别任务的效率和准确度。 权利要求书3页 说明书5页 附图1页 CN 114005078 B 2022.03.29 CN 114005078 B 1.一种基于双关系注意力机制的车辆 重识别方法， 其特 征在于， 包括以下步骤： 步骤1、 以ResNet ‑50卷积神经网络架构作为主干网络， 并且将ResNet ‑50的后半部分分 裂为三个分支， 即全局分支G1、 全局分支G2和全局分支G3， 将图像缩放至统一尺寸256 × 256， 输入到主干网络中， 通过三个分支G1、 G2和G3分别提取 车辆的不同特 征； 步骤2、 G1分支保留ResNet ‑50原有的特征结构， 提取全局的特征表示； G2分支和G3分支 将经过卷积后的最终特 征图送入双关系注意力模块DRAM中， 提取互补的显著信息； 步骤3、 在G2分支和G3分支中， 经所有卷积层后得到的最终特征图 被送入双 关系注意力模块， 其中， 和 分别是张量的高度和宽度， 是通道数； 该模块能够同时构 建某一点在空间和通道维度的重要性， 即通过通道间的关系构建该点在通道维度 的重要 性， 并通过空间位置与位置之间的关系构建该点在空间维度的重要性， 并进一步建模该点 在三维空间的注意力； 具体实现方法， 包括以下步骤： （1） 将特征图 经过一个 函数及矩阵乘操作构建特征图上所有通道与通道之间的 关系； 采用1*1卷积 和 将通道 减少至 ， 并分别将得到的张量重塑为 和 ， 得到两个形状为 和 的矩阵； 然后对这两个矩阵做乘法运 算， 得到 的矩阵， 该矩阵表示了所有通道与通道之间的关系； （2） 利用通道与通道之间的关系， 构建特征图上的点在通道维度上的重要性； 将步骤 （1） 得到的 矩阵重塑成一个关系向量 ， 其中 ； 接着使用一个1*1 的卷积 将该向量的通道维数从 恢复至 ， 其中 ， 得到 的向量 ， 向量 的计算公式如下： ； 利用一个Sigmoid函数来归一化向量 ， 得到通道维度的注意力图 ， 注意力图 的计 算公式如下： ； （3） 构建特征图上的点在通道维度上的重要性的同时， 对其在空间维度上的重要程度 建模； 具体来说， 采用1*1卷积 和 将通道 减少至 ， 并分别将得到的张量重塑为 和 ； 接着， 对这两个矩阵做乘法运算， 得到 的矩阵， 该矩阵 表示了所有位置与位置之间的关系； （4） 将步骤 （3） 得到的大小为 的位置关系矩阵重塑为 ， 得到一个 三维张量； 通过1*1卷积 将张量 变为 ， 得到一个降维后的三维 位置关系张量 ， 张量 的计算公式如下： ； 三维位置关系张量 的通道数与注意力图 的维数相等； （5） 利用通道维度的注意力图 和三维位置关系张量 计算特征图上点的注意力权 重； 将注意力图 与三维张量 对应元素相乘， 然后利用1*1卷积 将通道数由 恢复 至 ， 并且经过一个Sigmoid函数， 得到最终的三维注意力图 ， 三维注意力图 的计算公式如权　利　要　求　书 1/3 页 2 CN 114005078 B 2下： ； 其中， 表示矩阵对应位置的元 素相乘， 为具有BN层和ReLU函数的1*1卷积； （6） 三维空间注意力图 与原始特征 图 对应位置元素相乘， 两者相乘之后再一次与原 始特征图 相加， 得到双关系注意力模块DRAM的输出 特征图 ， 特征 的计算公式如下： ， 其中， 表示矩阵对应位置的元 素相乘； 步骤4、 通过G2分支和G3分支中注意力图间的非相似性约束， 强制G2分支和G3分支提取 不同的显著性信息； 计算由双关系注意力模块得到的两个注意力图的夹角余弦， 使用夹角 余弦作为两个注意力图的非相似性约束， 将非相似性约束作为损失函数对网络进行训练， 缩小夹角余弦的值， 强制缩小两个注意力图之间的相 似度， 以使G2分支和G3分支提取不相 似的特征； 步骤5、 对网络进行训练时， 除了采用非相似性约束外， 还采用交叉熵损失和三元组损 失作为目标函数对整体网络进行训练。 2.根据权利要求1所述的基于双 关系注意力 机制的车辆重识别方法， 其特征在于， 所述 步骤2的具体实现方法为： 在G1中， res_conv5_1块使用步长为2的下采样卷积层， 然后对最 后输出的特征图进行全局平均池化操作， 得到2048维特征ZG1， 并使用具有BN层和ReLU函数 的1*1卷积将2048维特征ZG1降到256维特征RG1， 从而提供紧凑的特征表示； 在G2分支和G3分 支中res_conv5_1块中不使用下采样操作， 能够增大感受野， 为注 意力机制提供更大的空间 视图； 经所有卷积层后的最终特征图记为 ， 其中， 和 分别是张量的高度和宽 度， 是通道数； 被送入到双关系注意力模块DRAM中； 对经过注意力模块后得到 的特征图进行全局平均池化操作， 使用具有BN层和ReLU函数的1*1卷积将2048维特征减少 到256维特征。 3.根据权利要求1所述的基于双 关系注意力 机制的车辆重识别方法， 其特征在于， 所述 步骤4中， 相似度计算公式如下： ； 其中， 是经过G2分支得到的注意力图， 是经过G3分支得到注意力图。 4.根据权利要求1所述的基于双 关系注意力 机制的车辆重识别方法， 其特征在于， 所述 步骤5的具体实现方法包括以下步骤： （1） 通过 经全局平均池化后进行压缩后的特 征计算三元组损失； （2） 三元组损失计算公式如下： ； 式中： ， ， 分别表示锚样本、 正样本和负样本的特征向量； 是间隔阈值， 表示 用来约束样本对间距离的阈值； （3） 交叉熵损失计算公式如下：权　利　要　求　书 2/3 页 3 CN 114005078 B 3