(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210477742.8 (22)申请日 2022.04.29 (71)申请人 南京邮电大 学 地址 210046 江苏省南京市栖霞区文苑路9 号 (72)发明人 黄盼　朱松豪　梁志伟　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 张玉红 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力校准的双分支跨域行人重 识别方法 (57)摘要 本发明公开了一种基于注意力校准的双分 支跨域行人重识别方法， 使用注 意力校准模块改 进ResNet ‑50的基准网络， 并引入域不变特征补 充分支和域特定特征全局分支， 对域不变特征信 息和域特定特征信息进行线性加权得到融合特 征， 并对融合特征进行归一化得到模 型的最终特 征。 本发明的基准网络能充分提取特征的通道信 息和空间信息， 解决特征不对齐问题。 通过引入 域特定特征全局分支能减少模型参数量， 结合基 准网络纠正了训练偏差， 同时降低模型复杂度， 使得模型能充分提取域特定特征。 通过引入域不 变特征补 充分支， 丰富从特定领域的校准特征中 获取源域互补的信息， 结合域特定特征全局分支 提取的域特定特征， 使 得模型具有较强的泛化能 力。 权利要求书2页 说明书5页 附图1页 CN 114882529 A 2022.08.09 CN 114882529 A 1.一种基于注意力校准的双分支跨 域行人重识别方法， 其特 征在于： 包括如下步骤： S1： 构建基于注意力校准模块的端对端的行 人重识别网络； S2： 利用行人重识别网络生成特征图， 并基于特征图来创建域不变特征补充分支和域 特定特征全局分支， 得到用于识别检索跨 域行人对象的模型框架； S3： 利用域不变特征补充分支学习源域数据集的域不变特征信息， 利用域特定特征全 局分支学习源域数据集的域特定特 征信息； S4： 对域不变特征信息和域特定特征信息进行线性加权得到融合特征， 并对融合特征 进行归一 化得到模型的最终特 征； S5： 基于模型最终特 征使用度量学习计算特 征之间的相似度， 并按相似度进行排序。 2.根据权利要求1所述一种基于注意力校准的双分支跨域行人重识别方法， 其特征在 于： S1中的行人重识别网络包括三个卷积块和两个注意力校准模块， 原始输入特征依次经 过两个卷积块、 第一个注意力校准模块、 卷积块和第二个注意力校准模块得到 输出特征。 3.根据权利要求2所述一种基于注意力校准的双分支跨域行人重识别方法， 其特征在 于： S1中的注意力校准模块包括两个卷积层、 一个特征校准FCBN层和一个Sigmoid函数， 输 入特征fi依次经过第一个卷积层、 特征校准FCBN层、 第二个卷积层和Sigmoid层后， 得到一 个注意力校准的注意力掩码M， 其公式定义 为： M＝Sigmo id(Conv2(FCBN(Co nv1(fi)))) 其中， 特征校准FCBN层表示 为： FCBN(X(n,c,h,w))＝x(n.c,h,w)+ω·G FCBN层的输入特征采用的是第一卷积层的输出特征x， n代表批次的数量， c代表通道 数， h、 w表 示输入图片的高度和宽度， X表 示FCBN层的输出特征， ω是可学习的权重向量， G是 特征X的统计信息； 将注意力掩码M的特征图添加到输入特征fi中以强调区分特征， 得到一个注意力校准的 输出特征FO， 其表达式为： FO＝fi·M+fi。 4.根据权利要求1所述一种基于注意力校准的双分支跨域行人重识别方法， 其特征在 于： S2中的域不变特征补充分支和域特定特征全局分支分别由第一个注意力校准模块和 第 二个注意力校准模块引出。 5.根据权利要求1所述一种基于注意力校准的双分支跨域行人重识别方法， 其特征在 于： S3中域 不变特征补充分支的输出 特征X(DIFSB)表示如下： X(DIFSB)＝Conva2(IN(Relu(FCBNa2(Conva1(FCBNa1(xs)))))) 其中， xs表示从第一个注意力校准模块输出的特征， IN为风格归一化层， Conva1表示该 分支的第一卷积层， Conva2表示该分支的第二个卷积层， FCBNa1、 FCBNa2表示该分支的第一个 特征校准FCBN层和第二个特 征校准FCBN层。 6.根据权利要求1所述一种基于注意力校准的双分支跨域行人重识别方法， 其特征在 于： S3中域特定特 征全局分支的输出 特征X(DSFGB)表示如下： X(DSFGB)＝Convb(FCBNb2(Bottleneck(FCBNb1(xt)))) 其中， xt表示从第二个注意力校准模块输出的特征， Convb表示该分支的卷积层， 用来降 低特征通道数c， FCBNb1、 FCBNb2表示该分支的第一个特征校准FCBN层和第二个特征校准权　利　要　求　书 1/2 页 2 CN 114882529 A 2FCBN层。 7.根据权利要求1所述一种基于注意力校准的双分支跨域行人重识别方法， 其特征在 于： S4对融合特 征进行归一 化得到的输出 特征X为： X＝Normalize(a×X(DSFGB)+b×X(DIFSB)) 其中， a， b表示权 重系数， N ormalize表示L2范数。权　利　要　求　书 2/2 页 3 CN 114882529 A 3