(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210278509.7 (22)申请日 2022.03.16 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 王鹏　索伟　孙梦阳　赖岚清　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 刘新琼 (51)Int.Cl. G06V 10/62(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06F 16/33(2019.01)G06F 16/36(2019.01) G06F 40/242(2020.01) G06F 40/289(2020.01) G06N 3/04(2006.01) (54)发明名称 基于相关性滤波的文本行 人重识别方法 (57)摘要 本发明涉及一种基于相关性滤波的文本行 人重识别方法， 属于计算机视觉技术领域。 包含 三个部分， 第一部分为提取行人图像特征和文本 特征过程； 第二部分为基于去噪滤波器来提取图 像和关键词候选区域并进行全局特征的对齐； 第 三部分为基于字典滤波器的图像和文本的局部 特征匹配过程， 最终实现基于文本的行人重识 别。 本发明有效提取了行人图像和文本描述中的 关键信息， 同时自适应的进行局部特征的对齐， 摆脱了对预处理方法的依赖， 满足实时处理的需 求。 权利要求书2页 说明书6页 附图1页 CN 115082704 A 2022.09.20 CN 115082704 A 1.一种基于相关性滤波的文本行 人重识别方法， 其特 征在于步骤如下： 步骤1： 图像特 征的提取 给定一张自然场景中的行人图片及对应的文本描述， 使用双线性插值法把行人图片调 整为384×128， 并使用随机水平翻转来进行数据增强； 输入到ResNet ‑50卷积神经网络得到 图像特征 gi∈R1024； 步骤2： 文本特 征的提取 给定的文本描述语句分解为词， 通过词嵌入后得到各个词对应的特征向量； 规定最长 的语句长度为64， 将经过位置编码后的词向量输入进Bert网络中， 得到融合语句信息的各 个词汇的特 征向量 et∈R1024； 步骤3： 利用去噪过 滤器的特 征增强 将图像特征 gi∈R1024与文本特征 et∈R1024分别输入到模型 的全局对齐模块； 在去噪滤波器模块中， 以图像特征为例， 将前景(foreground)滤波器vf∈ R1024、 背景(background)滤波器vb∈R1024和图像特征 作为输入， 经过该模块后 得到抑制背景噪声的图像特征 类似地， 得到抑制不相关词的文本特征 步骤4： 行 人图像及文本的全局对齐 把经过前一阶段进 行特征增强后的图像特征 和 作为输入， 经 过全局最大池化层(GMP)后得到全局图像特征gg∈R1024和全局文本特征eg∈R1024， 得到全局 水平的相似度矩阵Sg∈R1； 步骤5： 利用字典滤波器的局部特 征提取 在定义自适应的字典滤波器Dg∈R6×1024的情况下， 分别将图像特征 和 作为输入； 其中， 图像特征直接输入到字典滤波器中， 得到描述行人身体6个 不同部分的 图像局部 特征 文本特征先经过多分支全连接层， 再输入 到 字 典 滤 波 器 中 ，得 到 描 述 行 人 身 体 6 个 不 同 部 分 的 文 本 局 部 特 征 步骤6： 行 人图像及文本的局部和非局部特 征对齐 将图像局部特征 和文本局部特征 输入到局部对齐模块中， 得 到局部水平的相似度矩阵 再将图像局部特征Gl和文本局部特征Ef输入到基于 自注意力的局部关系学习模块中， 得到非局部水平的相似度矩阵输出Sn∈R1； 步骤7： 行 人图像及文本匹配 利用所得到的全局水平的相似度矩阵Sg∈R1、 局部水平的相似度矩阵 非局 部水平的相似度矩阵输出Sn∈R1进行求和， 即输入的图像文本对的相似分数 权　利　要　求　书 1/2 页 2 CN 115082704 A 2得到最终的匹配结果。权　利　要　求　书 2/2 页 3 CN 115082704 A 3