(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210327851.1 (22)申请日 2022.03.31 (71)申请人 北京文安智能技 术股份有限公司 地址 100094 北京市海淀区丰豪东路9号院 2号楼5单 元801 (72)发明人 兰雨阳　任必为　郑翔　宋君　 陶海　 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视觉语义信息和时空信息的行人 重识别方法 (57)摘要 本发明提供了一种基于视觉语义信息和时 空信息的行人重识别方法， 包括： 收集目标场景 中的行人图像并制作训练集， 获得用于人体特征 提取的骨干神经网路； 标注行人图像的人体ID、 时间信息和空间信息， 获取时空概率分布曲线 集； 在检测集中选取待测行人图像输入骨干神经 网络后获取人体特征向量后获得第一相似度概 率值； 找到时空概率分布曲线， 并读取第二相似 度概率值； 获得两张待测行人图像中的行人相似 度值， 与相似度预设值的比较结果判断两张待测 行人图像中的行人是否为同一行人。 本发明解决 了现有技术中行人重识别技术的应用时， 仅利用 视觉语义信息的比对进行行人重识别存在一定 的局限性， 会 出现误判的可能而影 响识别精度的 问题。 权利要求书2页 说明书7页 附图4页 CN 114495016 A 2022.05.13 CN 114495016 A 1.一种基于 视觉语义信息和时空信息的行 人重识别方法， 其特 征在于， 包括： 步骤S1， 收集目标场景中多个取像设备在预设时长内拍摄的行人图像并制作训练集， 使用所述训练集训练基础神经网络后获得用于人体特 征提取的骨干神经网路； 步骤S2， 标注所述训练集中各所述行人图像的人体ID、 时间信息和空间信息， 并根据三 者分别获取多个所述取像设备中任意两个所述取像设备之 间的时空概率分布曲线， 形成时 空概率分布曲线集； 步骤S3， 获取所述目标场景的包含有多张待测行人图像的检测集， 并在所述检测集中 选取来自两个不同的所述取像设备的任意两张待测行 人图像， 分别将两张所述待测行人图像输入所述骨干神经网络后分别获取对应的人体特征向 量， 并根据两个所述人体特 征向量计算获得第一相似度概 率值； 根据两张所述待测行人图像的空间信息在所述时空概率分布曲线集中找到两个所述 取像设备对应的时空概率分布曲线， 并根据两张所述待测行人图像的时间信息在所述时空 概率分布曲线中读取第二相似度概 率值； 步骤S4， 根据 所述第一相似度概率值和所述第 二相似度概率值计算获得两张所述待测 行人图像中的行人相似度值， 根据所述行人相似度值与相似度预设值的比较结果判断两张 所述待测行 人图像中的行 人是否为同一行 人。 2.根据权利要求1所述的行人重识别方法， 其特征在于， 任意两个所述取像设备之间的 时空概率分布曲线获取 方法包括： 步骤S21， 在所述训练集中提取出所述取像设备ci拍摄的所述行人图像， 以及所述取像 设备cj拍摄的所述行 人图像； 步骤S22， 将所述取像设备ci拍摄的所述行人图像和所述取像设备cj拍摄的所述行人图 像中具有相同人体ID的两张所述行人图像匹配形成行人图像对， 并根据每个所述行人图像 对中的两张所述行 人图像的时间信息计算出跨镜时长； 步骤S23， 将所述预设时长分割成多个离散时间段， 根据各所述行人图像对的跨镜时长 落入相应的所述离散时间段的数量统计形成行人跨镜时长 ‑数量分布直方图， 并将其转化 成时空概 率分布直方图； 步骤S24， 通过Parzen窗函数将时空概 率分布直方图转换为所述时空概 率分布曲线。 3.根据权利要求2所述的行人重识别方法， 其特征在于， 所述行人跨镜时长 ‑数量分布 直方图通过频数概率转换公式转化成所述时空概率分布直方图， 所述频数概率转换公式 为：                                             （1） 式中， nk cicj表示所述行人跨镜时长 ‑数量分布直方图中， 第k列的所述取像设备ci拍摄 的所述行 人图像和所述取像设备cj拍摄的所述行 人图像的行 人图像对的个数； m表示所述行 人跨镜时长 ‑数量分布直方图中的列总数。 4.根据权利要求2所述的行人重识别方法， 其特征在于，  所述时空概率分布直方图通 过概率密度估计公式转 化成所述空概 率分布直方图， 所述 概率密度估计公式为：权　利　要　求　书 1/2 页 2 CN 114495016 A 2                        （2） 式中， xk表示所述时空概率分布直方图中， 第k列对应的所述离散时间段的中位时间点 值； ， 其中， 表示时空概率分布直方图中， 第k列的所述取像设备ci 拍摄的所述行 人图像和所述取像设备cj拍摄的所述行 人图像的行 人图像对的个数； m表示所述时空概 率分布直方图中的列总数； z为归一 化参数； G （xk－x） 为高斯核函数， ， 其中， σ 为标准差， 其取值为所述离散 时间段的时间长度值 二分之一。 5.根据权利要求4所述的行人重识别方法， 其特征在于， 所述第 一相似度概率值的计算 公式为：               （3） 式中， θ 为人体特 征向量A和人体特 征向量B之间的夹角； n为人体特 征向量A或人体特 征向量B的总维数。 6.根据权利要求5所述的行人重识别方法， 其特征在于， 所述行人相似度值P通过所述 第一相似度概 率值和所述第二相似度概 率值的乘积获取。 7.根据权利要求2所述的行人重识别方法， 其特征在于， 在所述步骤S22中， 所述行人图 像对根据所述行人图像的时间信息选取， 为同一个目标行人从所述取像设备ci拍摄的所有 所述行人图像中消失的一帧图像， 以及所述取像设备cj拍摄的所述行人图像中出现的一帧 图像。 8.根据权利要求2所述的行人重识别方法， 其特征在于， 所述预设时长被分割成等 时间 间隔的q个所述离散时间段， 或所述预设时长被 分割成q个所述离散时间段， 其中， 前q－ 1个 所述离散时间段为 等时间间隔。 9.根据权利要求1所述的行人重识别方法， 其特征在于， 所述基础神经网络为VGG神经 网络或ResNet神经网络 。 10.根据权利要求1所述的行人重识别方法， 其特征在于， 所述相似度预设值的阈值范 围为[0.7,0.8]， 当所述行人相似度值大于所述相似度预设值时， 判定两张所述待测行人图 像中的行人为同一行人； 当所述行人相似度值小于或等于所述相似度预设值时， 判定两张 所述待测行 人图像中的行 人为不同行人。权　利　要　求　书 2/2 页 3 CN 114495016 A 3