(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210305445.5 (22)申请日 2022.03.25 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市屯溪路193号 (72)发明人 卫星　周芳　陈柏霖　杨烨　 王明珠　陈逸康　何煦　李宝璐　 (74)专利代理 机构 上海汉之律师事务所 31378 专利代理师 刘志华 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视角转化的步态 识别方法和系统 (57)摘要 本发明提供基于视角 转化的步态识别方法 和系统， 首先 获取多个行人监控设备获取的监控 视频， 处理得到行人步态数据集并划分训练集和 测试集； 利用GaitGAN网络训练通过任意视角生 成特定视角图像的视角转换模型和判别生成视 角图像正确性的判别器， 然后将测试集输入视角 转换模型中， 得到目标视角下的步态能量图集； 获取视角转换模型生成的图像并进行预处理得 到像素图像， 将像素图像送入基准步态特征提取 模型得到 特征向量与行人预测向量计算总损失， 使用梯度下 降算法优化模型参数得到训练好的 步态特征提取模 型。 本发明实现了行人跟踪的自 动化， 采用生成对抗网络将行人步态能量图转换 至步态特征最明显的90 °视角， 使得步态识别准 确度更高。 权利要求书3页 说明书11页 附图4页 CN 114627424 A 2022.06.14 CN 114627424 A 1.一种基于 视角转化的步态 识别方法， 包括： 步骤一S100： 数据采集和处理步骤， 采集多个行人监控设备获取的监控视频， 并处理得 到行人步态数据集， 将所述行 人步态数据集划分为 步态训练集和步态测试集； 步骤二S200： 视角转换步骤， 利用GaitGAN网络， 训练通过任意视角生成特定视角图像 的视角转换模型， 训练判别生成视角图像正确 性的判别器， 然后将所述步态测试集的数据 输入所述视角转换模型中， 得到特定目标视角下的步态能量图集 合； 以及 步骤三S300： 步态识别步骤， 获取所述GaitGAN网络生成的图像 并进行预处理得到像素 图像， 将所述像素图像输入基准步态特征提取模型得到特征向量和行人预测向量， 根据所 述特征向量与所述行人预测向量计算总损失， 并使用梯度下降算法优化所述基准步态特征 提取模型的参数， 最后得到训练好的步态特 征提取模型。 2.根据权利要求1所述的步态 识别方法， 其特 征在于： 所述 步骤一S10 0包括： 步骤S101： 获取 所述监控视频， 并对其进行视频帧提取处 理， 得到帧图像； 步骤S102： 对所述帧图像进行筛选， 并对筛选出的所述帧图像进行预处理， 得到行人图 像； 以及 步骤S103： 将所述行人图像处理得到步态能量图， 所有所述步态能量 图组成所述行人 步态数据集， 并划分为所述 步态训练集和所述 步态测试集。 3.根据权利要求2所述的步态 识别方法， 其特 征在于： 所述 步骤二S20 0包括： 步骤S201： 对所述步骤一S100中得到的所述步态训练集中的步态能量图进行视角标签 的标记； 步骤S202： 设置目标视角 β 为90 °， 将由所述步骤S201得到的步态能量图Iα和所述步态能 量图Iα经过初始 生成器G’生成的步态能量图Iβ’作为输入， 训练真假判别器DR区分真实图像 和生成图像； 步骤S203： 将所述步态能量图Iα和所述步态能量图Iβ’作为输入， 训练身份判别器DA以 判断所述真实图像和所述 生成图像是否为同一个人； 步骤S204： 将所述步态能量图Iα和目标视角指 示符vβ输入至生成器G， 训练所述生成器G 以生成具有目标视角 β 的步态能量图Iβ； 步骤S205： 将由所述步骤一S100得到的所述步态训练集的所有步态能量图输入视角转 换模型中， 重复步骤S202 ‑步骤S204直至所述真假判别器、 所述身份判别器的辨别概率趋于 0.5并稳定； 以及 步骤S206： 将由所述步骤一S100得到的所述步态训练集中的所述步态能量图利用所述 视角转换模型， 生 成新的步态能量图像集合并将其作为所述步骤三S 300中的所述基准步态 特征提取模型的训练集； 将由所述步骤一S100得到的所述步态测试集中的所述步态能量图 利用所述视角转换模型， 生成新的步态能量图像集合并将其作为所述步骤三S 300中的所述 基准步态特征提取模型的测试集。 4.根据权利要求3所述的步态识别方法， 其特征在于： 在重复所述步骤S202 ‑所述步骤 S204直至所述真假判别器、 所述身份判别器的辨别概率趋于0.5并稳定之后， 由所述步骤 S205步骤得到的所述 生成器G作为所述视角转换模型。 5.根据权利要求3所述的步态识别方法， 其特征在于： 所述步骤S202中的所述真实图像 是指从由所述步骤S201得到的所述步态能量图Iα， 所述生成图像是指所述步态能量图Iα经权　利　要　求　书 1/3 页 2 CN 114627424 A 2过所述初始生成器G ’生成的所述 步态能量图Iβ， 。 6.根据权利要求3所述的步态 识别方法， 其特 征在于： 所述 步骤三S3 00包括： 步骤301： 获取由所述步骤S205之后得到的所述训练集的步态能量 图作为训练所用的 图像， 组成一个训练批次， 并将获取的一个批次的图像进行处 理， 得到多个 像素图像； 步骤302： 将所述像素图像送入所述基准步态特征提取模型的卷积神经网络进行特征 提取， 得到特征向量， 随后 将所述特征向量输入所述基准步态特征提取模型的全连接层， 再 经过softmax函数， 得到维度数等于行 人类别数的所述行 人预测向量； 以及 步骤303： 根据所述特征向量与所述行人预测向量， 计算总损失， 并使用梯度下降算法 优化所述基准 步态特征提取模型的参数， 最后得到所述训练好的步态特 征提取模型。 7.根据权利要求6所述的步态识别方法， 其特征在于： 所述步骤S303中所述总损失是指 三元损失与ID损失代数相加， 所述基准步态特征提取模型的参数括权重参数wi和偏置参数 bi。 8.根据权利要求7所述的步态识别方法， 其特征在于： 根据得到的所述特征向量计算所 述三元损失(组数m取16组)： 其中， ai代表目标图片的特征向量， pi代表正样本图片(与目标图片属于同一类别， 即是 同一个人)的特征向量， ni代表负样本图片(与目标图片不是同一类人)的特征向量， 三者维 度均为1000 ×1维， ai， pi， ni组成一个三元组进行损失的计算； margin为参数， 这里设置为 0.3， m表示从训练批次中提取的三元组对数， d(ai， ni)为欧式距离， 计算公式为(此处z为特 征向量维数， 这里为10 00)： 用于将所述特 征向量转化为N维向量的激活函数计算公式为： 其中， N为行人类别数， v为全连接层输出 向量， vj为v中第j值， i表示当前需要计算的行 人类别， 经 过激活函数计算的结果在0 到1之间， 且所有类别的softmax值 求和为1。 9.根据权利要求7所述的步态识别方法， 其特征在于： 根据得到的所述行人预测向量计 算所述ID损失： 其中， pni为第n个行人预测向量v ′n中第i类行人的预测概率值， y为真实的ID值， N为行权　利　要　求　书 2/3 页 3 CN 114627424 A 3