(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229488.X (22)申请日 2022.03.10 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 李宏亮　任子奕　黄俊强　董建伟　 盛一航　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 邹裕蓉 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/08(2006.01) (54)发明名称 基于多尺度特征和属性关联挖掘的细粒度 人物属性识别方法 (57)摘要 本发明提供一种基于多尺度特征和属性关 联挖掘的细粒度属性识别方法， 自下而上提取输 入图片的多尺度特征； 对多尺度特征以特征金字 塔形式自上而下进行特征融合得到融合不同尺 度特征的四支路输出； 对四支路输出分别进行属 性关联性挖掘得到包含属性关联关系的特征输 出； 对四支路输出分别进行属性预测得到各支路 属性预测值得到每个属性最终的预测输出。 本发 明针对人物属性分处不同的特征层次， 采用多尺 度特征融合的方式， 提取融合多层特征信息， 增 强特征表征能力。 人物属性间往往 具有语义依赖 性和空间关联性。 本发明通过对属性间关联关系 的挖掘， 进一步提高识别算法性能， 有效提升整 体预测准确度。 权利要求书1页 说明书3页 附图1页 CN 114694177 A 2022.07.01 CN 114694177 A 1.基于多尺度特征和属性关联挖掘的细粒度人物属性识别方法， 其特征在于， 包括以 下步骤： 1)构建标注了细粒度属性的人物属性数据集； 2)自下而上提取输入图片的多尺度特 征； 3)对多尺度特征以特征金字塔形式自上而下进行特征融合得到融合不同尺度特征的 四支路输出； 4)对四支路输出分别进行属性关联性挖掘得到包 含属性关联关系的特 征输出； 其中， 每一支路得到包 含属性关联关系的特 征输出的具体方法为： 对N个属性进行两两分组， 通过语义关联性分析计算得到各分组内属性间的关联系数， 对属性重新排列， 优 先排列关联系数大的属性， 使关联性 强的属性排列相近， 对关联性弱的 属性再参 考空间位置进行排序； 对输入的特征进行平均池化操作和降低通道数操作， 调 整得到尺寸为1 ×N的序列化特 征x1， x2，…， xN， 其中， xi表示重新 排序后第i个属性的特 征， i＝1,…,N； N为属性类别数量； 将序列化特征x1， x2，…， xN送入双向长短期记忆网络LSTM， 进行正向和反向的编码， 正 支路向和反向支 路均有N个编码单元， 最后融合正反编码信息作为各属性的联合编码yi， 将 N个属性的联合编码作为包 含属性关联关系的特 征输出； 5)对四支路输出分别进行属性预测得到各支路属性预测值从而得到每个属性最终的 预测输出。 2.如权利要求1所述方法， 其特征在于， 采用Resnet50网络提取输入图片的多尺度特 征。 3.如权利 要求2所述方法， 其特征在于， 自下而上提取特征的尺寸为64 ×48×256,32× 24×512,16×12×1024,8×6×2048。权　利　要　求　书 1/1 页 2 CN 114694177 A 2基于多尺度特征和属性关联挖掘的细粒度人物属性识别方 法 技术领域 [0001]本发明属于计算机视觉技术领域， 具体涉及了一种基于多尺度特征和属性关联挖 掘的细粒度人物属性识别方法。 背景技术 [0002]人物属性是人类可搜索的语义描述， 是可被人和机器所理解的语义视觉外观特 征， 包括性别年龄， 衣着服饰， 发型样 貌等。 属性识别技术让机器能自动提取视觉特征， 识别 给定人物的对应属性类别。 人物属 性识别技术被广泛用于图像检索， 图像生成， 行人识别， 视频监控等多种领域， 对于属性识别的研究在学术界和工业界都有重大意 义。 [0003]早期的属性识别方法依赖于一些纹理特征、 颜色特征等低层特征进行识别， 其性 能远不能满足实际应用的要求。 近年来， 基于卷积神经网络的方法在人物属 性识别领域取 得了较好的效果， 其中主要方法有两类。 一是基于整体图片的方法， 此类方法使用统一的模 型挖掘属 性间的共享特征来联合识别多个属 性， 但由于其缺 乏关于属 性的先验信息， 整体 性能受到限制 。 二是基于人物属性局部信息的识别方法， 此类方法虽然考虑了各属 性特定 特征， 但它依赖于复杂的属性相关区域定位机制， 这增加了模 型复杂度与计算资源消耗。 此 外， 现有的数据集大多存在属 性分布不均衡等情况， 这种不均衡现象一定程度上限制 了算 法性能的提升。 并且现有的数据集标注的属性中， 细粒度属性诸如脸型， 表情等较少有标 注。 发明内容 [0004]本发明所要解决的技术问题是， 针对人物属性类别众多， 语义层次差异 大的问题， 提供一种提高人物属性识别的准确度的细粒度属性识别方法。 [0005]本发明为解决上述技术所采用的技术方案是， 一种基于多尺度特征和属性关联挖 掘的细粒度属性识别方法， 包括以下步骤： [0006]1)构建标注了细粒度属性的人物属性数据集； [0007]2)自下而上提取输入图片的多尺度特 征； [0008]3)对多尺度特征以特征金字塔形式自上而下进行特征融合得到融合不 同尺度特 征的四支路输出； [0009]4)对四支路输出分别进行属性关联性挖掘得到包 含属性关联关系的特 征输出； [0010]其中， 每一支路得到包 含属性关联关系的特 征输出的具体方法为： [0011]对N个属性进行两两分组， 通过语义关联性分析计算得到各分组内属性间的关联 系数， 对属性重新排列， 优先排列关联系 数大的属性， 使关联性强的属性排列相 近， 对关联 性弱的属性再参 考空间位置进行排序； [0012]对输入的特征进行平均 池化操作和降低通道数操作， 调整得到尺寸为1 ×N的序列 化特征x1， x2，…， xN， 其中， xi表示重新排序后第i个属性的特征， i＝1, …,N； N为属性类别数 量；说　明　书 1/3 页 3 CN 114694177 A 3