(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210116943.5 (22)申请日 2022.02.08 (65)同一申请的已公布的文献号 申请公布号 CN 114155560 A (43)申请公布日 2022.03.08 (73)专利权人 成都考拉悠然科技有限公司 地址 610041 四川省成 都市中国(四川)自 由贸易试验区成都高新区天府五街 200号4号楼A区10层1001、 1002、 1003 室 (72)发明人 沈复民　周宜暄　徐行　申恒涛　 (74)专利代理 机构 成都弘毅天承知识产权代理 有限公司 5123 0 代理人 朱丹(51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 113221824 A,2021.08.0 6 CN 111339903 A,2020.0 6.26 审查员 安静 (54)发明名称 基于空间降维的高分辨率人体姿态估计模 型的轻量 化方法 (57)摘要 本发明公开了基于空间降维的高分辨率人 体姿态估计模 型的轻量化方法， 涉及人体姿态估 计领域， 解决深度神经网络所需要的计算资源巨 大的技术问题， 本发明提出一种对1*1卷积核的 等级替换方案。 首先通过条 纹状的上下文建模对 输入的二维空间特征压缩后得到单维的空间特 征， 再分别对两个单维的空间特征进行编码学习 到条纹状的注 意力图， 最终用学习到的两个单维 空间的注意力图还原成一个双维空间的注意力 图， 并且用此注意力图帮助模型聚焦在关键点附 近的区域； 由于在自顶向下的姿态估计方法中两 个一维的空间特征可以还原出一个二维的空间 特征的特性， 这种方法能够在保持高精度的同时 将网络的计算复杂度从二次方级降低到一次方 级。 权利要求书2页 说明书6页 附图2页 CN 114155560 B 2022.04.29 CN 114155560 B 1.基于空间降维的高分辨率人体姿态估计模型的轻量化方法， 其特征在于， 包括以下 步骤： 步骤S1： 选择训练数据集为MSCOCOkeypoint数据集， 并通过人体检测框截取图片得到 输入图片； 步骤S2： 构建基于空间降维的高分辨 率轻量级基础网络模块Mx； 步骤S3： 基于步骤S2中构建好的轻量级基础网络模 块Mx， 构建基于空间降维的高分辨率 轻量级特征提取网络Nx， 对步骤S1中截取到的输入图片通过卷积编码的方法生成高分辨率 的视觉特征； 步骤S4： 构建基于 热力图的人体姿态估计器Ex， 利用步骤S3中提取出的高分辨率的视觉 特征， 得到人体姿态的预测结果， 并定义损失函数计算预测结果的误差； 步骤S5： 采用Adam优化器， 根据 步骤S3得到的误差， 对整个基于空间降维的轻量级高分 辨率姿态估计网络进行训练； 步骤S6： 实用训练完的基于空间降维的轻量级高分辨率姿态估计网络对人体图片进行 姿态估计， 以验证训练完的基于空间降维的轻量级高分辨 率姿态估计网络的检测精度； 所述步骤S2具体包括： 步骤S21： 首先设定基础网络模块， 输入的初始图像特征为F∈RC×H×W， 其中RC×H×W表示维 度为C×H×W的实数域， C表示初始图像特征F的通道数， H和W分别表示初始图像特征F的两 个空间维度； 步骤S22： 对步骤S2 1中定义好的初始图像特征F在通道数C二等分，  得到等分图像特征 一F1∈R1/2C×H×W和等分图像特 征二F2∈R1/2C×H×W； 步骤S23： 对二等分得  到的等分图像特征二F2， 首先对H空间维度通过带权重的平均函 数进行压缩得到压缩等分图像特征F2W∈R1/2C×1×W， 对压缩等分图像特征二F2W通过1*1卷积 核进行编码， 通 过Sigmoid激活函 数后得到W维度的注意力图A2W∈R1/2C×1×W； 将学习到注意力 图A2W与等分图像特征二F2进行元素级的相乘、 得到对维度强化后的第一代 等分图像特征二 F' 2； 步骤S24： 对步骤S23中得到的第一代等分图像特征二F' 2通过卷积核为3*3的深度可分 离卷积进行编码， 得到更 大感受野的第二代等分图像特 征二F'' 2； 步骤S25： 对步骤S24 中得到的第二代等分图像特征二F'' 2对W空间维度 通过带权重的平 均函数进行压缩得到第二代压缩等分图像特征二F'' 2H∈R1/2C×H×1,对第二代压缩等分图像 特征二F'' 2H通过1*1卷积核进行编码， 通 过Sigmoid激活函数后得到H维度的注意力图A'' 2H∈ R1/2C×H×1； 将学习到注意力图A'' 2H与第二代等分图像特征二F'' 2进行元素级的相乘得到对维 度强化后的第三代等分图像特 征二F''' 2； 步骤S26： 将步骤S2 5中的强化后的第三代等 分图像特征二F''' 2和步骤S22中二等分后的 另一半等分图像特征一F1在特征维度重新拼接在一起， 得到输出特征F*， 将输出特征F*带入 到步骤S21中设定的基础网络模块， 得到基于空间降维的高分辨 率轻量级基础网络模块Mx。 2.根据权利要求1所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法， 其特征在于， 所述 步骤S3具体包括： 步骤S31： 首先通过卷积核和双线性插值操作对输入的图片I∈R3×H×W； 提取4倍下采样 的基础特 征Fbase∈RC×H×W；权　利　要　求　书 1/2 页 2 CN 114155560 B 2步骤S32： 构建多分辨率网络结构， 最终构建出有四个分支的三角形层级网络结构， 这 四个分支的分辨率分别4倍下采样， 8倍下采样， 16倍下采样和32 倍下采样； 整个网络结构的 所有编码模块都是在步骤S2中构建的基于空间降维的高分辨 率轻量级基础网络模块Mx； 步骤S33： 构建对不同分辨率的特征融合模块， 对小分辨率的特征进行上采样后通过元 素级加法的方式加到大分辨率的特征上， 对大分辨率的特征进行下采样后通过元素级加法 的方式加到小分辨 率的特征上； 步骤S34： 在步骤S32中设计的多分辨率网络结构中， 加入在步骤S33中构 建的对不同分 辨率的特征融合模块， 对不同分辨率的特征进行信息交互， 得到基于空间降维的高分辨率 轻量级特 征提取网络NX； 步骤S35： 通过步骤S34中设计好的基于空间降维的高分辨率轻量级特征提取网络NX对 S31中提取好的4倍下采样的基础特征进行编码， 最 终得到一组不同分辨率的视觉特征 （F4X、 F8X、F16X、F32X） 。 3.根据权利要求2所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法， 其特征在于， 所述 步骤S4具体包括： 步骤S41： 通过卷积操作构建人体姿态估计器， 对步骤S35中提取出的高分辨率特征F4X 进行编码， 得到K张人体关节点的热力图， 其中K表示数据集预先定义好的人体关节点类别 数量； 步骤S42： 对步骤S41中预测到的K张人体关节点的热力图与根据真值构造好的高斯分 布真值热力图通过均方差损失函数计算损失。 4.根据权利要求3所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法， 其特征在于， 在MSCOCOkeypo int数据集中， K=17。 5.根据权利要求3所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法， 其特征在于， 所述均方差损失函数为 LMSE， 具体如下： 其中， K表示数据集预先定义好的人体关节点类别、 表示第k个关节点对应的真值热 力图； 表示第k个关节点对应的预测热力图。 6.根据权利要求1所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法， 其特征在于， 所述步骤S5中， 对Adam的超参设置为： 学习率为2e ‑3， 用于计算梯度以及梯度 平方的运行平均值的系数 β1=0.9，β2=0.999。 7.根据权利要求1所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法， 其特征在于， 所述步骤S 6中， 对在步骤S4中预测到的K张人体 关节点的热力图分别得到对应 的峰值所在的索引位置即为 最终的关节点的预测结果。权　利　要　求　书 2/2 页 3 CN 114155560 B 3