(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210309158.1 (22)申请日 2022.03.28 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 李展　陆晋晖　陈浩　冉启航　 郑凤佳　杨嘉兴　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于辅助分支优化和局部密度块增强的深 度学习人群 计数方法 (57)摘要 本发明为一种基于辅助分支优化和局部密 度块增强的深度学习人群计数方法， 其特征在 于， 包括以下步骤： S1、 获取人群图像和预处理训 练图像； S2、 生成真实密度图， 并根据人头坐标标 注生成合适的真实分割图； S3、 构建人群计数网 络模型； S4、 训练人群计数网络模型； S5、 将人群 图像输入到训练好的人群计数网络模型中预测 人数。 本发 明通过利用高斯卷积函数生成真实密 度图， 根据人头坐标标注生成合适的真实分割 图， 构建人群计数网络模型并进行训练， 充分利 用人群图像中的前后景差异， 让计算网络更集中 于前景人群预测， 利用局部密度块信息， 对预测 差异较大的密度块进行局部增强， 利用真实的人 数信息， 对网络进行强化监督， 进一步提高主干 网络计数精度。 权利要求书3页 说明书5页 附图2页 CN 114758293 A 2022.07.15 CN 114758293 A 1.基于辅助分支优化和局部密度块增强的深度学习人群计数方法， 其特征在于， 包括 以下步骤： S1、 获取人群图像和预处 理训练图像； S2、 利用二维高斯卷积函数生成真实密度图， 并根据人头坐标标注生成合适的真实分 割图； S3、 构建人群计数网络模型， 包括构建主干网络、 掩膜分支网络、 指标分支网络和局部 密度块增强模块； S4、 利用步骤S1获取的预处理训练图像， 将其输入到步骤S3中构建好的人群计数网络 模型中， 得到预测的密度图， 并与真实密度图作损失比较， 利用反向传播和梯度更新算法训 练人群计数网络模型； S5、 将人群图像输入到训练好的人群 计数网络模型中预测人群图像人 数。 2.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 步骤S1的具体实现过程为： 对人群数据集的图像进行随机裁剪、 随机翻转 处理， 取0.5～1.0之间的随机数作为裁剪因子， 在每张图片中随机裁剪若干张子图作为训 练图像， 并在训练集上选取部分图像作为验证集。 3.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 步骤S2中使用自适应高斯核生 成真实密度图， 高斯核 方差sigma取值使用K 近邻算法， 取人头中心点周围若干个人 的平均距离； 通过步骤S1获得的人头坐标标注和人 群图像在人头标注周围25 ×25范围内把像素值设置为1得到真实分割图。 4.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 步骤S3中的主干网络， 依次为4层普通卷积、 6层 空洞卷积和1层普通卷积； 其中， 4层 普通卷积， 第一层 普通卷积包括两个3 ×3×64的卷积， 第二层 普通卷积包括两个3 ×3×128的卷积， 第三层卷积包括三个3 ×3×256的卷积， 第四层卷积包括三个3 ×3×512 的卷积， 每一个卷积操作后都由ReLU函数进行非线性激活， 每个卷积层后使用最大池化进 行下采样； 6层空洞卷积， 分别为3 ×3×512， 3×3×512， 3×3×512， 3×3×256， 3×3×128， 3×3×64， 每个卷积的空洞率都为2， 每一个卷积操作后都由ReLU函数进行非线性激活； 最 后一层普通卷积为3 ×3×1， 将特征降为一维并输出 预测密度图。 5.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 步骤S 3中掩膜分支网络包括两个卷积层和两个激活层， 掩膜分支网络从主 干网络中的第四层普通卷积引出， 输入中间特征图， 输出人群图片的前后景分割图； 其中， 掩膜分支网络的设置依次为1 ×1×256卷积， ReLU激活函数， 1 ×1×1卷积， 然后用Sigmoi d 函数激活。 6.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 步骤S 3中指标分支网络包括多个卷积层和池化层， 指标分支网络从主干网 络中的第四层普通卷积引出， 输出一维特征图， 并对特征图上的每个图像值求和获取预测 人数； 其中， 指标分支网络的设置依次为3 ×3×256卷积， 最大池化， 3 ×3×128卷积， 最大池 化， 3×3×64卷积， 最大池化， 3 ×3×32卷积， 最大池化， 3 ×3×1卷积。 7.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 步骤S3中局部密度块增强模块将真实密度图分成大小相同的4块， 设为P1权　利　要　求　书 1/3 页 2 CN 114758293 A 2～P4， 将预测密度图分成大小相同的4块， 设为G1～G4， 分别对8块密度图积分， 选取预测密 度块P1～P4中与真实密度块G1～G4中绝对差值最大的一块， 计算L1损失作为局部密度块损 失Lpatch。 8.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 步骤S4中人群 计数网络模型的训练过程具体如下： S41、 将步骤S1获取的预处理图像输入到步骤S3中构建好的主干网络和掩膜分支网络 中， 掩膜分支网络输出预测分割图， 得到的预测分割图与步骤S2得到的真实分割图进行比 较， 计算交叉熵损失Lseg， 具体计算公式如下： 其中， 代表第i张真实分割图， 代表第i张预测密度图， N代表训练集人群图片 的总数； 采用反向传播 算法计算隐含层的误差， 采用梯度下降算法更新掩膜分支网络的参数； S42、 将步骤S1获得的预处理图像输入到步骤S3构 建好的主干 网络和指标分支网络中， 指标分支网络输出一维特征图并对特征图像素求和得到预测人数， 再与真实人数计算L2损 失Lcount， 具体计算公式如下： 其中， F(·)为欧氏距离函数， Cigt代表图片真实人数， Ciest代表指标分支网络输出的预 测人数； 采用反向传播 算法计算隐含层的误差， 采用梯度下降算法更新指标分支网络的参数； S43、 将步骤S1获得的预处理图像输入到主干网络、 指标分支网络和掩膜分支网络， 主 干网络输出预测密度图， 与步骤S2的真实密度图进行L2损失比较， 获得Lden， 同时从指标分 支网络和掩膜分支网络分别获得Lcount和Lseg， 具体计算公式如下： 其中， F(·)为欧氏距离函数， Dgt表示真实密度图， Dest表示预测密度图， xm表示第m张人 群图片； S44、 将获得的预测密度图放入局部密度图增强模块， 获得局部密度块增强损失Lpatch； S45、 计算总损失Ltotal＝Lcount+Lseg+Lpatch+Lden， 使用总损失单独更新主干网络参数， 具 体公式如下： Ltotal＝α Lcount+β Lseg+λLpatch+γLden               (4) 其中， α 、 β 、 λ、 γ分别为损失的权 重系数； S46、 重复步骤S41～S45， 使用反向传播和梯度下降算法训练网络， 直到在主干网络上 获取最小化损失， 最终只保留主干网络 。 9.根据权利要求8所述的基于辅助分支优化和局部密度块增强的深度 学习人群计数方 法， 其特征在于， 采用后向传播算法计算隐含层误差和梯度下降算法更新计数网络参数， 对 于卷积层的参数wi和偏差bi每次迭代的更新公式如下：权　利　要　求　书 2/3 页 3 CN 114758293 A 3