(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210454852.2 (22)申请日 2022.04.28 (65)同一申请的已公布的文献号 申请公布号 CN 114550109 A (43)申请公布日 2022.05.27 (73)专利权人 中国科学院微电子 研究所 地址 100029 北京市朝阳区北土城西路3号 (72)发明人 李金泽　赵政杰　张舒　张宁　 (74)专利代理 机构 北京天达知识产权代理事务 所(普通合伙) 11386 专利代理师 牛洪瑜 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/54(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113936302 A,202 2.01.14 CN 110490099 A,2019.1 1.22 US 2020/0285896 A1,2020.09.10 US 2020/0218937 A1,2020.07.09 柳长源 等.融合注意力机制的高效率网络 车型识别. 《浙江大 学学报(工学版)》 .202 2,第56 卷(第4期),7 75-781. 审查员 唐娜 (54)发明名称 一种行人流量检测方法和系统 (57)摘要 本发明涉及一种行人流量检测方法和系统， 属于图像预处理及识别技术领域， 解决了现有自 注意力模型的训练时间超出预期时间及全连接 层的二分类效果差等问题。 该方法包括： 获取预 训练图像集、 训练图像集和验证图像集， 使用数 据增广的方式对 预训练和训练图像集进行扩增； 构建检测模 型， 检测模型包括自注 意力模块和代 替全连接层的支撑向量机； 使用预训练图像集对 检测模型进行预训练； 使用训练图像集对预训练 后的检测模 型进行正式训练， 然后使用验证图像 集进行验证以生成训练完成的检测模 型； 获取待 检测图像， 并将待检测图像发送给训练完成的检 测模型以获取识别结果。 预训练数据集进行预训 练显著减少了训练时间及使用 支撑向量机能够 提高二分类性能。 权利要求书3页 说明书9页 附图5页 CN 114550109 B 2022.07.19 CN 114550109 B 1.一种行 人流量检测方法， 其特 征在于， 包括： 获取预训练图像集、 训练图像集和验证图像集， 其中， 使用数据增广的方式对所述预训 练图像集和所述训练图像集进行扩增， 所述预训练图像集为单个行人图像， 以及所述训练 图像集为人群图像， 其中， 所述训练图像集的分辨 率高于所述预训练图像集的分辨 率； 构建检测模型， 其中， 所述检测模型包括自注意力模块和代替最后一层的全连接层的 支撑向量机， 使用所述支撑向量机对所述自注意力模块 提取的图像特 征进行二分类； 使用扩增后的预训练图像集对所述检测模型进行 所述检测模型参数的预训练； 使用扩增后的训练图像集对预训练后的检测模型进行正式训练， 然后使用所述验证图 像集进行验证， 以生成训练完成的检测模型； 获取待检测图像， 并将所述待检测图像发送给训练完成的所述检测模型以获取识别结 果。 2.根据权利要求1所述的行人流量检测方法， 其特征在于， 使用数据增广的方式对所述 预训练图像集和所述训练图像集进行扩增包括： 使用镜像增广矩阵对所述预训练图像集和所述训练图像集进行扩增以识别图像中不 同角度和不同方向的相同目标； 以及 使用缩放增广矩阵对所述预训练图像集和所述训练图像集进行扩增以识别图像中远 近不同的人物和大小不同的场景。 3.根据权利要求2所述的行人流量检测方法， 其特征在于， 所述检测模型还包括预处理 模块， 其中， 使用所述预处理模块对扩增后的图像集中的图像进行预处理， 以强化图像中目标的边 缘特征； 使用所述自注意力模块， 对预处理后的图像进行特征提取， 其中， 在所述预训练过程中 所述扩增 后的图像集为扩增 后的预训练图像集， 或者在正式训练过程中所述扩增 后的图像 集为扩增后的训练图像集。 4.根据权利要求3所述的行人流量检测方法， 其特征在于， 使用所述预处理模块对扩增 后的图像集中的图像进行 预处理包括： 使用以下第一特 征矩阵对 扩增后的图像集中图像的纵向纹 理进行特征提取： K1 = [1, 2, 1; 0, 0, 0;  ‑1,  ‑2,  ‑1]； 以及 使用以下第二特 征矩阵对 扩增后的图像集中图像的横向纹 理进行特征提取： K2 = [1, 0,  ‑1; 2, 0,  ‑2; 1, 0,  ‑1]。 5.根据权利要求4所述的行人流量检测方法， 其特征在于， 使用所述自注意力模块， 对 预处理后的图像进行 特征提取包括： 使用所述预处理模块对扩增后的图像集中的图像进行预处理包括： 使用所述预处理模 块将扩增 后的图像集中的图像分割为多个小块， 并将 每个小块进 行展平化以生成归一化的 图片特征z0： 其中，xj为图片的第一维前面增加一个二值判断标记  (xj)， 以判断是否是行人， 、 、…、 分别为每个图片分割后的多个小块， 每个小块为16 ×16，E为嵌入矩阵， 形状为 （ P2•权　利　要　求　书 1/3 页 2 CN 114550109 B 2C）×D， 以及Epos为位置编码向量， 表示对分割后的图片进行位置编码； 使用多头自注意力模块对所述归一化的图片特征进行带有残差网络多头自注意力计 算以获得 特征计算结果； 以及 使用多层感知器将所述特征计算结果进行分类并对分类的特征计算结果提取待检测 目标的坐标。 6.根据权利要求4所述的行人流量检测方法， 其特征在于， 使用所述支撑向量机对所述 自注意力模块 提取的图像特 征进行二分类包括： 使用RBF核将处 理后的图片特 征映射到高维空间中： 通过以下公式在所述高维空间中对样本进行检测以获取线性分界面： 其中，zm, zn为所述自注意力模 块将提取出的图像 特征， σ 为提取出的图像 特征zm, zn的 标准差，ω和b为所述线性分界面的系数， ω为高维参数矩阵并取决于图像特征， ωT为转置 矩阵， ζ 是伸缩因子， x(i)，y(i)为所述高维空间中的样本嵌入， F为支撑向量机的超参数。 7.根据权利要求2所述的行人流量检测方法， 其特征在于， 使用扩增后的预训练图像集 对所述检测模型进行 预训练包括： 使用扩增后的预训练图像集对所述检测模型进行预设模型参数的正向传播训练， 计算 出预测结果 q并计算出交叉熵损失 L(p,t)=‑[plog(q)+(1‑p)log(1‑q)]； 使用所述交叉熵损失作为损失函数对所述检测模型进行预设模型参数的反向传播训 练。 8.根据权利要求1所述的行人流量检测方法， 其特征在于， 获取待检测图像， 并将所述 待检测图像发送给训练完成的所述检测模型以获取识别结果包括： 使用拍照、 录像取帧和/或互联网方式获取 所述待检测图像； 将所述待检测图像发送给训练完成的所述检测模型， 以使所述检测模型对所述待检测 图像进行识别， 得到识别结果。 9.一种行 人流量检测系统， 其特 征在于， 包括： 图像集生成模块， 用于获取预训练图像集、 训练图像集和验证图像集， 其中， 使用数据 增广的方式对所述预训练图像集和所述训练图像集进 行扩增， 所述预训练图像集为单个行 人图像， 以及所述训练图像集为人群图像， 其中， 所述训练图像集的分辨率高于所述预训练 图像集的分辨 率； 检测模型生成模块， 包括自注意力模块和代替最后一层的全连接层的支撑向量机， 使 用所述支撑向量机对所述自注意力模块 提取的图像特 征进行二分类； 预训练模块， 用于使用扩增后的预训练图像集对所述检测模型进行所述检测模型参数 的预训练； 训练模块， 用于使用扩增后的训练图像集对预训练后的检测模型进行正式训练， 然后 使用所述验证图像集进行验证， 以生成训练完成的检测模型；权　利　要　求　书 2/3 页 3 CN 114550109 B 3