(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615232.2 (22)申请日 2022.06.01 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 张伟斌　秦俑　杜敏杰　徐强　 张如楠　吴培源　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 封睿 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于深度学习的城市高空视角下车辆 的检测方法 (57)摘要 本发明提出了一种基于深度学习的城市高 空视角下车辆的检测方法， 获取高空视角下包含 车辆的图片， 对图像进行标注和数据增广预处 理， 并按比例划分为检测模型的训练集和验证 集； 使用Ghost卷积结构替换YOL Ov5的卷积层， 并 对backbone增加CA注意力模块， 使用CBR层替换 YOLOv5的Bottleneck层， 增加针对小目标的检测 层优化， 据此构建改进 的YOLOv5网络模型， 用于 预测车辆信息； 使用零开始训练法， 训练改进的 YOLOv5网络模型， 得到最优参数； 将实际高空摄 像头获取的交通视频数据分解为测试图像， 预处 理后输入改进的YOLOv5网络模型， 完成车辆检 测。 本发明具有检测精度高、 鲁棒性好， 同时大大 减小了模型尺 寸， 为模型在边缘 设备部署提供了 新的解决方案 。 权利要求书2页 说明书5页 附图2页 CN 114882454 A 2022.08.09 CN 114882454 A 1.一种基于深度学习的城市高空视角下 车辆的检测方法， 其特 征在于， 步骤如下： 步骤1， 获取高空视角下包含车辆的图片， 对图像进行标注和数据增广预处理， 并按比 例划分为检测模型的训练集和验证集； 步骤2， 使用Ghost卷积结构替换YOLOv5的卷积层， 对backbone增加CA注意力模块， 使用 CBR层替换YOLOv5的Bottleneck层， 并增加针对小目标的检测层， 据此构建改进的YOLOv5网 络模型用于预测车辆信息； 步骤3， 使用零 开始训练法， 训练改进的YOLOv5网络模型， 得到最优参数； 步骤4， 将实际高空视角下的交通视频数据分解为测试图像， 预处理后输入改进的 YOLOv5网络模型， 完成车辆检测。 2.根据权利要求1所述的一种基于深度学习的城市高空视角下车辆的检测方法， 其特 征在于， 步骤1， 获取高空视角下包含 车辆的图片， 对图像进 行标注和数据增广预 处理， 并划 分为检测模型的训练集和验证集， 具体方法为： 通过对高空视频流处 理， 获得实际包 含车辆的图片； 对图片进行数据标注， 包括目标类别以及目标包围框， 其中目标类别包括大、 中以及小 型三类车， 目标包围框为图片中的每一个车辆的最小外 接矩形框； 对原始图片进行数据增广预处理， 包括使用Mosaic数据增强和对增加背景信息的方 式， 其中Mosaic数据增强是通过数据拼接提升模型对小目标的预测能力， 增加背景信息是 通过构建不包 含预测目标的图片； 将原始数据和预处 理后的数据混合， 按照9： 1的比例划分训练集和验证集。 3.根据权利要求1所述的一种基于深度学习的城市高空视角下车辆的检测方法， 其特 征在于， 步骤2， 使用Ghost卷积结构替换YOLOv5的卷积层， 对backbone增加CA注意力模块， 使用CBR层替换YOLOv5的Bottleneck层， 并增加针对小目标的检测层优化， 据此构建改进的 YOLOv5网络模型用于预测车辆信息， 用于预测车辆信息， 具体方法为： (a)神经网络模块设计 改进的YOLOv5网络模型包括由Backbone模块和CA注意力模块串联得到的特征提取模 块， 以及特征融合模块， 输入图片经过特征提取模块输出多层特征信息， 不同层次的特征在 特征融合模块进行拼接和融合， 最终得到四种尺寸的特 征信息输出； (b)特征提取模块设计 特征提取网络包括FOCUS层、 SPP层、 Ghost卷积层、 CA注意力模块和CBR模块， 图像数据 输入首先经过1层FOCUS结构， 之后通过2层由第一Ghost卷积层和第一CB R模块串联堆叠的 模块， 得到浅层特征X1， 浅层特征X1依次输入 由第二Ghost卷积层和第二CBR模块串联的模 块， 得到进一步的特征X2， 进一步的特征X2依次经过第三Ghost卷积层、 SPP模块、 第三CBR模 块和CA模块 堆叠形成的深层特 征提取模块， 得到深层特 征X3； (c)特征融合网络模块设计 特征融合网络模块包括上采样、 加法器、 改进的Ghost卷积层， 将深层特征X3经过第四 Ghost卷积层得到特征X4， 特征X4通过第一上采样层后与特征X2经过第一加法器融合得到特 征X6， 特征X6依次经过第四CBR模块、 第五Ghost卷积层， 得到进一步融合特征X5， 进一步融合 特征X5特征经过上采样层后与 浅层特征X1经过第二加法器融合， 得到特征X7， 特征X7输入第 五CBR模块得融合特征X8， 特征X7经过第六Ghost卷积层后与特征X5输入第三加法器， 第三加权　利　要　求　书 1/2 页 2 CN 114882454 A 2法器的输出结果经过第六CBR模块进一步特征提取， 得到融合特征X9， 第三加法器的输出结 果经过第七Ghost卷积层后和特征X4一起输入第四加法器， 再通过第七CBR模块进一步特征 提取， 得到融最终合特征X10， 四种不同尺寸的融合特征X5、 X8、 X9、 X10输入检测器， 得到置信 度分数和 候选框位置信息， 后续使用非极大值抑制算法进行候选框过滤筛选， 最终分类得 到预测结果； (d)CBR模块设计 第一CBR模块、 第二CBR模块、 第四CBR模块、 第五CBR模块、 第六CBR模块、 第 七CBR模块采 用CBR‑1， 第三CBR模块采用CBR ‑3； CBR‑1和CBR‑3模块均由Bottleneck层、 卷积层、 加法器、 BN层、 Leaky  Relu激活函数模块组成， 只是Bottleneck层的个数不同， 分别为一个和三个； CBR‑n模块中， 经过卷积层和n个Bottleneck层的信息， 和经过卷积层的信息拼接， 再经过BN 层和Leaky  Relu激活函数模块和一层卷积层输出。 4.根据权利要求1所述的一种基于深度学习的城市高空视角下车辆的检测方法， 其特 征在于， 步骤3， 使用零开始训练法， 训练改进的YOLOv5网络模型， 得到最优参数， 具体方法 为： 使用K‑means聚类算法完成对数据 集的尺寸聚类， 加快模型训练； 使用CIOU作为损失函 数， 使用动量因子为0.925的余弦退火算法优化损失函数， 训练网络的batch为64， 网络训练 中， 使用变化的学习率进行训练， 初始学习率 为0.01， 网络的训练次数为3 00。 5.根据权利要求1所述的一种基于深度学习的城市高空视角下车辆的检测方法， 其特 征在于， 步骤4， 将实际城市交通高空摄像头的视频数据分解为测试图像， 预处理后输入改 进的YOLOv5网络模型， 完成车辆检测， 具体方法为： 对训练好的模型载入最优权重， 在服务器上对视频流进行检测， 前向推断过程不进行 损失计算和回传损失， 网络结构与训练时相同， 输入为图片， 返回的是 预测结果。 6.一种基于深度学习的城市高空视角下车辆的检测系统， 其特征在于， 利用权利要求 1‑5任一项所述的基于深度学习的城市高空视角下车辆的检测方法， 实现基于深度学习的 城市交通车辆检测。 7.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 所述处理器执行所述计算机程序时， 利用权利要求 1‑5任一项所述的一种基于深 度学习的城市高空视角下车辆的检测方法， 实现基于深度学习的高空视角下的城市交通车 辆检测。 8.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时， 利用权利要求 1‑5任一项所述的基于深度学习的城市交通车辆检测方法， 实现基于深度 学习的城市交通车辆检测。权　利　要　求　书 2/2 页 3 CN 114882454 A 3