(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210616166.0 (22)申请日 2022.05.31 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街5号 (72)发明人 何彦弘　李俊峰　 (74)专利代理 机构 杭州中成专利事务所有限公 司 33212 专利代理师 金祺 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 10/774(2022.01) G06V 10/776(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进的YOLOv3网络的垃圾分类收运监 管方法 (57)摘要 本发明公开了一种基于改进的YOLOv3网络 的垃圾分类收运监管方法， 包括采集垃圾收运作 业中的视频并上传至上位机， 将 视频文件转换成 图像序列， 并将所有图像缩放同一尺 寸依次输入 垃圾分类收运监督网络进行检测， 然后 在上位机 中输出带有垃圾桶位置标记框、 垃圾桶状态及状 态的概率的图片； 垃圾分类收运监督网络为将 YOLOv3网络中所有标准3 ×3卷积替换为深度可 分离卷积， 并在主干网络上三个尺度的输出端分 别加入一个三重注意力模块。 本发 明使用深度可 分离卷积降低了网络的参数量与计算量， 提高了 模型的检测速度， 引入Triplet  Attention解决 了YOLOv3网络判断位置精确性差， 对较为密集的 目标检测表现不佳的问题。 权利要求书2页 说明书10页 附图8页 CN 115035442 A 2022.09.09 CN 115035442 A 1.一种基于改进的YOLOv3网络的垃圾分类收运监管方法， 其特征在于:采集垃圾收运 作业中的视频并上传至上位机， 在上位机中将视频文件转换成 图像序列， 并将所有图像缩 放成416×416像素后依次输入 垃圾分类收运监督网络进 行检测， 然后在上位机中输出带有 垃圾桶位置标记框、 垃圾桶状态及状态的概 率的图片； 所述垃圾分类收运监督网络为将YOLOv3网络中所有标准3 ×3卷积替换为深度可分离 卷积， 并在YOLOv3网络的主干网络上， 分别在52 ×52、 26×26和13×13三个尺度的输出端加 入一个三重注 意力模块， 52 ×52和26×26的特征图各自经过三重注意力模块后同时作为下 一个尺度的特征提取和检测网络的输入， 而13 ×13的特征图经过三重注意力模块后直接输 入到检测网络中。 2.根据权利要求1所述的一种基于改进的YOLOv3网络的垃圾分类收运监管方法， 其特 征在于： 所述垃圾分类收运监督网络的训练和测试过程为： 构建训练集、 验证集和测试集， 在训 练阶段， 设定训练总 轮数为100， 训练中的batch  size取16， 初始学习率和最终学习率分别 为0.001和0.00001， 学习率在80epoch和90epoch按比例减小， 动量为0.9， 权重衰减为 0.0002， 并设置了多尺度训练； 然后将训练集以16张照片为一组依次输入垃圾分类收运监 督网络， 使用损失函数计算损失值， 并使用梯度下降的方法实现反向传播使模型参数向着 损失函数值最小化的方向不断迭代； 每轮训练结束后， 将验证集图片也按16张照片为一组 依次输入垃圾分类收运监督网络进行测试， 以衡量模型的训练状态， 100轮训练结束后， 获 得训练好的垃圾分类收运监督网络； 在测试阶段， 将测试集输入训练好的垃圾分类收运监 督网络， 获得测试集的每个图像中的垃圾桶位置标记框、 垃圾桶状态及状态的概率， 然后统 计模型的查全率、 查准率和平均精度均值[email protected]以衡量模 型的泛化能力， 从而获得可在 线 使用的所述垃圾分类收运 监督网络。 3.根据权利要求2所述的一种基于改进的YOLOv3网络的垃圾分类收运监管方法， 其特 征在于： 构建所述训练集、 验证集和 测试集的过程 为： 采集垃圾收运作业中的视频， 提取视频中关键帧作为原始图像， 对原始图像进行手工 标注垃圾桶状态， 将每张原始图像统一缩放大小至416 ×416像素并进行数据增强扩充处 理， 随机选择数据增强扩充处理后40％的图像进行天气模拟处理， 将经过天气模拟处理后 图像和未经天气模拟处理的图像一起按照7： 2： 1的比例将数据集划分为所数训练集、 验证 集及测试集。 4.根据权利要求3所述的一种基于改进的YOLOv3网络的垃圾分类收运监管方法， 其特 征在于： 所述数据增强扩充处理包括高斯模糊、 水平翻转、 GridMask、 亮度调整和随机旋转 ‑20° ～+20°； 所述天气模拟处 理包括模拟白天雨、 白天雾、 夜晚雾和夜晚雨四种天气类型； 所述垃圾桶状态包括 开盖满溢、 开盖不满溢、 闭盖满溢及闭盖不满溢四种状态。 5.根据权利要求4所述的一种基于改进的YOLOv3网络的垃圾分类收运监管方法， 其特 征在于： 所述损失函数为 L＝Lbox+Lcls+Lobj权　利　要　求　书 1/2 页 2 CN 115035442 A 2定位损失函数Lbox为： 置信度误差Lobj为： 其中， λnoobj指当没有目标时的惩罚系数， λnoobj＝0.5； Ci指第i个网格的真实框的置信 度； 指第i个网格的预测框的置信度； 指在第i个网格的第j个边界框内是否有目标， 若没有， 则为1， 否则为0； Lcls指分类误差， 被定义 为： 其中， pi(c)指在第i个网格的真实框内包含c类垃圾桶的条件概率， 指在第i个网 格的预测框内包 含c类垃圾桶的条件概 率； 其中， 置信度误差和分类误差均采用二类交叉熵损失函数 其中， mi为样本标签， 如果样本属于正例则取1， 反之则取为0， 为模型预测样本是正例 的概率。权　利　要　求　书 2/2 页 3 CN 115035442 A 3