(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210223809.5 (22)申请日 2022.03.09 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 王晨　黄培　周威　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 刘莎 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/774(2022.01) G06K 9/62(2022.01) (54)发明名称 一种复杂交通环境下基于监控视频的交通 参与者检测方法 (57)摘要 本发明公开了一种复杂交通环境下基于监 控视频的交通参与者检测方法。 考虑到复杂交通 场景中因交通参与者类型丰富且遮挡情况严重 而导致存在各式各样的小目标， 本发 明基于深度 目标检测网络YOLO  V5， 创新地设计了超分辨率 特征提取模块， 以保留小目标更丰富的外观特 征。 为了更好地训练所提出的超分辨率特征提取 模块， 进一步提出了知识蒸馏训练方法， 指导检 测模型以较小分辨率图片为输入的性能匹配其 以较大分辨率图片为输入的感知性能， 既缓解了 因直接利用较大分辨率为输入而带来的计算负 担， 也获得了匹配较大分辨率为输入时的感知性 能。 提出方法有效提升了复杂交通环 境下交通参 与者的检测精度， 有望被应用到实际交通监控场 景中。 权利要求书1页 说明书4页 附图1页 CN 114694091 A 2022.07.01 CN 114694091 A 1.一种复杂交通环境下基于监控视频的交通参与者检测方法， 其特征在于， 包含以下 步骤： S1、 基于监控视频， 构建训练数据集； S2、 基于三层残差模块， 构建超分辨 率特征提取模块； S3、 将S2中的超分辨率特征提取模块嵌入YOLOV5的路径聚合网络PANet中， 得到改进的 YOLOV5， 实现对底层特 征的超分处 理与细节恢复； S4、 引入联合 一致性损失函数， 利用知识蒸馏机制训练超分辨 率特征提取模块； S5、 利用S1中的训练数据集， 对S3得到的改进的YOLOV5进行训练， 得到YOLOV5目标检测 模型； S6、 将YOLOV5目标检测模型部署至路侧计算设备中， 以实现复杂交通场景下交通参与 者精准检测。 2.根据权利要求1所述的一种复杂交通环境下基于监控视频的交通参与者检测方法， 其特征在于， 所述 步骤S1具体包括： S11、 收集架设在路侧的高清相机的视频 数据； S12、 对S1 1中的视频 数据进行采样与分帧， 构建用于训练的图片数据集； S13、 采用L abelimg软件对图片数据 集中的图片数据分别进行标注， 所标注的内容为交 通参与者所在位置的二维检测框与所属类别； S14、 对图片数据进行 数据增强。 3.根据权利要求2所述的一种复杂交通环境下基于监控视频的交通参与者检测方法， 其特征在于， S14中所述数据增强的方式为翻转变换、 缩放变换、 平移变换、 尺度变换以及混 合数据增强。 4.根据权利要求2所述的一种复杂交通环境下基于监控视频的交通参与者检测方法， 其特征在于， S13中所述类别包括行 人、 非机动车驾驶 者、 非机动车、 机动车。 5.根据权利要求1所述的一种复杂交通环境下基于监控视频的交通参与者检测方法， 其特征在于， 所述步骤S2中的超分辨率特征提取模块包括第一至第三残差模块， 第一残差 模块的输入为PANet中自顶向底路径的底层特征， 第二残差模块的输入为特征提取网络的 底层特征， 第一残差模块的输出经过超分卷积后与第二残差模块的输出相加作为第三残差 模块的输入， 第三残差模块的输出作为小目标检测的输入。 6.根据权利要求5所述的一种复杂交通环境下基于监控视频的交通参与者检测方法， 其特征在于， 所述 步骤S4中联合 一致性损失函数为： 式中， Fs为超分卷积的输出； Ft为特征提取网络的底层特征， Ftpos为Ft上真实框所在区域 块， (x,y)为Ftpos上的像素点 坐标， Np为Ftpos内的像素点的总数； λ为超参数。 7.根据权利要求1所述一种复杂交通环境下基于监控视频的交通参与者检测方法， 其 特征在于， 所述步骤5中构建交叉熵损失函数和GIOU损失函数监督改进的Y OLOV5训练， 其中 交叉熵损失监 督模型分类， GIOU损失监 督模型定位检测框 。权　利　要　求　书 1/1 页 2 CN 114694091 A 2一种复杂交通环境下基于监控视频的交通参与者 检测方法 技术领域 [0001]本发明涉及车辆监控领域， 具体为一种复杂交通环境下基于监控视频的交通参与 者检测方法 背景技术 [0002]基于监控视频的交通参与者(如机动车、 非机动车或者行人)自动检测任务是智能 交通领域重要的组成分支， 其研究具有重要的现实意义。 近些年， 基于深度学习构建深度检 测模型， 建立鲁棒性强、 精度高、 适用于复杂交通场景下 的交通参与者检测模型成为可能。 然而， 复杂交通场景中因交通参与者类型丰富且遮挡情况严重而导致存在各式各样的小目 标， 为这些深度模型的精准检测带来了挑战。 [0003]《一种特征融合的小目标车辆检测算法》 利用图像插值方法， 将高维特征图与低维 特征图转化为同样尺寸， 通过设置一个网络 自学习参数来对各特征图进行有效融合， 使得 最终进行检测的特 征图同时具有丰富的语义信息与尽可能多的目标 特征信息。 [0004]《基于深度学习的无人机小 目标车辆检测方法 》 对无人机航拍道路场景下的车辆 检测任务的难点进行了 分析,并针对性地提出了一种基于有锚检测机制的多尺度特征融合 车辆检测算法。 然后， 使用了多尺度相 邻层特征融合架构,为小目标车辆的检测提供了高语 义性的特征,改善了网络的特 征表达能力。 [0005]《基于改进SSD的车辆小目标检测方法》 针对尺度、 角度等的变换问题， 设计了基于 融合层的扩展层预测子网络， 在扩展层的多个尺度 空间内匹配目标， 生成目标预测框对目 标定位。 [0006]尽管这些研究多从深度检测模型的多尺度特征融合角度出发， 构建了分辨率更高 的特征图来提升模型对小目标的细节保留， 进而提升模型对小目标的检测精度。 然而， 利用 这些分辨率较高的特征图以负责小目标检测任务可能会导致细节信息失真， 阻碍模型精度 进一步提升。 发明内容 [0007]为了解决上述背景技术提到的技术问题， 本发明提出了一种复杂交通环境下基于 监控视频的交通 参与者检测方法。 [0008]为了实现上述 技术目的， 本发明的技 术方案为： [0009]一种复杂交通环境下基于监控视频的交通 参与者检测方法， 包 含以下步骤： [0010]S1、 基于监控视频， 构建训练数据集； [0011]S2、 基于三层残差模块， 构建超分辨 率特征提取模块； [0012]S3、 将S2中的超分辨率特征提取模块嵌入YOLOV5的路径聚合网络PANet中， 得到改 进的YOLOV5， 实现对底层特 征的超分处 理与细节恢复； [0013]S4、 引入联合 一致性损失函数， 利用知识蒸馏机制训练超分辨 率特征提取模块； [0014]S5、 利用S1中的训练数据集， 对S3得到的改进的YOLOV5进行训练，说　明　书 1/4 页 3 CN 114694091 A 3