(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210503164.0 (22)申请日 2022.05.10 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 刘红敏　金帆　樊彬　曾慧　 张利欣　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种恶劣成像条件下图像增强引导的目标 检测方法 (57)摘要 本发明提供一种恶劣成像条件下图像增强 引导的目标检测方法， 属于图像增强和计算机目 标检测技术领域。 所述方法包括： 在现有的目标 检测网络基础上， 加入增强网络分支， 将目标检 测网络主干网络的头部卷积层特征图和增强网 络分支增强后的图像分别都进行最大池化和平 均池化后， 计算目标检测网络和增强网络分支总 的损失函数L； 将恶劣成像条件下获取的图像集 分别输入目标检测网络和增强网络分支， 利用损 失函数L对目标检测网络和增强网络分支进行训 练； 将恶劣成像条件下获取的待检测的图像输入 训练好的目标检测网络， 输出目标检测结果。 采 用本发明， 能够在提高目标检测的精度的同时， 不会增加额外的计算负担 。 权利要求书2页 说明书6页 附图4页 CN 114998605 A 2022.09.02 CN 114998605 A 1.一种恶劣成像条件下图像增强引导的目标检测方法， 其特 征在于， 包括： 在现有的目标检测网络基础上， 加入增强网络分支， 将目标检测网络主干网络的头部 卷积层特征图和增强网络分支增强后的图像分别都进 行最大池化和平均池化后， 计算目标 检测网络和 增强网络分支总的损失函数L； 将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支， 利用损失函 数L对目标检测网络和 增强网络分支进行训练； 将恶劣成像条件下获取的待检测的图像输入训练好的目标检测网络， 输出目标检测结 果。 2.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法， 其特征在于， 头部卷积层由一个卷积核为3x3、 步长是1、 填充 大小是1的卷积， 一个批归一化处理层， 一个 RELU激活函数组成。 3.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法， 其特征在于， 增强网络分支E根据不同的恶劣成像条件选择不同的图像增强网络 。 4.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法， 其特征在于， 所述在现有的目标检测网络基础上， 加入增强网络分支， 将目标检测网络主干网络的头部 卷积层特征图和增强网络分支增强后的图像分别都进 行最大池化和平均池化后， 计算目标 检测网络和 增强网络分支总的损失函数L包括： A1， 利用现有的目标检测网络D主干网络的头部卷积层提取输入图像I的特征图F∈ RBatchSize ×H×W×32， 对提取的特征图F分别进行最大池化和平均池化， 获得特征图Fm＝max  pooling(F)， Fm∈RBatchSize ×H×W×1和Fa＝avgpooling(F)， Fa∈RBatchSize ×H×W×1， 将Fm和Fa在通道 维度拼接在一起， 得到特征图Fma＝cat(Fa,Fm)， Fma∈RBatchSize ×H×W×2， 其中， I∈RBatchSize ×H×W×3， H表示输入图像的高度， W表示输入图像的宽度， max  pooling( ·)表示最大池化， avgpooling(·)表示平均池化， cat( ·)表示连接操作， Batc hSize为批大小， R表示数域； A2， 利用增强网络分支E对输入图像I进行处理， 得到增强后的图像I ′,其中， I ′∈ RBatchSize×H×W×3； A3， 将增强后的图像I ′分别进行最大池化和平均池化， 获得特征图I ′m＝max pooling (I′m)， I′m∈RBatchSize ×H×W×1和I′a＝avgpooling(I ′m)， I′a∈RBatchSize ×H×W×1， 将I′m和I′a在通 道维度拼接在一 起， 得到特 征图I′ma＝cat(I′m,I′a)， I′ma∈RBatchSize×H×W×2； A4， 计算特 征图Fma和I′ma之间的均方误差损失， 作为增强网络分支的损失函数Lenh； A5， 计算目标检测网络和增强网络分支总的损失函数L＝λLenh+Ldet， 其中， λ表示平衡因 子， 用于调整增强网络分支的损失函数在总损失函数的所占比重； Ldet是目标检测网络D的 损失函数。 5.根据权利要求4所述的恶劣成像条件下图像增强引导的目标检测方法， 其特征在于， 增强网络分支的损失函数Lenh表示为： 其中， n为BatchSize。 6.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法， 其特征在于， 所述将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支， 利用损失函权　利　要　求　书 1/2 页 2 CN 114998605 A 2数L对目标检测网络和 增强网络分支进行训练包括： 预加载增强网络分支E的参数， 预加载目标检测网络D的参数； 将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支， 利用损失函 数L对目标检测网络和增强网络 分支进行训练； 其中， 训练过程中， E的卷积层的权重参数保 持不变， 更新目标检测网络D的卷积层的权 重参数。权　利　要　求　书 2/2 页 3 CN 114998605 A 3