(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210253062.8 (22)申请日 2022.03.15 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 缑水平　项佳军　李睿敏　任海洋　 侯彪　郭璋　白苑宁　任子豪　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于单模态增强的红外与可见光融合行人 检测方法 (57)摘要 本发明公开了一种基于单模态增强的红外 与可见光融合行人检测方法， 主要解决现有 方法 中单模态特征提取支路对特征表达能力差的问 题。 其方案为： 1)对现有公开KAIS T数据集进行筛 选与处理， 获得处理后的训练集与测试集； 2)构 建基于单模态增强的红外与可见光融合行人检 测网络W； 3)构建行人检测网络W的总体损失 Loss； 4)用训练集对基于 单模态增强的红外与可 见光融合行人检测网络W进行训练， 通过损失 Loss更新网络W中的参数， 得到训练好的行人检 测网络W′； 5)将测试集的图像输入到训练好的行 人检测网络W ′， 得到最终检测结果。 本发明提高 了行人目标的检测精度与检测速度， 可用于无人 驾驶， 视频跟踪。 权利要求书4页 说明书8页 附图3页 CN 114612937 A 2022.06.10 CN 114612937 A 1.一种基于单模态增强的红外与可 见光融合行 人检测方法， 其特 征在于， 包括： (1)对一个公开多模态数据集KAIST进行数据清洗， 获得7601对训练图像， 2252对测试 图像； (2)构建基于单模态增强的红外与可 见光融合行 人检测网络W： (2a)在现有双路孪生网络FasterR ‑CNN结构上加入单模态训练分支， 形成由双路特征 提取分支T与R、 区域生 成网络RPN、 两个ROI池化层、 多尺度自适应融合网络P、 分类与回归层 级联构成的检测网络D； (2b)搭建由三层上采样模块级联构成的生成约束网络GC， 每层上采样模块由上采样层 与卷积层构成； (2c)在网络D的T、 R分支特征融合处加入生成约束网络GC， 构成基于单模态增强的红外 与可见光融合行 人检测网络W； (3)根据检测网络D的损失Ld和生成约束网络GC的损失Lr构建损失函数L oss： (3a)将红外图像输入(2a)中特征提取分支T获得红外特征， 将可见光图像输入(2a)中 特征提取分支R获得可见光特征， 将获得的红外特征与可见光特征融合获得融合特征， 同 时， 使用随机高斯噪声与红外特征融合， 获得增强的红外特征， 使用随即高斯噪声与可见光 特征融合， 获得增强可 见光特征； (3b)将(3a)中获得的融合特征、 增强的红外特征、 增强可见光特征分别进一步特征提 取， 并输入 区域生成网络RPN、 两个ROI池化层、 多尺度自适应融合网络P， 分类与回归层级， 最终计算得到检测损失Ld； (3c)将(3a)中获得的融合特 征输入生成约束网络GC， 计算得到生成约束损失Lr； (3d)将(3b)中的检测损失Ld与(3c)中的生成约束损失Lr结合， 即为网络W的总体损失 Loss； Loss＝γ1×Ld+γ2×Lr 其中， γ1是损失Ld的权重参数， γ2是损失Lr的权重参数； (4)利用训练数据， 采用随机梯度下降法对行人检测网络W进行训练， 得到训练好的行 人检测网络W ′； (5)将测试集中待检测的可见光和红外图像对输入到训练好的行人检测网络W ′中， 得 到测试集行 人目标检测结果。 2.根据权利 要求1所述的方法， 其特征在于， (2a)中得到的检测网络D， 其各部分的参数 结构如下： 所述双路特征提取分支T与R， 其采用现有VGG ‑16网络作为网络结构， 它具有五层下采 样卷积组， T与R共享 最后一层卷积组权 重， 并去掉 这层卷积组中的最大池化层； 所述区域 生成网络RPN， 其由一个3 ×3卷积， 两个并列的1 ×1卷积级联而成； 所述两个ROI池化层， 其设定的输出尺度分别为512 ×14×14与512×7×7， 分别代表为 P1， P2； 所述的多尺度自适应融合网络P， 包括两层并列的平均池化层AP1与AP2、 第三层平均池 化层AP3、 拼接层V、 两层并列的全连接层f1与f2、 激活函数层S、 乘积层M、 相加层J， 其中AP1与 AP2、 V、 f1与f2、 S、 M、 J依次级联， 同时AP3与M连接； 所述分类与回归层， 其为两个并列的全连接层， 分类层输出大小为2， 代表行人与背景；权　利　要　求　书 1/4 页 2 CN 114612937 A 2回归层输出 大小为4， 代表坐标信息 。 3.根据权利 要求1所述的方法， 其特征在于， (2a)中得到的多尺度自适应融合网络P， 其 各部分的参数 结构如下： 所述两层并列的平均池化层AP1， AP2， 其均使用全局平均池化； 所述的拼接层V， 其表示特 征的拼接； 所述的两层并列的全连接层f1与f2， 其输入大小均为1024， 输出 大小均为512； 所述的激活函数S， 其采用Sigmo id激活函数， 表示 为： 其中x表示 函数的输入， e为自然对数函数的底数； 所述的乘积层M， 其表示 通道方向的相乘； 所述的相加层J， 其表示元 素级的相加； 所述的第三层平均池化层AP3， 其表示步长为2×2的平均池化。 4.根据权利要求1所述的方法， 其特征在于， (2b)中得到的生成约束网络GC， 其各部分 的参数结构如下： 所述的上采样模块中的上采样层， 其 放大尺度为2； 所述的上采样模块中的卷积层， 其卷积核大小均为3 ×3， 输出通道数依次为128， 32和 3。 5.根据权利要求1所述的方法， 其特 征在于， (3b)中计算检测损失Ld， 公式如下： Ld＝α1×Lrgb+α2×Lt+α3×Lf 其中， Lrgb为可见光分支损失， Lt为红外分支损失， Lf为融合分支损失， α1为Lrgb的权重参 数， α2为Lt的权重参数， α3为Lf的权重参数； 式中： 为RPN网络的可见光分类预测， 为RPN网络的可见光边界框预测； 为RPN网络的红外分类预测， 为RPN网络的红外边界框预测； 为RPN网络的 融合分类预测， 为RPN网络的融合边界框预测； 为最终检测阶段的可见光分类预 测， 为最终检测阶段可见光边界框预测； 为最终检测阶段的红外分类预测， 为权　利　要　求　书 2/4 页 3 CN 114612937 A 3