(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933317.5 (22)申请日 2022.08.04 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 丁伟利　陈泰宇　华长春　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 赵洪娥 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01) G06V 10/762(2022.01)G06V 10/766(2022.01) G06T 5/00(2006.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种结合高效采样增强的火焰烟雾检测方 法 (57)摘要 本发明涉及一种结合高效采样增强的火焰 烟雾检测方法， 属于计算机视觉目标检测技术领 域， 包括S1： 收集火焰及烟雾图像， 人工标注得到 包含边界框的烟雾火焰数据集； S2： 将S1得到的 烟雾火焰数据集中的图像进行预处理及数据增 强； S3： 设计高效采样增 强模块； S4： 搭建包含高 效采样增强模块的网络模型； S5： 训练S4搭建的 网络模型并输出检测结果。 本发 明可以解决火焰 及烟雾检测识别准确率低的问题， 为后续的火灾 检测及火情分析等相关工程应用提供了新的改 进思路。 权利要求书2页 说明书4页 附图2页 CN 115457423 A 2022.12.09 CN 115457423 A 1.一种结合高效采样增强的火焰 烟雾检测方法， 其特 征在于， 包括以下步骤： S1： 收集火焰 及烟雾图像， 人工标注得到包 含边界框的烟雾火焰数据集； S2： 将S1得到的烟雾火焰数据集中的图像进行 预处理及数据增强； S3： 设计高效采样增强模块； S4： 搭建包 含高效采样增强模块的网络模型； S5： 训练S4搭建的网络模型并输出检测结果。 2.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法， 其特征在于： 所 述步骤S1的具体操作为： 采用网络爬虫工具收集搜索引擎图库中火焰和烟雾场景的图像， 并截取部分火焰场景 的视频图像， 对不合格的图像数据进 行清洗， 然后合并为一个总的火焰烟雾图像集， 使用图 像标注工具 标注出图像中烟雾及火焰的边界框， 得到烟雾火焰数据集。 3.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法， 其特征在于： 所 述步骤S2的具体操作为： 加载S1得到的烟雾火焰数据集中的图像及其标签数据后， 将图像缩放到一定尺寸的像 素大小， 以一定的概率将图像的色调、 饱和度及明度在一个范围内动态改变， 并以一定的概 率进行水平翻转， 再使用马赛克 数据增强方法进行增强。 4.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法， 其特征在于： 所 述步骤S3的具体操作为： 在神经网络 中， 输入图像经过中间网络层的运算后， 得到 中间的特征图输出， 对于得到 的特征图， 可变形卷积通过学习得到卷积核每个位置的偏移 量后， 再进 行加权求和操作， 用 公式可表示 为： 其中， p0为特征图上的某一位置， Ω为像素的八邻域位移偏移量集合， x(.)为特征图某 位置的像素向量， y(.)为对输入特征图中某位置做卷积后的输出， w(.)为卷积核某位置的 权值向量， Δp为相对卷积核中原来 位置新的采样点的偏移量； 将前一层网络输出的特征图首先经过1x1卷积操作得到新的特征图FMi1， 此时通道数 量减少为原来的一半， 然后将FMi1使用3 ×3的可变形卷积操作得到特征图FMi2， 再将FMi1 与FMi2在通道方向上进行连接得到第i层网络的输出FMi， 将上述操作步骤集合在一个模块 内， 得到高效采样增强模块。 5.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法， 其特征在于： 所 述网络模型的主干网络采用CSPNet结构， 在CSPNet的最后一层以及倒数第二层后增加S3 设 计的高效采样增强模块； 网络模型的特征组合层 采用PAN结构， 融合网络不同层的上下文信 息， 加强整体特征的提取； 网络模 型的检测头采用yolo的检测头， 用来输出预测的类别信息 以及目标框的位置信息 。 6.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法， 其特征在于： 所 述步骤S5基于Pytorch框架训练网络模型， 训练过程所使用的损失函数包括分类损失cls_ loss、 置信度损失obj_l oss和定位损失box_l oss；权　利　要　求　书 1/2 页 2 CN 115457423 A 2所述分类损失cls_l oss的表达式为： 其中， c表示类别数量， li表示i类别是否为真实目标类别， 真实值为1， 否则为0， Pcli表示 对于该类的预测值； 所述置信度损失obj_l oss的表达式为： obj_loss＝(Tconf‑Pconf)2 其中， Tconf为真值， 当含有目标时为1， 反 之为0， Pconf为网络预测的置信度； 所述定位损失box_l oss的表达式为： box_loss＝(1‑CfoU) 其中， CIoU表示增强版的预测框与真值框的交并比； 网络模型训练所使用的轮次为300轮； 采用的初始学习率为0.01； 学习率衰减策略使用 余弦退火策 略； 网络动量设置为0.937； 使用预热身策略， 热身轮次为3； 训练所使用的批次 大小为8； 对于网络模型的输出需经 过后处理， 即非极大值抑制才能得到最终的预测输出。权　利　要　求　书 2/2 页 3 CN 115457423 A 3