(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210482010.8 (22)申请日 2022.05.05 (71)申请人 河钢数字技 术股份有限公司 地址 050000 河北省石家庄市高新区黄河 大道136号科技中心1号楼 申请人 山东大学　 青岛海尔智能技 术研发有限公司 (72)发明人 吴建龙　李毅仁　聂礼强　李玉涛　 王晔　郝亮　李琦　贾永坡　 (74)专利代理 机构 石家庄知住优创知识产权代 理事务所(普通 合伙) 13131 专利代理师 王丽巧 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 7/12(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) (54)发明名称 一种钢铁冷轧退火炉元器件多目标自动测 温与预警方法 (57)摘要 本发明公开了一种钢铁冷轧退火炉元器件 多目标自动测温与预警方法， 涉及金属冶炼技术 领域， 包括以下步骤： 采集退火炉关键元器件 图 像数据、 退火炉元器件目标检测算法开发、 退火 炉元器件图像语义分割算法开发和分析各个元 器件的历史温度， 设计温度异常检测算法。 基于 红外热成像摄像头和人工智能技术相结合的自 动温度监测系统， 并采用基于机器视觉技术的目 标检测和图像语义分割算法， 获得 实时设备元器 件图像。 在获取现场实测数据的基础上， 基于红 外热成像摄像头获取关键元器件的实时温度数 据， 并开发温度异常检测算法， 从而判断设备的 运行状态并及时对设备异常进行 预警。 权利要求书2页 说明书6页 附图2页 CN 114757935 A 2022.07.15 CN 114757935 A 1.一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其特征在于： 该自动测温 与预警方法包括以下步骤： S1： 采集退火炉关键元器件图像数据， 通过多角度拍摄待检测的元器件获取更为有效 的特征信息； 基于labelme开源标注工具研究确定适用于本发明的样本标注方法， 制定电 机、 减速机、 轴承的元器件标注的准则， 进 行数据集目标识别与语义分割任务所需特征的精 细化标注； S2： 退火炉元器件目标检测算法开发过程， 基于YOLOv3模型开发退火炉元器件目标检 测算法； S3： 退火炉元器件图像语义分割算法开发的过程， 使用FCN模型对图像进行像素级的分 类， 进而对元器件图像进行语义级别的图像分割； S4： 在炉辊一侧的通道部署滑轨， 将红外热成像摄像头在滑轨上匀速移动拍摄得到每 个炉辊的红外热图像， 根据 红外热图像提供 的每个像素 的温度， 结合通过目标检测与图像 分割算法获得的各个元器件的像素区域， 通过平均加权算法计算各个元器件的实时温度； S5： 通过分析各个元器件的历史温度， 设计温度异常检测算法； 分析统计部件的历史温 度， 计算过去一段时间内的最高、 最低和平均温度， 从而计算出当前时刻该元器件的正常温 度范围， 继而判断该元器件当前的温度是否处于正常温度范围内， 如若不然， 则判定该元器 件当前温度异常， 发出报警。 2.根据权利要求1所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S1数据采集及预处 理的过程还 包括： S11、 通过人工在多角度、 不同明暗状态下拍摄退火炉元器件照片， 覆盖所有关键检测 元器件， 模拟多种实装后红外摄 像头的拍摄角度； S12、 通过业务调研分析， 制定各个关键特征如目标检测过程中的关键目标、 图像语义 分割过程中的元件覆盖区域的标注准则； S13、 根据业务调研分析及退火炉元器件目标特征， 对元器件图像数据集采用翻转、 随 机修剪、 平 移变换、 尺度变化、 噪声扰动的数据增广技 术， 对数据集进行 预处理。 3.根据权利要求1所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S2退火炉元器件目标检测算法开发过程还 包括： S21、 根据退火炉元器件目标识别需要 的目标数、 目标尺寸及定位要求的特性， 综合实 际业务中对模型推理速度与结果精确度的要求， 进行目标检测模型或网络的选取。 4.根据权利要求3所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S2进一 步还包括： S22、 YOLOv3模型仅 使用卷积层， 采用Darknet ‑53特征提取网络， 它包含53个卷积层， 每 个后面跟随着批标准 化层和leaky  ReLU层； S23、 YOLOv3算法同时在Dark net‑53网络中加入了残差模块。 5.根据权利要求1所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S3退火炉元器件图像 语义分割算法开发的过程还 包括： S31、 根据对退火炉元器件的多源图像解析任务要求， 综合实际业务中对模型推理速度 与结果精确度的要求， 进行图像语义分割模型的选取， 对比试验结果， 选定FCN模型作为退 火炉元器件图像 语义分割任务的基础模型。权　利　要　求　书 1/2 页 2 CN 114757935 A 26.根据权利要求5所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S3进一 步的还包括： S32、 在FCN模型中， 输入模型的图像经过多个卷积层和一个最大池化层， 变为特征图 pool1， 宽高变为1/2； 特征图pool1再经过经过多个卷积层和一个最大池化层特征图pool2， 宽高变为1/4； 生 成特征图pool5， 其宽高变为1/32， 而网络的第6层和第7层分别是一个长度 为4096的一维向量， 第8层是长度为10 00的一维向量， 分别对应10 00个不同类别的概 率； S33、 生成热图之后， 需要对其进行上采样过程， 把图像进行多次放大， 直到还原为原图 像的大小。 7.根据权利要求1所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S4元器件实时温度检测的过程还 包括： S41、 综合目标检测方案与图像语义分割算法， 实现退火炉元器件多元图像解析方案， 以目标检测算法实现退火炉元器件的检测定位， 以图像语义分割算法确认每个元器件的准 确轮廓； S42、 将经过多元图像解析中的目标检测与实例分割算法生成的实例分割图像与红外 热成像摄像头传回的图像进行图像矩阵对齐。 8.根据权利要求7所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S4进一 步的包括： S43红外热成像摄像头拍摄红外热图像， 摄像头内部算法会对图像进行计算处理， 输出 每个像素点的温度T_p， 其中p表示像素点， 目标检测与图像分割算法会对图像进行目标检 测与图像分割， 从而获得各个元器件的像素区域obji， 表示第i个元器件的像素区域， 然后 通过平均加权算法， 求出 各个部件的实时温度， 计算公式如下： 式中： mi表示第i个元器件区域内的像素个数。 9.根据权利要求1所述的一种钢铁冷轧退火炉元器件多目标自动测温与预警方法， 其 特征在于： 步骤S5元器件实时温度状态判定的过程还 包括： S51、 通过S4步骤中计算得到每个元器件的实时温度并记录， 通过统计分析每个元器件 在过去t时刻的温度Cit， 计算出过去一段时间内的最高、 最低和平均温度， 分别记为Maxi、 Mini和Averi， 从而计算出当前时刻该 元器件的正常温度范围； S52、 通过实时检测每个元器件的温度与计算得到的正常温度范围比较， 判断元器件当 前温度是否正常， 对于异常状态需要发出报警。权　利　要　求　书 2/2 页 3 CN 114757935 A 3