(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210402772.2 (22)申请日 2022.04.18 (71)申请人 河钢数字技 术股份有限公司 地址 050000 河北省石家庄市高新区黄河 大道136号科技中心1号楼 申请人 山东大学　 青岛海尔智能技 术研发有限公司 (72)发明人 李毅仁　甘甜　申培　聂礼强　 郝亮　王晔　李玉涛　陈雨涛　 (74)专利代理 机构 石家庄知住优创知识产权代 理事务所(普通 合伙) 13131 专利代理师 王丽巧 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度图像解析的一体化废钢判级与 异物预警方法 (57)摘要 本发明公开了一种基于多尺度图像解析的 一体化废钢判级与异物预警方法， 涉及金属处理 技术领域。 利用卸货车辆总体信息和对比学习方 法构建先验知识库， 对每层抓取的废钢图像进行 大类划分， 结合先验知识和划分结果， 有针对性 的引导验质过程调用不同的验质 模型进行种类 识别。 同时引入空洞卷积策略， 能扩大视觉感受 野， 并据此构建了可以提取多尺度信息的编码器 和解码器结构。 通过FPN网络对图像进行卷积抽 取特征， 再对不同层次的特征图使用基于通道注 意力与空间注 意力的反复注意力机制进行增强， 以凸显图像中异 物和杂质区域。 权利要求书2页 说明书7页 附图1页 CN 114639063 A 2022.06.17 CN 114639063 A 1.一种基于多尺度图像解析的一体化废钢判级与异物预警方法， 其特征在于： 包括以 下步骤： S1、 根据原料采购源头的废钢种类特点进行先验知识库的构建， 且对废钢卸货车辆的 装载废钢重量、 车厢总体积等预信息进行采集； S2、 训练用于卸货触发的识别 模型、 完成视频监控卸货过程中新图层的自动化抓取、 对 新图层所处大类进行划分等操作； S3、 验质导向选择器根据先验知识和大类划分结果进行模型的调用； S4、 面向应用场景进行推理工作， 包含验质类别判级、 异物识别和杂质检测的详细过 程； S5、 根据判级和预警信息 完成整车判级结果的输出， 完成信息 到中控系统的推送； S6、 对验质过程进行远程监控和人为干预的设定， 完成判级信息到供应商端的分发和 共同确认。 2.根据权利要求1所述的基于多尺度图像解析的一体化废钢判级与异物预警方法， 其 特征在于： 所述 步骤S1具体包括： S11、 根据废钢采购的种类分布和企业 回收标准， 建立废钢识别的大类划分和小类细化 工作； S12、 在卸货场地搭建摄 像头监控环境； S13、 完成先验知识所需的正负 样本的构造； S14、 对每对正样本数据的每张类别图片通过ResNet构建的特 征提取器进行 特征编码； S15、 定义相似度 度量函数 ； S16、 将S13 ‑S15步骤所训练得到的图像特 征编码器作为先验知识保留到先验知识库； S17、 对入场时的卸货车辆进行称重和体积测量， 同时计算所装载的废钢密度信息 。 3.根据权利要求2所述的基于多尺度图像解析的一体化废钢判级与异物预警方法， 其 特征在于： 所述 步骤S2具体包括： S21、 基于S12步骤中所获得的标注信号图片数据集； S22、 将实时监听卸货信息， 卸货车辆入场刷卡后会发送刷卡信号， 并触发判级服 务； S23、 对探测帧识别到的卸货动作信号， 触发抽取动作； S24、 利用S12步骤中所获得的人工划分大类图片数据， 训练以ResNet101网络为基础的 单图料型分类模型； S25、 将S23中获得的每层卸货图像输入到S24步骤中所构建的类别分类器， 得到废钢图 像所包含的大类信息 。 4.根据权利要求3所述的基于多尺度图像解析的一体化废钢判级与异物预警方法， 其 特征在于： 所述 步骤S3具体包括： S31、 对S12中获得的大类划分图片进行标注， 包括用于分割验质的废钢种类标注和用 于异物预警和杂质识别的检测标注； S32、 模型导向器将综合S24 ‑S25步骤对每层图片的料 型分类信息； S33、 对步骤S23抓取的每层图像， 均调用异 物识别模型和杂质检测模型进行目标检测。 5.根据权利要求4所述的基于多尺度图像解析的一体化废钢判级与异物预警方法， 其权　利　要　求　书 1/2 页 2 CN 114639063 A 2特征在于： 所述 步骤S4包括： S41、 在S3步骤选定特定的大类验质模型后， 多层废钢图像输入到对应的大类验质模型 中； S42、 对S41步骤得到的特 征， 进行多尺度空洞卷积和图像全局池化的操作； S43、 将步骤S42中4个卷积层和图像全局特征连接起来， 经过一个1 ×1的普通卷积得到 编码器的输出； S44、 将S43中编码器的输出 上采样4倍， 与步骤S41尺寸相同的低层特 征进行拼接 。 6.根据权利要求5所述的基于多尺度图像解析的一体化废钢判级与异物预警方法， 其 特征在于： 所述 步骤S4还 包括： S45、 根据图像语义分割的结果确定不同种类废钢所占的比例， 最终通过动态阈值分类 确定废钢的类别； S46、 在异物识别和杂质检测部分， 首先对数据图像进行填充， 固定其长宽比， 最后通过 多分辨率图像输入器调整图像大小， 以进行多尺度的训练； S47、 使用FPN网络对图像进行 特征提取， 以获取不同层次的特 征； S48、 将S47步骤的输出作为ROI池化层的输入， 以获取目标级别的特 征图； S49、 将S45步骤所获得的像素级别废钢种类判定输出进行面积占比统计， 获得各小类 别的数量以及各 大类别的占比情况。 7.根据权利要求6所述的基于多尺度图像解析的一体化废钢判级与异物预警方法， 其 特征在于： 所述 步骤S5具体包括： S51、 对S49步骤所获得的废钢种类输出、 异物信息和掺杂情况进行汇总， 完成可视化结 果的呈现， 包括对危险异物进 行醒目提示， 构建整 车的废钢类别信息清单等， 并且完成判级 结果到远程中控台的推送； S52、 完成对应卸货车辆整车判级流 程的结算。 8.根据权利要求7所述的基于多尺度图像解析的一体化废钢判级与异物预警方法， 其 特征在于： 所述 步骤S6具体包括： S61、 在废钢验质流程中实现对卸货车辆信息与先验知识库的通讯， 和废钢卸货场景的 实时监控等工作。权　利　要　求　书 2/2 页 3 CN 114639063 A 3