(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210390309.0 (22)申请日 2022.04.14 (71)申请人 广州东焊智能装备有限公司 地址 510000 广东省广州市番禺区石楼镇 大岭村菩山工业区2号厂房102 (72)发明人 巫飞彪　张少华　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 万晶晶 (51)Int.Cl. B25J 9/16(2006.01) B23K 37/02(2006.01) (54)发明名称 自主移动焊接机器人嵌入式视觉跟踪控制 系统 (57)摘要 本发明属于焊接机器人控制技术领域， 公开 了一种自主移动焊接机器人嵌入式视觉跟踪控 制系统， 包括： 激光器， 用于产生结构光并投射到 焊件的表 面， 结构光在焊件的焊缝处产生畸变条 纹的图像； 工业相机， 用于采集包含畸变条纹的 焊缝图像、 焊枪位置图像和焊件需要焊接表面的 倾角图像， 并通过5G网络传输模块至嵌入式图像 处理控制器； 嵌入式图像处理控制器， 用于对畸 变条纹的焊缝图像处理， 实现焊缝跟踪； 根据焊 枪位置图像的偏差和焊件需要焊接表面的倾角 图像的识别， 控制轮式移动平台和十字滑块机构 协调运动。 本发 明采用嵌入式视觉跟踪控制专业 性强， 采用硬件和软件控制实现焊接机器人精确 的跟踪控制， 有助于提高焊接机器人的自动化水 平。 权利要求书3页 说明书11页 附图4页 CN 114714355 A 2022.07.08 CN 114714355 A 1.一种自主移动焊接 机器人嵌入式视 觉跟踪控制系统， 其特 征在于， 包括： 激光器， 用于产生结构光并投射到焊件的表面， 结构光在焊件的焊缝处产生畸变条纹 的图像； 工业相机， 用于采集包含畸变条纹的焊缝图像、 焊枪位置 图像和焊件需要焊接表面的 倾角图像， 并通过5G网络传输模块至嵌入式图像处 理控制器； 嵌入式图像处理控制器， 用于对畸变条纹 的焊缝图像处理， 实现焊缝跟踪； 根据焊枪位 置图像的偏差和焊件需要焊接表面的倾角图像的识别， 控制轮式移动平台和十字滑块机构 协调运动。 2.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统， 其特征在于， 所 述激光器， 用于产生结构光并投射到焊件的表面， 光栅用于将结构光分成多线 结构光， 所述 工业相机用于采集在仅有多线 结构光照射情况下的焊缝图像； 光栅垂直于激光器的光轴放 置。 3.如权利要求2所述的自主移动焊接机器人嵌入式视觉跟踪控制系统， 其特征在于， 激 光器， 产生的初级稳定的多 线结构光 栅扫描； ARM模块， 与激光器连接， 利用光电探测器和微振镜反馈模块计算得到基于光电探测器 的微振镜位置的时刻点； FPGA模块， 与激光器连接， 利用预先存储的亮度时刻对应表匹配时刻点所对应的激光 器亮度值， 并利用激光器亮度值调制 激光器的亮度的多线结构分布特性， 得到中级稳定的 多线结构光 光栅。 4.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统， 其特征在于， 所 述5G网络传输模块具体包括： 工业相机启动5G网络传输模块， 工业相机判断是否成功接入5G网络， 所述5G网络传输 模块设有双卡模式且兼容多个频 带宽度BAND， 同时支持电信、 移动、 联通的5G网络； 所述工业相机通过所述5G网络传输模块上传所述包含畸变条纹 的焊缝图像、 焊枪位置 图像和焊件需要焊接表面的倾角图像至嵌入式图像处理控制器， 并关闭所述5G 网络传输模 块。 5.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统， 其特征在于， 所 述嵌入式图像处 理控制器包括： 运动检测模块， 工业相机进入焊缝监控范围后， 对差分的焊缝图像直接进行处理， 检测 焊缝所在区域， 根据焊缝区域进 行目标特征提取， 差 分运算初步检出焊缝后； 对焊缝图像进 行处理， 先对检出 的差分的焊缝图像进行分割， 得到焊缝图像的二值图像， 滤除噪声， 得到 清晰的结果， 将当前焊缝图像和参 考背景模型相减实现运动焊缝检测； 特征提取模块， 在 当前的焊缝图像的灰度图像 中， 根据焊缝所在联通区域的坐标， 计算 运动焊缝的特 征向量， 提取运动焊缝的颜色信息； 目标定位模块， 提取运动焊缝的特征后， 对新读取的每一帧焊缝图像转化为灰度图像， 进行阈值分割、 边缘提取、 腐蚀膨胀处理后， 对各联通单元进行标记； 计算各联通单元 的特 征向量， 与模板特征向量匹配度最高的即为运动焊缝区域； 选择目标区域的重心定位， 根据 重心的坐标与焊缝图像中心坐标的位置， 调整工业相机的位姿对准焊缝； 工业相机控制模块， 由重心的坐标和图像中心像素的坐标表示出运动焊缝偏离工业相权　利　要　求　书 1/3 页 2 CN 114714355 A 2机镜头中心的偏移 量， 根据偏移 量方向和正负样本， 正负样本进 行分类器训练， 并映射到高 斯核函数 空间进行计算建立控制规则库， 调整工业相机转动的方向、 速度和位姿； 工业相机 位姿调整分为水平、 垂直两个方向。 6.如权利要求5所述的自主移动焊接机器人嵌入式视觉跟踪控制系统， 其特征在于， 所 述对检出的差分的焊缝图像进行分割， 得到焊缝图像的二 值图像具体包括以下步骤： 获取当前焊缝图像； 将当前焊缝图像分割为若干张子当前焊缝图像； 计算各子当前焊 缝图像的均值、 方差和灰度值； 利用Gamma校正对去噪后的当前焊缝图像进行处 理， 增加当前焊缝图像对比度； 将增加对比度的当前焊缝图像， 再次利用自适应阈值快速分割算法， 将当前焊缝图像 变成二值图像； 计算二值化分割的最佳阈值； 各子图像的灰度值最佳阈值比较从而将子图像中的像素 点标记为当前焊缝图像或参 考背景模型； 重复上述步骤并计算当前焊缝图像中各个像素点被标记为当前焊缝图像获参考背景 模型的概率； 将各个像素点被标记为当前焊缝图像或参考背 景模型的概率与门限值进 行对 比， 将当前焊缝图像中的各个像素点标记为当前焊缝图像或参考背景模型， 完成当前焊缝 图像的二 值化分割； 当前焊缝图像和参 考背景模型相减实现运动焊缝检测。 7.如权利要求5所述的自主移动焊接机器人嵌入式视觉跟踪控制系统， 其特征在于， 计 算运动焊缝的特 征向量具体包括： 输入： 原始焊缝图像Img； 输出： Img焊缝图像一维局部二 值模式LBP特 征向量值 将检测焊缝图像Img划分为尺寸大小为 k×k的小区域cel l； 对于每个cell中的一个像素， 将周边相邻8个像素灰度值与其进行比较， 若周围像素值 大于中心像素值， 则该像素点的位置被标记为1， 否则记为0； 3 ×3邻域内的8个点经比较产 生8位二进制数， 即得到该窗口中心像素点的LBP值； 计算每个cell对应的直方图， 即每个数字出现的频率， 然后对该直方图进行归一化处 理； 最后将得到的每个cell的统计直方图进行连接成为一个特征向量， 即整幅焊缝图像的 局部二值模式LBP纹 理特征向量。 8.如权利要求5所述的自主移动焊接机器人嵌入式视觉跟踪控制系统， 其特征在于， 所 述灰度图像的处 理具体包括： 接收灰度图像， 并将所述灰度图像的灰度和轮廓属性信息配置在预设文件中； 根据灰度图像的尺寸获取特征参数； 对灰度图像进行三高斯单边滤波获得指纹灰度图 像的邻域主观感觉亮度； 根据获得的灰度图像的邻域主观感觉亮度与实际光强的差异， 对 灰度图像进行局部对比度线性调整； 解析所述灰度图像中的轮廓并提取所述轮廓对应的灰度和顺序点； 根据 预设文件中的 配置信息， 生成所述灰度图像对应的数据文件； 将存放有灰度图像的原始灰度值的Ycbcr颜色空间向RGB的转换后得到灰度图像的像 素的RGB值， 作为保存后的灰度图像的目标像素的RGB颜色值。权　利　要　求　书 2/3 页 3 CN 114714355 A 3