(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211398255.9 (22)申请日 2022.11.09 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 齐鲁工业大学 (72)发明人 马凤英　张博文　纪鹏　王先建　 张慧　王斌鹏　 (74)专利代理 机构 济南格源知识产权代理有限 公司 373 06 专利代理师 张蕾 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/00(2017.01) B66C 13/16(2006.01) B66C 19/00(2006.01) (54)发明名称 一种基于视觉检测的自动装车系统及其控 制方法 (57)摘要 本发明公开一种基于视觉检测的自动装车 系统及其控制方法， 包括车辆高度测量系统、 可 升降基准杆系统、 车体位置检测系统、 工业机器 人移动系统及传送带的货物运输系统， 其特征在 于： 所述车辆高度测量系统包括固定高度的龙门 框架、 货车及激光传感器测量装置， 所述激光高 度测量装置固定在所述龙门架横杆的中间位置， 所述激光高度测量装置与所述货车的车体保持 垂直状态。 本发明涉及货物装车技术领域， 具体 地讲， 涉及一种基于视觉检测的自动装车系统及 其控制方法。 本发明要解决的技术问题是提供一 种基于视觉检测的自动装车系统及其控制方法， 方便自动装车。 权利要求书4页 说明书10页 附图8页 CN 115546029 A 2022.12.30 CN 115546029 A 1.一种基于视觉检测的自动装车系统， 包括车辆 高度测量系统、 可升降基准杆系统、 车 体位置检测系统、 工业机器人移动系统及 传送带的货物运输系统， 其特 征在于： 所述车辆高度测量系统包括固定高度的龙门框架(1)、 货车(2)及激光传感器测量装置 (3)， 所述激光高度测量装置(3)固定在所述龙门架(1)横杆的中间位置， 所述激光高度测量 装置(3)与所述货车(2)的车体保持垂直状态； 所述可升降基准杆系统包括直线电机控制的可升降平台(4)及基准杆(5)， 所述基准杆 (5)固定连接所述可升降平台(4)的升降滑轨； 所述车体位置检测系统包括多个龙门架摄像头(6)及所述货车(2)， 所述摄像头(6)固 定在所述龙门架(1)的中间横杆的位置， 自上而下放置， 所述货车(2)停放在所述龙门架(1) 的区域范围之内； 所述工业机器人移动系统包括滑轨系统(7)及工业机器人(8)组成， 所述滑轨系统(7) 位于所述货车(2)车体的一侧， 驱动电机驱动所述工业机器人(8)在所述滑轨系统(7)上进 行移动， 所述工业机器人(8)的底座与所述可升降平台(4)底座在同一水平面内； 所述传送带运输货物系统包括传送带(9)、 传感器检测装置(11)及货物(10)， 所述传感 器检测装置(1 1)安装在所述传送带(9)的末端位置 。 2.根据权利要求1所述的基于视觉检测的自动装车系统控制方法， 其特征在于， 包括以 下步骤： 步骤1： 测量待装货车辆的车厢底部距离地 面的高度并执 行下一步； 步骤2： 操作所述可升降平台(4)的升降滑轨， 使所述基准杆(5)上升至车厢底部的相同 高度， 并通过 所述基准杆(5)确定单位像素点之间的距离； 步骤3： 所述摄像头(6)拍摄的货车图像进行图像的拼接， 得到完整的车体图像， 寻找车 厢的角点 位置， 并计算所述货物(10)摆放的位置坐标将其发送给 所述工业机器人(8)； 步骤4： 所述传送带(9)运输货物， 在传送带上的货物到达传送带末端时， 所述传感器检 测装置(11)检测到货物到达传送带末端， 传递信号给所述工业机器人(8)， 所述工业机器人 (8)的末端执 行器运动到所述传送带(9)的末端 进行所述货物(10)的夹取； 步骤5： 使用所述工业机器人(8)进行货物的装车操作， 在所述货物(10)不断装车的过 程中， 所述工业机器人(8)在所述滑轨系统(7)上进行移动， 不断调整所述货物(10)在车厢 内的坐标位置， 并重复进行步骤4及步骤5 。 3.根据权利要求2所述的基于视觉检测的自动装车系统控制方法， 其特征在于： 所述步 骤1中， 测量待装货所述货车(2)的车厢底部距离地 面的高度具体步骤为： 步骤1.1： 所述货车(2)进入所述龙门架(1)的区域内， 所述摄像头(6)实时检测所述货 车(2)运动情况； 步骤1.2： 当检测到所述货车(2)运动 到所述龙门架(1)下并停止运动后， 开启所述激光 测距传感器(3)并获取所述货车(2)车厢顶部距离所述摄像头(6)的距离为L0， 设龙门架的 高度为L， 则L‑L0的值即为车厢上表面距离地 面的高度。 4.根据权利要求2所述的基于视觉检测的自动装车系统控制方法， 其特征在于： 所述步 骤2中， 通过 所述基准杆(5)确定单位像素点的长度， 具体步骤为： 步骤2.1： 在所述基准杆(5)的两幅图案上设置三个已知距离的基准点， 分别称为起始 基准点、 水平终止基准点和垂直终止基准点， 所述基准杆(5)上方的所述摄像头(6)通过基权　利　要　求　书 1/4 页 2 CN 115546029 A 2准点检测算法实时获取基准 点的图像坐标； 步骤2.2： 将所述基准杆(5)上升 到与车厢底部同等高度的位置； 步骤2.3： 使用起始基准点和水平终止基准点的图像坐标可以得到两个图像坐标之间 的图像距离， 已知两点之 间的实际距离和图像距离我们可以得到水平方向上图像的单位像 素点的长度， 同理可 得到垂直方向上图像的单位像素点的长度； 步骤2.3.1： 选定起始基准点的图像坐标为(x1， y1)， 水平方向上的终止基准点的图像坐 标为(x2， y2)， 垂直方向上的终止基准 点的图像坐标为(x3， y3)； 步骤2.3.2： 设两点之间的图像距离为S， 计算两点之间 的图像距离。 图像距离的计算公 式如下： 步骤2.3.3： 设水平方向上的单位像素点的长度为dx， 垂直方向上的单位像素点的长度 为dy。 起始基准点和终止基准点之间的实际距离为f， 单位像素点的长度为s， 计算公式如 下： 通过计算公式可以得到水平方向上的单位像素点的长度dx， 垂直方向上的单位像素点 的长度dy， 在所述基准杆(5)上升的过程中， 基准点距离所述摄像头(6)的距离是不断改变 的， 单位像素点的长度也是在不断改变的， 因此基准点检测算法需要实时检测基准点， 并计 算单位像素点的长度。 5.根据权利要求2所述的基于视觉检测的自动装车系统控制方法， 其特征在于： 所述步 骤3中， 通过图像拼接得到完整的车辆图像， 通过完整的车辆图像寻找车厢的角点位置， 计 算货物摆放的位置坐标， 具体步骤为： 步骤3.1： 在所述货车(2)进入所述龙门架(1)停车区域后， 多个所述摄像头(6)开始采 集车辆图像； 步骤3.2： 将多个位置获取的车辆图像进行图像的拼接， 得到 完整的车辆图像； 步骤3.3： 对完整的车辆图像进行图像检测， 通过车厢区域角点检测的算法确定货车车 厢的四个角点； 步骤3.3.1： 在完整图像中寻找整个车厢的边界， 得到车厢的边界图像； 步骤3.3.1.1： 在拼接 完成的车厢图像中心选取一组原 始种子点； 步骤3.3.1.2： 依次将种子像素周围具有相同性质或者相似性质的像素合并到种子像 素所在的区域中， 形成新的种子点； 步骤3.3.1.3： 重复所述步骤3.3.1.2直到无法形成新的种子点， 并将车厢的边界图像 显示出来； 步骤3.3.2： 对车厢的边界图像进行角点检测， 确定车厢的四个角点的位置； 将所述步骤3.3.1.3得到的车厢边界图像进行处理， 通过角点检测的算法确定四个角 点在图像中的位置； 在边缘区域， 平行于边缘方向的像素， 两者相似度比较高， 然而与边缘方向垂直的附近 像素， 它们之 间的灰度值差异明显， 对于角点所在区域， 其周围各个方向的像素灰度强度变权　利　要　求　书 2/4 页 3 CN 115546029 A 3