(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211136946.1 (22)申请日 2022.09.19 (71)申请人 陕西科技大 学 地址 710021 陕西省西安市未央大 学园区 (72)发明人 亢洁　王勍　夏宇　刘文波　 (74)专利代理 机构 北京盛广信合知识产权代理 有限公司 161 17 专利代理师 秦全 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/593(2017.01) G06T 17/00(2006.01) G06T 5/00(2006.01) G06T 5/20(2006.01) G06T 1/00(2006.01)G06V 20/68(2022.01) G06V 10/82(2022.01) H04N 13/204(2018.01) G08C 17/02(2006.01) A01D 46/30(2006.01) (54)发明名称 一种基于深度学习和机 器视觉的采摘装置 (57)摘要 本发明公开了一种基于深度学习和机器视 觉的采摘装置， 包括： 图像采集模块， 用于获取图 像数据集， 并对目标物体进行三维重建， 获得目 标物体的位置信息； 图像处理模块， 用于对图像 数据集进行特征提取， 获得特征信息； 模型构建 模块， 用于基于所述特征信息对 预设的图像识别 模型进行训练， 获得目标图像识别模型； 智 能采 摘模块， 用于将所述目标物体的图像信息输入到 所述目标图像识别模型中进行对比分析， 并进行 采摘； 控制中心模块， 用于对所述智 能采摘模块 发布控制指令并实时监测。 本发 明的采摘装置利 用深度学习网络有效地自动识别果蔬的成熟度 和颜色， 降低了采摘难度， 解决了现有采摘装置 识别精度低且 采摘过程智能化 不足的问题。 权利要求书2页 说明书5页 附图1页 CN 115546296 A 2022.12.30 CN 115546296 A 1.一种基于深度学习和机器视 觉的采摘装置， 其特 征在于， 包括： 图像采集模块， 用于获取图像数据集， 并对目标物体进行三维重建， 获得所述目标物体 的位置信息； 图像处理模块， 与所述采集模块连接， 用于对所述图像数据集进行特征提取， 获得特征 信息； 模型构建模块， 与所述图像处理模块连接， 用于基于所述特征信息对预设的图像识别 模型进行训练， 获得目标图像识别模型； 智能采摘模块， 与所述模型构建模块连接， 用于将所述目标物体的图像信息输入到所 述目标图像识别模型中进行对比分析， 并进行采摘； 控制中心模块， 与所述智能采摘模块连接， 用于对所述智能采摘模块发布控制指令并 实时监测。 2.根据权利要求1所述的基于深度学习和机器视 觉的采摘装置， 其特 征在于， 所述图像采摘模块包括： 双目摄像机图像采集单元， 用于采用跨尺度引导滤波结合加权中值滤波视差细化的算 法对目标物体进行三维重建， 获得 所述目标物体的位置信息； 单目摄像机 图像采集单元， 用于采集所述目标物体的图像信息， 并基于模板匹配法对 所述目标物体进行定位。 3.根据权利要求1所述的基于深度学习和机器视 觉的采摘装置， 其特 征在于， 所述图像处 理模块包括： 预处理单元， 用于对所述图像数据集进行 预处理， 获得目标图像数据集； 特征提取单元， 用于基于深度矩阵分解， 获得 所述目标图像数据集的特 征信息。 4.根据权利要求3所述的基于深度学习和机器视 觉的采摘装置， 其特 征在于， 所述预处 理单元包括： 第一处理单元， 用于基于线性增强技术为所述图像数据集做双线性插值处理， 获得第 一目标图像数据集； 第二处理单元， 用于基于自适应中值滤波算法对所述第 一目标图像数据集进行去噪处 理， 获得第二目标图像数据集。 5.根据权利要求1所述的基于深度学习和机器视 觉的采摘装置， 其特 征在于， 所述智能采摘模块包括： 机械臂单元， 用于通过 六轴机械臂进行采摘工作； 智能车单元， 用于规划行进路线并装载采摘物品； 标记生成单元， 用于预设时间阈值， 当采摘时间大于预设阈值， 则自动在3D地图上生成 采摘标记； 所述3D地图搭 载在智能采摘模块上。 6.根据权利要求5所述的基于深度学习和机器视 觉的采摘装置， 其特 征在于， 所述机械臂单元包括： 建模单元， 用于基于D ‑H算法构建所述六轴机 械臂的动力学模型； 采摘单元， 用于对所述六轴机 械臂进行运动解 算， 控制所述六轴机 械臂进行采摘。 7.根据权利要求5所述的基于深度学习和机器视 觉的采摘装置， 其特 征在于， 所述智能车 单元包括：权　利　要　求　书 1/2 页 2 CN 115546296 A 2信号接收单 元， 用于接收控制中心模块的控制指令； 路线规划单元， 用于基于所述控制指令采用最短路径算法通过搭载的3D地图对行进路 线、 返程路线 进行规划； 质量控制单元， 用于识别采摘的物品是否到达预设重量阈值； 若未到达所述重量阈值， 则继续采摘； 若到 达所述重量阈值， 则自动停止采摘。 8.根据权利要求7 所述的基于深度学习和机器视 觉的采摘装置， 其特 征在于， 所述智能车上搭载若干个灰度传感器， 所述灰度传感器用于对智能车的行进路径进行 识别、 修正。权　利　要　求　书 2/2 页 3 CN 115546296 A 3