(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210451519.6 (22)申请日 2022.04.26 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 李明军　唐明勇　解磊磊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 李申 (51)Int.Cl. B25J 9/16(2006.01) B25J 11/00(2006.01) (54)发明名称 清洁机器人的拾物方法、 装置及其相关设备 和存储介质 (57)摘要 本申请公开了一种清洁机器人的拾物方法、 装置及其相关设备和存储介质， 该方法包括： 获 取当前区域的环境图像； 利用环 境图像进行物体 识别， 得到目标物体的拾取参考信息； 基于拾取 参考信息， 从清洁机器人的若干拾取部中， 选出 用于拾取目标物体的目标拾取部； 其中， 至少部 分拾取部的拾取方式不同； 控制目标拾取部对目 标物体进行拾取。 通过上述方式， 本申请能够实 现清洁机器人采用不同的拾取方式对物体进行 拾取， 从而提高清洁机 器人的清洁 效果。 权利要求书3页 说明书20页 附图5页 CN 114851194 A 2022.08.05 CN 114851194 A 1.一种清洁机器人的拾物方法， 其特 征在于， 所述方法包括： 获取当前区域的环境图像； 利用所述环境图像进行物体识别， 得到目标物体的拾取参 考信息； 基于所述拾取参考信息， 从所述清洁机器人的若干拾取部中， 选出用于拾取所述目标 物体的目标拾取部； 其中， 至少部分所述 拾取部的拾取 方式不同； 控制所述目标拾取部对所述目标物体进行拾取。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述拾取参考信息， 从所述清洁 机器人的若干拾取部中， 选出用于拾取 所述目标物体的目标拾取部， 包括： 获取所述拾取参考信 息中的目标拾取部标识， 从所述若干拾取部 中选出所述目标拾取 部标识对应的所述目标拾取部； 或者， 获取所述拾取参考信 息中关于所述目标物体的属性信 息， 基于所述属性信 息从所述若 干拾取部中选出所述目标拾取部， 其中， 所述属性信息包括所述目标物体的类别、 材质和体 积中的至少一 者。 3.根据权利要求1或2任一项所述的方法， 其特征在于， 所述控制所述目标拾取部对所 述目标物体进行拾取， 包括： 获取所述拾取参考信息中关于所述目标物体的拾取参数； 响应于所述清洁机器人当前满足拾取条件， 控制所述目标拾取部基于所述拾取参数对 所述目标物体进行拾取。 4.根据权利要求3所述的方法， 其特征在于， 所述拾取参数包括所述目标物体的拾取位 置、 拾取方位和拾取力度中的至少一 者； 和/或， 所述拾取条件为所述清洁机器人与所述目标物体之间的距离小于或等于第一 距离阈值。 5.根据权利要求1至4任一项所述的方法， 其特征在于， 在所述控制所述目标拾取部对 所述目标物体进行拾取之后， 所述方法还 包括： 获取所述拾取参考信息中关于所述目标物体的类别； 从若干盛放 容器中， 选出与所述目标物体的类别匹配的目标盛放 容器； 控制所述目标拾取部将拾取 得到的所述目标物体放置 至所述目标盛放 容器中。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 在所述控制所述目标拾取部对 所述目标物体进行拾取之后， 所述方法还 包括： 响应于所述目标拾取部对所述目标物体拾取失败次数大于预设次数， 选择除所述目标 拾取部以外的其 他拾取部对所述目标物体进行拾取； 和/或， 响应于所述目标拾取部对所述目标物体拾取失败次数大于所述预设次数， 记录 所述目标物体的信息， 并向用户反馈所述目标物体的信息， 其中， 所述目标物体的信息包括 所述目标物体的形状、 图像、 以及 在所述当前区域中的位置中的至少一 者。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 在所述利用所述环境图像进行 物体识别之后， 所述方法还 包括： 响应于对所述目标物体识别失败， 向用户发出关于所述目标物体的讯问信息； 响应于接收到用户的回复信 息， 基于所述 回复信息选择其中一个所述拾取部对所述目 标物体进 行拾取； 或者， 响应于未接收到用户的回复信息， 基于所述清洁机器人的配置信息权　利　要　求　书 1/3 页 2 CN 114851194 A 2对所述目标物体进行处 理。 8.根据权利要求7所述的方法， 其特征在于， 所述 回复信息包括所述目标物体的拾取参 考信息， 在所述基于所述回复信息选择其中一个所述拾取部对所述目标物体进行拾取之 后， 所述方法还 包括： 记录所述 回复信息中的所述拾取参考信 息， 所述记录的拾取参考信用于对后续与 所述 目标物体同类的物体进行拾取； 和/或， 所述基于所述清洁机器人的配置信息对所述目标物体进行处 理， 包括： 响应于所述配置信 息为对所述目标物体进行拾取， 利用其中一个所述拾取部对所述目 标物体进行拾取； 响应于所述配置信息为 不对所述目标物体进行拾取， 不对所述目标物体进行处 理。 9.根据权利要求1至8任一项所述的方法， 其特征在于， 在所述利用所述环境图像进行 物体识别， 得到目标物体的拾取参 考信息之前， 所述方法还 包括： 获取所述清洁机器人与所述目标物体之间的距离； 响应于所述距离小于或等于第二距离阈值， 执行所述利用所述环境图像进行物体识 别， 得到目标物体的拾取参 考信息及其后续 步骤。 10.根据权利要求1至9任一项所述的方法， 其特征在于， 所述利用所述环境图像进行物 体识别是利用物体识别模型 执行的， 所述方法还 包括： 获取若干初始样本图像， 所述初始样本图像包含样本物体且标注有所述样本物体的拾 取参考信息； 基于至少一张所述初始样本图像， 生成若干增强样本图像； 利用所述若干初始样本图像和所述若干增强样本图像， 对所述物体识别模型进行训 练。 11.根据权利要求10所述的方法， 其特征在于， 所述基于至少一张所述初始样本 图像， 生成若干增强样本图像， 包括： 利用经配置的第一 位置角度的虚拟光源 对所述初始样本图像中的样本物体进行照射； 利用经配置的第二位置角度的虚拟摄像设备对所述虚拟光源照射下的所述样本物体 进行拍摄， 得到所述增强样本图像。 12.根据权利要求1至11任一项所述的方法， 其特征在于， 所述若干拾取部包括吸式拾 取部和握式拾取部， 所述若干拾取部设于同一机 械臂上或者 不同机械臂上； 和/或， 所述获取当前区域的环境图像及其后续步骤是在所述清洁机器人进行清扫之 前或者过程中执 行的。 13.一种清洁机器人的拾物装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取当前区域的环境图像； 识别模块， 用于利用所述环境图像进行物体识别， 得到目标物体的拾取参 考信息； 选择模块， 用于基于所述拾取参考信 息， 从所述清洁机器人的若干拾取部 中， 选出用于 拾取所述目标物体的目标拾取部； 其中， 至少部分所述 拾取部的拾取 方式不同； 控制模块， 用于控制所述目标拾取部对所述目标物体进行拾取。 14.一种清洁机器人， 其特 征在于， 包括： 机器人本体；权　利　要　求　书 2/3 页 3 CN 114851194 A 3