(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210558127.X (22)申请日 2022.05.19 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 王鹏　李一鸣　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 李文清 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 多指手机器人抓取方法、 装置与机 器人系统 (57)摘要 本发明提供一种多指手机器人抓取方法、 装 置与机器人系统， 首先获取待抓取对象的目标场 景点云数据； 然后对目标场景点 云数据进行特征 提取， 得到目标场景点云数据的几何结构特征， 并基于几何结构特征， 确定待抓取对象对应的目 标抓取配置； 该目标抓取配置包括各抓取模态下 所述目标场景点云数据中的可抓取点、 多指手在 可抓取点的腕部抓取位姿以及夹爪关节角度； 最 后根据目标抓取配置， 控制多指手对待抓取对象 进行抓取。 该方法不依赖于待抓取对象的模型， 即使对于未知模型的待抓取对象也可以进行抓 取， 且计算复杂度较低， 大大的提高了抓取效率 以及准确性。 而且， 该方法可以应用于杂乱场景， 提高了抓取方法的应用范围。 权利要求书3页 说明书19页 附图3页 CN 114952836 A 2022.08.30 CN 114952836 A 1.一种多指手机器人抓取 方法， 其特 征在于， 包括： 获取待抓取对象的目标场景点云数据； 对所述目标场景点云数据进行特征提取， 得到所述目标场景点云数据的几何结构特 征， 并基于所述几何结构特征， 确定所述待抓取对象对应的目标抓取配置； 所述目标抓取配 置包括各抓取模态下所述目标场景点云数据中的可抓取点、 所述各抓取模态下多指 手在所 述可抓取点的腕部抓取位姿以及夹爪关节角度； 基于所述目标抓取配置， 控制所述多指手对所述待抓取对象进行抓取。 2.根据权利要求1所述的多指手机器人抓取方法， 其特征在于， 所述对所述目标场景点 云数据进行特征提取， 得到所述 目标场景点云数据的几何结构特征， 并基于所述几何结构 特征， 确定所述待抓取对象对应的目标抓取配置， 包括： 将所述目标场景点云数据输入至抓取配置预测模型中， 由所述抓取配置预测模型的特 征提取层进行特征提取得到所述几何结构特征， 并由所述抓取配置预测模 型的全连接层分 别进行可抓取点分割、 腕部抓取位姿估计以及夹爪关节角度预测， 得到并输出所述 目标抓 取配置； 其中， 所述抓取配置预测模型基于包含有多个样本物体的样本场景的样本场景点云数 据， 以及所述样本场景点云数据对应的样本抓取配置标签集合训练得到， 所述样本抓取配 置标签集合包括每个样本物体对应的样本抓取配置标签， 所述样本抓取配置标签包括所述 各抓取模态下所述样本场景点云数据中各样本场景点的抓取类别标签、 所述各抓取模态下 所述多指手在所述各样本场景点的腕部抓取位姿标签以及夹爪关节角度标签。 3.根据权利要求2所述的多指手机器人抓取方法， 其特征在于， 所述每个样本物体对应 的样本抓取配置标签 基于如下 方法确定： 对于所述多个样本物体中的任一样本物体， 确定所述任一样本物体的标准 抓取配置； 基于所述任一样本物体的位姿信 息， 将所述任一样本物体的标准抓取配置与 所述样本 场景进行匹配， 得到所述任一样本物体在所述样本场景中的样本抓取配置； 基于所述任一样本物体在所述样本场景中的样本抓取配置， 对所述样本场景点云数据 进行标注， 得到所述任一样本物体对应的样本抓取配置标签。 4.根据权利要求3所述的多指手机器人抓取方法， 其特征在于， 所述确定所述任一样本 物体的标准 抓取配置， 包括： 确定所述任一样本物体的三维模型表面的多个采样点； 确定所述多指手在每个采样点的多组腕部姿态参数， 每组腕部姿态参数包括夹爪趋近 方向、 夹爪闭合方向以及夹爪抓取深度； 基于所述多组腕部姿态参数， 进行所述多指手机器人对所述任一样本物体的抓取仿真 实验， 并基于抓取成功 时对应的采样点、 抓取模态、 腕部抓取位姿以及夹爪关节角度， 确定 所述任一样本物体的标准 抓取配置 。 5.根据权利要求2所述的多指手机器人抓取方法， 其特征在于， 所述抓取配置预测模型 基于如下 方法训练得到： 将所述样本场景点云数据输入至初始模型的初始特征提取网络进行特征提取， 得到所 述多个样本物体对应的样本几何结构特 征； 将所述多个样本物体对应的样本几何结构特征输入至所述初始模型的初始全连接层，权　利　要　求　书 1/3 页 2 CN 114952836 A 2由所述初始全连接层的初始 点分割网络进 行可抓取点分割， 得到所述各抓取模态下所述各 样本场景点的抓取类别预测值； 由所述初始全连接层的初始 位姿估计网络进 行腕部抓取位 姿估计， 得到所述各抓取模态下所述多指 手机器人在所述各样本场景点的腕部抓取位姿估 计值； 由所述初始全连接层的初始角度回归网络进行夹爪关节角度预测， 得到所述各抓取 模态下所述多指手机器人在所述各样本场景点的夹爪关节角度预测值； 基于所述各样本场景点的抓取类别预测值以及所述各样本场景点的抓取类别标签， 计 算点分割损失， 基于所述腕部抓取位姿估计值以及所述腕部抓取位姿标签， 计算位姿估计 损失， 并基于所述夹爪关节角度预测值以及所述夹爪关节角度标签， 计算角度预测损失； 基于所述点分割损 失、 所述位姿估计损 失以及所述角度预测损 失， 对所述初始模型进 行训练， 得到所述 抓取配置预测模型。 6.根据权利要求2所述的多指手机器人抓取方法， 其特征在于， 所述可抓取点基于所述 全连接层输出 的所述各抓取模态下所述目标场景点云数据中各目标场景点的抓取类别概 率进行表征； 相应地， 所述基于所述目标抓取配置， 控制所述多指手机器人对所述待抓取对象进行 抓取， 包括： 基于所述各目标场景点的抓取类别概率， 计算所述目标抓取配置 中各抓取配置的得分 信息； 基于所述各抓取配置的得分信息， 采用非极大值抑制算法对所述各抓取配置进行筛 选， 确定筛选结果； 基于所述筛 选结果， 控制所述多指手对所述待抓取对象进行抓取。 7.根据权利要求6所述的多指手机器人抓取方法， 其特征在于， 所述基于所述筛选结 果， 控制所述多指手对所述待抓取对象进行抓取， 包括： 在所述筛 选结果中选取指定抓取配置； 基于所述选取指定抓取配置中的指定可抓取点以及所述多指手在所述指定可抓取点 的腕部抓取位姿， 对与所述多指手连接的机器人机 械臂进行路径规划， 得到目标路径； 控制所述机器人机械臂沿所述目标路径进行移动， 并在所述机器人机械臂到达指定抓 取位置时， 基于所述多指手在所述指定可抓取点的腕部抓取位姿以及夹爪关节角度， 控制 所述多指手对所述待抓取对象进行抓取。 8.根据权利要求1 ‑7中任一项所述的多指手机器人抓取方法， 其特征在于， 所述腕部抓 取位姿包括腕部抓取位置和腕部抓取姿态， 所述腕部抓取姿态包括夹爪趋近方向、 夹爪闭 合方向以及夹爪抓取深度； 所述夹爪趋近方向基于三维坐标系中的方向角和仰角表征， 所述夹爪闭合方向基于所 述三维坐标系中的方位角表征。 9.一种多指手机器人抓取装置， 其特 征在于， 包括： 点云数据获取模块， 用于获取待抓取对象的目标场景点云数据； 抓取配置确定模块， 用于对所述目标场景点云数据进行特征提取， 得到所述目标场景 点云数据的几何结构特征， 并基于所述几何结构特征， 确定所述待抓取对 象对应的目标抓 取配置； 所述 目标抓取配置包括各抓取模态下所述 目标场景点云数据中的可抓取点、 所述 各抓取模态下多指手在所述可抓取点的腕部抓取位姿以及夹爪关节角度；权　利　要　求　书 2/3 页 3 CN 114952836 A 3