(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210417868.6 (22)申请日 2022.04.20 (71)申请人 中国科学技术大学 地址 230041 安徽省合肥市包河区金寨路 96号 (72)发明人 李智军　廖朴金　李国欣　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 黄磊 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 基于视触融合的机器人及其抓取系统和方 法 (57)摘要 本发明提供了一种基于视触融合的机器人 及其抓取系统和方法， 机器人系统包含多自由度 的机械臂与多自由度的机械手本体， 同时有安装 在机器手上的视觉相机和触觉传感器， 用于获得 两个模态的信息。 视觉与触觉感知融合算法利用 采集的视觉信息获取目标物体的外部轮廓信息， 触觉信息获取目标物体的表面形貌与质地软硬 等信息， 通过预处理后利用卷积神经网络提取视 觉信息的特征和触觉信息的特征， 两个模态特征 信息融合之后获得的新的特征用于预测物体抓 取过程中的滑动概率。 通过滑动概率实时调整机 器手与物体的接触面积和物体表 面的受力大小， 在整个过程中保证机器手总以合适的力对物体 进行稳定抓取。 权利要求书1页 说明书5页 附图3页 CN 114700947 A 2022.07.05 CN 114700947 A 1.一种基于视触融合的机器人抓取系统， 其特征在于， 包括： 机器人灵巧手平台， 触觉 传感器， 外 部视觉相机， 内部计算单 元； 所述机器人灵巧手平台与 所述触觉传感器和所述外部视觉相机相连接； 所述触觉传感 器和所述外部视觉相机获取视觉信息和触觉信息， 所述视觉信息和所述触觉信息相融合并 进入内部计算单 元， 预测出机器人灵巧手平台抓取 过程中物体滑动的概 率。 2.根据权利要求1所述的基于视触融合的机器人抓取系统， 其特征在于， 所述机器人灵 巧手平台包括机器人机械臂和机械灵巧手， 所述机械灵巧手安装在所述机器人机械臂的末 端， 对物体进行抓取。 3.根据权利要求2所述的基于视触融合的机器人抓取系统， 其特征在于， 所述机器人机 械臂的自由度至少为6个， 所述机 械灵巧手的自由度至少为3个。 4.根据权利要求1所述的基于视触融合的机器人抓取系统， 其特征在于， 所述外部视觉 相机包括usb外部摄像机， 所述usb外部摄像机安装在机器人机械臂末端和机械灵巧手的上 方， 所述usb外 部摄像机获取视 觉信息， 并通过usb端口将视 觉信息送入内部计算单 元。 5.根据权利要求1所述的基于视触融合的机器人抓取系统， 其特征在于， 所述触觉传感 器黄与机械灵巧手的内侧， 所述触觉传感器采用基于光学信号的触觉传感器， 基于光学信 号的触觉传感器直接 输出阵列信息， 利用卷积神经网络提取 特征。 6.一种基于视触 融合的机器人抓取方法， 其特征在于， 所述方法应用如权利要求1 ‑5任 一项所述的基于 视触融合的机器人抓取系统， 所述方法包括如下步骤： 步骤S1： 获取网络训练数据； 步骤S2： 训练网络数据； 步骤S3： 利用抓取 过程中物体的滑动概 率进行反馈控制。 7.根据权利要求6所述的基于视触 融合的机器人抓取方法， 其特征在于， 所述步骤S1中 的整个网络模型首先需要通过训练， 训练数据来自于多次抓取实验， 通过在多个常见物体 进行多次抓取实验， usb外部摄像机和触觉传感器分别获得抓取过程重点的视觉图像和 触 觉图像， 手动标记抓取 过程中物体的状态信息， 获得整个网络的训练数据。 8.根据权利要求6所述的基于视触 融合的机器人抓取方法， 其特征在于， 所述步骤S2由 步骤S1获取的视觉图像和触觉图像经过预 处理之后分别送入 卷积神经网络提取图像特征， 预处理先要将图像的归一化， 之后通过随机翻转， 平移等数据增强操作， 最后需要将图像裁 剪到网络指定的输入大小， 采用Transformer作为融合特征的训练网络， 在Transformer网 络之后， 经 过一个全连接层， 全连接层的输出通过softmax函数， 预测输出物体滑动的概 率。 9.根据权利要求6所述的基于视触 融合的机器人抓取方法， 其特征在于， 所述步骤S3在 抓取过程中， usb外部摄像机获得视觉图像和 触觉传感器获得的触觉图像分别送入步骤S2 所训练好的模型之中， 得到 当下物体滑动的概率， 以该概率作为控制 信号， 调整末端灵巧手 对物体的抓握的控制。 10.一种机器人， 其特征在于， 所述机器人使用 如权利要求1 ‑5任一项所述的基于视触 融合的机器人抓取系统。权　利　要　求　书 1/1 页 2 CN 114700947 A 2基于视触融合的机 器人及其抓取系统和方 法 技术领域 [0001]本发明涉及多模态融合和机器人抓取的技术领域， 具体地， 涉及基于视触融合的 机器人及其 抓取系统和方法， 尤其涉及一种基于 视触融合的机器人抓取系统及方法。 背景技术 [0002]随着人工智能技术的发展， 智能机器人也开始逐步进入大众视野。 一直以来， 人们 都希望机器人能真正的像人一样能和环境进行交互， 因此， 机器人 的对外界环境的感知就 成了智能机器人领域的热点问题。 近几年来， 得益于计算机视觉和自然语言技术的飞速发 展， 机器人在处理视觉， 听觉和文本信息这几类问题都取得了很大 的进步。 目标检测， 人脸 识别， 语音导航等任务在已经在机器人得到了充分地运用。 但是， 在机器人触觉领域， 目前 的研究确少之又少， 一方面是 因为触觉信息在整个机器人对外界环境的感知中只占了比较 少的一部分， 触觉信息在大部分机器人 的操作中并不是必须 的， 另一方面也和触觉信息 自 身数据结构有关， 传统的触觉传感器大部分是采用电信号作为输出， 这使得整个机器人操 作的过程中不便 于处理。 [0003]作为机器人末端操作的关键性问题， 机器人抓取任务就和机器人触觉感知密切相 关。 最开始的机器人抓取任务中， 对于物体的抓取完全是通过固定的指令控制 机器人手末 端， 以固定的方式抓取物体。 但是这种方式很明显忽略了抓取过程中物体的状态信息和物 体本身的材质信息， 由于不同物体材质不同， 有的物体材质坚硬， 有的物体材质柔软， 如果 在抓取的时候都采用相同的力， 可能会导致物体损坏， 并且， 物体在被抓取的过程中， 其是 否滑动是我们最为关注的， 利用物体在抓取过程中的是否滑动的状态信息对机器手末端进 行控制， 能够保证整个过程抓取过程的稳定性。 随着机器人感知技术的发展， 触觉信息开始 被用于机器人抓取任务之中， 用于感知抓取过程中机器手和物体之间的压力变化， 但之前 的触觉传感器大都是压电传感器， 压电传感器通过感受接触面的形变将压力信号转变为电 信号， 通过电信号进一步对机器手末端进行控制 。 但电信号的在抓取过程中的处理需要经 过一系列的转换， 这对 控制机器 手进行实时的调整又 是不利的。 [0004]最近几年， 多模态融合技术在迅速发。 不同模态信息之间存在着信息的互补， 在各 种任务中利用不同模态信息相互融合， 可能会取得比单独利用某个模态信息更好的效果。 由此自然想到将视觉信息引入机器人抓取任务中， 视觉模态提供抓取过程中物体外部整体 图像信息， 触觉模态提供抓取过程中机器人和物体接触面的局部信息， 进一步通过神经网 络实现两个模态信息的融合， 利用融合的信息实现机器人对物体的稳定抓取。 [0005]在公开号为CN113696186A的专利文献中公开了复杂的环境条件下， 基于视触融合 的机械臂自主移动抓取方法， 主要包括对目标位置的趋近控制和对环境信息的反馈控制 。 可见光与深度图像基于深度网络完成对目标的识别定位， 并调整移动机械不断趋近目标物 体； 根据传感器模块与外界环境及目标物体的接触力信息， 调整机械臂 位姿； 同时选取目标 物体的最佳位姿与合适的抓取力大小， 有效防止了机械臂的碰撞损害与失稳， 并且减少 了 被抓物体的严重形变。说　明　书 1/5 页 3 CN 114700947 A 3