(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210443616.0 (22)申请日 2022.04.26 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 吴涓　陈航　王飞　黄戈文　张军　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06K 9/00(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视触觉信号的任务动作及物体物理属 性的识别方法 (57)摘要 本发明公开了一种基于视触觉信号的任务 动作及物体物理属性的识别方法， 包括如下步 骤： S1:对执行操作任务时同步采集的视触觉信 息进行预处理； S2:采用先计算经验特征再利用 神经网络处理的方式提取视触觉信息中的有效 特征； S3： 基于最大似然估计理论， 以加权组合的 形式实现视触觉特征的融合； S4： 实现融合特征 与动作类型－物 体属性组合标签的映射建模， 该 算法更符合人的感知规律， 此外， 由于本算法能 实现动作类型与物体物理属性的同步预测， 使 得 算法对机器人的自主操作任务识别具有自适应 性和鲁棒 性。 权利要求书2页 说明书6页 附图2页 CN 114723963 A 2022.07.08 CN 114723963 A 1.基于视触觉信号的任务动作及物体物理属性的识别方法， 其特征在于， 包括下列步 骤： S1、 信息预处理： 对执行操作任务 时同步采集的原始视触觉信息进行预处理， 所述原始 视触觉信息至少包括根据视频截取的连续多帧图像和力触觉信息， 力触觉信息包括手指指 尖压力、 指尖加速度以及根据手指关节角度转换 的三维位置； 所述信息预处理至少包括滤 除噪声和剔除冗余信息； S2、 特征提取： 采用先计算经验特征再利用神经网络处理的方式， 提取步骤S1预处理后 获得的视触觉信息中的多模态特征； 其中， 先计算的图像经验 特征包括图像梯度以及光流， 先计算的力触觉经验特征包括加速度能量谱密度、 频谱、 力变化率、 位移变化率以及力 ‑位 移比； 处理所用的神经网络是以三维卷积网络和长短期记忆网络为主体的神经网络， 网络 的输出均是长度固定的一维特 征矩阵； S3、 特征融合： 利用最大似然估计理论对提取的视触觉特 征进行融合， 具体为： X＝Kv×xv+Kh×xh 其中， X代表融合特征矩阵； xv以及xh分别代表视觉特征矩阵与力触觉特征矩阵； Kv和Kh 分别代表视觉和力触觉权重系数矩阵； 和 分别代表视觉模态与触觉模态对于第i个属 性的权重； N代表感知属性的数量； S4、 映射建模： 根据任务中的动作类型与物体物 理属性的组合， 实现融合特征与动作类 型－物体属性组合标签的映射建模， 所述物体物理属性包括形状、 硬度及纹 理属性。 2.如权利要求1所述的基于视触觉信号的任务动作及物体物理属性的识别方法， 其特 征在于： 所述步骤S1中， 通过滤波算法滤除图像数据的噪声； 通过拉伊达方法进 行数据信息 的异常值剔除； 通过加权移动平均方法进行平 滑处理。 3.如权利要求1或2所述的基于视触觉信号的任务动作及物体物 理属性的识别方法， 其 特征在于： 所述步骤S2中， 图像梯度是图像像素的一阶导数， 采用Sobel算子实现， 该算子包 含横向与纵向两组矩阵， 将其与图像做卷积运 算， 得到两个方向的差分值。 4.如权利要求3所述的基于视触觉信号的任务动作及物体物理属性的识别方法， 其特 征在于： 所述步骤S2中， 加速度能量谱密度用加速度序列的快速傅立叶变换计算得到， 具体 公式如下： 其中， ESD代表能量谱密度， f代 表原始加速度 序列， ω代 表频率分量， t 代表时间点。 5.如权利要求4所述的基于视触觉信号的任务动作及物体物理属性的识别方法， 其特 征在于： 所述步骤S2中， 力－位移比是选取特定区间下力与位置变化量的比值作为特征点， 具体公式如下：权　利　要　求　书 1/2 页 2 CN 114723963 A 2其中， Δp代表三维坐标的变化， px、 py及pz分别代表 X、 Y及Z轴方向的坐标， t1及t2代表两 个不同的时间点， ΔF代 表对应接触力的变化， F代 表压力， Δ h代表力－位移比。 6.如权利要求5所述的基于视触觉信号的任务动作及物体物理属性的识别方法， 其特 征在于： 所述步骤S 3中， 将模态特征矩阵输入权重预测网络得到对应模态的权重系数矩阵， 该网络主要由卷积层、 池化层及全连接层组成， 其中， 卷积层提取必要特征， 池化层将卷积 层得到的特征进行压缩， 而全连接层根据池化层的输出得到预测结果， 所述视觉与力触觉 权重系数之和为1。权　利　要　求　书 2/2 页 3 CN 114723963 A 3