(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210389135.6 (22)申请日 2022.04.13 (71)申请人 中国兵器 工业计算机 应用技术研究 所 地址 100089 北京市海淀区车道沟10号 (72)发明人 赵小川　刘华鹏　冯云铎　李陈　 徐凯　刘珊　马燕琳　黄杰　 (74)专利代理 机构 北京博雅睿泉专利代理事务 所(特殊普通 合伙) 11442 专利代理师 马铁良 (51)Int.Cl. B25J 9/08(2006.01) B25J 9/16(2006.01) B25J 15/08(2006.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06K 9/00(2022.01) G06K 9/62(2022.01) (54)发明名称 操控手训练方法及设备 (57)摘要 本发明公开了一种操控手训练方法及设备， 该方法包括： 获取操控手基于当前训练方案操控 目标对象期间的第一脑电数据和第一近红外脑 数据； 其中， 第一脑电数据包括第一脑电信号和 对应于第一脑电信号的第一脑电图像， 第一近红 外脑数据包括第一近红外脑信号和对应于第一 近红外脑信号的第一近红外脑图像； 分别提取两 种信号的信号特征， 得到第一信号特征向量， 及 分别提取两种图像的图像特征， 得到第一图像特 征向量； 将包括第一信号特征向量和第一图像特 征向量的第一特征向量输入至预置的分级模型， 得到操控手的当前操控级别； 获取与当前操控级 别相匹配的训练方案； 以及， 将当前训练方案更 新为该相匹配的训练方案 。 权利要求书2页 说明书10页 附图2页 CN 114872028 A 2022.08.09 CN 114872028 A 1.一种操控手训练方法， 其特 征在于， 所述方法包括： 获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数 据； 其中， 所述第一脑电数据包括第一脑电信号和对应于所述第一脑电信号的第一脑电图 像， 所述第一近红外脑数据包括第一近红外脑信号和对应于所述第一近红外脑信号的第一 近红外脑图像； 分别提取所述第 一脑电信号和所述第 一近红外脑信号的信号特征， 得到第 一信号特征 向量； 其中， 所述信号特 征包括时域特 征和频域特 征； 分别提取所述第 一脑电图像和所述第 一近红外脑图像的图像特征， 得到第 一图像特征 向量； 将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置 的分级模 型， 得到所述操控手操控目标对象的当前操控级别； 其中， 所述分级模 型反映第一 特征向量与操控级别之间的映射关系； 获取与所述当前操控级别相匹配的训练方案； 将所述当前训练方案更新 为所述相匹配的训练方案 。 2.根据权利要求1所述的操控手训练方法， 其特征在于， 在所述将包括所述第 一信号特 征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型之前， 所述方法还 包括： 按照设定拼接顺序拼接所述第 一信号特征向量和所述第 一图像特征向量， 得到一维的 第一特征向量。 3.根据权利要求1所述的操控手训练方法， 其特征在于， 所述图像特征为深层图像特 征。 4.根据权利要求1所述的操控手训练方法， 其特征在于， 所述 时域特征包括一阶差分平 均值特征、 二阶差分平均值特征、 总能量值特征、 时域功 率值特征和偏离值特征中的至少一 个特征； 其中， 一阶差分平均值 二阶差分平均值 总能量值 时域功率 值 偏离值 n为第n个采样 点， N为采样 点数目， σ 1s为一阶信号幅值的最大值， σ 2s为二阶信号幅值的 最大值， s(n)为第n个采样时刻的信号幅值， μS为一阶信号幅值的平均值。 5.根据权利要求1所述的操控手训练方法， 其特征在于， 所述频域特征包括多个分段频 域特征， 所述多个分段频域特征包括对应1 ‑4Hz的第一分段频域特征、 对应4 ‑8Hz的第二分 段频域特征、 对应8 ‑12Hz的第三分段频域特征、 对应13 ‑30Hz的第四分段频域特征、 及对应 30‑45Hz的第五分段 频域特征。权　利　要　求　书 1/2 页 2 CN 114872028 A 26.根据权利要求5所述的操控手训练方法， 其特征在于， 所述多个分段频域特征中每一 分段频域特征包括功 率谱密度值特征、 频域功 率值特征、 事件相关特征中的至少一个特征； 其中， 所述事件相关特 征ERDSm＝ λ×(Am‑Rm)/Rm， λ为权重系数， m为 设定事件发生时刻所对应的第m个采样点， Am为第m个采样点上的频域 功率值， Rm为第m个采样点所对应采样区间的频域功率平均值， 所述第m个采样点位于所述 采样区间的中间位置 。 7.根据权利要求1至6中任一项所述的操控手训练方法， 其特征在于， 在所述将包括所 述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型之 前， 所述方法还 包括： 获取训练样本集； 其中， 所述训练样本包括样本数据和样本标签， 所述样本数据包括选 定操控手操控目标对象期间的第二脑电数据和 第二近红外脑数据， 所述第二脑电数据包括 第二脑电信号和对应于所述第二脑电信号的第二脑电图像， 所述第二近红外脑数据包括第 二近红外脑信号和对应于所述第二近红外脑信号的第二近红外脑图像， 所述样本标签为所 述选定操控手的实际操控级别， 所述训练样本集包括对应不同实际操控级别的训练样本； 通过所述训练样本级训练设定模型的模型参数， 得到所述分级模型。 8.根据权利要求1至6中任一项所述的操控手训练方法， 其特征在于， 所述当前训练方 案包括操控目标对象的操控 任务和对应的经颅电刺激调节方案 。 9.一种操控手训练设备， 其特 征在于， 包括： 数据获取模块， 用于获取操控手基于当前训练方案操控目标对象期间的第 一脑电数据 和第一近红外脑数据； 其中， 所述第一脑电数据包括第一脑电信号和对应于所述第一脑电 信号的第一脑电图像， 所述第一近红外脑数据包括第一近红外脑信号和对应于所述第一近 红外脑信号的第一近红外脑图像； 数据处理模块， 用于分别提取所述第一脑电信号和所述第一近红外脑信号的信号特 征， 得到第一信号特征向量； 以及， 分别提取所述第一脑电图像和所述第一近红外脑图像的 图像特征， 得到第一图像特 征向量； 其中， 所述信号特 征包括时域特 征和频域特 征； 分级模块， 用于将包括所述第 一信号特征向量和所述第 一图像特征向量的第 一特征向 量输入至预置的分级模型， 得到所述操控手操控目标对象的当前操控级别； 其中， 所述分级 模型反映第一特 征向量与操控级别之间的映射关系； 方案匹配模块， 用于获取与所述当前操控级别相匹配的训练方案； 以及， 方案更新模块， 用于将所述当前训练方案更新 为所述相匹配的训练方案 。 10.一种操控手训练设备， 其特征在于， 包括至少一个处理器和至少一个存储器， 所述 存储器用于存储计算机程序， 所述计算机程序用于控制所述处理器执行根据权利要求 1至8 中任一项所述的操控手训练方法。权　利　要　求　书 2/2 页 3 CN 114872028 A 3