(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692345.2 (22)申请日 2022.06.17 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 严少华　徐德　郝甜甜　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 王文君 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 摔倒自恢复学习方法、 装置、 电子设备及存 储介质 (57)摘要 本发明提供一种摔倒自恢复学习方法、 装 置、 电子设备及存储介质， 该方法涉及机器人技 术领域， 包括： 获取机器人的第一姿态信息； 第一 姿态信息包括第一旋转角度信息和第一关节角 度信息； 将第一旋转角度信息和第一关节角度信 息输入至摔倒恢复学习模型， 得到摔倒恢复学习 模型输出的第一动作； 基于第一动作和第一动作 对应的预设动作， 确定机器人的目标动作； 预设 动作用于表示预设策略中与第一动作对应的动 作； 预设策略包括机器人由摔倒状态恢复至站立 状态所执行的动作序列。 本发明提供的方法， 实 现了机器人摔倒自恢复至站立状态的强化学习 过程， 缩短了摔倒恢复学习模型的训练时间， 提 升了机器人摔倒自恢复的学习效率。 权利要求书3页 说明书15页 附图4页 CN 114986510 A 2022.09.02 CN 114986510 A 1.一种摔倒自恢复学习方法， 其特 征在于， 所述方法包括： 获取机器人的第 一姿态信 息； 所述第 一姿态信 息包括第 一旋转角度信 息和第一关节角 度信息； 所述第一旋转角度信息用于表示所述机器人当前姿态对应的旋转角度； 所述第一 关节角度信息用于表示所述机器人当前姿态每条腿的至少一个关节对应的关节角度； 将所述第一旋转角度信 息和所述第 一关节角度信 息输入至摔倒恢 复学习模型， 得到所 述摔倒恢复学习模型输出的第一动作； 所述摔倒恢复学习模型是基于样本姿态信息进 行训 练得到的， 用于确定所述机器人 的第一动作； 所述第一动作用于表示所述机器人每条腿的 至少一个关节的力矩； 基于所述第一动作和所述第一动作对应的预设动作， 确定所述机器人的目标动作； 所 述预设动作用于表示预设策略中与所述第一动作对应的动作； 所述预设策略包括所述机器 人由摔倒状态恢复至站 立状态所执行的动作序列； 所述目标动作用于表示所述机器人实际 执行动作时每条腿的至少一个关节的力矩。 2.根据权利要求1所述的摔倒自恢 复学习方法， 其特征在于， 所述基于所述第 一动作和 所述第一动作对应的预设动作， 确定所述机器人的目标动作， 包括： 对所述第一动作与所述预设动作， 采用公式(1)进行计算， 确定所述机器人的目标动 作； 其中， 表示所述机器人的目标动作， 表示所述强化学习模型输出的第一动作； 表示预设动作； t 表示第t步； t∈[1,K]， K为 正整数； 表示哈达 玛积。 3.根据权利要求1或2所述的摔倒自恢复学习方法， 其特 征在于， 所述方法还 包括： 获取所述机器人的第 二姿态信 息； 所述第 二姿态信 息包括第 二旋转角度信 息和第二关 节角度信息； 所述第二旋转角度信息用于表示所述机器人摔倒姿态对应的旋转角度； 所述 第二关节角度信息用于表示所述机器人摔倒姿态每条腿的至少一个关节对应的关节角度； 基于所述第二旋转角度， 确定所述机器人每条腿的第一足端力； 所述第一足端力用于 表示所述机器人摔倒姿态每条腿的至少一个关节对应的力； 基于所述第一足端力和所述第二关节角度信息， 确定所述机器人的第二动作； 所述第 二动作用于表示调整所述机器人的重心时所述机器人每条腿的至少一个关节的力矩； 获取所述机器人的第 三姿态信 息； 所述第 三姿态信 息包括第 三旋转角度信 息和第三关 节角度信息； 所述第三旋转角度信息用于表示调整所述机器人的重心后所述机器人对应的 旋转角度； 所述第三关节角信息用于表示调整所述机器人的重心后所述机器人每条腿的至 少一个关节对应的关节角度； 基于所述第三旋转角度信息， 确定所述机器人每条腿的第二足端力； 所述第二足端力 用于表示调整所述机器人的重心后每条腿的至少一个关节对应的力； 基于所述第二足端力和所述第三关节角度信息， 确定所述机器人的第三动作； 所述第 三动作用于表示恢复所述机器人的姿态由摔倒姿态至半倾斜姿态时所述机器人每条腿的 至少一个关节的力矩； 基于所述第三动作， 确定所述预设策略中的动作序列。权　利　要　求　书 1/3 页 2 CN 114986510 A 24.根据权利要求3所述的摔倒自恢复学习方法， 其特征在于， 所述基于所述第三动作， 确定所述预设策略中的动作序列， 包括： 基于所述第三动作， 获取所述机器人的第 四姿态信息； 所述第 四姿态信息包括第 四旋 转角度信息和 第四关节角度信息； 所述第四旋转角度信息用于表示所述机器人半倾斜姿态 对应的旋转角度； 所述第四关节角度信息用于表 示所述机器人半倾斜姿态时每条腿的至少 一个关节对应的关节角度； 基于所述第四旋转角度信息， 确定所述机器人每条腿的第三足端力； 所述第三足端力 用于表示所述机器人半倾 斜姿态时每条腿的至少一个关节对应的力； 基于所述第三足端力和所述第 四关节角度信息， 确定所述机器人的第 四动作； 所述第 四动作用于表示恢复所述机器人的姿态由半倾斜状态至站立状态时所述机器人每条腿的 至少一个关节的力矩； 基于所述第三动作、 所述第四动作和所述第五动作， 确定所述预设策略中的动作序列。 5.根据权利要求1所述的摔倒自恢 复学习方法， 其特征在于， 所述确定所述机器人的目 标动作之后， 所述方法还 包括： 基于所述目标动作， 生成所述目标动作对应的控制指令； 所述控制指令用于控制所述 机器人执行所述目标动作； 将所述控制指令发送至所述机器人； 获取所述机器人的第五姿态信 息； 所述第五姿态信 息包括第五旋转角度信 息和第五关 节角度信息； 所述第五旋转角度信息用于表示所述机器人执行所述目标动作之后对应的旋 转角度； 所述第五关节角度信息用于表示所述机器人执行所述目标动作之后每条腿的至少 一个关节对应的关节角度； 计算所述 摔倒恢复学习模型的奖励函数； 基于所述奖励函数， 更新所述 摔倒恢复学习模型的参数； 判断所述摔倒恢 复学习模型是否达到训练停止条件； 所述训练停止条件为所述奖励函 数收敛。 6.一种摔倒自恢复学习装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取机器人的第一姿态信息； 所述第一姿态信息包括第一旋转角 度信息和 第一关节角度信息； 所述第一旋转角度信息用于表示所述机器人当前姿态对应的 旋转角度； 所述预设策略包括所述机器人 由摔倒状态恢复至站立状态所执行 的动作序列； 所述第一关节角度信息用于表示所述机器人当前姿态每条腿的至少一个关节对应的关节 角度； 摔倒恢复学习模块， 用于将所述第 一旋转角度信 息和所述第 一关节角度信 息输入至摔 倒恢复学习模型， 得到所述摔倒恢复学习模型输出 的第一动作； 所述摔倒恢复学习模型是 基于样本姿态信息进行训练得到的， 用于确定所述机器人 的第一动作； 所述第一动作用于 表示所述机器人每条腿的至少一个关节的力矩； 第一确定模块， 用于基于所述第一动作和所述第一动作对应的预设动作， 确定所述机 器人的目标动作； 所述预设动作用于表示预设策略中与所述第一动作对应的动作； 所述 目 标动作用于表示所述机器人实际执 行动作时每条腿的至少一个关节的力矩。 7.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运权　利　要　求　书 2/3 页 3 CN 114986510 A 3