(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210541691.0 (22)申请日 2022.05.17 (71)申请人 上海理工大 学 地址 200093 上海市杨 浦区军工路516号 (72)发明人 刘娜　张伟　李迎帆　李清都　 王佳琦　朱永同　 (74)专利代理 机构 上海邦德专利代理事务所 (普通合伙) 31312 专利代理师 佘大鹏 (51)Int.Cl. B25J 11/00(2006.01) B25J 9/16(2006.01) (54)发明名称 基于网络推理与电机驱动的表情识别与模 拟系统 (57)摘要 本发明提出基于网络推理与电机驱动 的表 情识别与模拟系统， 包括视觉模块、 控制模块、 推 理模块和驱动模块， 视觉模块采集人脸信息， 并 将人脸信息传输给控制模块， 控制模块控制推理 模块对人脸信息进行识别， 获得对应的微表情特 征， 控制模块根据微表情特征控制驱动模块进行 模拟表情的变换； 推理模块为基于U ‑Net网络的 深度学习模 型； 驱动模块包括设于机器人头部的 至少8个控制组。 在本申请中,通过表情识别与模 拟系统使机器人赋予人的动态特征， 让机器人跟 人交流更加自然， 交流体验更好。 基于U ‑Net网络 的构建深度学习模型， 并不依赖于传统的传感 器， 图像处理等方法， 在利用 构建的深度学习模 型进行人脸表情模仿的情况下， 能极大的减少了 对硬件系统的依赖 。 权利要求书2页 说明书6页 附图3页 CN 114918935 A 2022.08.19 CN 114918935 A 1.一种基于网络推理与电机驱动的表情识别与模拟系统， 其特征在于， 包括视觉模块、 控制模块、 推理模块和驱动模块， 所述视觉模块采集人脸信息， 并将所述人脸信息传输给所 述控制模块， 所述控制模块控制所述推理模块对所述人脸信息进行识别， 获得对应的微表 情特征， 所述控制模块 根据所述 微表情特 征控制所述驱动模块进行模拟表情的变换； 所述推理模块 为基于U‑Net网络的深度学习模型； 所述驱动模块包括设于机器人头部的至少8个控制组， 各所述控制组分别控制所述机 器人头部的左眉、 右眉、 左眼、 右眼、 左嘴角、 右嘴角、 嘴巴和脖 颈。 2.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 所述视 觉模块包括相机， 所述控制模块 为中央cpu单 元。 3.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 所述机器人头部的左眉 、 右眉、 左嘴角、 右嘴角和嘴巴处的所述控制组均由一个舵机控 制进行模拟表情的变换， 所述机器人头部的左眼和右眼处的所述控制组均由两个舵机控制 进行模拟表情的变换， 所述机器人头部的脖颈处的所述控制组由三个舵机控制进 行模拟表 情的变换。 4.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 所述深度学习模 型对所述人脸信息的识别的执行流程依次为： 获取人脸全局特征、 获取 微表情局部特 征、 获取微表情区域特 征和识别人脸 微表情特 征。 5.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 所述深度学习模型的构建方法， 包括以下步骤： A1： 建立人脸表情的标准数据库； A2： 构建深度卷积神经网络模型； A3： 利用所述标准数据库在所述网络模型内进行识别训练， 生成的人脸表情识别模型 即为所述深度学习模型。 6.根据权利要求5所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 所述标准数据库至少包括皱眉、 睁眼、 闭眼、 张嘴、 闭嘴、 翘嘴角、 瘪嘴角、 点头、 歪头和摇 头的表情数据。 7.根据权利要求5所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 所述控制模块通过所述深度学习模型对所述人脸信息进行识别， 并通过所述驱动模块 进行模拟表情的变换， 包括以下步骤： B1： 所述深度学习模型将所述人脸信息的图像进行调节处 理； B2： 处理后的图像通过所述U ‑Net网络提取图像特征， 生成多尺度的特征图像， 即获得 不同尺寸的所述特 征图像； B3： 所述特 征图像通过 Keypoint match进行人脸关键点的匹配； B4： 所述特征图像通过Offset  calculation进行偏移量计算， 并根据所述标准数据库 的人脸信息， 对所述人脸关键点的信息进行对齐矫 正， 获得识别后的表情信息； B5： 所述控制模块根据识别后的所述表情信息， 向所述驱动模块发出对应的驱动信号， 驱动各所述控制组对应进行模拟表情的变换， 完成表情模仿 。 8.根据权利要求5所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 将识别训练后的所述人脸表情识别模型进行压缩处理， 再通过TensorRT加 速对所述人权　利　要　求　书 1/2 页 2 CN 114918935 A 2脸表情识别模型进行推理加速， 获得 可使用的所述深度学习模型。 9.根据权利要求8所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 将所述深度学习模型部署在边缘设备上， 再将所述边缘设备安装至巡检机器人上， 所述 巡检机器人 快速对所述深度学习模型完成垃圾溢满的检测处 理。 10.根据权利要求8所述的基于网络推理与电机驱动的表情识别与模拟系统， 其特征在 于， 所述人脸表情识别模型进行识别训练的步骤如下： Step1： 初始化分类器网络Backbone、 多尺度特征提取网络Neck、 网络参数w和网络参数 b； Step2： 将所述人脸信息的图像输入所述分类器 网络Backbone， 再传递给所述多尺度特 征提取网络Neck进行图像特 征的提取， 提取 所述图像中的人脸表情信息， 获得 特征图像； Step3： 图像经所述多尺度特征提取网络Neck处理后， 将通过下采样与多尺度融合的所 述特征图像的数据传入Predicti on Head； Step4： 所述Prediction  Head对输入的所述特征图像进行通道与空间的计算， 获得 anchor的位置和置信率作为人脸关键点的信息； Step5： Offset  calculation对所述特征图像进行偏移量计算， 并根据所述人脸关键点 的信息与所述标准数据库的比对， 进行对齐矫 正操作； Step6： 将所述Prediction  Head和Offset  calculation的计算结果进行后期处理， 通 过NMS非极大值抑制， 从得到的预测框中选取置信率最大的作为识别结果， 从而获得人脸预 测表情结果； Step7： 所述Prediction  Head和Offset  calculation通过反向传递loss值,利用梯度 下降法， 计算网络参数w和网络参数b， 并利用加权损失值更新网络 权重； Step8： 依次重复Step2、 Step3、 Step4、 Step5、 Step6和Step7， 直至所述loss趋于平稳， 不再下降， 则生成的所述人脸表情识别模型收敛。权　利　要　求　书 2/2 页 3 CN 114918935 A 3