(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211198439.0 (22)申请日 2022.09.29 (71)申请人 歌尔科技有限公司 地址 266104 山东省青岛市崂山区松岭路 500号 (72)发明人 高金龙　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 单家健 (51)Int.Cl. G06V 40/16(2022.01) (54)发明名称 人脸表情识别方法、 装置、 设备及可读存储 介质 (57)摘要 本发明公开了一种人脸表情识别方法、 装 置、 设备及可读存储介质， 所述方法包括： 采集目 标人物的待识别图像； 基于预设注 意力机制模型 从所述待识别图像中提取所述目标人物的面部 特征图像和所述目标人物所处环境的环境特征 图像； 基于所述面部特征图像和所述环境特征图 像， 对所述目标人物进行人脸表情识别， 以得到 所述目标人物的当前表情。 本发 明进行表情识别 时， 加入环境特征图像作为表情识别的依据之 一， 减少了面部特征图像在 进行表情识别时对结 果的影响度， 也降低了仅仅基于面部特征图像对 表情识别结果的负面影 响， 从而提高人脸表情识 别的准确率。 而且加入环境特征图像本身是增加 了识别表情时的相关的特征信息， 可使得表情识 别的准确率更高。 权利要求书2页 说明书11页 附图4页 CN 115482573 A 2022.12.16 CN 115482573 A 1.一种人脸表情识别方法， 其特 征在于， 所述人脸表情识别方法包括以下步骤： 采集目标 人物的待识别图像； 基于预设注意力机制模型从所述待识别图像中提取所述目标人物的面部特征图像和 所述目标 人物所处环境的环境特 征图像； 基于所述面部特征图像和所述环境特征图像， 对所述目标人物进行人脸表情识别， 以 得到所述目标 人物的当前表情。 2.如权利要求1所述的人脸表情识别方法， 其特征在于， 所述预设注意力 机制模型包括 局部注意力机制模型和全局注意力机制模型， 所述基于预设注意力机制模 型从所述待识别 图像中提取所述目标人物的面部特征图像和所述目标人物所处环境的环境特征图像的步 骤包括： 通过所述局部注意力机制模型识别所述待识别图像中所述目标 人物的面部区域； 通过所述局部注意力机制模型从所述 面部区域 提取得到所述 面部特征图像； 从所述待识别图像中去除所述 面部区域得到环境区域； 通过所述全局注意力机制模型从所述环境区域中提取所述环境特征图像， 其中， 所述 环境特征图像中至少包括 一个环境特 征单元。 3.如权利要求2所述的人脸表情识别方法， 其特征在于， 所述面部特征图像配置有面部 权重， 所述环境特征图像配置有环境权重集， 所述环境权重集中至少包括与一个环境特征 单元对应的环境权重， 在所述通过所述全局注意力机制模型从所述环境区域中提取所述环 境特征图像的步骤之后， 所述方法还 包括： 将各所述环境特征单元中最大环境权重与所述面部权重进行比较得到环境权重调整 参数； 将所述环境权 重调整参数与各 所述环境权 重相乘生成新的各 所述环境权 重； 将所述环境特征图像中所述环境权重小于所述面部权重预设比例的所述环境特征单 元忽略， 生成新的所述环境特 征图像。 4.如权利要求3所述的人脸表情识别方法， 其特征在于， 所述基于所述面部特征图像和 所述环境特 征图像， 对所述目标 人物进行 人脸表情识别的步骤 包括： 将所述面部权重和各所述环境权 重同步， 以使所述 面部权重和各所述环境权 重相同； 将权重同步后的所述面部特征图像和权重同步后的所述环境特征图像组合得到所述 组合特征图像； 将所述组合特征图像输入至预设表情分类模型识别所述目标人物的当前表情， 其中， 所述预设表情分类模型中包 含有人脸特 征和环境特 征。 5.如权利要求1所述的人脸表情识别方法， 其特征在于， 所述采集目标人物的待识别图 像的步骤 包括： 通过AR眼镜采集所述AR眼镜对应视野中所述目标 人物的原 始图像； 基于超分辨 率重建网络对所述原 始图像进行 预处理， 生成待识别图像。 6.如权利要求5所述的人脸表情识别方法， 其特征在于， 在所述基于所述面部特征图像 和所述环境特 征图像对所述目标 人物进行 人脸表情识别的步骤之后， 所述方法还 包括： 生成所述 面部特征图像在所述待识别图像中的相对位置； 基于所述相对位置将所述目标 人物的当前表情通过AR眼镜 显示输出。权　利　要　求　书 1/2 页 2 CN 115482573 A 27.如权利要求6所述的人脸表情识别方法， 其特征在于， 所述基于所述相对位置将所述 目标人物的当前表情通过AR眼镜 显示输出的步骤 包括： 根据所述当前表情匹配预设交流建议 提示信息； 将所述当前表情和所述预设交流建议提示信息在所述AR眼镜的显示视野中的所述相 对位置上显示。 8.一种人脸表情识别装置， 其特 征在于， 所述人脸表情识别装置包括： 采集模块， 用于采集目标 人物的待识别图像； 提取模块， 用于基于预设注意力 机制模型从所述待识别图像中提取所述目标人物的面 部特征图像和所述目标 人物所处环境的环境特 征图像； 识别模块， 用于基于所述面部特征图像和所述环境特征图像， 对所述目标人物进行人 脸表情识别， 以得到所述目标 人物的当前表情。 9.一种人脸表情识别设备， 其特征在于， 所述人脸表情识别设备包括： 存储器、 处理器 及存储在所述存储器上并可在所述处理器上运行的人脸表情识别程序， 所述人脸表情识别 程序被所述处 理器执行时实现如权利要求1至7中任一项所述的人脸表情识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有人脸表 情识别程序， 所述人脸表情识别程序被处理器执行时实现如权利要求 1至7中任一项 所述的 人脸表情识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115482573 A 3