(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149128.5 (22)申请日 2022.09.20 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 武文琦　 (74)专利代理 机构 北京晋德允升知识产权代理 有限公司 1 1623 专利代理师 王戈 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) (54)发明名称 一种识别表情的方法、 装置、 设备及 介质 (57)摘要 本说明书实施例公开了一种识别表情的方 法， 包括： 获取包含人脸特征的待识别图像； 基于 局部二值模式算法， 得到所述待识别图像对应的 局部二值模式图像； 获取所述待识别图像对应的 第一图像特征和所述局部二值模式图像对应的 第二图像特征； 将所述第一图像特征和所述第二 图像特征进行融合， 得到融合后的图像特征； 利 用基于注 意力机制搭建的表情识别模 型， 对所述 融合后的图像特征进行处理， 得到针对 所述待识 别图像的表情识别结果。 权利要求书3页 说明书11页 附图3页 CN 115439912 A 2022.12.06 CN 115439912 A 1.一种识别表情的方法， 包括： 获取包含人脸特 征的待识别图像； 基于局部二 值模式算法， 得到所述待识别图像对应的局部二 值模式图像； 获取所述待识别图像对应的第一图像特征和所述局部二值模式图像对应的第二图像 特征； 将所述第一图像特 征和所述第二图像特 征进行融合， 得到融合后的图像特 征； 利用基于注意力机制搭建的表情识别模型， 对所述融合后的图像特征进行处理， 得到 针对所述待识别图像的表情识别结果。 2.根据权利要求1所述的方法， 所述获取包 含人脸图像的待识别图像之后， 还 包括： 利用人脸对齐算法， 对所述待识别图像进行 人脸对齐处 理。 3.根据权利要求1所述的方法， 所述获取所述待识别图像对应的第一图像特征和所述 局部二值模式图像对应的第二图像特 征， 具体包括： 利用第一预设残差网络模型对所述待识别图像进行特征提取处理， 得到所述待识别图 像对应的第一图像特 征； 利用第二预设残差网络模型对所述局部二值模式 图像进行特征提取处理， 得到所述局 部二值模式图像对应的第二图像特 征。 4.根据权利要求3所述的方法， 所述第 一预设残差网络模型和/或所述第 二预设残差网 络模型包括ResNet模型。 5.根据权利要求1所述的方法， 所述将所述第一图像特征和所述第二图像特征进行融 合， 得到融合后的图像特 征， 具体包括： 基于第一特征融合算法， 将所述第一图像特征和所述第二图像特征进行特征融合， 得 到融合后的图像特征； 所述融合后的图像特征的特征维度与所述第一图像特征和所述第二 图像特征的特征维度相同。 6.根据权利要求1所述的方法， 所述将所述第一图像特征和所述第二图像特征进行融 合， 得到融合后的图像特 征， 具体包括： 基于第一特征融合算法， 将所述第一图像特征和所述第二图像特征进行特征融合， 得 到第一融合图像特征； 所述第一融合图像特征的特征维度与所述第一图像特征和所述第二 图像特征的特征维度相同； 利用局部注意力机制提取 所述第一融合图像特 征的局部特 征； 利用全局注意力机制提取 所述第一融合图像特 征的全局特 征； 基于第二特征融合算法， 将所述局部特征和所述全局特征进行特征融合， 得到第二融 合图像特 征。 7.根据权利要求6所述的方法， 所述基于第 二特征融合算法， 将所述局部特征和所述全 局特征进行特征融合之前， 还 包括： 对所述全局特征和所述局部特征进行非线性增强处理， 得到处理后的全局特征和处理 后的局部特 征； 所述将所述局部特 征和所述全局特 征进行特征融合， 具体包括： 将所述处 理后的全局特 征和所述处 理后的局部特 征进行特征融合。 8.根据权利要求1所述的方法， 所述利用基于注意力 机制搭建的表情识别模型， 对所述权　利　要　求　书 1/3 页 2 CN 115439912 A 2融合后的图像特 征进行处 理， 具体包括： 将所述待识别图像划分为预设数量的子图像； 获取各个子图像的图像特 征； 将所述融合后的图像特征与所述各个子图像的图像特征， 按照预设排列顺序进行排 列， 得到特 征输入队列； 将所述特 征输入队列输入所述利用基于注意力机制搭建的表情识别模型。 9.根据权利要求8所述的方法， 所述表情识别模型包括位置编码器、 Transformer编码 器以及表情分类 器； 所述将所述特征输入队列输入所述利用基于注意力 机制搭建的表情识别模型， 具体包 括： 利用所述 位置编码器， 对所述特 征输入队列进行位置编码， 得到特 征序列； 将所述特 征序列输入所述Transformer编码器， 得到编码特 征； 将所述编码特 征输入所述表情分类 器， 得到表情识别结果。 10.根据权利要求8所述的方法， 所述预设排列顺序是基于 机器学习的方式确定的。 11.根据权利要求1所述的方法， 所述待识别图像包括RGB图像、 三维图像、 近红外图像 中至少一种。 12.根据权利要求1所述的方法， 所述待识别图像为包括至少部分人脸面部特征的图 像。 13.一种识别表情的装置， 包括： 图像获取模块， 用于获取包 含人脸特 征的待识别图像； 第一图像处理模块， 用于基于局部二值模式算法， 得到所述待识别图像对应的局部二 值模式图像； 特征提取模块， 用于获取所述待识别图像对应的第 一图像特征和所述局部二值模式 图 像对应的第二图像特 征； 特征融合模块， 用于将所述第一图像特征和所述第二图像特征进行融合， 得到融合后 的图像特 征； 表情识别模块， 用于利用基于注意力机制搭建的表情识别模型， 对所述融合后的图像 特征进行处 理， 得到针对所述待识别图像的表情识别结果。 14.一种识别表情的设备， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够： 获取包含人脸特 征的待识别图像； 基于局部二 值模式算法， 得到所述待识别图像对应的局部二 值模式图像； 获取所述待识别图像对应的第一图像特征和所述局部二值模式图像对应的第二图像 特征； 将所述第一图像特 征和所述第二图像特 征进行融合， 得到融合后的图像特 征； 利用基于注意力机制搭建的表情识别模型， 对所述融合后的图像特征进行处理， 得到权　利　要　求　书 2/3 页 3 CN 115439912 A 3