(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210254170.7 (22)申请日 2022.03.15 (71)申请人 奇酷软件 （深圳） 有限公司 地址 518055 广东省深圳市南 山区桃源街 道学苑大道1001号南山智园A2栋10层 (72)发明人 陈超村　贾东风　程力行　 (74)专利代理 机构 北京清大紫荆知识产权代理 有限公司 1 1718 专利代理师 窦雪龙 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多特征融合的表情识别方法及装置 (57)摘要 本发明公开了一种基于多特征融合的表情 识别方法及装置， 该方法包括： 对人脸图像进行 人脸和人脸 关键点检测， 检测出人脸和人脸关键 点； 基于所述人脸关键点确定影 响人脸表情的多 个部位图像， 并将所述人脸图像的数据标签赋予 给多个所述部位图像， 所述数据标签用于表示人 脸表情种类； 多个所述部位图像包括眼睛区域图 像、 嘴巴区域图像、 鼻子区域图像和下巴区域图 像； 利用改进的多分支特征提取网络对 赋予所述 数据标签的多个所述部位图像进行特征提取， 获 得多个所述部位图像的特征； 将多个所述部位图 像的特征进行特征融合， 获得总融合特征； 对总 融合特征进行分类， 得到表情分类结果。 本发明 可以更精准的进行表情识别。 权利要求书2页 说明书7页 附图9页 CN 114648792 A 2022.06.21 CN 114648792 A 1.一种基于多特 征融合的表情识别方法， 其特 征在于， 包括： 对人脸图像进行 人脸和人脸关键点检测， 检测出 人脸和人脸关键点； 基于所述人脸关键点确定影响人脸表情的多个部位图像， 并将所述人脸图像的数据标 签赋予给多个所述部位图像， 所述数据标签用于表示人脸表情种类； 多个所述部位图像包 括眼睛区域图像、 嘴巴区域图像、 鼻子区域图像和下巴区域图像； 利用改进的多分支特征提取网络对赋予了所述数据标签的多个所述部位图像分别进 行特征提取， 获得多个所述部位图像的特 征； 将多个所述部位图像的特 征进行特征融合， 获得总融合特 征； 对所述总融合特 征进行分类， 得到表情分类结果。 2.如权利要求1所述的基于多特征融合的表情识别方法， 其特征在于， 所述对人脸图像 进行人脸和人脸关键点检测， 检测出 人脸和人脸关键点， 具体包括： 采用改进的yolov5算法对人脸图像进行人脸和人脸关键点检测， 检测出人脸和人脸关 键点， 其中， 所述改进的yo lov5算法为在yo lov5算法上增 加人脸关键点分支网络 。 3.如权利要求1所述的基于多特征融合的表情识别方法， 其特征在于， 在所述检测出人 脸和人脸关键点之后， 还 包括： 将所述人脸关键点越界的人脸图像去除。 4.如权利要求3所述的基于多特征融合的表情识别方法， 其特征在于， 所述将所述人脸 关键点越界的人脸图像去除， 具体包括： 将所述人脸关键点的坐标和所述人脸图像中人脸 区域的坐标范围进行比较， 若所述人 脸关键点的坐标不在所述人脸区域的坐标 范围之内， 则去除对应的所述人脸图像。 5.如权利要求1所述的基于多特征融合的表情识别方法， 其特征在于， 所述方法还包 括： 将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网络； 其 中， 所述权 重系数为多个所述部位图像的权 重， 多个所述部位图像的权 重不同。 6.如权利要求5所述的基于多特征融合的表情识别方法， 其特征在于， 所述方法还包 括： 将特征提取网络shufflenetV2由单分支扩展成多个分支， 得到所述多分支特征提取网 络； 所述将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网 络； 其中， 所述权重系 数为多个所述部位图像的权重， 多个所述部位图像的权重不同， 具体 包括： 将所述多分支特征提取网络中的每个分支的shufflenet网络通道数乘以权重系数； 其 中， 所述眼睛区域图像的权重和所述嘴巴区域图像的权重相同， 所述下巴区域图像的权重 和所述鼻子区域图像的权重相同， 所述眼睛区域图像的权重和所述嘴巴区域图像的权重大 于所述下巴区域图像的权 重和所述鼻子区域图像的权 重。 7.如权利要求6所述的基于多特征融合的表情识别方法， 其特征在于， 所述利用改进的 多分支特征提取网络对赋予了所述数据标签的多个所述部位图像分别进 行特征提取， 获得 多个所述部位图像的特 征， 具体包括： 利用改进的特征提取网络shufflenetV2对赋予了数据标签的多个所述部位图像分别权　利　要　求　书 1/2 页 2 CN 114648792 A 2进行特征提取， 每个分支特征提取网络分别负责提取所述人脸图像中的所述眼睛区域图 像、 所述鼻子区域图像、 所述嘴巴区域图像以及所述下巴区域的特征， 获得多个所述部位图 像的特征。 8.一种基于多特 征融合的表情识别装置， 其特 征在于， 包括： 人脸和人脸关键点检测模块， 用于对人脸图像进行人脸和人脸关键点检测， 检测出人 脸和人脸关键点； 部位区域确定及标签赋予模块， 用于基于所述人脸关键点确定影响人脸表情的多个部 位图像， 并将所述人脸图像的数据标签赋予给多个所述部位图像， 所述数据标签用于表示 人脸表情种类； 多个所述部位图像包括眼睛区域图像、 嘴巴区域图像、 鼻子区域图像和下巴 区域图像； 特征提取模块， 用于利用改进的多分支特征提取网络对赋予了所述数据标签的多个所 述部位图像分别进行 特征提取， 获得多个所述部位图像的特 征； 特征融合模块， 用于将多个所述部位图像的特 征进行特征融合， 获得总融合特 征； 特征分类模块， 用于对所述总融合特 征进行分类， 得到表情分类结果。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7任一所述基 于多特征融合的表情识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序被处理器执行时实现权利要求1至7任一所述基于多 特征融合的表情识 别方法。权　利　要　求　书 2/2 页 3 CN 114648792 A 3