(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211184244.0 (22)申请日 2022.09.27 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 闫静杰　于凯　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 姚姣阳 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种跨库面部表情识别方法和系统 (57)摘要 本发明公开了一种基于时空特征点运动注 意力和子域自适应的跨库面部表情识别方法和 系统。 该方法包括以下步骤： 截取数据库中视频 的主要部分， 满足相同长度并对其分帧； 检测每 个视频人脸、 动作的时空特征点， 计算每帧图片 对应特征点处的权重值， 形成面部时空特征点权 重图； 构建基于时空特征点运动注 意力的深度子 域自适应网络； 将获得的表情提取特征输入SVM 分类器、 softmax层， 输出得到分类结果。 本发明 充分利用时空特征点， 有效结合人脸面部信息和 运动信息， 准确地反映肌肉运动出现的人脸区 域， 使用局部最大均值差异LMMD， 减小源域和目 标域之间的特征分布差异， 通过子域自适应捕获 到更多的细粒度信息， 获得比深度域自适应的方 法更好的识别效果。 权利要求书3页 说明书8页 附图2页 CN 115471897 A 2022.12.13 CN 115471897 A 1.一种跨库面部表情识别方法， 基于时空特征点运动注意力和子域自适应， 其特征在 于： 包括以下步骤： 步骤(1)、 截取 数据库中视频的主 要部分， 满足相同长度并对其分帧； 步骤(2)、 检测每个视频人脸、 动作的时空特征点， 计算每帧图片对应特征点处的权重 值， 形成面部时空特 征点权重图； 步骤(3)、 构建基于时空特 征点运动注意力的深度子域自适应网络； 步骤(4)、 通过上述步骤处理对面部表情提取特征， 将获得的特征输入SVM分类器、 softmax层， 输出 得到分类结果。 2.根据权利要求1所述的方法， 其特征在于： 步骤(1)将enterface和ravdess数据库中 的视频分为六类， 分别为anger、 disgust、 fear、 happiness、 sadness以及surprise， 将视频 的主体部分截取 出来至相同长度并进行分帧， 使所有视频帧数一 致为20帧。 3.根据权利要求1所述的方法， 其特征在于： 步骤(2)使用Harris角点检测算法检测出 每个视频人脸、 动作的时空特征点， 计算每帧图片对应特征点处的权重值， 形成面部时空特 征点权重图。 4.根据权利要求3所述的方法， 其特 征在于： 所述 步骤(2)包括以下步骤： 步骤S201、 通过局部窗口在图像上滑动， 筛选出图像一阶梯度上变化剧烈的点， 检测出 相邻两帧面部运动的时空特征点， Harris角点用于计算水平方向(x方向)和垂直方向(y方 向)梯度的窗口分别为： 通 过 上 述 两 个 窗 口 ，可 以 计 算 一 幅 图 像 I 在 x 和 y 方 向 的 梯 度 为 ： 得到I的梯度矩阵为： 进而得到角点响应： R＝det(M) ‑k×(trace(M)2)， 其中， det(M)为M的行列式， t race(M)是M的迹， k 为一个常数； 为了计算得到图像序列的梯度矩阵， 将上述方法拓展到三维： 其中， It为图像I在时间轴上的梯度， 进 而能够得到图像序列中角点的相应值 为： R3＝det(M3)‑k×(trace(M3)3)； 步骤S202、 使用局部非极大值抑制选取局部区域的最大值作为备选角点， 并将其与一 个阈值比较筛选出最后的角点位置， 该位置是图像梯度变化最明显处， 包含最丰富的梯度 表示信息， 接着以关键点为中心， 构造立方体， 其大小由两个参数确定， signa表 示空间尺 寸权　利　要　求　书 1/3 页 2 CN 115471897 A 2上向外扩展填充的大小、 t au表示在时间轴上扩展填充的大小， 对于3帧224*224灰度图像， 可以得到一个(3+2tau)*(224+2sigma)*(224+2sigma)立方体， 直接将立方体变成一维向量 的形式进 行表示， 之后使用k近邻算法对大量的立方体进行聚类， 最后计算聚类后立方体的 各类描述符的直方图作为特 征的描述。 5.根据权利要求4所述的方法， 其特征在于： 所述步骤(2)还包括： 当得到面部时空特征 点权重图后， 将 每帧图片与前一帧计算所得时空特征点权重图， 每帧图片人脸灰度图， 每帧 图片与后一帧计算所得时空特征点权重图分别赋值给RGB图像的R、 G、 B维度， 生 成时空运动 注意力表情特 征表示图。 6.根据权利要求1所述的方法， 其特 征在于： 在所述 步骤(3)中， 包括： (1)、 在ResNet50网络特定层中引入局部最大均值差异(LMMD)作为基础网络， ResNet50 由五个残差模块堆叠组成， 每个模块包含定量的卷积层、 池化层、 BN层以及ReLU层， 其中 CONV1作为对输入的预处 理， 后四个残差模块由Bot tleneck组成； (2)、 经过以上五个残差模块后， 通过均值池化， 得到一个1000d的结果， 在经过全连接 层以及softmax激活函数得到输出， 构建好ResNet50基础网络后只需在不同层引入LMMD进 行相关子域的对齐； (3)、 使用局部最大均值差异(LM MD)对齐相关子域； (4)、 将LM MD引入基础网络的特定层后， 整个网络的损失函数 可以定义 为下式： 7.根据权利要求6所述的方法， 其特 征在于： CONV1的参数如下 所示： CONV1:f＝7 ×7,c＝64,s＝2,p＝3 maxpool:f＝3×3,s＝2 其中， f表示卷积核或池化的大小,c表示卷积核数量， s表示卷积核或池化的步长,p为 填充值。 其卷积层的输出尺寸大小计算公式为： 其中， output_size表示卷积层输出尺寸， i nput_size表示卷积层输入尺寸； CONV2_x、 CONV3_x、 CONV4_x、 CONV5_x残差模块的参数分别如下 所示： 权　利　要　求　书 2/3 页 3 CN 115471897 A 3