(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210941187.X (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 114998440 A (43)申请公布日 2022.09.02 (73)专利权人 广东数业智能科技有限公司 地址 510000 广东省广州市黄埔区 （中新广 州知识城） 亿创街1号0 6房之354 (72)发明人 刘胜坤　张汝民　邹伟建　黄倩影　 (74)专利代理 机构 成都弘毅天承知识产权代理 有限公司 5123 0 专利代理师 刘粤 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G16H 50/30(2018.01) G06T 7/80(2017.01) G06V 10/82(2022.01) G06V 40/16(2022.01) (56)对比文件 CN 10980 5943 A,2019.0 5.28 CN 108805009 A,2018.1 1.13 WO 2020029406 A1,2020.02.13 CN 114626818 A,202 2.06.14 钱蔚蔚 等.数字图书 馆信息交 互服务中用 户情绪体验的实验研究. 《图书情 报工作》 .2021, (第20期),第101-1 12页. 审查员 刘志军 (54)发明名称 基于多模态的测评方法、 装置、 介质及设备 (57)摘要 本发明公开了基于多模态的测评方法、 装 置、 介质及设备， 包括： 获取用户脸部图像； 所述 用户脸部图像为用户在做量表测试时的脸部图 像信息； 对所述用户脸部图像进行脸部情绪检 测， 得到用户的情绪信息； 对所述用户脸部图像 进行脸部朝向检测， 得到用户的脸部朝向信息； 获取用户完成所述量表测试的阅题作答时间； 根 据所述阅题作答时间、 情绪信息以及脸部朝向信 息， 执行对应的测评处理流程。 本发明有效地提 高了在线量表测评的准确度。 权利要求书3页 说明书12页 附图4页 CN 114998440 B 2022.11.11 CN 114998440 B 1.基于多模态的测评方法， 其特 征在于， 所述方法包括： 获取用户脸部 图像， 所述用户脸部 图像为用户在做量表测试时的脸部 图像信息； 所述 量表测试用于进行心理健康测试； 对所述用户脸部图像进行脸部情绪检测， 得到用户的情绪信息； 对所述用户脸部图像进行脸部朝向检测， 得到用户的脸部朝向信息； 获取用户完成所述 量表测试的阅题作答时间； 根据所述阅题作答时间、 情绪信息以及脸部朝向信息， 执行对应的测评处理流程， 以判 断用户的所述 量表测试的结果是否有效； 所述对所述用户脸部图像进行脸部朝向检测， 得到用户的脸部朝向信息包括： 采用OpenCV的脸部特征检测方法对所述用户脸部图像进行人脸特征提取， 得到特征点 坐标； 根据所述特征点坐标， 计算双眼角与嘴角所成平面的单应性矩阵， 所述单应性矩阵表 示所述双眼角与嘴角所成平面的法向与 屏幕所在平面的夹角； 根据所述单应性矩阵选取不同角度拍摄的两帧用户脸部图像； 根据所述两帧用户脸部图像以及相机内参矩阵， 计算所述用户的脸部朝向信息； 所述计算所述用户的脸部朝向信息的方法包括： 将物理空间中的一个点作为目标点， 计算所述目标点分别在所述不同角度拍摄的两帧 用户脸部图像中的投影点； 根据两个所述投影点计算所述两帧用户脸部图像之间的单应性矩阵； 根据所述单应性矩阵和相机内参矩阵计算旋转矩阵； 根据所述旋转矩阵求 解相机旋转角度， 包括相机在x轴 、 y轴、 z轴方向的旋转角； 根据所述相机 旋转角获取用户的脸部朝向信息； 其中， 所述用户的脸部朝向信息包括脸部左右朝向， 所述脸部左右朝向为相机在x轴方 向的旋转角取反后的绝对值， 和/或脸部上下朝向， 所述脸部上下朝向为相机在z轴 方向的 旋转角取反后的绝对值。 2.根据权利要求1所述的基于多模态的测评方法， 其特征在于， 所述对所述用户脸部图 像进行脸部情绪检测， 得到用户的情绪信息包括： 对所述用户脸部图像进行图像预处 理； 将图像预处理后的用户脸部图像输入至预设的稠密卷积神经网络， 获取所述稠密卷积 神经网络 输出的所有情绪种类及其置信度； 获取置信度最大值对应的情绪种类， 作为所述用户的情绪信息 。 3.根据权利要求2所述的基于多模态的测评方法， 其特征在于， 所述稠密卷积神经网络 包括输入层、 卷积层、 池化层、 稠密 层以及输出层； 所述输入层用于采用Op enCV中的Adaboost算法对输入图像进行人脸识别和裁剪处理， 得到人脸图像区域， 将所述人脸图像区域转换为N*N像素的灰度图像， 以及将所述灰度图像 表示为 （1， N， N） 的numpy数组； 所述卷积层用于将输入图像对应的 （1， N， N） 的numpy数组传入2维卷积层， 采用权值共 享进行卷积生成所述输入图像的特 征信息， 所述特 征信息包括颜色特 征和几何特 征； 所述池化层用于采用MaxPo oling2池化方法降低所述特 征信息的维度；权　利　要　求　书 1/3 页 2 CN 114998440 B 2所述稠密 层用于将池化后的特 征信息与训练权 重进行相连； 所述输出层用于采用softmax激励函数作为训练函数， 根据所述特征信息和训练权重 输出情绪种类及其置信度。 4.根据权利要求1所述的基于多模态的测评方法， 其特征在于， 所述根据 所述阅题作答 时间、 情绪信息以及脸部朝向信息， 执行对应的测评处理流程,  以判断用户的所述量表测 试的结果是否有效包括： 比对每一道题目的阅题作答 时间与对应的预设答题时间范围， 比较用户的脸部朝向信 息与屏幕法向之间的夹角与预设角度阈值， 判断用户的情绪信息会否存在指定的极端情 绪； 若所有题目的阅题作答 时间均在预设答题时间范围内、 用户的脸部朝向信 息与屏幕法 向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪， 则所述量表测 试的结果有效， 以量表测试的结果作为用户的测评结果； 若存在题目的阅题作答 时间不在预设答题时间范围内、 用户的脸部朝向信 息与屏幕法 向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪， 则所述量表测 试的结果无效， 在测评结束后输出阅题作答时间不在预设答题 时间范围内的题目， 以供用 户再次测评； 若存在用户的脸部朝向信 息与屏幕法 向之间的夹角大于或等于预设角度阈值， 则所述 量表测试的结果无效， 记录法向角大于或等于预设角度阈值对应的时间段内的题目作为异 常题目， 在测评结束后输出异常题目以供用户再次测评； 若用户的情绪信 息出现指定的极端情绪且持续 时间超过预设的时间阈值， 则所述量表 测试的结果无效， 记录用户的情绪信息出现指 定的极端情绪且持续时间超过预设的时间阈 值对应时间段内的题目作为异常题目， 在测评结束后输出异常题目以供用户再次测评 。 5.根据权利要求4所述的基于多模态的测评方法， 其特征在于， 每一道题目对应一个预 设时间范围， 所述预设时间范围包括时间上限值和时间下限值； 计算多个 类别的若干个用户对同一题目的阅题作答平均时间的加权平均值； 所述时间上限值 为所述加权平均值加上一个向上浮动数值； 所述时间下限值 为所述加权平均值减去一个向下浮动数值。 6.一种基于多模态的测评装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取用户脸部 图像， 所述用户脸部 图像为用户在做量表测试时的 脸部图像信息； 情绪检测模块， 用于对所述用户脸部图像进行脸部情绪检测， 得到用户的情绪信息； 脸部朝向检测模块， 用于对所述用户脸部 图像进行脸部朝向检测， 得到用户的脸部朝 向信息； 时间获取模块， 用于获取用户完成所述 量表测试的阅题作答时间； 分析模块， 用于根据 所述阅题作答时间、 情绪信息以及脸部朝向信 息， 执行对应的测评 处理流程。 7.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至5任一项 所述的基于多模态的测评 方法。权　利　要　求　书 2/3 页 3 CN 114998440 B 3