(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211121808.6 (22)申请日 2022.09.15 (71)申请人 深圳市企鹅网络科技有限公司 地址 518000 广东省深圳市南 山区西丽 街 道西丽社区打石一路深圳国际创新谷 1栋B座1801 (72)发明人 张志发　杨立春　迟令贵　 (74)专利代理 机构 佛山粤进知识产权代理事务 所(普通合伙) 44463 专利代理师 耿鹏 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 40/70(2022.01) G06V 10/26(2022.01)G06V 20/00(2022.01) G06Q 50/20(2012.01) G10L 15/01(2013.01) G10L 15/02(2006.01) G10L 15/06(2013.01) G10L 15/26(2006.01) (54)发明名称 一种线上 学习有效性判断方法、 系统及 介质 (57)摘要 本发明公开了一种线上学习有效性判断方 法、 系统及介质。 通过获取目标对象学习图像数 据进行初步人脸识别认证， 并分析出眼部图像中 眼球的眼白和瞳孔的特征， 得到眼球异常学习数 据， 从而有效分析出线上学员在学习过程中的学 习状态与有效学习持续时间。 另外， 通过提前获 取目标语音数据， 运用语音识别模 型进行语音特 征提取， 得到有效验证的语音特征， 并通过随机 文字的组合进行语音测试得到准确的语音识别 结果， 根据语音识别结果进行分析， 进一步得到 在线学员准确的有效学习时间。 通过本发明， 有 效提高了对于在线学习有效性判断的准确度， 能 够精准地分析出每个在线学员的学习状态、 学习 专注度与有效学习时间， 从而得到有针对性的学 习数据。 权利要求书3页 说明书12页 附图2页 CN 115240263 A 2022.10.25 CN 115240263 A 1.一种线上 学习有效性判断方法， 其特 征在于， 包括： 获取目标对象学习图像数据， 根据目标对象学习图像数据进行人脸识别与核对， 得到 人脸验证结果； 若人脸验证结果为正确， 则根据目标对象学习图像数据进行眼球图像跟踪分析， 得到 眼球验证异常信息； 根据眼球验证异常信息将学习过程数据进行异常标记， 得到眼球异常学习数据； 根据预设时间进行语音识别验证， 得到语音验证异常信息， 根据语音验证结果将学习 过程数据进行异常标记， 得到语音异常学习数据； 根据眼球异常学习数据和语音异常学习数据进行学习 有效性分析， 得到总体学习 有效 率。 2.根据权利要求1所述的一种 线上学习 有效性判断方法， 其特征在于， 所述获取目标对 象学习图像数据， 根据目标对象学习图像数据进 行人脸识别与核对， 得到人脸验证结果， 具 体为： 获取目标对象学习图像数据； 根据目标对象学习图像数据进行 人脸图像分割， 得到人脸图像数据； 将人脸图像数据进行五官 特征分析得到目标 特征数据； 根据目标对象从人脸特 征数据库中检索出对应的人脸验证特 征数据； 将目标特征数据与人脸验证特 征数据进行 特征对比分析， 得到人脸验证结果。 3.根据权利要求1所述的一种 线上学习 有效性判断方法， 其特征在于， 所述若人脸验证 结果为正确， 则根据目标对 象学习图像数据进行眼球图像跟踪分析， 得到眼球验证异常信 息， 具体为： 根据目标对象学习图像数据进行脸部区域分割与眼球区域识别， 得到眼部图像数据； 将眼部图像数据进行灰度转化与眼球特征分析， 得到基于灰度图像的眼白区域图像信 息和瞳孔区域图像信息； 根据眼白相对位置与瞳孔相对位置进行位移量分析， 结合预设位移方向， 得到 眼球专 注方向移动异常信息； 根据眼部图像数据进行 灰度转化得到灰度眼部图像数据； 在学习过程中， 判断灰度眼部图像数据是否存在瞳孔特 征数据； 若分析出不存在瞳孔特 征数据， 则获取瞳孔特 征数据不存在的开始时间与结束时间； 将所述开始时间与结束时间进行分析计算， 得到眼球数据异常时间信息； 将眼球专注方向移动异常信息与眼球数据异常时间信息进行信息合并得到眼球验证 异常信息 。 4.根据权利要求1所述的一种 线上学习 有效性判断方法， 其特征在于， 所述根据眼球验 证异常信息将学习过程数据进行异常标记， 得到眼球异常学习数据， 具体为： 获取眼球验证异常信息中的眼球专 注方向移动异常信息和眼球数据异常时间信息； 根据眼球专 注方向移动异常信息， 获取 学习过程中的专 注方向移动异常持续时间； 根据眼球数据异常时间信息得到眼球数据异常持续时间； 将专注方向移动异常持续 时间和眼球数据异常持续 时间进行时间重叠合并， 得到眼球 异常持续时间；权　利　要　求　书 1/3 页 2 CN 115240263 A 2根据眼球异常持续时间进行 学习过程数据异常标记， 得到眼球异常学习数据。 5.根据权利要求1所述的一种 线上学习 有效性判断方法， 其特征在于， 所述根据 预设时 间进行语音识别验证， 得到语音验证异常信息， 根据语音验证结果将学习 过程数据进行异 常标记， 得到语音异常学习数据， 具体为： 获取预设长度的样品文字数据； 根据样品文字数据进行目标语音数据采样， 得到目标语音原 始数据； 构建语音识别模型； 将目标原 始数据导入语音识别模型； 语音识别模型根据目标语音原始数据与样品文字数据进行基于单个文字数据的语音 分隔， 得到多个单位语音数据与单位文字数据； 将单位语音数据进行语音识别与频率特 征提取， 得到单位语音特 征； 将单位语音特 征与对应的单位文字数据进行 标记映射， 得到语音识别映射表。 6.根据权利要求5所述的一种 线上学习 有效性判断方法， 其特征在于， 所述根据 预设时 间进行语音识别验证， 得到语音验证异常信息， 根据语音验证结果将学习 过程数据进行异 常标记， 得到语音异常学习数据， 具体为： 获取样品文字数据； 以当前时间作为随机种子， 将样品文字数据根据预设测试长度进行随机选取， 得到测 试文字数据； 将测试文字数据进行基于单个文字数据的数据分隔， 得到单位测试文字数据； 根据单位测试文字数据， 从语音识别映射表中进行映射检索， 得到对应的单位语音特 征； 获取目标测试语音数据， 根据目标测试语音数据进行数据分隔与特征提取， 得到单位 测试语音特 征； 将单位语音特 征与单位测试语音特 征进行特征相似度对比得到单位语音识别相似度； 计算分析 出所有单位语音识别相似度并进行均值处 理， 得到语音识别率。 7.根据权利要求6所述的一种 线上学习 有效性判断方法， 其特征在于， 所述根据 预设时 间进行语音识别验证， 得到语音验证异常信息， 根据语音验证结果将学习 过程数据进行异 常标记， 得到语音异常学习数据， 还 包括： 判断比较语音识别率， 若当前语音识别率小于预设识别率， 则判定为语音识别不通过， 并获取当前第一时间； 检索历史语音识别率， 获取 上一次语音识别不 通过的时间， 得到第二时间； 根据第一时间与第 二时间将对应的学习过程数据进行语音识别异常标记， 得到语音异 常学习数据。 8.根据权利要求1所述的一种 线上学习 有效性判断方法， 其特征在于， 所述根据眼球异 常学习数据和语音异常学习数据进行 学习有效性分析， 得到总体学习有效率， 具体为： 获取学习过程数据； 将眼球异常学习数据、 语音异常学习数据和学习过程数据进行数据占比分析， 得到非 异常数据占比率； 将非异常数据占比率作为总体学习有效率。权　利　要　求　书 2/3 页 3 CN 115240263 A 3