(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210672708.6 (22)申请日 2022.06.15 (71)申请人 极智视觉科技 （合肥） 有限公司 地址 230088 安徽省合肥市高新区天达路8 号D座三楼 (72)发明人 李晶　史春晖　卜允利　 (74)专利代理 机构 合肥信诚兆佳知识产权代理 事务所 (特殊普通合伙) 34159 专利代理师 李玉宁 (51)Int.Cl. G06V 40/19(2022.01) G06V 40/18(2022.01) G06F 3/01(2006.01) H04N 5/232(2006.01)H04N 5/247(2006.01) (54)发明名称 一种人眼运动追 踪系统及方法 (57)摘要 本发明公开了一种人眼运动追踪系统及方 法， 系统包括： 第一摄像头用于拍摄用户的第一 面部图像； 第二摄像头用户拍摄显示屏的屏幕图 像， 且显示屏用于显示自定义的刺激图片； 红外 照明灯用于向用户眼球发射红外光线； 信号处理 单元， 用于向显示屏发送显示刺激图片的指令， 根据第一面部图像、 刺激图片以及红外照明灯的 位置确定 出用户的初始视线 方向； 将位于第一视 线方向上的摄像头设定为协助摄像头， 利用协助 摄像头拍摄用户的第二面部图像； 并根据用户第 一面部图像、 第二面部图像拼接出用户的目标眼 球图像， 根据目标眼球图像以及屏幕图像获取目 标视线方向。 应用本发明实施例， 可以提高所确 定的用户视线的准确度。 权利要求书2页 说明书7页 附图2页 CN 114973392 A 2022.08.30 CN 114973392 A 1.一种人眼运动追踪系统， 其特征在于， 所述系统包括： 第 一摄像头、 第 二摄像头、 协助 摄像头、 红外照明灯、 信号处 理单元以及显示屏， 其中， 所述第一摄 像头用于拍摄用户的第一 面部图像； 第二摄像头用户拍摄显示屏的屏幕图像， 且显示屏用于 显示自定义的刺激图片； 红外照明灯用于向用户眼球发射红外光线； 信号处理单元， 用于向显示屏发送显示刺激图片的指令， 根据第一面部图像、 刺激图片 以及红外照明灯的位置确定出用户的初始视线方向； 将位于所述第一视线方向上的摄像头 设定为协助摄像头， 利用协助摄像头拍摄用户的第二面部图像； 并根据用户第一面部图像、 第二面部图像拼接出用户的目标眼球图像， 根据所述目标眼球图像以及屏幕图像获取目标 视线方向。 2.根据权利要求1所述的一种人眼运动追踪系统， 其特征在于， 所述第一摄像头、 第二 摄像头、 红外照明灯中的一种或组合 安装在可穿戴设备 上。 3.根据权利要求1所述的一种人眼运动追踪系统， 其特征在于， 所述信号处理单元还用 于获取用户的眼动参数， 其中， 所述眼动参数包括： 眨眼次数、 瞳孔直径、 眼球中心 坐标以及 眼球中心运动轨 迹。 4.一种人眼运动追踪方法， 其特征在于， 应用于如权利要求1 ‑3任一项所述系统中的信 号处理单元， 所述方法包括： 向显示屏发送显示刺激 图片的指令， 获取第一摄像头拍摄的用户的第一面部 图像； 利 用预先训练的眼球检测模型从第一面部图像中识别出瞳孔中心位置， 以及反射光斑的区 域； 根据瞳孔中心位置相对于光斑中心位置的偏移量， 利用视线映射模型计算出用户的初 始视线方向； 将位于所述第 一视线方向上的摄像头设定为协助摄像头， 利用协助摄像头拍摄用户的 第二面部图像； 根据第一摄像头以及协助摄像头分别所处位置， 将第 一面部图像以及第 二面部图像拼 接为目标眼球图像， 根据所述目标眼球图像以及屏幕图像获取目标视线方向。 5.根据权利要求4所述的一种人眼运动追踪方法， 其特征在于， 所述利用预先训练的眼 球检测模型从第一 面部图像中识别出瞳孔中心位置， 包括： 从第一面部图像中识别出眼睛图像区域， 根据眼睛图像区域的轮廓线第 一从用户面部 图像中裁 剪出眼睛图像； 对眼睛图像依次进行 灰度化、 高斯滤波、 二 值化处理后得到预处 理图像； 利用预先训练的眼球 检测模型从预处 理图像中识别出瞳孔区域； 根据预设的二 值化阈值， 从所述瞳孔区域中筛 选出目标区域； 利用边缘检测算法从目标区域中检测出瞳孔边缘， 将 瞳孔边缘拟合为椭圆， 得到拟合 后的目标区域； 根据预设的瞳孔约束条件排除目标区域中的异常瞳孔； 将排除异常瞳孔后的目标区域的中心点作为瞳孔中心位置 。 6.根据权利要求4所述的一种人眼运动追踪方法， 其特征在于， 所述将位于所述第 一视 线方向上的摄 像头设定为协助摄 像头， 包括：权　利　要　求　书 1/2 页 2 CN 114973392 A 2以用户眼睛为起点， 第一视线对应的方向为方向生成虚拟射线， 将位于所述虚拟射线 上的摄像头作为备选摄 像头； 针对每一个备选摄 像头， 将能够拍摄到用户眼球的备选摄 像头作为协助摄 像头。 7.根据权利要求4所述的一种人眼运动追踪方法， 其特征在于， 所述将位于所述第 一视 线方向上的摄 像头设定为协助摄 像头， 包括： 用户眼睛为起点， 第一视线对应的方向为中轴线， 设定角度作为锥角生成第一虚拟锥 体， 将位于第一虚拟锥体范围内的摄 像头作为备选摄 像头； 针对每一个备选摄 像头， 将能够拍摄到用户眼球的备选摄 像头作为协助摄 像头。 8.根据权利要求4所述的一种人眼运动追踪方法， 其特征在于， 所述根据第 一摄像头以 及协助摄像头分别所处位置， 将第一面部图像以及第二面部图像拼接为 目标眼球图像， 包 括： 根据第一摄像头以及协助摄像头的分布位置， 平均划分每一个摄像头对应的眼球区 域； 根据对应的眼球区域、 第一摄像头相对于 眼球的距离、 协助摄像头相对于 眼球的距离 计算出裁 剪锥角的大小； 针对每一个第一摄像头以及协助摄像头， 以摄像头的光轴方向为中心轴， 裁剪锥角构 建第二虚拟锥体， 根据所述第二虚拟椎体与所拍摄的眼球图像上的截交线包围的区域作为 裁剪区域， 根据所述裁 剪区域从所拍摄眼球图像中裁取 出对应的子图像； 根据对应的摄像头的坐标， 将各个子 图像的像素点转换到同一坐标系中， 根据各个子 图像对应的眼球区域， 将各个子图像拼接为完整眼球图像， 将完整的眼球图像作为 目标眼 球图像。 9.根据权利要求4所述的一种人眼运动追踪方法， 其特征在于， 所述视线映射模型的获 取过程包括： 利用第二摄 像头拍摄的屏幕图像， 从屏幕图像中识别出刺激图片的显示 位置； 根据瞳孔中心位置、 以及刺激 图片的显示位置获取用户的视线方向； 利用红外照明灯 的位置、 反射光斑中心位置 以及瞳孔中心位置相对于反射光斑的偏移量修正视线映射模 型。权　利　要　求　书 2/2 页 3 CN 114973392 A 3