(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210946360.5 (22)申请日 2022.08.08 (71)申请人 合肥杰发科技有限公司 地址 230000 安徽省合肥市望江西路80 0号 创新产业园A3楼10层 (72)发明人 艾鸽　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 20/59(2022.01) G06T 7/73(2017.01) G06T 13/40(2011.01) G06T 17/00(2006.01) G06V 10/774(2022.01)G06F 30/20(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 111/06(2020.01) (54)发明名称 驾驶员分心检测方法、 驾驶员监控系统及存 储介质 (57)摘要 本申请提供一种驾驶员分心检测方法， 包 括： 获取人脸原始图像， 并获取人脸区域图像； 获 取人脸区域图像内的2D关键点位置信息； 依据2D 关键点位置信息， 获取人脸原始图像对应的左眼 图像和右眼图像； 利用人脸原始图像执行3D人脸 形状重建， 以利用3D人脸形状， 获取人脸原始图 像对应的头部姿势角度信息； 依据人脸原始图像 及人脸原始图像对应的左眼图像、 右眼图像和头 部姿势角度信息， 获取人脸原始图像对应的驾驶 员视线角度； 响应于驾驶员视线角度满足预设条 件， 判定当前驾驶员分心驾驶。 本申请还提供相 应的相关设备。 本申请提高了驾驶员视线角度的 准确度。 权利要求书2页 说明书8页 附图2页 CN 115376113 A 2022.11.22 CN 115376113 A 1.一种驾驶员分心检测方法， 其特 征在于， 包括： 获取当前驾驶员的人脸原 始图像， 并自所述人脸原 始图像， 获取 人脸区域图像； 自所述人脸区域图像， 获取 所述人脸区域图像内的2D关键点 位置信息； 依据所述2D关键点 位置信息， 获取 所述人脸原 始图像对应的左眼 图像和右眼 图像； 利用所述人脸原始图像， 执行3D人脸形状重建， 以利用3D人脸形状， 获取所述人脸原始 图像对应的头 部姿势角度信息； 依据所述人脸原始图像及所述人脸原始图像对应的所述左眼图像、 所述右眼图像和所 述头部姿势角度信息， 获取 所述人脸原 始图像对应的驾驶员视线角度； 以及 响应于所述驾驶员视线角度满足预设条件， 判定所述当前驾驶员分心驾驶。 2.如权利要求1所述的方法， 其特 征在于， 进一 步包括： 判断所述人脸原 始图像是否用于 3D人脸形状重建； 响应于所述人脸原 始图像已用于 3D人脸形状重建， 获取3D关键点 位置信息； 响应于所述人脸原始图像未用于3D人脸形状重建， 利用所述人脸原始图像， 执行3D人 脸形状重建， 以获得 所述3D关键点 位置信息并保存。 3.如权利要求1所述的方法， 其特 征在于， 所述利用3D人脸形状， 获取 所述人脸原 始图像对应的头 部姿势角度信息， 包括： 依据所述2D关键点位置信息和所述3D关键点位置信息， 获取所述人脸原始图像对应的 头部姿势角度信息 。 4.如权利要求1 ‑3中任一项所述的方法， 其特 征在于， 所述执 行3D人脸形状重建包括： 初始化用于所述当前驾驶员的3DMM， 并依据优化目标函数对所述3DMM进行优化， 以得 到所述3D关键点 位置信息， 从而完成所述当前驾驶员的3D人脸形状重建。 5.如权利要求1所述的方法， 其特征在于， 所述获取所述人脸原始图像对应的驾驶员视 线角度， 包括： 将所述人脸原始图像及所述人脸原始图像对应的所述左眼图像、 所述右眼图像和所述 头部姿势角度信息输入到视线检测模型， 以获得第一视线角度， 其中所述第一视线角度相 对于摄像头坐标系； 获取所述摄像头坐标系与车辆坐标系之间的旋转矩阵； 以及 通过所述旋转矩阵， 获得所述驾驶员视线角度， 其中所述驾驶员视线角度相对于所述 车辆坐标系。 6.如权利要求1所述的方法， 其特 征在于， 所述获取当前驾驶员的人脸原 始图像包括： 预设时间内获取 连续的多帧人脸原 始图像； 所述预设条件包括连续的多帧人脸原始图像分别对应的所述驾驶员视线角度均大于 预设值。 7.如权利要求1所述的方法， 其特征在于， 所述预设条件包括所述驾驶员视线角度 大于 预设值以及所述驾驶员视线角度与视线角度曲线之间的距离位于预设范围之外， 其中， 所 述视线角度曲线表征 所述当前驾驶员非分心驾驶时的视线角度。 8.如权利要求7 所述的方法， 其特 征在于， 进一 步包括： 响应于所述驾驶员视线角度不满足预设条件， 获取所述驾驶员视线角度， 以用于得到 所述视线角度曲线。权　利　要　求　书 1/2 页 2 CN 115376113 A 29.如权利要求1所述的方法， 其特征在于， 在 自所述人脸区域图像， 获取所述人脸区域 图像内的2D关键点 位置信息之前， 进一 步包括： 判断所述人脸区域图像是否表征已注 册用户； 响应于所述人脸区域图像表征 未注册用户， 执 行注册操作。 10.如权利要求9所述的方法， 其特 征在于， 若所述人脸区域图像的特征向量与预设数据库中所有特征向量之间的最小余弦距离 值小于或等于预设阈值， 则所述人脸区域图像表征已注册用户， 其中所述人脸区域图像的 特征向量是通过将所述人脸原 始图像输入到人脸识别模型中得到的； 若所述最小余弦距离值大于所述预设阈值， 则所述人脸原 始图像表征 未注册用户。 11.一种驾驶员监控系统， 其特征在于， 包括相互耦接的存储器和处理器以及与 所述处 理器耦接的摄像头， 其中， 所述摄像头用于拍摄当前驾驶员的人脸原始图像， 所述处理器用 于借由所述摄像头所拍摄的当前驾驶员的人脸原始图像， 执行所述存储器中存储的程序指 令， 以实现权利要求1至10中任一项所述的驾驶员分心检测方法。 12.一种非易失性计算机可读存储介质， 其上存储有程序指令， 其特征在于， 所述程序 指令被处 理器执行时实现权利要求1至10中任一项所述的驾驶员分心检测方法。 13.一种驾驶员监控系统， 其特征在于， 包括处理器以及与 所述处理器耦接的存储器和 报警器， 所述处理器用于执行所述存储器中存储的程序指 令， 以实现权利要求 1至10中任一 项所述的驾驶员分心检测方法， 所述报警器用于在所述处理器判定 当前驾驶员分心驾驶时 发出报警信号以提 示所述当前驾驶员。权　利　要　求　书 2/2 页 3 CN 115376113 A 3