(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210873975.X (22)申请日 2022.07.25 (71)申请人 天津工业大学 地址 300387 天津市西青区 宾水西道39 9号 天津工业大学 (72)发明人 田会娟　张晋　 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06T 5/00(2006.01) G06T 7/50(2017.01) G06T 7/62(2017.01) G06T 7/73(2017.01)A61B 3/11(2006.01) A61B 3/14(2006.01) A61B 5/11(2006.01) A61B 5/16(2006.01) G09G 5/10(2006.01) H05B 47/105(2020.01) (54)发明名称 一种基于视频序列的面部多特征融合疲劳 检测方法及系统 (57)摘要 本发明公开了一种基于视频序列的面部多 特征融合疲 劳检测方法及系统， 涉及机器视觉与 智能控制领域， 包括如下步骤： (1)通过预设设备 的相机获取目标对象的人脸视频图像； (2)将视 频图像分解成每一帧进行预处理； (3)并行提取 预处理后图像中的额头区域、 眼部区域、 嘴部区 域、 下巴区域的特征； (4)对眼部区域的色彩 空间 进行融合， 自适应定位瞳孔并提取其特征信息。 (5)根据提取的多个特征得出当前被观测者的疲 劳程度、 脸部与设备之间的距离； (6)设备根据得 到的结果设备做出相应的措施。 本发 明利用预设 设备可实现： 疲劳检测、 脸部与屏幕之间距离检 测、 自适应调节屏幕以及环境亮度。 在不影响使 用者对设备使用的情况下有效的保护了眼部健 康。 权利要求书2页 说明书7页 附图5页 CN 115171024 A 2022.10.11 CN 115171024 A 1.一种基于 视频序列的面部多特 征融合疲劳检测方法， 其特 征在于， 包括： 通过预设设备的相机获取目标对象的人脸视频图像； 将所述人脸视频图像按照预设帧数进行 预处理， 以得到 视频序列图像； 确定预处理后人脸视频序列图像的感兴趣区域并进行特征提取， 其中， 所述感兴趣区 域包括： 额头区域、 眼部区域、 嘴部区域、 下巴区域； 对眼部区域进行瞳孔定位， 并提取其特 征信息。 对所述感兴趣区域进行 特征提取， 以得到图像的特 征； 基于所述图像的特 征得到生理指标以构建多参数疲劳检测模型。 2.如权利要求1所述的方法， 其特征在于， 还包括一种基于疲劳程度的屏幕及环境自适 应调光系统： 通过构建的多参数疲劳检测模型获得疲劳的程度Dn； 将预设设备屏幕 亮度的标准定义 值划分为P1n个区间， 环境亮度划分为P2n个区间； 建立目标对象的疲劳程度与最 适屏幕亮度、 环境亮度之间的相关性因子Q； 根据当前目标对象的疲劳程度计算当前预设设备屏幕及环境对应的相关性因子Q， 预 设设备对自身屏幕及环境亮度进行自适应调节， 以满足目标对象的照明 需求。 3.如权利要求1所述的方法， 其特 征在于， 所述对眼部区域进行瞳孔定位， 其 算法包括： 对眼部区域图像进行色彩空间融合， 以实现瞳孔区域的对比度增强； 计算瞳孔的阈值并对瞳孔进行粗定位； 构建瞳孔检测区域， 使瞳孔 边界坐落在检测区域内； 检测区域内预设An个检测轨迹， 计算每个轨迹的色值变化率， 以定位瞳孔边界坐标， 并 对瞳孔区域进行划分， 筛 选出置信度最高的瞳孔 边界点； 通过最小二乘法椭圆对置信度最高的边界点进行拟合以得到瞳孔中心坐标以及直径。 4.如权利要求1所述的方法， 其特征在于， 所述图像特征包括： 左眼的Ln个特征点坐标、 右眼的Rn个特征点坐标、 嘴巴的Mn个特征点坐标、 额头的Hn个特征点坐标及下巴的Jn个特征 点坐标、 眼部区域的瞳孔 直径。 5.如权利要求1所述的方法， 其特征在于， 所述构建的多参数疲劳检测模型， 包括： 输 入、 判定函数、 输出， 其中： 模型的输入为： PERCLOS值f、 瞳孔直径变化率、 眨眼频率、 眨眼频率变化率、 眨眼时间、 嘴部张闭合状态等多参数生理指标； 模型的输出为： 目标对象的疲劳程度。 6.如权利要求3所述的方法， 其特 征在于， 所述的色彩空间融合， 包括： 将人眼图像由RGB色彩空间转到 YCbCr色彩空间， 提取Y分量构建为 光照图像L(x， y)； 通过Gamma校正对光照图像进行处 理从而获得增强的光照图像L1(x， y)； 计算RGB中R、 G、 B三个通道中瞳孔区域与背景区域之间 的比对度， 筛选出对比度最大的 通道作为颜色图像R(x， y)； 对L1(x， y)和R(x， y)进行细化， 并构建新的图像LR(x， y)。 7.如权利要求3所述的方法， 其特 征在于， 所述的对瞳孔进行粗定位， 包括： 采用多阈值Otsu算法进行瞳孔进行阈值 求解； 筛选出波峰处的类间方差进行聚类分析， 计算出最大类间方差， 并提高其阈值计算速权　利　要　求　书 1/2 页 2 CN 115171024 A 2度； 结合线性形态学 滤波以及最大 连通域， 消除残留睫毛以及眼睑的影响； 对处理后的区域采用水平积分投影以及垂直积分投影， 以实现瞳孔的粗定位。 8.如权利要求3所述的方法， 其特 征在于， 所述筛 选出置信度最高的瞳孔 边界点包括： 根据瞳孔的外 接矩形的长 宽比对瞳孔区域， 选择进行 水平或垂直分区； 结合检测轨 迹间隔角度设置N1 ‑Ni个样本区域； 剔除被遮挡的样本区域， 以得到 置信度最高的样本区域及瞳孔 边界点。 9.如权利要求5所述的方法， 其特征在于， 所述的通过眼部特征点的坐标来判断目标眼 睛是否眨眼的算法为： 其中， li代表第i个特 征点的坐标， t1， t2为预设的时间点， E为判断是否眨眼的参数。 10.一种所述目标对象与预设 设备之间实际距离的算法， 其特 征在于， 包括： 通过目标脸部与预设设备之间的固定距离、 脸部的实际高度、 脸部的像素高度， 计算出 预设设备 的相机焦距； 使用脸部的实际高度、 脸部的像素高度和预设设备 的相机焦距来计 算目标脸部与设备的实际距离； F＝(P×D)/H， D’＝(H×F)/P； 其中D为目标脸部与预设设备之间的固定距离， H为脸部的实际高度， P为脸部的像素高 度。 F为预设 设备的相机焦距， D ’为目标脸部与设备的实际距离 。权　利　要　求　书 2/2 页 3 CN 115171024 A 3