(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210686458.1 (22)申请日 2022.06.16 (71)申请人 慧之安信息技 术股份有限公司 地址 100000 北京市海淀区昆明湖南路51 号A座二层217号 (72)发明人 余丹　唐霆岳　兰雨晴　彭建强　 王丹星　 (74)专利代理 机构 北京广技专利代理事务所 (特殊普通 合伙) 11842 专利代理师 张国香 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/16(2022.01) G06V 40/20(2022.01) H04N 5/232(2006.01) (54)发明名称 基于手势动作深度学习的显示屏控制方法 (57)摘要 本发明提供了基于手势动作深度学习的显 示屏控制方法， 其先采集与分析显示屏前方人员 的脸部图像， 以此调整显示屏的开关工作状态； 当显示屏开启后， 采集与分析人员的手部图像， 判断人员的手部是否过分偏离手部图像画面， 以 此调整前置摄像头的拍摄参数； 采集与分析人员 的手部动态影像， 提取得到对应的手部骨骼点线 图， 以此确定 人员的手势动作； 再根据手势动作， 从预设控制指令库中调取相匹配的控制指令， 调 整显示屏的工作状态； 上述方法先保证人员的手 部能够完整进入到前置摄像头的拍摄视场范围， 再从人员的手部动态影像中提取手部骨骼点线 图， 确定给人员当前手势动作对应的控制指令， 避免不同人员对显示屏进行接触控制而引起交 叉感染。 权利要求书3页 说明书7页 附图1页 CN 115097936 A 2022.09.23 CN 115097936 A 1.基于手势动作深度学习的显示屏控制方法， 其特 征在于， 其包括如下步骤： 步骤S1， 指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像， 并对所述脸 部图像进 行分析处理， 确定位于显示屏前方的人员身份信息； 根据所述人员身份信息， 调整 显示屏的开关工作状态； 步骤S2， 当显示屏被开启后， 指示所述前置摄像头采集所述人员的手部图像， 并对所述 手部图像进行分析处理， 确定在所述手部图像画面中手部像素偏离信息； 根据所述手部像 素偏离信息， 调整所述前置摄 像头的拍摄参数； 步骤S3， 指示所述前置摄像头采集所述人员的手部动态影像， 将所述手部动态影像切 分为若干帧图片； 对每个 帧图片进行深度学习分析处理， 从每个 帧图片提取得到手部骨骼 点线图； 步骤S4， 根据所有帧图片的手部骨骼点线图， 确定所述人员的手势动作； 根据 所述手势 动作， 从预设控制指 令库中调取相匹配的控制指 令， 再根据调取的控制指 令， 调整显示屏的 工作状态。 2.如权利要求1所述的基于手势动作深度学习的显示屏控制方法， 其特 征在于： 在所述步骤S1中， 指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像， 并 对所述脸部图像进行分析处 理， 确定位于 显示屏前 方的人员身份信息具体包括： 指示显示屏的前置摄像头对位于显示屏 前方人员的脸部区域进行追踪拍摄， 当人员的 脸部区域整体全部进入到前置摄像头的拍摄视场范围内时， 对人员的脸部区域进行拍摄， 得到相应的脸部图像； 从所述脸部图像中提取得到所述人员的脸部五官特征信 息， 并根据所述脸部五官特征 信息， 确定位于 显示屏前 方的人员身份信息 。 3.如权利要求2所述的基于手势动作深度学习的显示屏控制方法， 其特 征在于： 在所述步骤S1中， 根据所述人员身份信息， 调整显示屏的开关工作状态具体包括： 将所述人员身份信 息与预设人员身份信 息白名单进行比对， 若所述人员身份信 息存在 与预设人员身份信息白名单， 则开启显示屏； 否则， 关闭显示屏。 4.如权利要求3所述的基于手势动作深度学习的显示屏控制方法， 其特 征在于： 在所述步骤S2中， 当显示屏被开启后， 指示所述前置摄像头采集所述人员的手部图像， 并对所述手部图像进行分析处理， 确定在所述手部图像画面中手部像素偏离信息具体包 括： 当显示屏被开启后， 指示所述前置摄像头采集包含所述人员的左手或右手的全部手掌 部分的手部图像， 并根据所述手部图像得到其对应的手掌骨骼点线图， 所述手掌骨骼点线 图是指由手掌对应的骨骼和关节点形成的点线图； 以所述手掌骨骼点线图的左下角顶点为原点， 下边缘向右为X轴， 左边缘向上为Y轴建 立平面直角坐标系， 则所述手掌骨骼点线图中手掌的每个部位点均能够采用相应坐标进 行 表示； 利用下面公式(1)， 根据所述手掌骨骼点线图中手掌的每个部位点的坐标， 得到所述 手部图像画面中手掌的部位 点偏离所述手部图像的中心点的最大像素距离， 权　利　要　求　书 1/3 页 2 CN 115097936 A 2在上述公式(1)中， h表示所述手部图像画面中手掌的部位点偏离所述手部图像的中心 点的最大像素距离； [x(i),y(i)]表 示所述手 掌骨骼点线图中手 掌的第i个部位点； D表 示所 述手掌骨骼点线图每一行或每一列包含的像素点个数； n表示所述手掌骨骼点线图中手掌 的部位点的总数量； 表示将i的值从1取到n过程中括 号内的最大值。 5.如权利要求 4所述的基于手势动作深度学习的显示屏控制方法， 其特 征在于： 在所述步骤S2中， 调整所述前置摄 像头的拍摄参数之前， 包括： 利用下面公式(2)， 通过安装在显示屏前方的红外测距传感器阵列， 得到前置摄像头与 显示屏前 方人员之间的实测距离， 在上述公式(2)中， L表示前置摄像头与显示屏前方人员之间的实测距离； L(a)表示红 外测距传感器阵列中第a个红外测距传感器检测得到的前置摄像头与显示屏前方人员之间 的距离； m表示红外测距传感器阵列包含的红外测距传感器总数量； L0表示人员的手掌厚 度， 其取值为0.015m； 表示将a的值从1取到m的过程中括号内的最小值； F{}表示 判断函数， 若括号内的算式成立， 则判断函数的函数值为 1， 若括号内的算式不成立， 则判断 函数的函数值 为0； 若前置摄像头与显示屏前方人员之间的实测距离L大于预设距离阈值， 则向显示屏前 方人员发出语音提醒消息， 指示人员向靠 近显示屏的方向移动。 6.如权利要求5所述的基于手势动作深度学习的显示屏控制方法， 其特 征在于： 在所述步骤S2中， 根据所述手部像素偏离信息， 调整所述前置摄像头的拍摄参数具体 包括： 利用下面公式(3)， 根据前置摄像头与显示屏前方人员之间的距离以及所述最大像素 距离， 确定前置摄 像头的拍摄焦距调整目标值， 在上述公式(3)中， f表示前置摄像头的拍摄焦距调整目标值； D表示前置摄像头与显示 屏前方人员之间的距离； f0表示前置摄 像头的预设初始拍摄焦距。 7.如权利要求6所述的基于手势动作深度学习的显示屏控制方法， 其特 征在于： 在所述步骤S3中， 指示所述前置摄像头采集所述人员的手部动态影像， 将所述手部动 态影像切分为若干帧图片具体包括： 指示所述前置摄像头采集所述人员的手部动态影像， 按照预定时间间隔， 从所述手部 动态影像中依次提取 得到若干帧图片。 8.如权利要求7 所述的基于手势动作深度学习的显示屏控制方法， 其特 征在于： 在所述步骤S4中， 根据所有帧图片的手部骨骼点线图， 确定所述人员的手势动作； 根据 所述手势动作， 从预设控制指 令库中调取相匹配的控制指 令， 再根据调取的控制指令， 调整 显示屏的工作状态具体包括： 按照提取得到的所有帧图片在所述手部动态影像的时序， 对所有帧图片对应的手部骨 骼点线图依次进行比对， 得到所述人员的手势动作变化信息；权　利　要　求　书 2/3 页 3 CN 115097936 A 3