(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210233261.2 (22)申请日 2022.03.10 (71)申请人 苏州爱可尔智能科技有限公司 地址 215600 江苏省苏州市张家港市杨舍 镇华昌路沙洲湖科创园G-1幢D3 03室 (72)发明人 刘镇硕　方倩　 (74)专利代理 机构 苏州中合知识产权代理事务 所(普通合伙) 32266 专利代理师 阮梅 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图神经网络的手卫生监管方法、 系统、 设备及介质 (57)摘要 本发明公开基于图神经网络的手卫生监管 方法、 系统、 设备及介质， 该方法包括如下步骤： 获取视频， 所述视频中包括目标人物的手部动 作； 调用预先构建的深度学习算法模块逐帧提取 所述视频中手部骨骼关键点， 基于每帧中手部骨 骼关键点构建手部骨架图； 基于多帧连续的手部 骨架图得到手部的时空特征， 并将所述时空特征 与预存的标准化 “7步洗手法”的时空特征进行对 比， 判断目标人物的洗手动作是否符合规范， 并 根据判断结果发出相应提示信息。 本发明能够以 一秒钟长度的视频片段进行动作识别分类， 识别 的准确度高达99.5％， 并且经过对神经网络模型 的压缩和加速， 整个系统实时运行在嵌入式系统 中， 实现了低成本化的落 地。 权利要求书2页 说明书6页 附图3页 CN 114694248 A 2022.07.01 CN 114694248 A 1.基于图神经网络的手卫 生监管方法， 其特 征在于， 包括如下步骤： 获取视频， 所述视频中包括目标 人物的手部动作； 调用预先构建的深度 学习算法模块逐帧提取所述视频中手部骨骼关键点， 基于每帧中 手部骨骼关键点构建手部骨架图； 基于多帧连续的手部骨架图得到手部的时空特征， 并将所述 时空特征与预存的标准化 “7步洗手法 ”的时空特征进 行对比， 判断目标人物的洗手动作是否 符合规范， 并根据判断结 果发出相应提 示信息。 2.根据权利要求1所述的基于图神经网络的手卫生监管方法， 其特征在于， 通过具有跨 层连接结构的卷积神经网络提取所述视频中手部骨骼关键点， 且通过批量归一化层的缩放 系数作为剪枝因子对卷积神经网络进行稀疏化训练。 3.根据权利要求1所述的基于图神经网络的手卫生监管方法， 其特征在于， 所述手部骨 架图由21个 手部骨骼关键点组成。 4.根据权利要求1所述的基于图神经网络的手卫生监管方法， 其特征在于， 所述提示信 息包括语音提 示和/或视频展示。 5.根据权利要求1所述的基于图神经网络的手卫生监管方法， 其特征在于， 基于多帧连 续的手部骨架图得到手部的时空特 征， 具体包括如下步骤： 将识别的所述手部骨骼关键点输入图神经网络； 基于每一帧中每 个手部骨骼关键点的位置连接关系构造手部的时空特 征。 6.根据权利要求1或5所述的基于 图神经网络的手卫生监管方法， 其特征在于， 将所述 时空特征与采用标准化 “7步洗手法 ”的时空特征进行对比， 判断目标人物的洗手动作是否 符合规范， 具体包括如下步骤： 将手部的时空特征和标准化 “7步洗手法 ”的时空特征进行动作相似度的对比， 获得所 述视频片段的评分； 根据视频片段的评分判断是否有不标准动作以及不标准动作发生的时间点。 7.基于图神经网络的手卫生监管系统， 其特征在于， 包括采集装置、 边缘计算盒子和告 警装置， 包括如下步骤： 所述采集装置， 用于采集视频并将所述视频输入边缘计算盒子中， 所述视频中包括目 标人物的手部动作； 所述边缘计算盒子， 包括关键点提取模块、 时空特征抽取模块、 对比模块和控制调度模 块， 其中， 所述关键点提取模块， 用于逐帧提取所述视频中手部骨骼关键点， 基于每帧中手部骨 骼关键点构建手部骨架图； 所述时空特 征抽取模块， 用于基于多帧连续的手部骨架图得到手部的时空特 征； 所述对比模块， 用于将所述 时空特征抽取模块抽取的时空特征与预存的标准化 “7步洗 手法”的时空特 征进行对比， 判断目标 人物的洗手动作是否符合 规范； 所述控制调度模块， 用于所述对比模块的判断结果发出控制指令； 所述告警装置， 用于根据控制调度模块的控制指令发出语音提 示和/或进行视频展示。 8.根据权利要求7所述的基于图神经网络的手卫生监管系统， 其特征在于， 还包括数据 服务器和终端一体机， 所述数据服 务器和终端一体机分别与边 缘计算盒子进行通信连接 。权　利　要　求　书 1/2 页 2 CN 114694248 A 29.一种计算机设备， 其特征在于， 包括： 存储器， 用于存储计算机程序； 处理器， 用于执 行所述计算机程序时实现如权利要求1至6任一项所述的基于图神经网络的手卫生监管方 法。 10.一种可读存储介质， 其特征在于， 所述可读存储介质上存储有计算机程序， 所述计 算机程序被处理器执行时实现如权利要求1至6任一项所述的基于图神经网络的手卫生监 管方法。权　利　要　求　书 2/2 页 3 CN 114694248 A 3