(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210746116.4 (22)申请日 2022.06.27 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 张钊　朱树磊　殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 手势识别方法、 电子设备和计算机可读存储 介质 (57)摘要 本申请公开了一种手势识别方法、 电子设备 和计算机可读存储介质， 该方法包括： 获得待测 手部对应的待测图像； 将待测图像输入预估模 型， 以使预估模型基于待测图像和参考手势信 息， 确定待测手部对应的手势识别结果； 其中， 参 考手势信息基于预设手势的参考手部对应的关 键点坐标确定， 预估模型基于参考手势信息和测 试手部对应的多种训练手势的测试图像预先训 练后获得， 待测手部在对应的待测图像中与参考 手部属于同一预设部位， 测试手部在测试图像中 与参考手部属于同一预设部位。 上述方案， 能够 降低模型训练的难度并提高手势 识别的准确率。 权利要求书2页 说明书8页 附图3页 CN 115223196 A 2022.10.21 CN 115223196 A 1.一种手势 识别方法， 其特 征在于， 所述方法包括： 获得待测手部对应的待测图像； 将所述待测图像输入预估模型， 以使所述预估模型基于所述待测图像和参考手势信 息， 确定所述待测手部对应的手势 识别结果； 其中， 所述参考手势信息基于预设手势 的参考手部对应的关键点坐标确定， 所述预估 模型基于所述参考手势信息和测试手部对应的多种训练手势的测试图像预先训练后获得， 所述待测手部在对应的待测图像中与所述参考手部属于同一预设部位， 所述测试手部在所 述测试图像中与所述 参考手部属于同一预设部位。 2.根据权利要求1所述的手势识别方法， 其特征在于， 所述参考对象属于第一预设部 位， 所述获得待测手部对应的待测图像， 包括： 获得待测目标对应的初始图像， 在所述初始图像上提取所述待测手部对应的子图区 域； 判断所述子图区域内的待测手部是否与所述 参考手部属于同一预设部位； 若是， 则将所述子图区域作为所述待测手部对应的待测图像； 否则， 对所述子 图区域镜像处理， 将镜像处理后的子 图区域作为所述待测手部对应的 待测图像。 3.根据权利要求2所述的手势识别方法， 其特征在于， 所述判断所述子图区域内的待测 手部是否与所述 参考手部属于同一预设部位， 包括： 将所述子 图区域输入属性检测模型， 得到所述子 图区域对应的属性检测结果； 所述属 性检测结果包括所述子图区域内的待测目标 所属的部位； 比对所述属性检测结果和所述第 一预设部位， 确定所述子图区域内的待测手部是否与 所述参考手部属于同一预设部位； 其中， 所述属性检测模型基于所述测试图像和镜像后的所述测试图像预先训练后获 得。 4.根据权利要求1 ‑3任一项所述的手势识别方法， 其特征在于， 所述参考手部包括所述 预设手势的手部， 所述预设手势包括所述第一预设部位的手部张开时的状态， 所述手势识 别结果包括至少一种预设类型的手势； 所述第一预设部位 为左手/右手。 5.根据权利要求4所述的手势识别方法， 其特征在于， 所述参考手势信 息基于以下步骤 获得， 包括： 获得多个参考目标上所述第 一预设部位的手部张开 时预设数值个关键点， 标注所述关 键点的三维坐标并进行归一化处理， 得到归一化后的三维坐标； 至少 部分所述关键点与所 述参考目标的手部的关节相关； 利用聚类算法对多个所述参考目标上各个所述关键点对应的归一化后的三维坐标进 行聚类， 得到预设数值个所述关键点坐标并作为所述参考手势信息； 其中， 所述关键点坐标 为经过聚类的归一 化后的三维坐标。 6.根据权利要求1所述的手势识别方法， 其特征在于， 所述预估模型包括级联的图像卷 积网络、 融合网络和图卷积网络， 所述将所述待测图像输入预估模型， 以使所述预估模型基 于所述待测图像和参 考手势信息， 确定所述待测手部对应的手势 识别结果， 包括： 将所述待测图像输入所述图像卷积网络， 以使所述图像卷积网络基于所述待测图像和权　利　要　求　书 1/2 页 2 CN 115223196 A 2所述参考手势信息， 得到所述待测手部相对所述 参考手势信息的坐标偏移值； 将所述坐标偏移值和所述参考手势信 息输入所述融合网络， 以使所述融合网络将所述 坐标偏移值融合至所述 参考手势信息上， 得到所述待测手部对应的关键点预估结果； 将所述关键点预估结果输入所述图卷积网络， 以使所述图卷积网络基于所述关键点预 估结果， 确定所述待测手部对应的手势 识别结果。 7.根据权利要求6所述的手势识别方法， 其特征在于， 所述参考手势信 息包括归一化后 的关键点 坐标， 且所述关键点 坐标为三维坐标； 所述基于所述待测图像和所述参考手势信 息， 得到所述待测手部相对所述参考手势信 息的坐标偏移值， 包括： 基于所述待测图像和所述参考手势信 息， 得到所述待测手部对应的各个关键点与 所述 参考手势信息中相匹配的关键点之 间的坐标偏移 值； 所述坐标偏移 值包括归一化后的三 维 坐标偏移量； 所述将所述坐标偏移值融合至所述参考手势信 息上， 得到所述待测手部对应的关键点 预估结果， 包括： 将归一化后的所述三维坐标偏移量融合至所述关键点坐标对应的三维坐标中， 得到所 述待测手部对应的关键点预估结果； 所述关键点预估结果 为归一化后的三维坐标。 8.根据权利要求1所述的手势识别方法， 其特征在于， 所述将所述待测图像输入预估模 型， 以使所述预估模型基于所述待测图像和参考手势信息， 确定所述待测手部对应的手势 识别结果之后， 还 包括： 基于所述手势识别结果与预设警示手势， 确定所述手势识别结果对应的警示评估结 果； 基于所述警示评估结果， 确定是否触发 警示信号。 9.一种电子设备， 其特征在于， 包括： 相互耦接的存储器和处理器， 其中， 所述存储器存 储有程序数据， 所述处 理器调用所述 程序数据以执 行如权利要求1 ‑8中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有程序数据， 其特征在于， 所述程序数据被处 理器执行时实现如权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115223196 A 3