(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210494498.6 (22)申请日 2022.05.07 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 申请人 武汉引行 科技有限公司 (72)发明人 陈灯　李磊　魏巍　张彦铎　 吴云韬　卢涛　周华兵　刘玮　 段功豪　于宝成　鞠剑平　唐剑隐　 徐文霞　栗娟　彭丽　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 王澎 (51)Int.Cl. G06V 40/20(2022.01)G06V 10/75(2022.01) G06T 7/136(2017.01) G06T 7/194(2017.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 手势识别模型训练及手势识别方法、 装置、 设备及介质 (57)摘要 本发明公开了一种手势识别模型训练及手 势识别方法、 装置、 设备及介质， 涉及计算机视觉 技术领域， 手势识别模型训练方法包括： 拍摄手 部配戴有红色系手套的多张手势图像， 对每张手 势图像依次进行从RGB色彩空间转换成YCrCb空 间、 图像前景背景划分、 二值化处理， 得到手势分 割图像； 构建卷积神经网络结构， 利用多张手势 分割图像对 卷积神经网络结构进行训练， 得到手 势识别模型。 手势识别方法为： 将待识别的图片 或视频输入手势识别模型中， 利用手势识别模型 对待识别的图片或视频进行手势识别。 本发明对 图像中的手势分割效果好， 通过本发 明进行手势 识别的识别准确率可明显提高。 权利要求书2页 说明书9页 附图3页 CN 114926898 A 2022.08.19 CN 114926898 A 1.一种手势 识别模型训练方法， 其特 征在于， 包括以下步骤： 步骤S1： 拍摄手部配 戴有红色系手套的多张手势图像， 对于每张所述手势图像， 将所述 手势图像从RGB色彩空间转换成Y CrCb空间， 得到 YCrCb格式图像； 步骤S2： 对于每张所述YCrCb格式图像， 将所述YCrCb格式图像划 分为前景区域和背景 区域， 得到阈值分割图像； 步骤S3： 对于每张所述阈值分割图像， 对所述阈值分割图像进行二值化处理， 得到手势 分割图像； 步骤S4： 构建卷积神经网络结构， 利用多张所述手势分割图像对卷积神经网络结构进 行训练， 得到手势 识别模型。 2.根据权利要求1所述的一种手势识别模型训练方法， 其特征在于， 所述步骤S1中， 所 述红色系手套的颜色的RGB值 为(255,0,0)。 3.根据权利要求1所述的一种手势识别模型训练方法， 其特征在于， 所述步骤S1中， 将 所述手势图像从RGB色彩空间转换成Y CrCb空间， 得到 YCrCb格式图像， 包括： 通过第一公式， 将所述手势图像从RGB色彩空间转换成YCrCb空间， 得到YCrCb格式图 像， 其中， 所述第一公式为： 上式中， R、 G、 B分别表示红色、 绿色、 蓝色的像素值， R、 G、 B的取值范围均为[0,25 5]。 4.根据权利要求1所述的一种手势识别模型训练方法， 其特征在于， 所述步骤S2中， 对 于每张所述YCrCb格式图像， 将所述YCrCb格式图像划分为前景区域和背景区域， 得到阈值 分割图像， 包括： 采用最大类间方差法将所述YCrCb格式图像划分为前景区域和背景区域， 得到阈值分 割图像。 5.根据权利要求4所述的一种手势识别模型训练方法， 其特征在于， 所述采用最大类间 方差法将所述Y CrCb格式图像划分为前 景区域和背景区域， 得到阈值分割图像， 具体包括： 步骤S2.1： 确定所述Y CrCb格式图像的第一灰度平均值； 步骤S2.2： 初始化当前 灰度阈值和二维数组， 所述当前 灰度阈值的初始值 为0； 步骤S2.3： 将所述YCrCb格式图像中灰度值小于所述当前灰度阈值的部分作为初始背 景部分， 将所述Y CrCb格式图像中灰度值大于所述当前 灰度阈值的部分作为初始前 景部分； 确定所述初始背景部分的第二灰度平均值， 以及所述初始前景部分的第三灰度平均 值； 确定所述初始背景部分所包含的像素点个数占所述YCrCb格 式图像所包含的总像素点 个数的第一比例， 以及所述初始前景部分所包含的像素点个数占所述YCrCb格式图像所包 含的总像素点个数的第二比例； 根据所述当前灰度阈值、 所述第 一灰度平均值、 所述第 二灰度平均值、 所述第 三灰度平 均值、 所述第一比例和所述第二比例， 通过第二 公式， 确定所述当前灰度阈值对应的最大类 间方差值， 其中， 所述第二公式为：权　利　要　求　书 1/2 页 2 CN 114926898 A 2ICV＝RQ*(AQ ‑A)2+RH*(AH‑A)2 上式中， ICV表示最大类间方差值， A为第一灰度平均值， AH为第二灰度平均值， AQ为第 三灰度平均值， RH为第一比例， RQ 为第二比例； 将所述当前灰度阈值的取值及其对应的最大类间方差值存入所述二维数组中， 并使所 述当前灰度阈值的取值自增1； 步骤S2.4： 循环步骤S2.3， 直至所述当前灰度阈值的取值为255， 停止循环， 并将所述 255及所述当前 灰度阈值的取值 为255时所对应的最大类间方差值存 入所述二维数组中； 步骤S2.5： 比较所述二维数组中存入的各个最大类间方差值， 将数值最大的最大类间 方差值所对应的灰度阈值作为 最佳灰度阈值； 步骤S2.6： 将所述YCrCb格式图像中灰度值小于所述最佳灰度阈值的部分作为背景区 域， 将所述YCrCb格式图像中灰度值大于所述最佳灰度阈值的部 分作为前景区域， 得到阈值 分割图像。 6.根据权利要求1所述的一种手势识别模型训练方法， 其特征在于， 所述步骤S3中， 对 阈值分割图像进行二值化处理， 包括： 将所述阈值分割图像中每个像素点的灰度值均设置 为0或255。 7.一种手势 识别方法， 其特 征在于， 包括以下步骤： 获取待识别的图片或视频； 将待识别的图片 或视频输入权利要求1至6任一项所述的手势识别 模型中， 利用所述手 势识别模型对待识别的图片或视频进行手势 识别。 8.一种手势 识别装置， 其特 征在于， 包括： 图像获取模块， 用于获取待识别的图片或视频； 图像识别模块， 用于将待识别的图片 或视频输入权利要求1至6任一项所述的手势识别 模型中， 利用所述手势 识别模型对待识别的图片或视频进行手势 识别。 9.一种手势识别设备， 其特征在于， 包括存储器、 处理器及存储在所述存储器上并可在 所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至7 中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114926898 A 3