(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211059859.0 (22)申请日 2022.09.01 (71)申请人 深圳市爱深盈通信息技 术有限公司 地址 518000 广东省深圳市南 山区西丽 街 道曙光社区TCL国际E城G3 栋1001 (72)发明人 林家辉　周有喜　 (74)专利代理 机构 深圳市嘉勤知识产权代理有 限公司 4 4651 专利代理师 辛鸿飞 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 40/10(2022.01) G06V 40/16(2022.01) (54)发明名称 人体预设行为的识别方法、 装置、 设备终端 和存储介质 (57)摘要 本申请涉及人体预设行为的识别方法、 装 置、 设备终端和存储介质， 该识别方法通过对第 一行人图像集中的每张行人图像的第一预设目 标区域进行标记， 得到标记后的第一数据集， 基 于第一数据集， 对行人的第一预设目标区域进行 检测训练， 以生成人体的第一预设目标区域的检 测模型， 在标记后的第一数据集中， 针对每张行 人图像的第一预设目标区域对应的图像以及标 记信息进行提取， 得到第二行人图像集， 在第二 行人图像集中， 针对每张行人图像的第二预设目 标区域进行标记， 得到第二数据集， 基于第二数 据集， 采用结构重参数化模型对 人体预设行为进 行分类检测训练以生成对应的分类模 型， 进而构 建人体预设行为的识别模型， 降低了识别成本 。 权利要求书3页 说明书8页 附图5页 CN 115147933 A 2022.10.04 CN 115147933 A 1.一种人体预设行为的识别方法， 其特 征在于， 包括： 获取包含所述人体预设行为的第一行 人图像集； 对所述第一行人图像集中的每张行人图像的第 一预设目标区域进行标记， 得到标记后 的第一数据集， 所述标记包括对应行 人的人体预设行为信息； 基于所述第一数据集， 对行人的第一预设目标区域进行检测训练， 以生成人体的第一 预设目标区域的检测模型； 在所述标记后的第 一数据集中， 针对每张行人图像的第 一预设目标区域对应的图像以 及标记信息进行提取， 得到第二行 人图像集； 在所述第二行人图像集中， 针对每张行人图像的第二预设目标区域进行标记， 得到第 二数据集， 所述第二预设目标区域在所述第一预设目标区域内； 基于所述第二数据集， 采用结构重参数化模型对所述人体预设行为进行分类检测训 练， 以生成所述人体预设行为的分类模型； 根据所述检测模型以及所述分类模型构建所述人体预设行为的识别模型。 2.根据权利要求1所述的识别方法， 其特征在于， 所述结构重参数化模型包括骨干网 络、 分类分支网络和检测分支网络， 所述第二预设目标区域包含人体的嘴部区域以及人体 的手部区域， 所述基于所述第二数据集， 采用结构重参数化模型对所述人体预设行为进行 分类检测训练， 以生成所述人体预设行为的分类模型的步骤 包括： 基于所述骨干网络， 对每张行人图像中的第二预设目标区域进行信息提取， 以得到行 人的嘴部区域和手部区域的语义信息； 将所述语义信 息分别送入所述分类分支网络和所述检测分支网络， 通过所述分类分支 网络输出对应的初步分类结果， 通过 所述检测分支网络 输出对应的检测结果； 根据所述初步分类结果进行第一预设损失函数计算， 得到对应的第一预设损失函数 值； 根据所述检测结果进行第二预设损失函数计算， 得到对应的第二预设损失函数值； 对所述第一预设损失函数值和所述对应的第 二预设损失函数值进行加权， 以得到加权 后的总损失值； 根据所述加权后的总损失值， 获得优化梯度， 进行权重和偏置更新， 直至加权后的损失 函数收敛以生成所述人体预设行为的分类模型。 3.根据权利要求2所述的识别方法， 其特征在于， 所述根据 所述检测模型以及所述分类 模型构建所述人体预设行为的识别模型的步骤 包括： 将所述分类模型中的检测分支网络去除， 得到目标分类模型； 根据所述检测模型和所述目标分类模型构建所述人体预设行为的识别模型。 4.根据权利要求3所述的识别方法， 其特 征在于， 还 包括： 通过所述识别模型对输入的行人图像进行所述人体预设行为的分类识别， 以得到对应 的识别结果。 5.根据权利要求2所述的识别方法， 其特 征在于， 所述第一预设损失函数为： Pt表示正样本的概率值， Lcls(Pt)表示Pt对应的第一预设损失函数值， 表示正负样本权　利　要　求　书 1/3 页 2 CN 115147933 A 2损失的调节因子， 表示损失权 重调节因子 。 6.根据权利要求2所述的识别方法， 其特 征在于， 所述第二预设损失函数为： 为所述第二预设损失函数， 为边界框回归损失， xn表示每个样本的输出值， yn 表示每个样本的真实标签值， n表示样本总量， 表示广义交并比， 为所述广 义 交并比的损失函数， A为预测框， B为真实框， C为包 含A与B的最小框 。 7.根据权利要求2所述的识别方法， 其特征在于， 所述对所述第 一预设损失函数值和所 述对应的第二预设损失函数值进 行加权， 以得到加权后的总损失值的步骤中对应的加权公 式为： Lcls表示所述第一预设损失函数值， 为所述对应的第二预设损失函数值， Loss表示 所述加权后的总损失值， a为 量纲权重值。 8.一种人体预设行为的识别装置， 其特 征在于， 包括： 图像集获取 单元， 用于获取包 含所述人体预设行为的第一行 人图像集； 第一标记单元， 用于对所述第 一行人图像集中的每张行人图像的第 一预设目标区域进 行标记， 得到标记后的第一数据集， 所述标记包括对应行 人的人体预设行为信息； 检测模型生成单元， 用于基于所述第一数据集， 对行人的第一预设目标区域进行检测 训练， 以生成人体的第一预设目标区域的检测模型； 图像集生成单元， 用于在所述标记后的第一数据集中， 针对每张行人图像的第一预设 目标区域对应的图像以及标记信息进行提取， 得到第二行 人图像集； 第二标记单元， 用于在所述第二行人图像集中， 针对每张行人图像的第二预设目标区 域进行标记， 得到第二数据集， 所述第二预设目标区域在所述第一预设目标区域内； 分类模型生成单元， 用于基于所述第二数据集， 采用结构重参数化模型对所述人体预 设行为进行分类 检测训练， 以生成所述人体预设行为的分类模型； 识别模型生成单元， 根据所述检测模型以及所述分类模型构建所述人体预设行为的识 别模型。 9.一种设备终端， 其特征在于， 所述设备终端包括处理器和存储器， 所述存储器用于存 储计算机程序， 所述处理器运行所述计算机程序以使 所述设备终端 执行权利要求1至7中任权　利　要　求　书 2/3 页 3 CN 115147933 A 3