(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210837004.X (22)申请日 2022.07.15 (71)申请人 北京爱奇艺科技有限公司 地址 100080 北京市海淀区海淀北一 街2号 11层1101 (72)发明人 郑义　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 韩月玲 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/40(2022.01) G06V 10/25(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06T 7/73(2017.01) (54)发明名称 对象识别及其模型构建方法、 装置、 设备和 存储介质 (57)摘要 本申请涉及一种对象识别及其模型构建方 法、 装置、 设备和存储介质， 涉及多媒体处理技术 领域。 该对象识别模型构建方法包括： 获取样本 集合； 将样本集合输入至初始对象识别模型， 对 初始对象识别模型的对象特征提取子模型和检 测子模型进行训练， 优化对象特征提取子模型和 检测子模型的第一网络参数， 固定识别子模型的 第二网络参数， 获得中间对象识别模型； 将样本 集合输入至中间对象识别模型， 固定中间对象识 别模型中的第一网络参数， 对中间对象识别模型 的识别子模 型进行训练， 优化识别子模型的第二 网络参数， 获得最终的对象识别模型。 本申请用 以解决对象识别过程中， 对象检测和对象识别分 别采用两 个不同的模型， 导 致计算冗余的问题。 权利要求书3页 说明书10页 附图6页 CN 115331070 A 2022.11.11 CN 115331070 A 1.一种对象识别模型构建方法， 其特 征在于， 包括： 获取样本集合， 其中， 所述样本集合中包括样本图像、 所述样本图像 中样本对象检测框 的位置信息以及所述样本图像中样本对象的类别； 将所述样本集合输入至初始对象识别模型， 对所述初始对象识别模型的对象特征提取 子模型和检测子模型进行训练， 优化所述对象特征提取子模型和所述检测子模型的第一网 络参数， 固定所述识别子模型 的第二网络参数， 获得中间对象识别模型， 其中， 所述初始对 象识别模型包括所述对 象特征提取子模型、 所述检测子模型和所述识别子模型， 所述对 象 特征提取子模型输出初始样本对象特征至所述检测子模型和所述识别子模 型， 所述检测子 模型输出 预测样本对象检测框的位置信息， 所述识别子模型输出 预测样本对象的类别； 将所述样本集合输入至所述中间对象识别模型， 固定所述中间对象识别模型中的所述 第一网络参数， 对所述中间对 象识别模型 的所述识别子模型进行训练， 优化所述识别子模 型的所述第二网络参数， 获得最终的对象识别模型。 2.根据权利要求1所述的对象识别模型构建方法， 其特征在于， 所述将所述样本集合输 入至初始对象识别模型， 对所述初始对象识别模型的对象特征提取子模型和检测子模型进 行训练， 优化所述对 象特征提取子模型和所述检测子模型 的第一网络参数， 固定所述识别 子模型的第二网络参数， 获得中间对象识别模型， 包括： 将所述样本图像输入至所述对象特征提取子模型， 获得所述对象特征提取子模型输出 的所述初始样本对象特 征； 将所述初始样本对象特征输入至所述检测子模型， 获得所述检测子模型输出的所述预 测样本对象检测框的位置信息； 根据所述样本对象检测框的位置信 息和所述预测样本对象检测框的位置信 息， 获得对 象检测损失； 根据所述对象检测损失， 优化所述第 一网络参数， 固定所述第二网络参数后， 返回执行 所述将所述样本图像输入至所述对象特征提取子模型的步骤， 直至所述对象检测损失趋于 稳定时， 将所述初始对象识别模型作为所述中间对象识别模型。 3.根据权利要求1所述的对象识别模型构建方法， 其特征在于， 所述将所述样本集合输 入至所述中间对 象识别模型， 固定所述中间对 象识别模型中的所述第一网络参数， 对所述 中间对象识别模型的所述识别子模型进行训练， 优化所述识别子模型的所述第二网络参 数， 获得最终的对象识别模型， 包括： 将所述样本图像输入至所述对象特征提取子模型， 获得所述对象特征提取子模型输出 的所述初始样本对象特 征； 将所述初始样本对象特征输入至所述识别 子模型， 获得所述识别子模型输出的所述预 测样本对象的类别； 根据所述样本对象的类别和所述预测样本对象的类别， 获取对象识别损失； 根据所述对象识别损失， 固定所述第 一网络参数， 优化所述第二网络参数后， 返回执行 所述将所述样本图像输入至所述对象特征提取子模型的步骤， 直至所述对象识别损失趋于 稳定时， 将所述中间对象识别模型作为 最终的对象识别模型。 4.根据权利要求2或3所述的对象识别模型构建方法， 其特征在于， 所述对象特征提取 子模型包括图像特 征提取层、 区域 生成网络层、 感兴趣区域池化层和识别网络层；权　利　要　求　书 1/3 页 2 CN 115331070 A 2所述将所述样本图像输入至所述对象特征提取子模型， 获得所述对象特征提取子模型 输出的所述初始样本对象特 征， 包括： 将所述样本图像输入至所述图像特征提取层， 获得所述图像特征提取层输出的所述样 本图像的特 征； 将所述样本图像的特征输入至所述 区域生成网络层， 获得所述 区域生成网络层输出的 初始预测样本对象检测框的位置信息； 将所述样本图像的特征和所述初始预测样本对象检测框的位置信息输入至所述感兴 趣区域池化层， 获得所述感兴趣区域池化层输出的预设尺寸的初始预测样本对象检测框内 部特征； 将所述初始预测样本对象检测框 内部特征输入至所述识别网络层， 获得所述识别网络 层输出的所述初始样本对象特 征。 5.根据权利要求1所述的对象识别模型构建方法， 其特征在于， 所述样本集合包括对象 检测样本集合和对 象识别样本集合， 其中， 所述对 象检测样本集合中包括第一样本图像和 所述第一样本图像中样本对象检测框的位置信息， 所述对象识别样本集合中包括第二样本 图像和所述第二样本图像中样本对象的类别； 所述将所述样本集合输入至初始对象识别模型， 包括： 将所述对象检测样本集合输入 至初始对象识别模型； 所述将所述样本集合输入至所述中间对象识别模型， 包括： 将所述对象识别样本集合 输入至所述中间对象识别模型。 6.一种对象识别方法， 其特 征在于， 包括： 获取待识别图像； 将所述待识别图像输入至预先训练 的对象识别模型， 获得所述对象识别模型输出的所 述待识别图像中对 象的类别以及对 象检测框的位置信息， 其中， 所述对 象识别模型为采用 权利要求1至 5任一项所述的方法构建得到 。 7.一种对象识别模型构建装置， 其特 征在于， 包括： 第一获取模块， 用于获取样本集合， 其中， 所述样本集合中包括样本图像、 所述样本图 像中样本对象检测框的位置信息以及所述样本图像中样本对象的类别； 第一处理模块， 用于将所述样本集合输入至初始对象识别模型， 对所述初始对象识别 模型的对象特征提取子模型和检测子模型进 行训练， 优化所述对象特征提取子模型和所述 检测子模型 的第一网络参数， 固定所述识别子模型 的第二网络参数， 获得中间对 象识别模 型， 其中， 所述初始对象识别模型包括所述对象特征提取子模 型、 所述检测子模 型和所述识 别子模型， 所述对象特征提取子模型输出初始样本对象特征至所述检测子模型和所述识别 子模型， 所述检测子模型输出预测样本对 象检测框的位置信息， 所述识别子模型输出预测 样本对象的类别； 第二处理模块， 用于将所述样本集合输入至所述中间对象识别模型， 固定所述中间对 象识别模型中的所述第一网络参数， 对所述中间对象识别模型的所述识别子模型进行训 练， 优化所述识别子模型的所述第二网络参数， 获得最终的对象识别模型。 8.一种对象识别装置， 其特 征在于， 包括： 第二获取模块， 用于获取待识别图像；权　利　要　求　书 2/3 页 3 CN 115331070 A 3