(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210826932.6 (22)申请日 2022.07.13 (71)申请人 深圳市腾讯计算机系统有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 申请人 香港中文大 学 （深圳） (72)发明人 朱明丽　陈思宏　吴保元　朱梓豪　 陈宸　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理模 型的训练方法、 使用方法、 装置、 设备及介质 (57)摘要 本申请公开了一种图像处理模型的训练方 法、 使用方法、 装置、 设备及介质， 属于人工智能 领域。 图像处理模型是支持n输入n输出的集成模 型， n为大于1的整数， 方法包括： 获取基础训练 集， 基础训练集包括n个输入图像和与n个输入图 像对应的n个标签信息； 将n个输入图像输入图像 处理模型， 得到n个预测信息和第一混合特征表 示； 以及， 将n个增广图像输入图像处理模型， 得 到第二混合特征表示； 基于n个预测 信息和n个标 签信息确定预测误差损失； 以及， 基于第一混合 特征表示和第二混合特征表示确定自监督学习 损失； 基于预测误差损失和自监督学习损失， 对 图像处理模 型的模型参数进行训练。 上述方案可 以增强图像处 理模型的特 征提取能力。 权利要求书4页 说明书25页 附图9页 CN 115115910 A 2022.09.27 CN 115115910 A 1.一种图像处理模型的训练方法， 其特征在于， 所述图像处理模型是支持n输入n输出 的集成模型， n 为大于1的整数， 所述方法包括： 获取基础训练集， 所述基础训练集包括n个输入图像和与所述n个输入图像对应的n个 标签信息； 将所述n个输入图像输入所述图像处理模型， 得到n个预测信息和第一混合特征表示； 以及， 将n个增广图像输入 所述图像处理模型， 得到第二混合特征表 示； 所述n个增广图像是 对所述n个输入图像进行增广得到的图像； 基于所述n个预测信息和所述n个标签信息确定预测误差损失； 以及， 基于所述第一混 合特征表示和所述第二混合特 征表示确定自监 督学习损失； 基于所述预测误差损失和所述自监督学习损失， 对所述图像处理模型的模型参数进行 训练。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述n个预测信 息和所述n个标签 信息确定预测误差损失， 包括： 基于所述n个预测信息和所述n个标签信息确定n个子损失； 基于所述n个子损失的加权 和确定所述预测误差损失； 所述n个子损失 中的第i个损失是基于第i个预测信息和第i个标 签信息确定的， i 为不大于n的整数； 所述基于所述第一混合特征表示和所述第二混合特征表示确定自监督学习损失， 包 括： 以提高所述第 一混合特征表示和所述第 二混合特征表示之间的相似度为目标， 计算所 述自监督学习损失。 3.根据权利要求2所述的方法， 其特征在于， 所述以提高所述第 一混合特征表示和所述 第二混合特 征表示之间的相似度为目标， 计算所述自监 督学习损失， 包括： 根据所述第 一混合特征表示的预定维度处的各特征值组成的第 一维度特征表示， 计算 所述第一混合特征表示对应的第一方差正则化项； 以及， 根据所述第二混合特征表示的预 定维度处的各特征值组成的第二 维度特征表示， 计算所述第二混合特征表示对应的第二方 差正则化项； 基于所述第 一混合特征表示的每一特征维度 下的第一子混合特征表示、 以及各所述第 一子混合特征表示的平均值， 确定所述第一混合特征表示对应的第一协方差正则化项； 以 及， 基于所述第二混合特征表示的每一特征维度下 的第二子混合特征表示、 以及各所述第 二子混合特 征表示的平均值， 确定所述第二混合特 征表示对应的第二协方差正则化项； 根据所述第 一混合特征表示的每一特征维度 下的第一子混合特征表示、 以及所述第 二 混合特征表示的同一特征维度下的第二子 混合特征表示进 行均方欧式距离计算， 确定不变 性项； 根据所述第一方差正则化项、 所述第 二方差正则化项、 所述第一协方差正则化项、 所述 第二协方差正则化项与所述 不变性项 进行加权平均值计算， 得到所述自监 督学习损失。 4.根据权利要求1至3任一所述的方法， 其特征在于， 所述图像处理模型包括n个特征提 取层、 共享网络层和n个预测层； 所述将所述 n个输入图像输入所述图像处 理模型， 得到n个预测信息， 包括： 将所述n个输入图像输入至所述n个特征提取层， 得到n个第一特征图； 所述n个输入图权　利　要　求　书 1/4 页 2 CN 115115910 A 2像和所述 n个特征提取层一 一对应； 将所述n个第一特 征图进行混合处 理后， 得到第一混合特 征图； 将所述第一混合特 征图输入所述共享网络层， 得到第一共享特 征图； 将所述第一共享特 征图输入至所述 n个预测层， 得到n个预测信息 。 5.根据权利要求1至3任一所述的方法， 其特征在于， 所述图像处理模型包括n个特征提 取层、 共享网络层和特 征映射层； 所述将所述 n个输入图像输入所述图像处 理模型， 得到n个第一混合特 征表示， 包括： 将所述n个输入图像输入至所述n个特征提取层， 得到n个第一特征图； 所述n个输入图 像和所述 n个特征提取层一 一对应； 将所述n个第一特 征图进行混合处 理后， 得到第一混合特 征图； 将所述第一混合特 征图输入所述共享网络层， 得到第一共享特 征图； 将所述第一共享特 征图输入至所述特 征映射层， 得到所述第一混合特 征表示。 6.根据权利要求4或5所述的方法， 其特征在于， 所述将所述n个第一特征图进行混合处 理后， 得到第一混合特 征图， 包括： 确定本次混合使用的二维掩码图； 通过所述二维掩码图将所述n个第一特征图中的不同图像区域进行拼接混合， 得到所 述第一混合特 征图。 7.根据权利要求1至3任一所述的方法， 其特征在于， 所述图像处理模型包括n个特征提 取层、 共享网络层和特 征映射层； 所述将n个增广图像输入所述图像处 理模型， 得到第二混合特 征表示， 包括： 将所述n个增广图像输入至所述n个特征提取层， 得到n个第二特征图； 所述n个增广图 像和所述 n个特征提取层一 一对应； 将所述n个第二特 征图进行混合处 理后， 得到第二混合特 征图； 将所述第二混合特 征图输入所述共享网络层， 得到第二共享特 征图； 将所述第二共享特 征图输入至所述特 征映射层， 得到所述第二混合特 征表示。 8.根据权利要求7所述的方法， 其特征在于， 所述将所述n个第二特征图进行混合处理 后， 得到第二混合特 征图， 包括： 确定本次混合使用的二维掩码图； 通过所述二维掩码图将所述n个第二特征图中的不同图像区域进行拼接混合， 得到所 述第二混合特 征图。 9.根据权利要求1至 3任一所述的方法， 其特 征在于， 所述方法还 包括： 将所述n个输入图像进行相同的几何变换， 得到所述 n个增广图像； 其中， 所述几何变换包括图像旋转、 图像翻转中的至少一种。 10.根据权利要求1至 3任一所述的方法， 其特 征在于， 所述方法还 包括： 获取增量训练集， 所述增量训练集包括： 新类型样本 图像和所述新类型样本 图像的标 签信息， 所述 新类型样本图像是新增图像 类型的样本图像； 在所述基础训练集中获取已有类型样本图像和所述已有类型样本图像的标签信息； 使用所述新类型样本 图像和所述已有类型样本 图像混合得到所述n个输入图像， 以及 使用所述新类型样本图像的标签信息和所述已有类型样本图像的标签信息 混合得到所述n权　利　要　求　书 2/4 页 3 CN 115115910 A 3