(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211215209.0 (22)申请日 2022.09.30 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 王莹桂　王力　王磊　 (74)专利代理 机构 北京永新同创知识产权代理 有限公司 1 1376 专利代理师 林锦辉　刘景峰 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 图像数据的处理和识别、 图像识别模 型训练 的方法及装置 (57)摘要 本说明书的实施例提供图像数据的处理和 识别、 图像识别模型训练的方法及装置。 在进行 图像数据处理时， 对图像数据进行基于频域变换 的数据脱敏处理， 以得到图像数据的脱敏图像数 据， 所得到的脱敏图像数据包括子图数据集合， 子图数据集合中的每个子图数据对应不同频率。 随后， 对所得到的脱 敏图像数据进行基于数据增 强的图像混合处理， 以得到经过数据增强后的脱 敏图像数据。 可选地， 对经过数据增强后的脱敏 图像数据中的每个子图数据进行图大小对齐处 理， 以使得经过图大小对齐处理后的每个子图数 据的大小与原 始图像数据的大小相同。 权利要求书4页 说明书20页 附图12页 CN 115497141 A 2022.12.20 CN 115497141 A 1.一种用于图像数据处 理的方法， 包括： 对图像数据进行基于频域变换的数据脱敏处理， 以得到所述图像数据的脱敏图像数 据， 所述脱敏图像数据包括子图数据集合， 所述子图数据集合中的每个子图数据对应不同 频率； 以及 对所得到的脱敏图像数据中的子图数据进行基于数据增强的图像混合处理， 以得到经 过数据增强后的脱敏图像数据。 2.如权利要求1所述的方法， 其中， 所述数据增强包括下述数据增强中的一种： Mixup数据增强； 和 Instahide 数据增强。 3.如权利 要求2所述的方法， 其中， 所述数据增强包括Mixup数据增强， 用于混合处理的 图像个数为k， 以及混合图像的最大权 重系数为 Wmax， 对所得到的脱敏图像数据中的子图数据进行基于数据增强的图像混合处 理包括： 对所述脱敏图像数据的子图数据集 合进行k‑1次打乱处 理， 以得到k个子图数据集 合； 基于所得到的k个子图数据集合， 构建大小为m*k的图像超矩阵， 所述 图像超矩阵中的 第一列对应原 始子图数据集 合， 以及m为原 始子图数据集 合中的子图数据的个数； 为所述图像超矩阵中的每 个图像随机生成权 重系数； 对所述图像超矩阵中的图像的权重系数进行行归一化， 使得每行图像的权重系数的和 为1， 并且每 个图像的权 重系数不大于Wmax； 以及 对所述图像超矩阵的每行图像进行加权求和， 得到大小为m*1的混合图像超矩阵， 所述 混合图像超矩阵中的图像为经 过数据增强后的脱敏图像数据。 4.如权利要求3所述的方法， 其中， 所述 Wmax的取值为0.55， 以及所述 k的取值为3。 5.如权利要求1所述的方法， 还 包括： 对经过数据增强后的脱敏图像数据中的每个子图数据进行图大小对齐处理， 以使得经 过图大小对齐处 理后的每 个子图数据的大小与原 始图像数据的大小相同。 6.如权利要求1所述的方法， 其中， 对图像数据进行基于频域变换的数据脱敏处理包 括： 对所述图像数据进行局部频域变换处理， 以得到至少一个特征图， 每个特征图包括多 个元素并且对应所述图像数据中的一个数据块， 每 个元素对应频域中的一个频率； 分别使用所述至少一个特征图中的各个频率所对应的元素， 构建各个频率所对应的频 率分量通道特征图； 以及 从所构建的频率分量通道特征图中筛选出至少一个目标频率分量通道特征图， 以得到 所述图像数据的脱敏图像数据， 所筛选出的目标频率分量通道特征图是图像识别的关键通 道特征。 7.如权利要求6所述的方法， 其中， 在从所构建的频率分量通道特征图中筛选出至少一 个目标频率分量 通道特征图后， 所述方法还 包括： 对所述目标 频率分量 通道特征图进行第一次洗牌处 理， 以得到第一洗牌特 征图； 以及 对所述第一洗牌特 征图进行归一 化处理， 得到所述图像数据的脱敏图像数据。 8.如权利要求6所述的方法， 其中， 从所构建的频率分量通道特征图中筛选出至少一个 目标频率分量 通道特征图包括：权　利　要　求　书 1/4 页 2 CN 115497141 A 2基于通道重要性或者基于预设筛选规则， 从所构建的频率分量通道特征图中筛选出至 少一个目标 频率分量 通道特征图。 9.如权利要求7所述的方法， 其中， 在对所述第一洗牌特征图进行归一化处理后， 所述 方法还包括： 对经过归一化处理后的第一洗牌特 征图进行通道混合处 理； 对经过通道混合处理后的第 一洗牌特征图进行第 二次洗牌处理， 以得到第 二洗牌特征 图； 以及 对所述第二洗牌特 征图进行归一 化处理， 以得到所述图像数据的脱敏图像数据。 10.如权利要求9所述的方法， 其中， 所述目标频率分量通道特征图的数目为所述第一 特征数据的特 征维度加一， 对所述第一洗牌特 征图进行通道混合处 理包括： 对所述第一洗牌特 征图中的两个相邻频率分量 通道特征图进行通道混合。 11.如权利要求1所述的方法， 其中， 所述图像数据包括人脸图像数据。 12.一种用于图像数据处 理的装置， 包括： 数据脱敏处理单元， 对图像数据进行基于频域变换的数据脱敏处理， 以得到所述图像 数据的脱敏图像数据， 所述脱敏图像数据包括子图数据集合， 所述子图数据集合中的每个 子图数据对应不同频率； 以及 图像混合处理单元， 对所得到的脱敏图像数据中的子图数据进行基于数据增强的图像 混合处理， 以得到经 过数据增强后的脱敏图像数据。 13.一种用于图像识别模型的训练方法， 所述训练方法包括： 获取充当训练样本的图像数据及其标签； 使用如权利要求1 ‑11中任一项所述的方法处理所述图像数据， 获得所述图像数据的经 过数据增强后的脱敏图像数据， 所述经过数据增强后的脱敏图像数据包括子图数据集合， 各个子图数据分别具有权 重系数； 使用各个脱敏图像数据中的各个子图数据的权重系数， 对各个脱敏图像数据中的各个 子图数据的对应标签进行 标签混合处 理； 以及 使用所述脱敏图像数据的各个子图数据及其经过标签混合处理后的标签来训练图像 识别模型。 14.如权利要求13所述的训练方法， 其中， 在参与图像混合处理 的子图数据来自同一分 类时， 将参与图像混合处理的各个子图数据的标签保持不变， 以及在参与图像混合处理的 子图数据中的至少部分子图数据来自不同分类时， 将各个子图数据的标签中的非零值调整 为k个非零值， 每个非零值对应一个子图数据的权 重系数。 15.根据权利要求13所述的训练方法， 其中， 所述图像数据包括人脸图像数据， 以及所 述标签或者所述识别结果指示人脸对应的身份信息； 所述图像识别模型用于基于所述图像数据的脱敏图像数据来预测所述图像数据的特 征向量表征， 并基于所 预测的特 征向量表征确定识别结果。 16.一种用于图像识别模型的训练装置， 包括： 训练数据获取 单元， 获取充当训练样本的图像数据及其标签； 图像处理单元， 使用如权利要求1 ‑11任一项所述的方法处理所述图像数据， 获得所述权　利　要　求　书 2/4 页 3 CN 115497141 A 3