(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210429144.3 (22)申请日 2022.04.22 (71)申请人 腾讯医疗健康 （深圳） 有限公司 地址 518057 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 黄雅雯　郑冶枫　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 罗晓敏 (51)Int.Cl. G06T 3/00(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/772(2022.01) G06V 10/44(2022.01)G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种图像合成模型的确定方法和相关装置 (57)摘要 本申请公开了一种图像合成模型的确定方 法和相关装置， 可应用于云技术、 人工智能、 智慧 交通、 辅助 驾驶等各种场景。 该方法中， 通过训练 减少了第一模态和第二模态间的模态差异对图 像合成模型的影 响， 增强了跨模态 合成中有效特 征的可迁移性， 使得图像合 成模型在进行跨模态 图像合成例如基于第一模态的目标图像合成第 二模态的缺失图像时， 由于这两个模态下的特征 分布差异性很小， 图像合 成模型能够根据目标图 像的输出特征准确的转化出缺失图像的图像特 征， 从而合成得到更接近真实的缺失图像， 提高 了多模态场景 下的图像获取效率。 权利要求书3页 说明书17页 附图9页 CN 115131194 A 2022.09.30 CN 115131194 A 1.一种图像合成模型的确定方法， 其特 征在于， 所述方法包括： 获取训练样本对， 所述训练样本对包括第 一模态的第 一样本图像和第 二模态的第 二样 本图像； 将所述训练样本对输入初始合成模型， 所述初始合成模型包括用于输入所述第 一样本 图像的第一特征提取子模型和用于输入所述第二样本图像的第二特征提取子模型， 所述第 一特征提取子模 型包括N层第一卷积层， 所述第二特征提取子模型包括N层第二卷积层， N≥ 1； 根据第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征 分布上的分布差异， 构建第i个分布损失函数， 所述第一输出特征是根据所述第一样本图像 确定的， 所述第二输出 特征是根据所述第二样本图像确定的， i 为小于或等于N的正整数； 根据所述第i个分布损失函数， 通过最小化所述分布差异的优化目标调整所述第 i层第 一卷积层和所述第i层第二卷积层的层参数， 将所述初始 合成模型训练得到图像合成模型， 所述图像合成模型用于进行 所述第一模态与所述第二模态间的跨模态图像合成。 2.根据权利要求1所述的方法， 其特征在于， 所述根据第i层第一卷积层的第一输出特 征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异， 构建第i个分布损失函 数之前， 所述方法还 包括： 获取所述第i层第一卷积层的第一初始输出特征和所述第i层第二卷积层的第二初始 输出特征； 通过全局标准化将所述第 一初始输出特征映射到第 一图像尺寸下， 得到所述第 一初始 输出特征对应的所述第一输出特征； 通过全局标准化将所述第二初始输出特征映射到第二 图像尺寸下， 得到所述第二初始输出 特征对应的所述第二输出 特征。 3.根据权利要求1所述的方法， 其特征在于， 所述根据第i层第一卷积层的第一输出特 征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异， 构建第i个分布损失函 数， 包括： 通过将所述第 一输出特征和所述第 二输出特征映射到同一个特征空间中， 确定在特征 分布上的所述分布差异； 根据所述分布差异构建第i个分布损失函数。 4.根据权利 要求1所述的方法， 其特征在于， 当N≥2时， 所述第一输出特征为第i+1层第 一卷积层的输入特征， 所述第二输出特征为第i+1层第二卷积层的输入特征， 所述第i+1层 第一卷积层的输出特征的特征尺寸小于所述第一输出特征 的特征尺寸， 所述第i+1层第二 卷积层的输出 特征的特征尺寸小于所述第二输出 特征的特征尺寸。 5.根据权利要求4所述的方法， 其特征在于， 所述N层第 一卷积层和所述N层第 二卷积层 均与N个分布损失函数具有一一对应关系， 其中， 所述N个分布损失函数中的所述第i个 分布 损失函数对应于第i层第一卷积层和第i层第二卷积层； 所述根据所述第 i个分布损失函数， 通过最小化所述分布差异的优化目标调整所述第i 层第一卷积层和所述第i层第二卷积层的层参数， 将所述初始合成模型训练得到图像合成 模型， 包括： 根据所述N个分布损 失函数， 通过最小化所述分布差异 的优化目标调整所对应第一卷 积层和第二卷积层的层参数， 将所述初始合成模型训练得到图像合成模型。权　利　要　求　书 1/3 页 2 CN 115131194 A 26.根据权利要求1 ‑5任意一项所述的方法， 其特征在于， 在将所述初始合成模型训练得 到所述图像合成模型的过程中， 所述方法还 包括： 根据所述第i层第一卷积层对应的转换特征与所述第二输出特征间的特征差异， 构建 第i个关联损失函数， 其中， 所述转换特征是根据所述第一输出特征通过所对应映射矩阵转 换为对应所述第二模态的特 征； 根据所述第i个关联损 失函数， 通过最小化所述特征差异和所述映射矩阵的优化目标 调整所述第i层第一卷积层和所述第i层第二卷积层的层参数。 7.根据权利要求6所述的方法， 其特征在于， 当N≥2时， 所述N层第一卷积层和所述N层 第二卷积层均与N个关联损失函数具有一一对应关系， 其中， 所述N个关联损失函数中的所 述第i个关联损失函数对应于第i层第一卷积层和第i层第二卷积层； 在将所述初始合成模型训练得到所述图像合成模型的过程中， 所述根据所述第i个关 联损失函数， 通过最小化所述特征差异和所述映射矩阵的优化 目标调整所述第i层第一卷 积层和所述第i层第二卷积层的层参数， 包括： 根据所述N个关联损 失函数， 通过最小化所述特征差异和所述映射矩阵的优化目标调 整所对应第一卷积层和第二卷积层的层参数。 8.根据权利要求1所述的方法， 其特征在于， 所述训练样本对源自训练样本集合， 所述 训练样本集合中包括通过不同图像生成设备生成的样本图像， 所述样本图像中包括同一类 别的目标对象在不同状态下的图像。 9.根据权利要求1所述的方法， 其特征在于， 所述第 一样本图像和所述第 二样本图像是 基于同一个目标对象生成的。 10.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取目标对象的源 模态的目标图像； 根据所述目标图像， 通过 所述图像合成模型合成得到目标模态的缺失图像； 其中， 当所述源模态为所述第一模态时， 所述目标模态为所述第二模态， 或者， 当所述 源模态为所述第二模态时， 所述目标模态为所述第一模态。 11.根据权利要求10所述的方法， 其特征在于， 所述根据所述目标图像， 通过所述图像 合成模型合成得到目标模态的缺失图像， 包括： 将所述目标图像输入所述图像合成模型中所述源 模态对应的特 征提取子模型； 将所述源模态对应的特征提取子模型中第N层卷积层的目标输出特征， 转化为所述目 标模态的待合成特 征； 根据所述待合成特征， 通过所述目标模态对应的特征提取子模型中第N层卷积层的层 参数合成得到所述 缺失图像。 12.一种图像合成模型的确定装置， 其特 征在于， 所述装置包括： 样本对获取单元， 用于获取训练样本对， 所述训练样本对包括第一模态的第一样本 图 像和第二模态的第二样本图像； 样本对输入单元， 用于将所述训练样本对输入初始合成模型， 所述初始合成模型包括 用于输入所述第一样本图像的第一特征提取子模型和用于输入所述第二样本图像的第二 特征提取子模型， 所述第一特征提取子模型包括N层第一卷积层， 所述第二特征提取子模型 包括N层第二卷积层， N≥1；权　利　要　求　书 2/3 页 3 CN 115131194 A 3