(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210209875.7 (22)申请日 2022.03.03 (71)申请人 山东大学 地址 264200 山东省威海市文化西路180号 (72)发明人 王帅　程志明　颜成钢　 (74)专利代理 机构 威海科星专利事务所 37202 专利代理师 初姣姣 (51)Int.Cl. G06V 10/774(2022.01) G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06F 16/953(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于深度联合语义的无监督多源领域自适 应方法 (57)摘要 本发明涉及图像 分类技术领域， 具体涉及一 种基于深度联合语义最大均值差异度量指标的 无监督多源领域自适应方法， 其特征在于， 包括： 获取不同来源的样本图像， 并对数据进行预处 理； 建立无监督多源领域自适应网络模型， 引入 联合语义最大平均差异JSMMD， 以对齐条件分布 和联合分布学习到的跨域特征， 所述无监督多源 领域自适应网络模型包含公共特征提取器、 任务 特定层以及任务分类层； 训练无监督多源领域自 适应模型； 利用训练后的无监督多源 领域自适应 模型获取目标域样本的分类结果。 权利要求书3页 说明书6页 附图2页 CN 114821219 A 2022.07.29 CN 114821219 A 1.一种基于深度联合语义的无监督多源领域自适应方法适应方法， 其特征在于， 包括 以下步骤： 步骤1： 获取不同来源的训练样本图像， 并对数据进行 预处理； 步骤2： 建立无监督多源领域自适应网络模型， 引入联合语义最大平均差异 JSMMD， 以对 齐条件分布和联合分布学习到的跨 域特征， 所述无监督多源领域自适应网络模型包含公共特征提取器、 任务特定层以及任务分类 层， 其中公共特征提取器用于将所有的源域和目标域映射到一个公共特征 空间中用于公共 领域不变表示， 任务特定层用于将公共特征空间中的公共特征映射到任务特定层学习每个 源域和目标域的特定特征， 任务分类层， 用于输出源域和目标域的类别概率值； 所述的任务 特定层由两个部分组成： (1)1 ×1的卷积层 用来将n个源域的公共特征映射到任务特定 层， 并降维到256； (2)全连接层 用来对n个源域通过1 ×1的卷积层后的特征 进一步提取， 使任务特定特征停留在多个全连接层上； 一致性正则化项Ldisc用于对约束目 标域在多个分类 器上输出一 致从而避免了人为依靠经验设置投票 函数； 步骤3： 训练无监 督多源领域自适应模型； 步骤4： 利用训练后的无监 督多源领域自适应模型获取目标域样本的分类结果。 2.根据权利要求1所述的一种基于深度联合语义的无监督多源领域自适应方法， 其特 征在于， 步骤2中所述无监 督多源领域自适应模型定义如下： 其中， 表示第k个源域服从的分布， Pt表示目标域服从的分布； L表示任务特定层的个 数； Ec表示每个类的数学期望； c表示类别； 和 分别表示第k个源域所属分布中属于 相似类别c中的子分布和目标域中属于相似类别的子分布； 表示第 个任务特定层； 分 别 表 示 从 源 域 和 目 标 域 获 得 的 第 个 任 务 特 定 层 的 特 征 ； 是乘积希尔伯特空间中的特征映射图； 表示L个相乘的希尔伯特空间； 为了量化语义上相似的样本， 使用源域和目标域的输出概率值作为后验概率来寻找具 有相似类别的特 征， 则 的无偏估计定义如下：权　利　要　求　书 1/3 页 2 CN 114821219 A 2其中 和 分别表示源域的真实标签ys属于第c类的one ‑hot概率值和网络输出 的目标域伪标签yt的第c类概 率值， 定义如下： 由于特征映射函数φ被赋予高斯核函数， 变量Z被映射到无 限维， 导致φ(Z)没法被计 算， 实际计算中引入内积来计算， 上式的无偏估计定义如下： 。 3.根据权利要求1所述的一种基于深度联合语义的无监督多元领域自适应方法， 其特 征在于， 步骤3中训练无监督多源领域自适应模型时， 无监督多源领域自适应模 型的训练总 体损失如下： 其中Lcls表示用于在源域中监 督分类器的交叉熵损失， 定义如下： 是用于统计跨域的具有相似语义数据的联合分布差异， 如上式所示； Ldisc是约 束目标域在不同源域分类 器上输出一 致， 定义如下：权　利　要　求　书 2/3 页 3 CN 114821219 A 3