(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210442703.4 (22)申请日 2022.04.25 (71)申请人 广西财经 学院 地址 530001 广西壮 族自治区南宁市西乡 塘区明秀西路10 0号 (72)发明人 李云　王学军　井佩光　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 袁蕾 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度多模态特征融合的时尚兼容度分 析方法和系统 (57)摘要 本申请公开了基于深度多模态特征融合的 时尚兼容度分析方法和系统， 通过样本特征提取 网络， 基于Resnet ‑18的视觉特征提取网络， 提取 视觉特征和基于独热编码的文本特征提取网络， 处理文本数据； 在提取特征后将特征进行融合， 所用方法分别为基于注意力机制的视觉特征和 文本特征融合网络， 将提取的视觉特征和文本特 征融合和基于注意力机制的视觉特征自我注意 网络， 加强视觉模态的特征表达； 然后使用基于 多层映射的特征表示网络将融合特征映射到多 模态向量空间之中； 最后使用基于融合特征兼容 度计算网络， 在多模态向量空间中拉近融合特征 正对距离， 扩大负对距离。 在本申请中， 能够合理 的匹配时尚单品， 提高时尚单品匹配结果的准确 率。 权利要求书2页 说明书8页 附图2页 CN 114758149 A 2022.07.15 CN 114758149 A 1.基于深度多模态特 征融合的时尚兼容度分析 方法， 其特 征在于， 采集待测数据样本集； 基于所述待测数据样本集， 对所述待测数据样本集进行样本特征提取网络训练， 获取 所述待测数据样本集内的待测数据样本特 征； 基于所述待测数据样本特征进行特征融合网络训练， 获取所述待测数据样本特征的模 态特征表达数据； 基于所述模态特征表达数据， 进行多层映射的特征表示网络训练， 获取所述模态特征 表达数据多层映射特 征数据； 基于所述多层映射特征数据， 进行融合特征兼容度计算网络训练， 获取所述模态特征 表达数据的多模态特 征融合的时尚兼容度分析 结果。 2.根据权利要求1所述的基于深度多模态特征融合的时尚兼容度分析方法， 其特征在 于， 所述样本特 征提取网络的训练方法包括： 采用Resnet ‑18提取时尚单品视觉特征， 将最后一层的网络输出结果作为时尚单品的 特征表达； 采用独热编码的方式将文本描述信息建立词汇 表。 3.根据权利要求1所述的基于深度多模态特征融合的时尚兼容度分析方法， 其特征在 于， 所述特征融合网络的训练方法包括： 采用注意力网络对 模态特征进行学习。 4.根据权利要求3所述的基于深度多模态特征融合的时尚兼容度分析方法， 其特征在 于， 所述模态特 征包括文本模态和视 觉模态。 5.根据权利要求4所述的基于深度多模态特征融合的时尚兼容度分析方法， 其特征在 于， 从视觉模态到文本模态的转换 可以表示 为： 其中α 表示文本模态， β 表示 为视觉模态， 两个模态的特 征矩阵分别表示 为 和 Querys矩阵定义 为 Keys矩阵定义 为 和Values矩阵定义 为 其中的 和 是权重， 为可学习的超参数； 经过所述注意力机制得到的特 征Yα和原始模态的特 征Xβ相加得到特 征Fa： Fa＝Yα+Xβ权　利　要　求　书 1/2 页 2 CN 114758149 A 2在得到文本模态α和视觉模态β 的跨模态的加和融合特征后， 同时还通过视觉模态自身 的注意力机制网络来加强视觉特征 的表达能力， 其过程与跨模态注意力机制相同， 即将两 个视觉特征进行注意力机制的计算， 并将得到的特征定义为Sβ， 通过残差结构， 原始特征和 自注意力机制得到的视 觉特征加和得到特 征Fb： Fb＝Sβ+Xβ。 6.根据权利要求5所述的基于深度多模态特征融合的时尚兼容度分析方法， 其特征在 于， 所述多层映射特 征表示网络的训练方法包括： 对特征Fa和特征Fb进行特征融合， 首先将两个特征进行串联， 将串联后 的特征表示为 Fconc； 然后通过多层感知机得到多模态融合模块的最终的特 征表示结果： F＝σ(WoFconc+bo) 其中， F为多模态融合模块最终的特征表示， Wo和bo为该网络的参数， σ 为非线性的激活 函数。 7.根据权利要求1所述的基于深度多模态特征融合的时尚兼容度分析方法， 其特征在 于， 所述融合特征兼容度计算网络的训练方法包括： 在多模态向量空间之中， 使用距离度 量作为融合特 征的兼容度衡量标准。 8.基于深度多模态特 征融合的时尚兼容度分析系统， 其特 征在于， 包括： 采集模块、 样本特征提取模块、 模态特征表达模块、 多层映射特征模块和多模态 特征融合兼容度分析模块； 所述采集模块用于采集待测数据样本集； 所述样本特征提取模块用于基于所述待测数据样本集， 对所述待测数据样本集进行样 本特征提取网络训练， 获取 所述待测数据样本集内的待测数据样本特 征； 所述模态特征表达模块用于基于所述待测数据样本特征进行特征融合网络训练， 获取 所述待测数据样本特 征的模态特 征表达数据； 所述多层映射特征模块用于基于所述模态特征表达数据， 进行多层映射的特征表示网 络训练， 获取 所述模态特 征表达数据多层映射特 征数据； 所述多模态特征融合兼容度分析模块用于基于所述多层映射特征数据， 进行融合特征 兼容度计算网络训练， 获取所述模态特征表达数据的多模态特征融合的时尚兼容度分析结 果。权　利　要　求　书 2/2 页 3 CN 114758149 A 3