(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210193445.0 (22)申请日 2022.02.28 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 池明旻　彭博　邱亦宁　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 王洁平 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像和近红外光谱信号的深度多模态 纤维识别方法 (57)摘要 本发明公开了一种基于图像和近红外光谱 信号的深度多模态纤维识别方法。 该方法包括以 下步骤： （1） 获取纺织品的图像和近红外光谱信 号； （2） 将图像数据处理成局部切片后利用深度 自注意力网络提取子图像的视觉序列； （3） 对近 红外光谱数据进行处理后， 用多分支深度卷积网 络获得分层的近红外特征； （4） 基于图像和信号 相关注意力模块， 通过一个评分模块对图像和近 红外信号的顺序特征进行匹配， 通过参数分离的 双向特征一致性模块， 捕捉信号到图像和图像到 信号特征之间两个方向的关联性， 获得融合特 征； （5） 对融合特征编码； （6） 进行分类和损失计 算； 本发明能识别具有类似纹理特征、 具有类似 近红外光谱曲线的纺织品， 识别精度高。 权利要求书3页 说明书8页 附图1页 CN 114595752 A 2022.06.07 CN 114595752 A 1.一种基于图像和近红外光谱信号数据的深度多模态纺织品纤维识别方法， 其特征在 于， 包括如下步骤： (1)获取纺织品的图像和近红外光谱信号； (2)将图像数据处 理成局部切片， 对图像的局部切片进行编码计算； (3)对近红外光谱数据进行处 理和编码； (4)进行多模态特 征维度处 理和特征融合； (5)进行融合特 征编码过程； (6)进行分类和损失计算。 2.根据权利要求1所述的识别方法， 其特征在于， 步骤(2)中， 将源图像xi∈RH×W×C转换成 二维补丁 其中R代表特征的维度， N为一维特征图的通道数， w和H是特征图的 长度和宽度， C是通道的数量， P是补丁的大小； 用一个1×1的卷积嵌入层将斑块和地图扁平化为D维， 从而得到一个大小不变的局部 特征； 应用标准的自注意力网络架构作为块， 它由多头自注意力层和多层感知机层交替层组 成， 在每个块之前应用标准 化层进行处 理， 整个编码表示 为： Ql＝MSA(LN(Ql‑1))+Ql‑1， Ql+1＝MLP(LN(Ql))+Ql. 表示一个位置嵌入向量， 它被添加到补丁嵌入中以保留位置信息， MLP 为多层感知机层， Q0为首层编码后的输出， Ql为第1层编码后的输出； MSA为多头自注意力 机 制层中的自注意力， 计算过程如下： 其中： Q、 K、 V分别是输入向量图像视觉向量x与Wq、 Wk、 Wv三个权重相乘得到的可学习变 量， 然后定义h组自注意力对结果进行拼接获得最终向量。 3.根据权利要求1所述的识别方法， 其特征在于， 步骤(3)中， 利用多分支深度 卷积网络 得近红外光谱层次谱特征， 即层次化的融合 特征P∈RN×T， 其中N为一维特征图的通道数， T为 每个融合特 征的维度。 4.根据权利要求1所述的识别方法， 其特征在于， 步骤(3)中， 利用两个卷积残差网络， 两个卷积残差网络的卷积核分别为3 ×1和5×1。 5.根据权利要求1所述的识别方法， 其特征在于， 步骤(4)中， 首先通过线性函数投影层 将图像视觉特征向量Q∈RN×D转换到与近红外光谱层次谱特征向量P∈RN×T相同的特征维 度， 得到 然后将两个模态的特 征进行特征融合； 具体如下： ①基于硬评分模块进行相关性挖掘， 对图像和近红外信号的顺序特 征进行匹配； 对于每个近红外特征Pi∈RT(i＝1...， N)， 硬评分模块的目标是硬评分挖掘出最相关的 视觉特征序列 权　利　要　求　书 1/3 页 2 CN 114595752 A 2先定义一个相关性嵌入矩阵H∈RT×T， 表示为： 其中i和j是每个近红外光谱特征和图像视觉特征的序号， ||  ||为一阶范数， Hi， j为相 应i， j序号下获得的相关性矩阵。 接着， 利用硬性评分机制来计算 最相关的指数： 其中Hi为相关性矩阵， ri为获得的索引。 基于获得的索引值， 近红外特征Pi对应的最相 关图像视 觉特征可以表示 为 ②基于双向特 征一致性模块来进一步匹配相关的特 征； 双向特征一致性模块用于优化特征融合过程， 其为每个嵌入提供一个关注权重， 它包 含两个方向， 包括： 近红外光谱层次谱 特征向量P 到图像视觉特征向量Q， 图像视觉特征向量 Q到近红外光谱层次谱特 征向量P； 定义两个全局相似性矩阵， 表示 为： H和U的表示方式为： H＝[Pi； Pi⊙Qj]， U＝[Qj； Pi⊙Qj]， 其中ws， wm∈R2T是两个方向上特征转移的独立可学参数， P， Q∈RT分别为近红外光谱特 征和图像视 觉特征， [； ]表示 跨行连接，⊙是元素对应位置乘法； 计算出从P到Q的软权重， 随后在Q的每个位置上进行关注， 得到从P到Q的注意权重， 处 理过程表示 为： aj＝softmax(Si)， 其中Si为获得的权 重矩阵， softmax函数获得归一 化结果， aj为概率值； 同样的， 得到从Q到P的注意权 重， 处理过程表示 为： bi＝softmax(Mj). 最后， 将P和Q的每个位置的加权向量连接起来， 得到融合特征 6.根据权利要求1所述的识别方法， 其特征在于， 步骤(5)中， 定义C＝{ck∈RD， k＝ 1， ...， K}表 示一组可学习的聚类中心权重， 通过对残余误差向量应用softmax， 计算出软直 方图H∈RK×D， 具体表示方法为：权　利　要　求　书 2/3 页 3 CN 114595752 A 3