(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210454742.6 (22)申请日 2022.04.27 (71)申请人 东南大学 地址 211102 江苏省南京市江宁区东 南大 学路2号 (72)发明人 李春国　刘茵茵　杨绿溪　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 孙建朋 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多流特征融合的摩尔纹图像识别 方法 (57)摘要 本发明提供了一种基于多流特征融合的摩 尔纹识别方法， 属于图像识别领域。 本发明自制 数据集， 以U ‑Net、 VGG和ResNet34作为基础特征 提取网络， 辅助传统的特征提取， 包 括HOG、 LBP和 DCT， 通过融合多流特征， 将不同特征提取网络获 取的特征进行混合， 以此增强网络的语义信息表 达能力。 为了模型有更好的泛化能力， 使用随机 加噪的数据增强方式。 本发明不仅可以提取最具 表达力的特征， 还能在传统特征提取算法辅助下 提高网络的准确率， 对于多种摩尔纹图像实现精 准检测。 权利要求书2页 说明书5页 附图3页 CN 114782706 A 2022.07.22 CN 114782706 A 1.一种基于多流特 征融合的摩尔纹图像识别方法， 其特 征在于， 具体包括如下步骤： 步骤1、 制作数据集， 包括摩尔纹图片和干净图片一共A张， 以及每张图片对应的标签， 所述标签指示图片是否为摩尔纹图片， 其中B张用于训练网络参数， 剩余C张用于测试网络 效果,其中A＝B+C； 步骤2、 分别使用特征提取网络U ‑Net、 VGG19和ResNet34提取图像特征， 通过特征融合 综合不同网络的特征提取结果； 然后采用迁移学习， 在特征提取网络U ‑Net、 VGG19和 ResNet34训练基础上， 训练后续的预测网络， 当损失收敛后保存模 型， 对图片是否为摩尔纹 图像给出概率； 步骤3、 分别 使用HOG、 LBP以及DCT算法提取图像特征， 对图片是否为摩尔纹图像给出概 率； 步骤4、 将步骤2与步骤3对图片是否为摩尔纹图像给出概率进行加权平均， 给出最终的 概率， 最终判断图像是否为摩尔纹图像。 2.根据权利要求1所述的基于多流特征融合的摩尔纹图像识别， 其特征在于， 从数据集 中挑选A张图像， 为了让网络区分摩尔纹而非图像背景， A张图像包括了 张摩尔纹图像和 张对应的干净图像， 网络在训练过程中能区分互相对应的图像对， 即便二者拥有相同的背 景内容。 3.根据权利要求1所述的基于多流特征融合的摩尔纹图像识别， 其特征在于， 步骤2具 体包括以下内容： 步骤2.1、 分别训练特征提取网络U ‑Net、 VGG19和ResNet34， 使得每个特征提取网络U ‑ Net、 VGG19和ResNet34都以95％以上的正确率区分摩尔纹图片和干净图片； 步骤2.2、 迁移特征提取网络U ‑Net、 VGG19和ResNet34 的特征提取部分的参数， 对特征 提取网络U ‑Net、 VGG19和ResNet34输出的特征 向量进行交叉混合， 然后将混合后的特征 向 量输入到全连接网络中， 预测图像是否属于摩尔纹图像。 4.根据权利要求1所述的基于多流特征融合的摩尔纹图像识别， 其特征在于， 步骤3具 体包括以下内容： 分别使用HOG算法提取图片的梯度特征， 使用LBP算法提取图片的纹理特征， 使用DCT算 法提取图像的频率特征， 提取出 的三种特征采用特征级联 的方式， 然后输入三层卷积层融 合特征， 最后输入 全连接层， 预测图像是否属于摩尔纹图像。 5.根据权利要求3所述的基于多流特征融合的摩尔纹图像识别， 其特征在于， 步骤2.2 具体包括以下内容： 特征提取网络U ‑Net、 VGG19和ResNet34分别提取到大小为M的特征向量X、 Y和Z； 对这三 组特征向量采取权重相加法融合特征， 为多组特征描述向量赋予不同权重系 数， 数学表达 式为： G表示三路特征提取网络融合后的特征描述矩阵， ω1、 ω2和ω3表示混合特征描述矩阵 的B(X， Y)、 B(Y， Z)和B(Z， X)相对权重， 融合后的特征描述符再使用全 连接层提炼特征， 判断 是否属于摩尔纹图像； 全连接层输出[a， b]， a代表是摩尔纹图像， b代表不是摩尔纹图像， a>＝b就是摩尔纹图权　利　要　求　书 1/2 页 2 CN 114782706 A 2像， a<b不是摩尔纹图像。 6.根据权利要求5所述的基于多流特征融合的摩尔纹图像识别， 其特征在于， 步骤3具 体包括以下内容： 算法HOG提取的特征H∈RH×W、 算法LBP提取 的特征L∈RH×W、 算法DCT提取的特征D∈RH×W 使用特征级联方式进 行特征融合， 直接在深度上拼接三张特征图， 融合后特征图表示为[ H， L， D]∈RH×W×3， 随后使用三层卷积层融合特 征， 使用三层全连接层输出识别结果。权　利　要　求　书 2/2 页 3 CN 114782706 A 3