(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210182078.4 (22)申请日 2022.02.25 (71)申请人 浙江大学医学院附属儿童医院 地址 310052 浙江省杭州市滨江区滨 盛路 3333号 (72)发明人 方美新　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 韩迎之 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多模态密集融合传递的婴儿脑组织分 割智能识别方法 (57)摘要 本发明公开了一种基于多模态密集融合传 递的婴儿脑组织分割智能识别方法， 涉及深度学 习领域。 本发明主要包括构建卷积神经网络， 其 中特征编码包括两个孪生网络， 网络框架采用 ResNet34架构， 使用5个卷积块组成的卷积神经 网络特征提取部分， 且编码阶段在每两个相邻的 卷积块之间部署多模态融合探索模块， 用来探索 更有效的融合特征； 特征解码阶段同样包括5个 卷积块， 且每两个相邻的卷积块之间部署特征增 强模块来对融合特征进行增强处理； 同时编码过 程中， 5个卷积块采用密集连接的方式逐层向上 传递， 以实现高层监督底层的效果， 最后输出婴 儿脑组织分割图。 本发明提高了婴儿脑组织分割 智能辅助诊 疗的效率和准确度。 权利要求书1页 说明书7页 附图2页 CN 114549491 A 2022.05.27 CN 114549491 A 1.一种基于多模态密集融合传递的婴儿脑组织分割智能识别方法， 其特征在于， 包括 以下步骤： 获取训练集， 所述训练集包括第一核磁共 振成像和第二核磁共 振成像； 构建卷积神经网络， 所述卷积神经网络利用多模态深度融合， 密集提取多样化的融合 信息； 将所述训练集输入到所述卷积神经网络中， 多次训练得到卷积神经网络模型； 将待分 割影像输入到所述卷积神经网络模型中， 得到分割灰度图。 2.根据权利要求1所述的一种基于多模态密集融合传递的婴儿脑组织分割智能识别方 法， 其特征在于， 还包括采用损失函数对卷积神经网络进行损失计算， 所述损失函数采用二 元交叉熵损失BC E。 3.根据权利要求1所述的一种基于多模态密集融合传递的婴儿脑组织分割智能识别方 法， 其特征在于， 在所述卷积神经网络的编码阶段， 采用的数据集是双模态数据集； 其中每 个模态的特征编码阶段的第1个卷积块、 第2个卷积块、 第3个卷积块、 第4个卷积块和第5个 卷积块依次连接； 还设置有四个多模态深度融合探索模块， 其中第1个多模态深度融合探索 模块部署在第1个卷积块、 第2个卷积块之间， 第2个多模态深度融合探索模块部署在第2个 卷积块、 第3个卷积块之 间， 第3个多模态深度融合探索模块部署在第3个卷积块、 第4个卷积 块之间， 第4个多模态深度融合探索模块部署在第4个卷积块、 第5个卷积块之间。 4.根据权利要求1所述的一种基于多模态密集融合传递的婴儿脑组织分割智能识别方 法， 其特征在于， 在所述卷积神经网络的解码阶段， 第6个卷积块、 第7个卷积块、 第8个卷积 块、 第9个卷积块和第10个卷积块依次连接； 还设置有四个特征增强模块， 其中， 第6个卷积 块、 第7个卷积块之间设置有第1个特征增强模块， 第7个卷积块、 第8个卷积块之间设置有第 2个特征增强模块； 第8个卷积块、 第9个卷积块之间设置有第3个特征增强模块； 第9个卷积 块、 第10个卷积块之间设置有第4个特 征增强模块。 5.根据权利要求3所述的一种基于多模态密集融合传递的婴儿脑组织分割智能识别方 法， 其特征在于， 所述多模态深度融合探索 模块的输入端输依次连接到第一像素相加层， 第 一卷积层， 密集卷积层， 第二像素相加层； 其中所述第一像素相加层与所述第二像素相加层 连接； 所述第二像素相加层分别输入到所述第三像素相加层， 均值化层以及最大化层； 所述 均值化层和所述最大化层均输入到拼接层， 其中拼接层， 第二卷积层， 第三卷积层以及第三 像素相加层依次连接； 所述第三像素层的输出作为 最终输出。 6.根据权利要求4所述的一种基于多模态密集融合传递的婴儿脑组织分割智能识别方 法， 其特征在于， 所述特征增强模块包括三个输入端， 所述第一输入端输入到第一融合卷积 块， 所述第二输入端分别输入到第一融合卷积块， 所述第三输入端输入到第二融合卷积块； 所述第一融合卷积块与所述第二融合卷积块的输出级联 得到最终的输出。权　利　要　求　书 1/1 页 2 CN 114549491 A 2基于多模 态密集融合传递的婴儿脑组织分割 智能识别方 法 技术领域 [0001]本发明涉及深度学习领域， 更具体的说是涉及一种基于多模态密集融合传递的婴 儿脑组织分割智能识别方法。 背景技术 [0002]近年来， 人工智能和计算机视觉 的技术正在迅速崛起， 并且 随着互联网的发展带 来了巨量的数据用于实际应用， 从海量的图像和视频数据中快速获取关键信息已成为计算 机视觉领域的关键问题。 在这其中， 医学影像分析越来越受到人们的关注。 利用核磁共振成 像， 可以收集到婴儿脑组织影像。 利用这些数据结合计算机视觉技术， 就可以在生命健康领 域上大展身手。 [0003]理想的智能辅助诊疗需要对脑组织有正确的视觉理解。 利用深度学习方法， 婴儿 脑组织分割智能辅助诊疗任务被定义为像素级语义分割问题， 可以直接进 行像素级别端到 端(end‑to‑end)的语义理解。 [0004]因此， 如何实现理想的正确视 觉理解是本领域 技术人员亟需研究的。 发明内容 [0005]有鉴于此， 本发明提供了一种基于多模态密集融合传递的婴儿脑组织分割智能识 别方法。 [0006]为了实现上述目的， 本发明采用如下技 术方案： [0007]一种基于多模态密集融合传递的婴儿脑组织分割智能识别方法， 包括以下步骤： [0008]获取训练集， 所述训练集包括第一核磁共 振成像和第二核磁共 振成像； [0009]构建卷积神经网络， 所述卷积神经网络利用多模态深度 融合， 密集提取多样化的 融合信息； [0010]将所述训练集输入到所述卷积神经网络中， 多次训练得到卷积神经网络模型； [0011]将待分割影 像输入到所述卷积神经网络模型中， 得到分割灰度图。 [0012]可选的， 还包括采用损失函数对卷积神经网络进行损失计算， 所述损失函数采用 二元交叉熵损失BC E。 [0013]可选的， 在所述卷积神经 网络的编码阶段， 采用的数据集是双模态数据集； 其中每 个模态的特征编码阶段的第1个卷积块、 第2个卷积块、 第3个卷积块、 第4个卷积块和第5个 卷积块依次连接； 还设置有四个多模态深度融合探索模块， 其中第1个多模态深度融合探索 模块部署在第1个卷积块、 第2个卷积块之间， 第2个多模态深度融合探索模块部署在第2个 卷积块、 第3个卷积块之 间， 第3个多模态深度融合探索模块部署在第3个卷积块、 第4个卷积 块之间， 第4个多模态深度融合探索模块部署在第4个卷积块、 第5个卷积块之间。 [0014]可选的， 在所述卷积神经 网络的解码阶段， 第6个卷积块、 第7个卷积 块、 第8个卷积 块、 第9个卷积块和第10个卷积块依次连接； 还设置有四个特征增强模块， 其中， 第6个卷积 块、 第7个卷积块之 间设置有第1个特征增强模块， 第7个卷积块、 第8个卷积块之间设置有第说　明　书 1/7 页 3 CN 114549491 A 3