(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211163664.0 (22)申请日 2022.09.23 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 周亮　陈顺　陈建新　李昂　魏昕　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种涉及跨模态注意力机制的医学图像肿 瘤分割方法 (57)摘要 本发明公开一种涉及跨模态注意力机制的 医学图像肿瘤分割方法， 包括以下步骤： 获取正 电子发射型计算机断层显像PET图像和电子计算 机断层扫描CT图像， 将PET图像和CT图像横向缩 放为同分辨率的图像数据对； 将图像数据对输入 至训练好的跨模态图像分割模型， 生成目标分割 图像； 其中， 跨模态图像分割模型包括图像特征 提取模块、 图像特征融合模块和跨模态语义增强 模块， 所述跨模态语义增强模块包括一组扩展编 码器和基于聚合注意力单元的语义融合网络， 跨 模态图像分割模型训练通过历史正电子发射型 计算机断层显像PET图像和电子计算机断层扫描 CT图像训练。 本发明提供的一种涉及跨模态注意 力机制的医学图像肿瘤分割方法， 能够实现跨模 态的医学图像精准分割。 权利要求书3页 说明书8页 附图3页 CN 115512110 A 2022.12.23 CN 115512110 A 1.一种涉及跨模态 注意力机制的医学图像肿瘤分割方法， 其特 征在于： 包括以下步骤： 获取正电子发射型计算机断层显像PET图像和电子计算机断层扫描CT图像； 将PET图像和CT图像横向缩放 为同分辨 率的图像数据对； 将图像数据对输入至训练好的跨模态图像分割模型， 生成目标分割图像； 其中， 所述跨模态图像分割模型包括图像特征提取模块、 图像特征融合模块和跨模态 语义增强模块， 所述跨模态语义增强模块包括一组扩展编 码器和基于聚合注意力单元的语 义融合网络； 所述跨模态图像分割模型的训练方法包括： 获取历史正电子发射型计算机断层显像PET图像和电子计算机断层扫 描CT图像， 将PET 图像和CT图像横向缩放为同分辨率的图像数据对， 每一组图像数据对中的图像数据都带有 肿瘤分割标签信息， 再将图像数据对划分为训练集、 验证集和 测试集； 通过图像特征提取模块对训练集中单通道的图像数据对进行特征提取， 得到单模态的 PET图像特 征和CT图像特 征； 通过扩展编码器分别对训练集中的PET图像和CT图像进行分层特征提取并通过图像特 征融合模块融合得到PET ‑CT多模态融合特 征块， 输出PET模态的注意力特 征图； 将PET模态的注意力特征图经过标准的反向传播与CT图像特征一起输入语义融合网络 进行第一次语义融合， 得到融合模态的注意力特 征图； 将融合模态的注意力图与提取的PET ‑CT多模态融合特征块输入语义融合网络进行上 采样第二次语义融合， 恢复特 征结构得到最终的注意力融合特 征图； 将最终的注意力融合特征图与PET模态的注意力特征图之间进行相似度计算并经过 sigmoid函数的操作， 获得与当前图像特 征所对应的各分割特 征的权重向量； 基于权重向量对各分割特征进行判决， 得到与当前图像特征最为相似的目标分割 图 像； 通过图像特征提取模块计算图像特征的联合损失， 联合损失包括目标分割图像与肿瘤 分割标签信息进行比对的交叉熵损失， 以及dice值损失， 将计算得到的联合损失用于更新 跨模态图像分割模型 的参数， 当模型 的参数收敛后， 保存此时最优跨模态图像分割模型及 其参数。 2.根据权利要求1所述的一种涉及跨模态注意力机制的医学图像肿瘤分割方法， 其特 征在于： 所述图像特征提取模块包括卷积神经网络CNN， 所述卷积神经网络CNN包括多个卷 积层， 每两卷积层后面连接一个池化层， 通过将历史正电子发射型计算机断层显像P ET图像 以及电子计算机断层扫描CT图像输入到卷积神经网络CNN各层， 分别获得PET图像特征 和CT图像特 征 其中i代表层数， i ＝1,2,3,4。 3.根据权利要求2所述的一种涉及跨模态注意力机制的医学图像肿瘤分割方法， 其特 征在于： 所述扩展编码 器包括卷积神经网络CNN， 所述卷积神经网络CNN包括多个卷积层， 每 两卷积层后面连接一个池化层， 所述图像特征融合模块包括特征融合器结构fp(.)， 由两层 的卷积层连接一层的池化层构成， 卷积神经网络CNN从PET图像和CT图像中分别提取PET模 态信息 和CT模态信息 并输入到特征融合器 结构fp(.)进行特征的拼接融合， 确定权　利　要　求　书 1/3 页 2 CN 115512110 A 2融合后的特 征层， 得到的输出为PET ‑CT多模态融合特 征块 4.根据权利要求3所述的一种涉及跨模态注意力机制的医学图像肿瘤分割方法， 其特 征在于： 所述注意力聚合单元包括跳跃连接器fs(.)和反向传 播器， PET ‑CT多模态融合特征 块 输入到跳 跃连接器fs(.)， 与CT模态信息 连接， 进行多层特征重提取与聚合， 最 后经过一个 sigmoid层， 确定输出的注 意力特征图， 反向传播器使用注意力特征结构反向传 播到特征提取阶段， 进 行特征的重采样， 利用注 意力特征图对 特征进行优化， 确定聚合后的 注意力图 其中， 为第i层下采样阶段图像数据的图像特征， N为 层数总量。 5.根据权利要求1所述的一种涉及跨模态注意力机制的医学图像肿瘤分割方法， 其特 征在于： 联合损失通过交叉熵损失函数计算， 联合损失更新跨模态图像分割模型 的参数利 用梯度下降算法进行， 交叉熵损失表示为： 其中y表 示肿瘤分割标签信息的label， 正类为1， 负类为0， 表示输出图像预测为 正类的概 率。 6.根据权利要求1所述的一种涉及跨模态注意力机制的医学图像肿瘤分割方法， 其特 征在于： 判断所述跨模态图像分割模型是否训练完毕包括： 确定集合相似度度量函数dice 系数， 若dice系数在dice系数阈值范围内， 则确定所述跨模态图像分割模 型训练完毕， 其中 Dice系数表达式表示为： Dice(， B)＝2*(A∩B)\(A∪B)， 其中， A为网络输 出图像的肿瘤像素 个数， B为肿瘤分割标签信息的肿瘤像素个数， A∩B为肿瘤分割标签信息label为正类， 网络 输出图像也预测为正类的像素个数， A∪B为肿瘤分割标签信息与网络输出图像的肿瘤区域 的像素总个数。 7.一种涉及跨模态 注意力机制的医学图像肿瘤分割装置， 其特 征在于， 包括： 图像获取模块， 用于获取正电子发射型计算机断层显像PET图像和电子计算机断层扫 描CT图像； 图像缩放模块， 用于将PET图像和CT图像横向缩放 为同分辨 率的图像数据对； 跨模态图像分割模型， 所述跨模态图像分割模型包括图像特征提取模块、 图像特征融 合模块和跨模态语义增强模块， 所述跨模态语义增强模块包括一组扩展编 码器和基于聚合 注意力单 元的语义融合网络； 所述跨模态图像分割模型的训练方法包括： 获取历史正电子发射型计算机断层显像PET图像和电子计算机断层扫 描CT图像， 将PET 图像和CT图像横向缩放为同分辨率的图像数据对， 每一组图像数据对中的图像数据都带有 肿瘤分割标签信息， 再将图像数据对划分为训练集、 验证集和 测试集； 通过图像特征提取模块对训练集中单通道的图像数据对进行特征提取， 得到单模态的 PET图像特 征和CT图像特 征； 通过扩展编码器分别对训练集中的PET图像和CT图像进行分层特征提取并通过图像特 征融合模块融合得到PET ‑CT多模态融合特 征块， 输出PET模态的注意力特 征图； 将PET模态的注意力特征图经过标准的反向传播与CT图像特征一起输入语义融合网络 进行第一次语义融合， 得到融合模态的注意力特 征图； 将融合模态的注意力图与提取的PET ‑CT多模态融合特征块输入语义融合网络进行上权　利　要　求　书 2/3 页 3 CN 115512110 A 3