(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210428309.5 (22)申请日 2022.04.22 (71)申请人 南方医科 大学 地址 510515 广东省广州市白云区沙 太南 路1023号 (72)发明人 陈泽立　钟丽明　阳维　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 黎扬鹏 (51)Int.Cl. G06T 11/00(2006.01) G06T 7/30(2017.01) G06T 7/11(2017.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于MR图像的CT图像合成方法、 装置、 设备 及介质 (57)摘要 本发明公开了一种基于MR图像的CT图像合 成方法、 装置、 设备及介质， 本发明通过将第一MR 图像以及第一CT图像输入网络模型进行训练， 得 到图像合成模型； 全局块嵌入模块用于对第一MR 图像进行全局特征提取， 使 得全局特征提取结果 更加具有全局性； 编码 模块用于对第一MR图像进 行局部特征提取， RSC自注意力模组用于根据全 局特征提取结果 以及局部特征提取结果进行第 一特征处理， 能够扩大特征的感受野， 解码模块 用于对第一特征处理结果进行解码处理， 生成第 二CT图像； 鉴别器用于根据第一CT图像和第二CT 图像生成鉴别结果以进行训练， 最终得到的目标 CT图像细 节更加丰富和清晰， 本发明可广泛应用 于图像处 理领域。 权利要求书3页 说明书13页 附图3页 CN 114882135 A 2022.08.09 CN 114882135 A 1.基于MR图像的CT图像合成方法， 其特 征在于， 包括： 获取训练数据； 所述训练数据包括具有同一目标对象的第一MR图像以及第一CT图像； 将所述第一MR图像以及第一CT图像输入网络模型进行训练， 得到图像合成模型； 所述 网络模型包括CST生成器以及鉴别器， 所述CST生成器包括编码模块、 解码模块、 RSC自注意 力模组以及 全局块嵌入模块； 所述全局块嵌入模块用于对所述第一MR图像进 行全局特征提 取， 所述编码模块用于对 所述第一MR图像进行局部特征提取， 所述 RSC自注意力模组用于根 据全局特征提取结果以及局部特征提取结果进行第一特征 处理， 所述解码模块用于对第一 特征处理结果进行解码处理， 生成第二CT图像； 所述鉴别器用于根据所述第一CT图像和所 述第二CT图像生成鉴别结果以进行训练； 将待合成MR图像输入所述图像合成模型， 得到目标CT图像。 2.根据权利要求1所述基于MR图像的CT图像合成方法， 其特征在于： 所述获取训练数 据， 包括： 获取具有同一目标对象的原 始MR图像以及原 始CT图像； 对所述原始MR图像进行偏移场操作后与所述原始CT图像进行配准， 得到配准MR图像以 及配准CT图像； 对所述配准CT图像进行 预设范围的赋值处 理； 对所述配准MR图像以及所述赋值处 理后的配准CT图像进行归一 化处理； 从归一化处理后的配准MR图像中截取预设尺寸的图像， 得到第一MR图像， 从归一化处 理后的配准CT图像中截取 预设尺寸的图像， 得到第一CT图像。 3.根据权利 要求1‑2任一项所述基于MR图像的CT图像合成方法， 其特征在于： 所述将所 述第一MR图像以及第一CT图像输入网络模型进行训练， 得到图像合成模型， 包括： 通过所述编码模块对所述第一MR图像进行局部特 征提取； 通过所述全局块嵌入 模块对所述第一MR图像进行全局特 征提取； 将局部特征提取结果与全局特征提取结果进行融合， 并通过所述RSC自注意力模组对 融合结果进行第一特 征处理； 通过解码模块对第一特 征处理结果进行解码处 理， 生成第二CT图像； 将所述第一CT图像和所述第二CT图像输入所述 鉴别器得到鉴别结果； 根据所述 鉴别结果以及预设损失函数对网络模型进行训练， 得到图像合成模型。 4.根据权利要求3所述基于MR图像的CT图像合成方法， 其特征在于： 所述编码模块包括 至少一第一CNN模块、 第一RSC自注 意力模块以及第二CNN模块； 所述通过所述编码模块对 所 述第一MR图像进行局部特 征提取， 包括： 通过所述第一CNN模块对所述第一MR图像进行至少一次第一特征提取， 得到第一特征 信息； 通过第一RSC自注意力模块对所述第一特 征信息进行第二特 征处理； 通过所述第二CNN模块对第二特征处理结果进行第二特征提取， 得到局部特征提取结 果。 5.根据权利要求3所述基于MR图像的CT图像合成方法， 其特征在于： 所述全局块嵌入模 块包括块嵌入模块以及第二RSC自注意力模块； 所述通过所述全局块嵌入模块对所述第一 MR图像进行全局特 征提取， 包括：权　利　要　求　书 1/3 页 2 CN 114882135 A 2通过所述块嵌入模块对所述第一MR图像进行第二特 征提取， 得到第二特 征信息； 通过所述第二RSC自注意力模块对所述第二特征信息进行第三特征处理， 得到全局特 征提取结果。 6.根据权利要求3所述基于MR图像的CT图像合成方法， 其特征在于： 所述第一特征处理 包括至少一次特征子处理， 所述RSC自注意力模组包括至少一个第三RSC自注意力模块； 所 述通过所述RSC自注意力模组对融合结果进行第一特 征处理， 包括： 通过所述第三RSC自注意力模块对融合结果进行所述特征子处理， 所述特征子处理具 体包括： 对融合结果进行第一可分离卷积， 对第一可分离卷积结果进行第一膨胀卷积， 对第一 膨胀卷积结果进行第二可分离卷积， 并对第二可分离卷积结果进行第二 膨胀卷积； 根据第二膨胀卷积结果进行第 一层归一化， 并对第 一层归一化结果进行窗口多头注意 力； 根据窗口多头注意力结果与第 二膨胀卷积结果进行第 一相加， 对第 一相加结果进行第 二层归一 化， 并将第二层归一 化结果进行第一多层感知机的处 理； 将第一多层感知机的处理结果与第 一相加结果进行第 二相加， 对第 二相加结果进行第 三层归一 化， 并将第三层归一 化结果进行移动窗口多头注意力； 将移动窗口多头注意力结果与第 二相加结果进行第 三相加， 对第 三相加结果进行第四 层归一化， 并将第四层归一 化结果进行第二多层感知机的处 理； 根据第二多层感知机的处理结果、 第三相加结果以及第二膨胀卷积结果进行第四相 加， 得到特 征子处理结果。 7.根据权利要求3所述基于MR图像的CT图像合成方法， 其特征在于： 所述根据 所述鉴别 结果以及预设损失函数对网络模型进行训练， 得到图像合成模型， 包括： 根据所述 鉴别结果以及对抗损失函数确定所述 鉴别器的对抗损失值； 根据所述第 一CT图像、 所述第二CT图像以及平均绝对误差损失函数确定平均绝对误差 值； 根据所述第一CT图像、 所述第二CT图像以及感知损失函数确定感知损失值； 根据所述对抗损失值、 所述平均绝对误差值以及所述感知损失值调 整网络模型的网络 参数， 得到图像合成模型。 8.一种基于 MR图像的CT图像合成装置， 其特 征在于， 包括： 获取模块， 用于获取训练数据； 所述训练数据包括具有同一目标对象的第一MR图像以 及第一CT图像； 训练模块， 用于将所述第一MR图像以及第一CT图像输入网络模型进行训练， 得到图像 合成模型； 所述网络模 型包括CST生 成器以及鉴别器， 所述CST生 成器包括编码模块、 解码模 块、 RSC自注意力模组以及 全局块嵌入模块； 所述全局块 嵌入模块用于对所述第一MR图像进 行全局特征提取， 所述编 码模块用于对 所述第一MR图像进 行局部特征提取， 所述 RSC自注意 力模组用于根据全局特征提取结果以及局部特征提取结果进 行第一特征处理， 所述解码模 块用于对第一特征处理结果进行解码处理， 生成第二CT图像； 所述鉴别器用于根据所述第 一CT图像和所述第二CT图像生成鉴别结果以进行训练； 合成模块， 用于将待合成MR图像输入所述图像合成模型， 得到目标CT图像。权　利　要　求　书 2/3 页 3 CN 114882135 A 3