(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210478974.5 (22)申请日 2022.04.29 (71)申请人 腾讯医疗健康 （深圳） 有限公司 地址 518052 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 陈嘉顺　卢东焕　魏东　宁慕楠　 施新宇　徐哲　郑冶枫　 (74)专利代理 机构 北京市柳沈 律师事务所 11105 专利代理师 王娟 (51)Int.Cl. G06T 7/30(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01)G06V 10/44(2022.01) (54)发明名称 图像配准方法、 装置、 设备和存 储介质 (57)摘要 本公开的实施例提供了一种图像配准方法、 装置、 设备和计算机可读存储介质。 本公开的实 施例所提供的方法通过在多个尺度下提取待配 准图像对的特征图， 在每个尺度下将待配准图像 对中的移动图像中的每个体素的位移向量转换 为基于相应特征图中与该体素相对应的特征向 量所确定的多个位移基向量的组合， 以从成对特 征图中学习位移场， 并基于所有尺度下的位移场 生成最终位移场， 从而充分利用不同尺度下的 图 像特征信息实现高效准确的图像配准。 通过本公 开的实施例的方法能够基于不同尺度学习从粗 到细的位移场， 以通过对所有尺度下的位移场进 行融合， 在不引入密集的连续网络计算的情况下 充分利用不同表示子空间的潜在信息 。 权利要求书3页 说明书17页 附图10页 CN 115115676 A 2022.09.27 CN 115115676 A 1.一种图像 配准方法， 包括： 获取待配准的固定图像和移动图像； 获得所述固定图像和所述移动图像在多个尺度下 各自的特 征图； 对于所述多个尺度中的每个尺度， 从所述固定图像和所述移动图像在所述尺度 下各自 的特征图中确定所述尺度下的位移场， 所述位移场用于指示在所述尺度下从所述移动图像 到所述固定图像的映射， 其中， 在所述位移场中， 所述移动图像中的每个体素到所述固定图 像中的相应体素的位移向量被表示为多个位移基向量的组合， 其中所述多个位移基向量是 基于所述移动图像在所述尺度下的特 征图中与所述体素相对应的特 征向量获得的； 以及 基于在所述多个尺度 下确定的多个位移场 生成最终位移场， 并对所述移动图像施加所 述最终位移场， 以使经施加所述 最终位移场的移动图像与所述固定图像 配准。 2.如权利要求1所述的方法， 其中， 从所述固定图像和所述移动图像在所述尺度 下各自 的特征图中确定位移场包括： 对于所述移动图像在所述尺度 下的特征图中的每个特征向量， 基于所述特征向量生成 多个位移基向量； 基于所述固定 图像和所述移动图像在所述尺度下各自的特征图， 针对所述特征向量， 确定所述多个位移基向量中的每 个位移基向量的权 重； 以及 对于所述移动图像在所述尺度 下的特征图中的每个特征向量， 基于与 所述特征向量相 对应的多个位移基向量及其权 重， 确定所述尺度下的位移场。 3.如权利要求2所述的方法， 其中， 所述多个位移基向量是根据多头注意力 机制而利用 K个注意力头基于所述特 征向量生成的， 其中利用每 个注意力头生成N个位移基向量； 对于所述K个注意力 头中的每个注意力 头， 利用所述注意力 头生成的N个位移基向量的 权重是基于所述固定图像和所述移动图像在所述尺度下各自的特征图的拼接而利用所述 注意力头针对所述特 征向量确定的。 4.如权利要求3所述的方法， 其中， 基于与 所述特征向量相对应的多个位移基向量及其 权重， 确定所述尺度下的位移场包括： 对于所述K个注意力 头， 基于利用每个注意力 头生成的N个位移基向量和所确定的所述 N个位移基向量的权 重的相应乘积的平均值， 确定所述尺度下的位移场； 其中， 所述移动图像中的每个体素到所述固定图像中的相应体素的位移向量被表示为 所述多个位移基向量的加权和。 5.如权利要求1所述的方法， 其中， 获得所述固定图像和所述移动图像在多个尺度 下各 自的特征图包括： 利用基于卷积神经网络的编码器， 通过所述编码器中的不同卷积块提取不同尺度 下的 特征图， 以获得 所述固定图像和所述移动图像在多个尺度下 各自的特 征图； 其中， 所述固定图像或所述移动图像在特定尺度 下的特征图的尺寸为按照相应比例对 所述固定图像或所述移动图像进行缩小后的尺寸。 6.如权利要求5所述的方法， 其中， 基于在所述多个尺度 下确定的多个位移场 生成最终 位移场包括： 根据尺度 大小对所述多个位移场进行级联融合， 以将所述多个尺度下的多个位移场 转 换为所述移动图像的原 始尺寸下的最终位移场。权　利　要　求　书 1/3 页 2 CN 115115676 A 27.如权利要求6所述的方法， 其中， 根据尺度大小对所述多个位移场进行级联融合包 括： 在所述级联融合中的每级融合中， 对上级融合所输出的具有特定通道数的特征图进行 上采样， 以得到第一特 征图； 对该级融合所对应的位移场进行特征提取， 以将所述位移场 转换为具有所述特定通道 数的第二特 征图； 将所述第一特征图与 所述第二特征图相加， 并与 所述固定图像和所述移动图像在该级 融合所对应的尺度下 各自的特 征图进行拼接； 以及 对所述拼接的结果进行特征提取， 以生成具有所述特定通道数的特征图， 作为该级融 合的输出。 8.如权利要求7所述的方法， 其中， 根据尺度 大小对所述多个位移场进行级联融合还包 括： 对于所述级联融合中的第 一级融合所输出的具有所述特定通道数的特征图， 对所述特 征图进行 特征提取， 以生成所述 最终位移场。 9.如权利要求1所述的方法， 其中， 所述最终位移场的生成基于对配准损失函数的最优 化， 所述配准损失函数包括用于度量施加所述最 终位移场后的移动图像与所述固定图像之 间的相似性的第一项、 以及用于对位移场施加惩罚以惩罚所述移动图像的局部空间变化的 第二项。 10.一种图像 配准装置， 包括： 图像获取模块， 被 配置为获取待配准的固定图像和移动图像； 特征图提取模块， 被配置为获得所述固定图像和所述移动图像在多个尺度下各自的特 征图； 位移场确定模块， 被配置为对于所述多个尺度中的每个尺度， 从所述固定 图像和所述 移动图像在所述尺度下各自的特征图中确定所述尺度下的位移场， 所述位移场用于指示在 所述尺度下从所述移动图像到所述固定图像的映射； 以及 位移场合成模块， 被配置为基于在所述多个尺度下确定的多个位移场生成最终位移 场， 并对所述移动图像施加所述最终位移场， 以使经施加所述最终位移场的移动图像与所 述固定图像 配准； 其中， 在所述位移场中， 所述移动图像中的每个体素到所述固定 图像中的相应体素的 位移向量被表示为多个位移基向量的组合， 其中所述多个位移基向量是基于所述移动图像 在所述尺度下的特 征图中与所述体素相对应的特 征向量获得的。 11.如权利要求10所述的装置， 其中， 从所述固定图像和所述移动图像在所述尺度 下各 自的特征图中确定位移场包括： 对于所述移动图像在所述尺度 下的特征图中的每个特征向量， 基于所述特征向量生成 多个位移基向量； 基于所述固定 图像和所述移动图像在所述尺度下各自的特征图， 针对所述特征向量， 确定所述多个位移基向量中的每 个位移基向量的权 重； 以及 对于所述移动图像在所述尺度 下的特征图中的每个特征向量， 基于与 所述特征向量相 对应的多个位移基向量及其权 重， 确定所述尺度下的位移场。权　利　要　求　书 2/3 页 3 CN 115115676 A 3