(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211131672.7 (22)申请日 2022.09.15 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 郑永斌　任强　徐婉莹　白圣建　 孙鹏　朱笛　杨东旭　 (74)专利代理 机构 湖南企企卫知识产权代理有 限公司 43257 专利代理师 任合明 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01) G06V 10/75(2022.01) G06V 10/82(2022.01) (54)发明名称 基于孪生网络和中心位置估计的目标模板 图匹配定位方法 (57)摘要 本发明属于图像处理和深度学习技术领域， 具体涉及一种基于孪生网络和 中心位置估计的 目标模板图匹配定位方法， 包括如下步骤： S1构 建目标模板图匹配定位网络； S2训练目标模板图 匹配定位网络； S3应用训练好的目标模板图匹配 定位网络模 型进行目标模板图匹配定位。 与传统 模板匹配方法相比， 本发明提供的基于孪生网络 和中心位置估计的目标模板图匹配定位方法， 能 够充分利用深度孪生网络强大的特征提取与表 征能力以及中心位置估计网络的高精度定位能 力， 在涵盖异源、 尺度、 旋转、 视角等大差异的训 练图像集基础上， 通过训练得到应对 上述复杂差 异的目标模板图匹配定位网络模 型， 具体实施示 例表明本方法具有良好的鲁棒 性和定位 准确性。 权利要求书3页 说明书7页 附图2页 CN 115330876 A 2022.11.11 CN 115330876 A 1.一种基于深度孪生网络和中心位置估计的目标模板 图匹配定位方法， 其特征在于， 该方法包括如下步骤： S1构建目标模板图匹配定位网络 所述目标模板图匹配定位网络由特征提取孪生网络、 深度相关卷积网络和中心位置估 计网络三个部 分依次级 联构成， 输入为模板图T和实时图S， 其中T和S的尺 寸分别为m ×m和n ×n， m、 n均为正整数且n＞m； 输出为单通道的热力图Phm， 记其尺寸为mh×mh， mh为正整数， 具 体如下： S1.1构建特 征提取孪生网络， 提取输入 模板图和实时图的特 征信息 所述特征提取孪生网络由两个参数共享、 结构相同的卷积神经网络级联构成， 分别以 模板图T和实时图S作为输入， 输出为模板图特征图f(T)和实时图特征图f(S)， 其中f(T)的 尺寸为m1×m1×d， f(S)的尺寸为n1×n1×d， 其中m1表示f(T)的长度和宽度、 n1表示f(S)的长 度和宽度、 d表示 通道数， m1、 n1、 d均为正整数； 所述卷积神经网络是在标准ResNet网络基础上修改得到， 所做的具体修改如下： (1)在标准的ResNet网络的第三、 四、 五层增加3 ×3卷积， 实现特征降维， 得到的特征图 分别记为 和 (2)对特征图 进行3×3反卷积， 得到的特征图拼接在特征图 后， 然后对 拼接 得到的特 征图进行3 ×3卷积， 得到特 征图 (3)对特征图 进行3×3反卷积， 得到的特征图拼接在特征图 后， 得到最终 的输出： 模板图特 征图f(T)和实时图特 征图f(S)； S1.2利用深度相关卷积网络， 将提取到的模板图特征图f(T)和实时 图特征图f(S)进行 融合 所述深度相关卷积网络以S1.1中提取到的模板图特征图f(T)和实时图特征图f(S)作 为输入， 以f(T)作为卷积核与f(S)进行深度相关卷积运算， 输出为二者融合之后的相关特 征图fFusion， 其尺寸为(m1+1)×(m1+1)×d； S1.3构建中心位置估计网络， 计算单通道热力图 所述中心位置估计网络由三个3 ×3反卷积层和一个3 ×3卷积层级联构成， 其中： 每个3 ×3反卷积层的通道数为d、 步长为s， s为 正整数； 3 ×3卷积层的通道数为d， 步长为1； 该中心位置估计网络以S1.2中融合后的相关特征 图fFusion作为输入， 输出为单通道热 力图Phm， 尺寸为mh×mh， mh＝m1·s3； 记px,y为热力图Phm上(x,y)位置处的热力值， 1≤x,y≤ mh， 则px,y的取值范围为[0,1]； S2训练目标模板图匹配定位网络 S2.1制作训练图像集 S2.1.1针对房屋、 道路、 桥梁、 车辆、 舰船、 飞机各种类型的目标， 在不 同时间段用可见 光相机和红外相机分别从不同距离、 不同视角、 不同位置处拍摄， 获得 大量图像； S2.1.2从采集的图像中制作ntrain对由模板图和实时图组成的图像对； S2.1.3将制作的ntrain对图像作为训练图像集； S2.2标定训练图像集 在标定所述训练图像集中的由模板图和实时图组成的图像对时， 首先需要标定出模板 图中心在实时图上的坐标cref＝(xref,yref)， 然后将其映射到热力图上的坐标(xhm,yhm)， 即权　利　要　求　书 1/3 页 2 CN 115330876 A 2计算模板图中心在热力图上的对应位置， 具体 计算方法为 其中 表示向下 取整操作； 在获得模板图中心在热力图上的对应坐标后， 接下来生成这对训练样本对应的热力图 标签 本步骤采用高斯核加权的方式来标定热力图， 具体标定方法如下： 其中： 表示在热力图标签 的(x,y)位置处具体标定的热力值， x、 y的取值范围为 [1,mh]； σp是一个与模 板图大小相关的超参 数； 计算所有(x,y)位置的热力值， 得到针对该训 练样本标定的热力图标签 S2.3设计损失函数 设计训练所使用的损失函数如下： 其中： px,y表示利用S1中目标模板图匹配定位网络计算出的模板图中心位于实时 图(x, y)位置处的热力值， 表示S2.2中为训练样本标定的热力图 在位置(x,y)处的热力值， α 和β 是可调整的超参数； S2.4利用S2.1采集的训练图像集和 S2.2标定后的训练图像集， 使用随机梯度下降法进 行网络训练， 即通过最小化S2.3中设计的损失函数， 得到训练好的目标模板图匹配定位网 络模型； S3应用训练好的目标模板图匹配定位网络模型进行目标模板图匹配定位 具体流程如下： S3.1将待匹配定位的大小为m ×m的模板图T和大小为n ×n的实时图S输入S2.4中训练 好的目标模板图匹配定位网络模型； S3.2通过 该目标模板图匹配定位网络模型计算输出 热力图Phm； S3.3寻找热力图Phm上的极大值， 记极大值 点的坐标记为(xmax,ymax)； S3.4将(xmax,ymax)代入如下公式， 定位出目标模板图中心在实时图上的位置(u,v)： 2.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位 方法， 其特 征在于： S2.1.2中， 由模板图和实时图组成的图像对的数量 ntrain≥40000。 3.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位 方法， 其特征在于： S2.1.2中， 制作 ntrain对由模板图和实时 图组成的图像对的方法为： 在某权　利　要　求　书 2/3 页 3 CN 115330876 A 3