(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211306562.X (22)申请日 2022.10.25 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 何佳妮　金祥博　王跃明　曾玉明　 吴越　姜璟　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/40(2006.01) G06T 7/73(2017.01) G06V 10/46(2022.01)G06V 10/75(2022.01) (54)发明名称 一种无人机面阵摆扫的红外多序列影像无 缝拼接方法 (57)摘要 本发明公开了一种无人机面阵摆扫的红外 多序列影像无缝拼接方法， 该方法是对红外影像 灰度拉伸并进行特征点提取， 根据原始坐标建立 矢量关系， 对 具有重叠区域影像的特征点匹配并 结合坐标计算中心控制点， 根据航向和翼展 方向 进行影像分区并计算各区的坐标偏移量， 根据距 离中心点的距离和距离四个垂直重叠区域方向 的角度确定所有像元的偏移量， 计算相邻影像的 成本和价值矩 阵并加权求解最佳缝合线实现无 缝拼接。 本发 明考虑面阵摆扫的航空红外多序列 影像特点， 利用特征点和中心控制点进行变形， 并寻找重叠区域差异最小处作为缝合线实现快 速无缝拼接， 实现方法简单高效， 变形 失真小， 拼 接精度高。 权利要求书5页 说明书11页 附图5页 CN 115393196 A 2022.11.25 CN 115393196 A 1.一种无 人机面阵摆扫的红外多序列影 像无缝拼接方法， 其特 征在于， 包括以下步骤： （1） 对待拼接影像进行预处理， 所述预处理为对红外影像进行灰度拉伸， 增强影像对比 度， 所述待拼接影 像为无人机面阵摆扫的红外影 像； （2） 利用SIFT算法对步骤 （1） 所述影像中的特征点进行提取， 得到影像中尺度 不变特征 点； （3） 根据步骤 （2） 所述影 像的最小坐标、 影 像大小、 摆扫序列建立矢量 坐标关系； （4） 根据待拼接影像的矢量坐标， 计算在无人机在航向和翼展方向相邻影像的重叠影 像 序号， 对相邻影像的特征点进行两两匹配， 并使用RANSAC算法对匹配错误的特征点进 行剔除， 获得准确匹配的特 征点对， 将其对应特 征点对在局部坐标系中的中点作为控制点； （5） 根据待拼接影像的中心点和顶点连线将待拼接影像划分为四个区域， 四个区域分 别对应航向的左、 右相 邻的影像和翼展方向的上、 下相 邻方向的影像， 分别计算四个方向内 所有特征点与控制点之 间的坐标偏移量， 并将求取每个方向内所有点坐标偏移的平均值作 为该方向内影 像的偏移量； （6） 固定待拼接影像的中心点位置， 其余像元按照距离中心点的距离和距离四个垂直 重叠区域方向的角度确定偏移量， 所有像元按照各自对应的偏移量进行坐标变换， 得到变 形后影像； 计算相邻影 像的成本和价 值矩阵， 并进行加权求 解最佳缝合线； （7） 将步骤 （6） 得到的变形后影 像在四个相邻方向的缝合线 进行影像拼接。 2.根据权利要求1所述的一种无人机面阵摆扫的红外多序列影像无缝拼接方法， 其特 征在于， 所述步骤 （1） 中的灰度拉伸是根据待拼接影像的直方图确定灰度值阈值范围， 并将 灰度值归一 化到0‑255范围内。 3.根据权利要求1所述的一种无人机面阵摆扫的红外多序列影像无缝拼接方法， 其特 征在于， 所述 步骤 （5） 中控制点的计算方法， 通过以下子步骤来实现： （3.1） 确定待拼接影像在航向和翼展方向的相邻影像组： 无人机按照S型航线获取整片 区域的影像， 若为航向第一行获取 的第一张或最后一张影像， 或为航向最后一行获取 的第 一张和最后一张影像， 待拼接影像仅有2张相邻影像； 若为航向中间行获取的第一张和最后 一张影像， 则待拼接影像包含3张相邻影像； 若为航向中间行获取 的中间影像， 待拼接影像 组包含4张影像； （3.2） 获取待拼接影像和其相邻影像的特征点坐标、 特征点描述、 影像坐标及大小信 息； （3.3） 分别匹配待拼接影像与相邻影像的特征点， 根据RANSAC算法对初步匹配的特征 点进行错误 匹配点的剔除， 若进行剔除后保留 的匹配特征点对的个数Q 10， 则认为匹配可 靠的特征点对不存在； （3.4） 结合影像坐标信息和特征点相对影像的坐标， 对保留的正确匹配特征点赋予局 部坐标系下的坐标， 并取匹配特 征点的中点作为中心控制点。 4.根据权利要求1所述的一种无人机面阵摆扫的红外多序列影像无缝拼接方法， 其特 征在于， 所述 步骤 （5） 通过以下子步骤来实现： （4.1） 确定待拼接影像的中点及影像组中所有影像的在局部坐标系下的最大最小坐权　利　要　求　书 1/5 页 2 CN 115393196 A 2标； （4.2） 以待拼接影像的中点为极点， 垂直向下的射线为极轴， 求取待拼接影像中点与四 个顶点的夹角， 且中点与四个顶点的连线把待拼接影 像分为4个区域， 其数 学表达式如下： 其中， 、 、 、 分别为影像左、 右、 上、 下四个顶点与中点构成的角度， ， 为影 像中心点的横纵坐标， ， 为影像左上顶点的横纵坐标， ， 为影像左下顶点的横纵 坐标， ， 为影像右下顶点的横纵坐标， ， 为影像右上顶点的横纵坐标； （4.3） 计算四个区域内所有匹配特征点和控制点的坐标偏移量， 取均值作为该区域的 坐标偏移量， 其数 学表达式如下： 其中， 为待拼接影像的提取的特征点， 为中心控制点， 为特征点序号， 共 有 个特征点对， 为所有匹配特征点对的在 方向坐标偏移量， 为所有匹配特征点 对的在 方向坐标偏移量， 为所有特征点对的在 方向的平均坐标偏移量， 为所有特 征点 对的在 方向的平均坐标偏移量。 5.根据权利要求1所述的一种无人机面阵摆扫的红外多序列影像无缝拼接方法， 其特 征在于， 所述 步骤 （6） 中的影 像中所有像元坐标偏移量计算方法， 通过以下子步骤来实现： （5.1） 计算待拼接影 像的中心点和四个顶点所构成角的平分角， 其数 学表达式如下；权　利　要　求　书 2/5 页 3 CN 115393196 A 3