(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823624.8 (22)申请日 2022.07.14 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 张海波　刘立竹　李园园　张曼　 胡宇　张耘浩　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 卢胜斌 (51)Int.Cl. G06T 7/10(2017.01) G06T 7/155(2017.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06T 5/30(2006.01) (54)发明名称 一种基于深度学习的遥感图像分割的修补 方法 (57)摘要 本发明提出一种基于深度学习的遥感图像 分割的修补方法， 属于遥感图像领域， 本发明具 体包括： 制作遥感图像数据集和构建道路场景语 义分割网络模 型； 将遥感图像数据集中的高分辨 率遥感道路图像输入到训练好的网络模型中进 行遥感道路图的场景语义分割； 采用改进八邻域 断点检测算法搜索断点； 将搜索到的断点划分为 常规断点和特殊断点； 采用多项式拟合的方法对 常规断点进行曲线拟合， 采用形态学膨胀对特殊 断点变大或者变粗， 实现整体道路图像断点的修 补； 采用形态学腐蚀整体道路图像断点周围的毛 边或者毛刺。 本发明解决了由于道路场景复杂 化， 会忽视一些局部信息， 造成道路断点， 道路缺 乏连通性的问题。 权利要求书2页 说明书8页 附图4页 CN 115205302 A 2022.10.18 CN 115205302 A 1.一种基于深度学习的遥感图像分割的修补方法， 其特 征在于， 包括以下步骤： 步骤一： 制作遥感图像数据集； 步骤二： 构建道路场景语义分割网络模型， 并训练该网络模型； 步骤三： 将遥感图像数据集中的高分辨率遥感道路图像输入到训练好的网络模型中进 行遥感道路图的场景语义分割， 输出道路场景语义 提取后的遥感道路图像； 步骤四： 将道路场景语义分割 网络最终输出图像二值化， 得到多像素点组合成的黑 白 效果道路图像； 步骤五： 将多像素点组合成的黑白效果道路图像细化 为单像素点道路图像； 步骤六： 采用改进八邻域断点检测算法搜索断点； 步骤七： 采用kmeans聚类算法将搜索到的断点进行聚类， 将聚类后的断点划分为常规 断点和特殊断点； 步骤八： 采用多项式拟合的方法对常规断点进行曲线拟合， 采用形态学膨胀方法对特 殊断点变大或者变粗， 实现整体道路图像断点的修补； 步骤九： 采用形态学腐蚀方法去除整体道路图像断点周围的毛边或者毛刺。 2.根据权利要求1所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 将遥感图像数据集中的图像划分为分辨率为512*512的图像块， 对遥感图像数据集中的图 像块进行图像增强处理， 将处理完成的遥感图像数据集作为道路场景语义分割网络模型的 训练集进行 该模型的训练。 3.根据权利要求1所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 路场景语义分割网络模型包括： 编码器网络框架和解码器网络框架， 所述编码器框架分为 五层， 第一层通过普通卷积层FE模块提取浅层次语义信息， 第二层到第 五层通过分组卷积 提取高层语义信息； 所述分组卷积块包括挤压和激励两部分， 挤压操作将每个通道上 的空 间特征编 码为一个全局特征图； 激励操作通过一个全连接层对挤压操作得到的全局特征图 进行线性变换， 通过ReLU激活层和全连接层将通道数恢复至原通道数， 得到编码后的遥感 道路图像； 所述解码 器框架采用卷积向量运算空间注意力机制和通道注意力机制对遥感道 路图像进行全局混合特征信息提取， 通过密集跳跃链接促进语义信息融合， 得到图像的全 局混合特 征， 采用3 ×3卷积层将图像的全局混合特 征将压缩到单通道， 得到最终输出图像。 4.根据权利要求1所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 采用改进八邻域断点检测算法搜索断点， 将道路中心像元设为p1， 其周围邻近 的八方向像 元点设为p2→p9： 1)： 当p2+p3+p4+p5+p6+p7+p8+p9＝1， p1为断点； 2)： 当p2+p3+p4+p5+p6+p7+p8+p9≥， 且八邻域内以p1为中心的顺时针方向只出现一次0 → 1模式转化， 则p1为断点， 其中0为背景像素点， 1为目标像素点。 5.根据权利要求1所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 采用kmeans聚类算法将 搜索到的断点进行聚类， 将聚类后的断点划分为常规断点和特殊断 点， 具体包括： S1： 在单像素点道路图像中随机 选取k个初始点作为 kmeans聚类算法的簇的中心点； S2： 对于每一个断点， 将其分配到距离中心点 最近的簇； S3： 对于每一簇中的断点， 计算所有被分到该簇的断点的平均距离作为该簇新的中心权　利　要　求　书 1/2 页 2 CN 115205302 A 2点； S4： 定义损失函数为各个断点距离所属簇中心点的误差平方和， 重 复S2‑S3直到损失函 数收敛， 则簇不再发生变化； S5： 计算各个簇中心点之间的距离并找到最小值m， 再计算每个簇 中样本点距离其中心 点之间的距离 Mlk， 将Mlk≥m的断点划分为特殊断点， Mlk<m的断点划分为常规断点。 6.根据权利要求5所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 定义损失函数为各个样本距离所属簇中心点的误差平方和， 损失函数表达式为： 其中， N是簇中断点总数， xi为第i个断点， Ci是xi所属的簇， 是簇对应的中心点， Cost 表示损失函数。 7.根据权利要求1所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 用多项式曲线拟合同一类断点， 多 项式曲线拟合表达式为： 其中， xi表示第i阶道路的断点， wi表示第i阶断点的系数， M表示高阶多项式阶数， b表示 断点拟合曲线误差的线性 修正值。 8.根据权利要求1所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 通过膨胀操作使特殊断点宽度变大， 宽度由所用的结构元素尺寸控制， 选择线性结构元素 对遥感图像的特殊断点进行处 理， A被B膨胀操作的表达式为： 其中， 表示A被B膨胀， B表示线性结构元素， A表示含有断点信息的待处理遥感图 像， AΘB表示A被B腐蚀， C表示取反补集。 9.根据权利要求1所述的一种基于深度 学习的遥感图像分割的修补方法， 其特征在于， 通过腐蚀操作将图像中细 小的毛边或者毛刺进行消除或者减弱， 将图像的边界向内部进 行 收缩， A被B腐蚀操作的数 学表达式为： 其中， AΘB表示A被B腐蚀， B表示线性结构元素， A表示含有断点信息的待处理遥感图 像， x表示平 移距离。权　利　要　求　书 2/2 页 3 CN 115205302 A 3