(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211195278.X (22)申请日 2022.09.28 (71)申请人 桂林理工大 学 地址 541000 广西壮 族自治区桂林市事业 单位登记管理局 (72)发明人 付波霖　邓力维　张雅　姜建武　 范冬林　 (74)专利代理 机构 深圳市知太 狼知识产权代理 有限公司 4 4915 专利代理师 高晓倩 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种多尺度特征融合的激光雷达遥感分类 方法 (57)摘要 本发明公开了一种多尺度特征融合的激光 雷达遥感分类方法， 通过构建一种多尺度特征融 合的激光雷达遥感分类模型， 实现利用遥感激光 雷达数据的高精度地物分类。 所述的模型包括多 尺度特征编码器， 特征融合编码器和解码器， 不 同大小的多尺度特征编码器将激光雷达特征构 成的原始 影像投影到不同尺度下， 随后使用特征 融合编码器逐尺度捕获图像特征， 最后使用解码 器将特征恢复至原始影像大小并对每个像素预 测分类。 本发 明利用低成本的卷积层将尺度变换 和尺度融合 分离， 提高模型对多通道遥感激光雷 达特征影像的分类性能。 权利要求书1页 说明书4页 附图3页 CN 115497002 A 2022.12.20 CN 115497002 A 1.一种多尺度特 征融合的激光雷达 遥感分类方法， 其特 征在于包括如下步骤： 步骤(1)： 构建多尺度特征融合的激光雷达遥感分类模型， 所述模型包含n个多尺度特 征编码器， n 为大于1的正整数， 所述模型还 包含特征融合编码器和解码器； 步骤(2)： 所述多尺度特征编码器包含尺度转换器和多层感知机， 所述尺度转换器对原 始影像的每个通道分别使用一个相同大小的卷积核执行步长为卷积核 大小的卷积操作， 其 输出传递给所述多层感知机， 所述多层感知机的输出即为所述多尺度特征编码器的输出， 所述多尺度特 征编码器 计算公式如下： 其中W和b为多层感知机的权重和偏置参数， C为卷积核， 为卷积操作， LN为层归一化 操作， i依次取1， 2， . ..， n‑1， a和a′为通道数， 取值 为大于0的正整数； 步骤(3)： 所述特征融合编码器包含n个特征融合层， 所述特征融合层包含特征编码层 和下采样层， 所述特 征融合编码器逐层处 理每个所述多尺度特 征编码器的输出： 步骤(4)： 所述解码器输入全部所述n层特征融合层的所述特征编码层输出的所述特征 图， 输出与所述原 始影像分辨率一致的逐像素 预测类别。 2.根据权利要求1所述的多尺度 特征融合的激光雷达遥感分类方法， 其特征在于， 步骤 (1)中， 所述模型以遥感激光雷达特 征影像作为原 始影像输入模型。 3.根据权利要求1所述的多尺度 特征融合的激光雷达遥感分类方法， 其特征在于， 步骤 (3)中， 所述特 征融合编码器逐层处 理每个所述多尺度特 征编码器的输出 具体为： 步骤(31)： 第一个所述多尺度特征编码器的输出作为所述第 一层特征融合层的所述特 征编码层的输入， 并输出第一层特 征图； 步骤(32)： 将所述第i层特征图使用 所述第i层特征融合层的所述下采样层进行下采 样， 将下采样结果按通道分为适配特征图和传递特征图， 所述适配特征图与所述第i +1个多 尺度特征编码器的输出相加， 将相加结果与所述传递特征图按通道合并， 将合并后结果输 入所述第i+1层特 征融合层的所述特 征编码层， 并输出第i+1层特 征图。 4.根据权利要求3所述的多尺度特征融合的激光雷达遥感分类方法， 其特征在于所述 特征编码层的输入和 输出通道数为a ×i， 所述下采样层的输出通道数为a ×(i+1)， 所述传 递特征图通道数为a， 适配特 征图通道数为a ×i。 5.根据权利要求4所述的多尺度 特征融合的激光雷达遥感分类方法， 其特征在于， 步骤 (3)中， 所述特 征编码层从输入中捕获特 征， 公式为： F(x)＝M(C(x)+x)+C(x)+x 式中C为依次连接的核大小为1 ×1的卷积层、 批归一化层、 非线性激活层、 核大小为7 × 7的深度卷积层、 批归一化层、 非线性激活层、 核 大小为1×1的卷积层、 批归一化层； M为多层 感知机， 具体为依次连接的核大小为1 ×1的卷积层、 非线性激活层、 核大小为1 ×1的卷积 层。 6.根据权利要求1所述的多尺度 特征融合的激光雷达遥感分类方法， 其特征在于， 步骤 (4)中， 所述解码 器包含金字塔池化模块和特征金字塔模块， 所述金字塔池化模块 从所述第 n层特征图中进一步编码高维特征， 所述特征金字塔模块输入所述第1到n ‑1层特征和所述 金字塔池化模块的输出。权　利　要　求　书 1/1 页 2 CN 115497002 A 2一种多尺度特征融合的激光雷达遥感分类方 法 技术领域 [0001]本发明属于遥感图像智能分类技术领域， 尤其涉及遥感图像中深度学习激光雷达 遥感分类方法。 背景技术 [0002]遥感分类技术已成为大面积地物识别检测与变化检测的主要方式之一， 激光雷达 由于其不易受到天气和光照条件影响， 具有较高的测 量精度和穿透能力， 被广泛用于地物 分类中。 因此， 开发高精度的激光雷达智能遥感分类方法是一项具有重大意 义的工作。 [0003]已有的深度学习多尺度特征融合方法通常采用逐层特征提取的方式逐层提取不 同尺度的特征， 提取大尺度特征前原始数据经过了多个尺度的特征提取， 在少数通道的影 像中这种方式能很好地将小尺度特征组合成具有高级信息的大尺度特征。 如专利申请 201910677344.9公开了一种图像 ‑激光雷达图像数据多尺度融合的道路检测方法， 所述检 测方法包括以下内容： 通过坐标系变换矩阵将激光雷达图像数据通过坐标系空间同步投影 到相应的图像平面； 选取激光雷达投影点云三通道通过 处理转换成致密的激光雷达投影图 像； 将两种 数据同时输入到两个完全相同且相对独立的编码器中进行多尺度密集融合； 将 多尺度密集融合结果输入到图像 ‑激光雷达融合道路检测网络得到像素级的车道分类结 果。 通过LCR融合模块可以更好利用激光雷达特征， 融合激光雷达全局信息， 整合输出通道 数； 通过构建图像 ‑激光雷达融合道路检测网络能够比一般的单模态数据结果更鲁棒， 对阴 影和光照影 响更小。 又如专利申请202111178663.9公开了一种基于多线激光雷达点云的多 尺度静态地图构建方法， 利用多线激光雷达获取道路行驶数据输出每一帧的带有时间戳的 激光点云， 在工控机下通过三维激光SLAM输出每帧的姿态数据。 动态目标去除系统按照时 间戳读入用户指定范围内的激光点云帧。 建立多尺度下 的图像金字塔， 迭代金字塔的每一 层图像。 针对每一层图像， 将局部坐标系 下的每一帧关键帧三维点云与原始地图按照指定 尺度分别投影至二维图像。 标记为动态点的点云子集作为图像金字塔下一次迭代的全部点 云， 循环往复， 直至遍历图像金子塔的全部尺度， 将动态点的错误识别率降至最低， 从而构 建精准的静态点云地图。 [0004]然而， 在面临具有数十上百通道的激光雷达特征影像时， 逐层特征提取在捕获大 尺度下多个通道的简单 特征时需要消耗大量前置尺度下的模型容 量和计算能力。 发明内容 [0005]为了解决上述问题， 提出一种多尺度特征融合的激光雷达遥感分类方法， 该方法 使用深度卷积和多层感知机将尺度变换和尺度融合分离， 提升模型多尺度特征捕获能力， 并在特征提取阶段使用深度卷积降低模型对训练数据的需求， 提高模型训练速度， 提升模 型分类性能， 便 于进行快速分类。 [0006]一种多尺度特 征融合的激光雷达 遥感分类方法， 其 步骤包括： [0007]步骤(1)： 构建多尺度特征融合的激光雷达遥感分类模型， 所述模型包含n个多尺说　明　书 1/4 页 3 CN 115497002 A 3