(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210061551.3 (22)申请日 2022.01.19 (65)同一申请的已公布的文献号 申请公布号 CN 114494868 A (43)申请公布日 2022.05.13 (73)专利权人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 杨辉　王彪　吴艳兰　 (74)专利代理 机构 安徽顺超知识产权代理事务 所(特殊普通 合伙) 34120 专利代理师 陈波 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 US 2021174149 A1,2021.0 6.10 CN 112634292 A,2021.04.09 CN 110110621 A,2019.08.09 梁泽毓等.基 于密集连接全卷积神经网络的 遥感影像水体全自动提取方法. 《遥感信息》 .2020,(第04期), 审查员 刘海艳 (54)发明名称 基于多特征融合深度学习的无人机遥感建 筑物提取方法 (57)摘要 本发明公开了摄影测量处理技术领域的基 于多特征融合深度学习模型的无人机遥感建筑 物智能提取方法， 以 “如何利用深度学习， 模拟人 眼立体视觉中建筑物多特征表达形式 ”为核心， 研究基于孪生网络的DSM(数字表面模型)与DOM (数字正射影像)的多特征融合方法， 设计建筑物 多特征的特征抽取、 分析能力， 通过密集注意力 机制进一步增强建筑物的特征传递和累积整合 特性， 将原来使用的单网络结构变为使用对称网 络结构， 并且两个对称网络结构完全相同， 并结 合注意力机制， 构建混合模型， 深度挖掘无人机 遥感建筑物的多层次、 多维度的特征和空间关 系， 实现顾及建筑物多层次特征的无人机遥感建 筑物自动提取新方法。 权利要求书1页 说明书5页 附图2页 CN 114494868 B 2022.11.22 CN 114494868 B 1.基于多特征融合深度学习的无人机遥感建筑物提取方法， 其特征在于， 包括以下步 骤： 步骤一、 顾及视 觉注意力机制的建筑物提取优化 流程； 建筑物的立体视 觉注意特 征分析； 建筑物场景的注意力分析 方法； 研究无人机遥感不同建筑物目标的语义差异和视觉注意力 评估方法， 以及不同目标注 意力评估方法的对比研究； 从视觉注意力机制角度， 建立建筑物提取深度学习的计算策略及优化 流程； 步骤二、 识别目标注意力强弱评估与排序， 根据无人机遥感建筑物提取所需要识别的 各类目标， 以及 对应所建立的建筑物样本库， 通过开展步骤一， 实现基于深度学习的建筑物 视觉注意特征分析方法、 以及基于深度学习的视觉注意力评估方法， 并利用这些方法对所 需要识别的建筑物进行视 觉注意力强弱评估与排序， 以此作为执 行建筑物 识别的顺序； 步骤三、 基于浅层网络的特征提取， 采用孪生神经网络作为基本框架， 即利用两个相同 子网络的神经网络架构， 在训练中权重信息共享， 需要更少的参数、 不容易出现过拟合， 采 用一个浅层孪生网络结构， 将无人机遥感数据产品的数字正射影像、 数字表面模型作为网 络输入， 其中一支网络提取建筑物的纹理和光谱信息， 另一支网络充分挖掘建筑物的空间 结构信息； 两支网络具有相同的卷积层， 经过两次卷积操作后， 将两类特征的输出结果合 并， 最后选用5 ×5的卷积核 进行特征融合； 步骤四、 基于密集连接的特 征融合； 步骤五、 设计编码 ‑解码结构， 编码特 征， 最终解码并 网络输出建筑物语义分析 结果。 2.根据权利要求1所述的基于多特征融合深度学习的无人机遥感建筑物提取方法， 其 特征在于， 步骤四中， 在密集连接结构中， 先前所有 卷积层的特征映射 都与后面层特征有关 联， 即第L个卷积层能够获取 先前所有卷积层(X0， X1,X2， ...XL‑1)的特征映射作为输入： XL＝FL([X0， X1， X2,...,XL‑1])； 其中， [X0， X1， X2,...,XL‑1]表示先前所有特征映射的融合， 而非线性转换函数FL包括批 归一化层、 激活函数和卷积层。 3.根据权利要求2所述的基于多特征融合深度学习的无人机遥感建筑物提取方法， 其 特征在于， 步骤四中， 密集连接结构构建了一个增长率降低密集连接结构中特征层的冗余， 提高网络结构的效率。 4.根据权利要求1所述的基于多特征融合深度学习的无人机遥感建筑物提取方法， 其 特征在于， 步骤五中， 编 码结构中包括密集连接块和转换层， 前者利用密集连接结构增强特 征， 后者通过下采样扩大 特征感受野进一 步提取建筑物的抽象特 征； 解码结构中， 反卷积的高级特征通过跳跃连接层融合编码结构中低级特征， 并利用注 意力机制指导低级特 征获取不同类型的空间细节信息； 最终， 网络 输出建筑物语义分析 结果。权　利　要　求　书 1/1 页 2 CN 114494868 B 2基于多特征融合深度学习的无人机遥感建筑物提取方 法 技术领域 [0001]本发明涉及摄影测量数据处理技术领域， 具体涉及基于多特征融合的无人机遥感 建筑物提取 方法。 背景技术 [0002]无人机遥感技术 因其自动化、 智能化、 专业化快速获取国土、 资源、 环境、 事件等空 间遥感信息， 并具有实时处理、 建模和分析的能力， 目前已被广泛应用于大比例尺地形图测 绘、 城市空间数据基础设施建设、 城市快速 真三维建模等。 无人机遥感信息提取的自动化程 度直接影响着大规模的数据生产、 广泛的行业应用、 以及数据的充分利用。 目前， 无人机遥 感数据经过 “外业采集、 影像预 处理、 内业加密、 产品生产 ”等步骤， 便可快速高效、 全自动化 地获得区域空间信息， 并能够生成具备三维信息的DSM， 以及正射纹理信息的DOM。 然而， 这 种全自动获得三 维信息和纹理信息的产品其 实质是一张整体相连接的不规则三角网， 这使 得无人机遥感应用普遍面临着 “只能看、 不能算 ”的瓶颈问题， 无人机遥感地物目标识别与 分类自动化研究远远落后于无人机遥感硬件和处理系统的快速发展， 难以满足人员对其应 用的要求。 [0003]深度学习作为促进无人机遥感技术发展的重要驱动力， 已得到该领域学者们的普 遍关注， 但现有研究主要聚焦于无人机影像目标识别与语义分割， 将影像 自动识别纳入无 人机系统以实现智能控制， 无人机导航控制、 DTM提取、 以及无人机其他传感器的目标识别 等， 对于无人机建筑物提取的深度学习方法研究较少， 仍主要停留传统方法上， 如面向对 象、 基于建筑物指数、 支持向量机等。 虽然， 近年来， 深度学习研究已涌现出一些优秀成果， 但无人机遥感数据在成像系统、 采集方式、 数据源等方面具有自身 特点， 迫切必要研究适用 于无人机遥感数据的建筑物深度学习提取 方法。 [0004]在当前技术条件下， 基于深度学习的建筑物提取方法， 主要面临如下挑战： 1） 建筑 物形态结构复杂， 多样性较强， 且易受遮挡， 在无人机遥感影像中， 建筑物空间结构、 地物类 别差异等复杂背景问题突出， 难以顾及建筑物形态特征 的完整性， 进而无法精确计算和判 定建筑物信息； 2） 一直以来， 无人机遥感信息提取大都围绕 “人工立体测图 ”模式展开， 其生 产和应用流程大多缺 乏建筑物智能提取这一环节， 造成深度学习训练样本难以获取， 缺 乏 公开数据集等问题； 3） 虽然当前研究呈现出人工特征先验知识与深度学习模型相结合的技 术发展方向， 但在无人机遥感数据多 特征利用方面仍缺乏研究。 因此， 研究能到到立体测图 下的人工识别效果的无人机遥感建筑物深度学习方法是一项极具挑战性的任务， 要求方法 在鲁棒性、 小样本、 精度、 普适性等方面要有很大提升。 基于此， 本发明涉及了基于多 特征融 合的无人机遥感建筑物提取 方法， 以解决上述问题。 发明内容 [0005]（一） 解决的技 术问题 [0006]本发明的目的在于解决背景技术的问题， 而提出一种基于多特征 融合深度学习的说　明　书 1/5 页 3 CN 114494868 B 3