(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210216065.4 (22)申请日 2022.03.07 (71)申请人 厦门大学 地址 361000 福建省厦门市思明南路42 2号 (72)发明人 程明　袁直敏　刘伟权　苏燕飞　 王程　 (74)专利代理 机构 厦门创象知识产权代理有限 公司 35232 专利代理师 尤怀成 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 10/764(2022.01) G06V 10/772(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/56(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于深度学习的跨域三 维点云分割方法、 存 储介质 (57)摘要 本发明提供一种基于深度学习的跨域三维 点云分割方法、 存储介质， 方法包括： 获取训练数 据； 构建高效域迁移对抗分割框架； 使用训练数 据中的源域数据对框架中的条件域融合分割网 络模型进行监督训练， 得到预训练条件域融合分 割网络模型并更新至框架中， 再使用训练数据继 续训练更新后的分割网络模型得到跨域三维点 云条件域融合分割网络模型； 输入目标域数据至 跨域三维点 云条件域融合分割网络模 型后， 先分 别通过其中的主分支Ev和辅助分支Ep提取基于 体素的特征和基于点的特征， 再通过注意力融合 模块融合这两个特征， 再通过分类器对融合特征 和基于体素的特征进行逐点分类， 得到各点的预 测标签。 本发 明能够极大地提升跨域分割的准确 率和性能。 权利要求书2页 说明书11页 附图4页 CN 114638964 A 2022.06.17 CN 114638964 A 1.一种基于深度学习的跨 域三维点云 分割方法， 其特 征在于， 包括以下步骤： 获取训练数据， 训练数据包括带 标签的源域数据和无 标签的目标域数据； 构建一高效域迁移对抗分割框架， 所述高效域迁移对抗分割框架包括条件域融合分割 网络和判别网络； 其中， 所述条件域融合分割网络包括基于体素的主分支Ev、 基于点的辅助 分支Ep、 注意力融合模块和分类 器； 使用所述训练数据中的源域数据对所述条件域融合分割网络进行监督训练， 得到预训 练条件域融合分割网络模型； 将所述预训练条件域融合分割网络模型加载至所述高效域迁移对抗分割框架中的条 件域融合分割网络； 使用所述训练数据对高效域迁移对抗分割框架中的条件域融合分割网络络模型继续 进行对抗训练， 得到跨 域三维点云条件域融合分割网络模型； 输入目标域数据至所述跨域三维点云条件域融合分割网络模型后， 先分别通过其中的 主分支Ev和辅助分支Ep提取基于体素的特征和基于点的特征， 再通过注意力融合模块融合 所提取的两个特征， 得到融合特征， 最后通过分类器对所述融合特征和所述基于体素 的特 征进行逐点分类， 得到 输入的目标域数据各点的预测标签。 2.如权利要求1所述的一种基于深度 学习的跨域三维点云分割方法， 其特征在于， 所述 辅助分支Ep包括多尺度条件域特 征抽取模块； 所述目标域数据通过辅助分支Ep提取基于点的特 征， 具体包括： 所述目标域数据通过辅助分支Ep中的多尺度条件域特征抽取模块从点视角提取其多尺 度特征和域特定特 征。 3.如权利要求1所述的一种基于深度 学习的跨域三维点云分割方法， 其特征在于， 所述 使用所述训练数据对高效域迁移对抗分割框架中的条件域融合分割网络络模型继续进行 对抗训练， 得到跨 域三维点云条件域融合分割网络模型， 包括： 使用源域数据进行训练的第一子流 程： 输入一给定的源域数据至高效域迁移对抗分割框架下的条件域融合分割网络络模型 中， 输出所述一给定的源域数据的每 个点的预测结果； 依据所述 一给定的源域数据及其每 个点的预测结果和标签， 计算交叉熵损失； 依据所述交叉熵损失对所述条件域融合分割网络 络模型进行 更新； 以及使用目标域数据进行训练的第二子流 程： 输入一给定的目标域数据至更新后的条件域融合分割网络络模型中， 输出所述一给定 的目标域数据每 个点的预测结果； 将所述一给定的目标域数据的预测结果输入至所述判别网络 中， 获取每个点的域预测 结果； 依据所述 一给定的目标域数据的域预测结果和域标签， 计算对抗损失； 以及依据所述条件域融合分割网络络模型的两个分类器对所述目标域数据的分类结 果， 计算得到 差异图的第三子流 程； 以及依据所述差异图对所述对抗损 失进行逐点加权， 得到加权后的对抗损 失， 并依据 所述加权后的对抗损失对所述条件域融合分割网络 络模型进行 更新的第四子流 程； 将所述一给定的源域数据的预测结果和所述一给定的目标域数据的预测结果输入至权　利　要　求　书 1/2 页 2 CN 114638964 A 2高效域迁移对抗分割框架下的判别网络中进 行训练并更新判别网络， 返回继续执行第一子 流程， 直至达到预设迭代次数， 得到跨 域三维点云条件域融合分割网络模型的第五子流 程。 4.如权利要求3所述的一种基于深度 学习的跨域三维点云分割方法， 其特征在于， 所述 第四子流 程， 之后， 还 包括： 将源域数据扩充到目标域数据中； 依据所述训练的反馈信息调整跨 域三维点云条件域融合分割网络模型的超参数。 5.如权利要求4所述的一种基于深度 学习的跨域三维点云分割方法， 其特征在于， 所述 扩充目标域数据包括： 通过所述高效域迁移对抗分割框架下的预训练条件域融合分割网络模型对训练数据 中目标域数据的各点进行 预测， 得到目标域数据各点的伪标签这 一预测结果； 分别依据源域数据各点的标签在对应的源域数据中提取一个中心点属于地面类别的 第一区域； 分别依据目标域数据各点的伪标签在对应的目标域数据中提取一个中心点属于地面 类别的第二区域； 使用所述第一区域 替换所述目标域数据中的所述第二区域； 对替换后的所述目标域数据进行随机采样。 6.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序在被处理 器执行时， 能够实现上述权利要求1 ‑5任意一项所述的一种基于深度学习的跨域三维点云 分割方法。权　利　要　求　书 2/2 页 3 CN 114638964 A 3