(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211207592.5 (22)申请日 2022.09.30 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 申请人 杭州瑞成信息技 术有限公司 (72)发明人 吴向阳　周海新　金征雷　 (51)Int.Cl. G06T 5/00(2006.01) G06T 17/00(2006.01) (54)发明名称 一种具有形状感知的三维点云模型修复方 法 (57)摘要 本发明公开了一种具有形状感知的三维点 云模型修复方法， 包括以下步骤： 步骤一、 获取数 据集； 步骤二、 预处理实验数据； 步骤三、 设计神 经网络模型结构； 步骤四、 构建神经网络模型损 失； 步骤五、 搭建实验环境并训练神经网络模型； 步骤六、 存储最优模型及其各项参数。 采用上述 技术方案， 将不完整的、 残缺的、 点分布不均匀的 点云模型作为输入， 输出补全修复后点分布均匀 的完整点云模型。 权利要求书2页 说明书8页 附图4页 CN 115546061 A 2022.12.30 CN 115546061 A 1.一种具有形状感知的三维点云模型修复方法， 其特 征在于， 包括以下步骤： 步骤一： 获取 数据集； 步骤二： 预处理实验数据； 对步骤一中的数据集进行处理， 包括： 对数据的采样、 定位、 角度旋转、 模拟缺失过程以及对所有点云数据的归一 化处理； 步骤三： 设计神经网络模型结构； 基于自动编码器网络框架， 通过多个自学习的方向向 量和局部自注意力机制提取相应的点云几何特征并借助残差网络进行局部结构优化， 来构 建一个以缺 失的不完整点云模型作为输入， 具有完整 形状的修复点云作为输出的点云模型 补全网络； 步骤四： 构建神经网络模型损失； 针对模型结构设计两种损失函数， 计算网络输出的修 复点云形状与真实点云形状之 间的差异， 进而约束神经网络模型对于残缺并且不规则点云 的修复能力； 步骤五： 搭建实验环境并训练神经网络模型； 对该点云修复神经网络模型结构运行所 需要的软硬件设施进 行配置， 并设置各项模型训练的超参数， 最后， 将设计好的神经网络模 型进行端到端的训练， 与此同时利用损失函数对该网络模型进行约束， 使之能够更好地修 复三维点云模型； 步骤六： 存储最优模型及其各项参数； 在训练和测试趋于稳定并保持在一个高水准修 复结果后， 保存最优 模型结构及其各项参数。 2.根据权利要求1所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 步 骤二中采用26个均匀分布在单位球 体上的位置来 为每个CAD模型模拟出不完整的点云。 3.根据权利要求1所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 步 骤二中包括数据处 理方法： 将采用泊松盘采样P DS对完整形状的非重 叠且均匀分布的点云进行采样； 对点云模型的点 坐标进行 单位球归一 化： 将整个点云模型放缩到半径为1的球 体中。 4.根据权利要求1所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 步 骤三所述的点云模型补全网络主要分为特征提取 的编码器和模型修复的解码器， 其中， 编 码器主要通过特征计算、 特征卷积的方式获取点云模型中每一个点的特征信息， 解码器主 要根据编码器获取到的特征信息进行重建并细化处理， 将残缺、 密度不均匀的点云模型修 复成完整、 精细的点云模型。 5.根据权利要求4所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 步 骤三所述的点云模型补全网络中编码器， 包括： 特征卷积单元、 形状感知模块、 多个级联的局部形状特征卷积模块和最大池化操作特 征卷积单元用于获取点的空间特 征； 形状感知模块对每一个点在其多个方向维度 上生成自适应的三维点云形状卷积算子； 在局部特征卷积模块中利用形状卷积算子来捕获点云模型的形状特征， 并与点云的空间特 征相结合， 从而可以通过最大池化操作来丰富每一个点的特 征向量。 6.根据权利要求4所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 所 述的点云模型补全网络中解码器， 包括： 点云重建、 修复和细化 三个模块； 重建模块主要是以点云的全局特征作为输入， 生成一个粗略的点云 向量来表示该模型 的模糊特征， 这种向量会体现出点云模型 的大致轮廓信息， 进而引导后续模块对点云补全权　利　要　求　书 1/2 页 2 CN 115546061 A 2的总体趋向； 修复模块主要利用残差思想将输入点云和粗重建的点云相结合， 并设置每个点的坐标 偏移量， 再采用多层感知器来学习该偏移量 参数， 从而生成一个修复后的点云模型； 细化模块则对点云模型内部结构进行处理， 使其生成一个点分布均匀、 形状完整的点 云模型。 7.根据权利要求1所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 步 骤四所述的损失函数包括： 重建损失和形状约束损失； 重建损失， 是倒角距离CD损失和搬土距离EMD损失的加权和， CD损失计算重建后的点集 到真实点集中对应点的最短距离， EMD损失计算从重建后的点集映射到真实点集中的最小 代价和； 形状约束损失， 主要通过CD距离的单向约束来保证网络生成的预测点云模型中尽可能 多的保留原始输入点云中的内部已有 结构， 使其补 全后的模型仍保持着原有模型的结构信 息。 8.根据权利要求1所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 步 骤五中， 设置超参数包括： 批大小BatchSize设置为32， 激活函数采用LeakyReLU函数； 在学 习率为0.0003的Adam优化器上持续训练了128个周期， 每隔32个周期， 深度学习模型的输入 点云数量为1024， 编码器输出的粗重建点云数量为1024， 最终通过解码器输出的细化均匀 密集点云数量 为1024。 9.根据权利要求1所述的一种具有形状感知的三维点云模型修复方法， 其特征在于， 步 骤六所述的训练方式和模型存储， 在模型训练中， 模型实时监控输出 的损失和重建的正确 率， 进而定位到在整个训练的128个周期中效果 最好的模型参数 结构。权　利　要　求　书 2/2 页 3 CN 115546061 A 3