(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210502520.7 (22)申请日 2022.05.10 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 刘永进　韩义恒　 (74)专利代理 机构 北京鸿元知识产权代理有限 公司 11327 专利代理师 董永辉　曹素云 (51)Int.Cl. G06T 17/20(2006.01) G06T 7/20(2017.01) G06F 30/27(2020.01) B25J 18/00(2006.01) B25J 9/16(2006.01) G06V 10/774(2022.01) (54)发明名称 物体三维重建方法及装置 (57)摘要 本发明公开一种物体三 维重建方法及 装置， 方法包括： 机器人对待重建物体进行环绕运动， 在当前最佳采集视点采用深度相机进行数据采 集， 并在当前最佳采集视点预计算机器人移动一 个步长后的机械臂可达空间内的视点选择集合 Viter， 将当前最佳采集视点的采集数据以及 所述 视点选择集合Viter输入最佳视点模型， 所述最佳 视点模型计算下一个最佳采集视点， 直至环绕一 周结束； 基于深度相机的采集位姿， 拼接整个环 绕过程中的所有深度相机的点云采集数据， 获得 待重建物体的三维重建模型。 本发 明同时兼顾视 点评估和排序， 提出了一套原创的双分支神经网 络， 同时兼顾视点的评估和排序， 提高特征提取 准确率。 权利要求书2页 说明书6页 附图3页 CN 115482351 A 2022.12.16 CN 115482351 A 1.一种物体三维重建方法， 其特 征在于， 包括： 机器人对待重建物体进行环绕运动， 在当前最佳采集视点采用深度相机进行数据采 集， 并在当前最佳采集视点预计算机器人移动一个步长后的机械臂可达空间内的视点选择 集合Viter， 将当前最 佳采集视 点的采集 数据以及所述视点选择集合Viter输入最佳视点模型， 所述最佳视点模型计算下一个最佳采集视点并采集数据， 直至环绕一周结束； 基于深度相机的采集位姿， 拼接整个环绕过程中的所有深度相机的点云采集数据， 获 得待重建物体的三维重建模型。 2.根据权利要求1所述的物体三维重建方法， 其特 征在于， 所述将当前最佳采集视点的采集数据以及所述视点选择集合Viter输入最佳视点模型， 包括： 将不属于选择过的视点集合Vselected， 且属于视点选择集合Viter的视点， 以及当前最佳 采集视点的采集数据输入最佳视点模型评估， 从而获取 下一个最佳采集视点。 3.根据权利要求1所述的物体三维重建方法， 其特 征在于， 构建最佳视点模型的过程是： 根据以下公式来评估输入点云集合P及从待重建物体上采样得到的完整点云集合Pc的 覆盖率， 以点云集合P为输入， 在当前最佳采集视点的重 建模型对原模 型的覆盖率C为标签， 使用均方误差损失来训练最佳视点模型的评估分支， 其中， U为海维赛德阶跃函数， ∈为距离阈值； 以点云集 合P为输入， 覆盖率C为标签， 结合交叉熵， 设计如下损失： i， j为视点序号， Pij为排序准确率的概率估计， 根据最佳视点模型的标签计算出排序准 确率的实际概 率 R为排序集合， 视点对的交叉熵 将所有视点对的交叉熵求和， 设计排序损失LR， 来训练最佳视点模型的排序分支， i， j为视点对， 是 所有视点中随机 两个视点组成的视点对， 将排序分支结合评估分支， 训练出基于双分支的最佳视点模型。 4.根据权利要求1所述的物体三维重建方法， 其特征在于， 所述获得待重建物体的三维 重建模型后， 还根据待重建物体的点云与 完整点云集合Pc的差异， 进行点云补全， 点云配准 后处理操作。 5.根据权利要求1所述的物体三维重建方法， 其特征在于， 所述在 当前最佳采集视点进 行数据采集， 包括：权　利　要　求　书 1/2 页 2 CN 115482351 A 2依据反向动力学将最佳采集视点 解算为机械臂的各关节值， 确定 机械臂的目标位姿； 使用基于采样的规划算法， 计算出机 械臂到达目标位姿的轨 迹， 并执行该轨迹； 深度相机 完成采集动作。 6.根据权利要求1所述的物体三维重建方法， 其特征在于， 第 一个最佳采集视点的选择 方法是， 在仿 真环境中， 使用不同物体模型来依据视点及其覆盖率评估视点的价值， 将使得 所述不同物体模型初始 平均覆盖率 最高的视点作为第一个最佳采集视点。 7.根据权利要求1所述的物体三维重建方法， 其特征在于， 所述机器人包括移动底盘、 单线雷达、 机 械臂以及安装在机 械臂上的深度相机 。 8.根据权利要求7所述的物体三维重建方法， 其特征在于， 所述移动底盘驱动机器人沿 待重建物体环绕运动， 通过单线雷达感知与待重建物体的距离并自动移动到最佳采集视 点。 9.根据权利要求2所述的物体三维重建方法， 其特 征在于， 所述将不属于选择过的视点集合Vselected， 且属于视点选择集合Viter的视点输入最佳视 点模型评估， 包括： 将围绕待重建物体的所有视点划分成如下类别， 其中只有类别2 的视点输入最佳视点 模型评估： 将当前最佳采集视点采集的待重建物体点云与vstate＝2的视点状态集合， 输入到最佳 视点模型中， 从而获取 下一最佳采集视点。 10.一种电子装置， 其特征在于， 包括处理器和存储器， 在所述存储器中存储有物体三 维重建程序， 所述物体三维重建程序在所述处理器执行时， 完成权利要求1至9中任一项所 述的物体三维重建方法。权　利　要　求　书 2/2 页 3 CN 115482351 A 3