(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211342750.8 (22)申请日 2022.10.31 (71)申请人 苏州立创致恒电子科技有限公司 地址 215000 江苏省苏州市工业园区金鸡 湖大道13 55号国际科技园A5 03 (72)发明人 李骏　李想　杨苏　周方明　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　朱炎 (51)Int.Cl. G06T 15/00(2011.01) G06T 15/20(2011.01) G06T 17/00(2006.01) G06T 19/20(2011.01) G06V 10/80(2022.01)G06T 7/73(2017.01) G06T 7/33(2017.01) (54)发明名称 一种基于图像与点云数据融合的三维重建 方法 (57)摘要 本申请提供一种基于图像与点云数据融合 的三维重建方法， 涉及计算机视觉和计算机图形 学领域。 所述三维重建方法通过点云配准和融 合， 得到被测对象的全景点云； 再根据对应的图 像数据进行显著性特征提取和多尺度聚合特征 提取， 得到全 景点云中每个点的显著性特征向量 和多尺度聚合特征向量， 利用神经辐射场进行基 于点的体渲染， 得到具有接近真实的色彩和纹理 信息的三维模型。 权利要求书3页 说明书11页 附图2页 CN 115409931 A 2022.11.29 CN 115409931 A 1.一种基于图像与点云数据融合的三维重建方法， 其特 征在于， 包括： 获取被测对象的点云序列以及图像序列， 其中， 所述被测对象的点云序列包括所述被 测对象的多个依 次相邻的点云数据， 且所述点云序列覆盖所述被测对 象的全景区域； 所述 图像序列包括多个图像数据， 所述图像数据分别与所述 点云数据一 一对应； 对所述点云序列中的多个所述点云数据进行配准和融合处理， 得到所述被测对象的全 景点云； 对所述图像序列中的多个所述图像数据分别进行显著性特征提取和多尺度聚合特征 描述， 得到所述全景点云中每 个点对应的显著性特 征向量和多尺度聚合特 征向量； 根据目标点的位置信息、 待观察点的位置信息和目标点的多尺度聚合特征向量， 使用 第一全连接网络进 行计算， 得到所述目标点相对于所述待观 察点的观察特征向量， 其中， 所 述目标点 为所述全景点云中除所述待观察 点之外的任意 一个点； 根据距离所述待观察点最近的k个点的相对于所述待观察点的观察特征向量、 以及显 著性特征向量进行聚合计算， 得到所述待观察 点的外观描述向量； 将所述目标点相对于所述待观察点的观察特征向量， 使用第二全连接网络进行计算， 得到所述目标点相对于所述待观察 点的观察密度向量； 根据距离所述待观察点最近的k个点的相对于所述待观察点的观察密度向量、 以及显 著性特征向量进行聚合计算， 得到所述待观察 点的体密度信息； 根据观察采样点的位置信息、 所述待观察点的位置信息进行位置编码计算， 得到所述 待观察点相对于所述观察采样点的高维位置向量； 根据所述待观察点的高维位置向量和所述待观察点的外观描述向量， 使用第 三全连接 网络进行计算， 得到所述待观察 点相对于所述观察采样点的辐射信息 。 2.根据权利要求1所述的三维重建方法， 其特征在于， 根据目标点的位置信息、 待观察 点的位置信息和目标点的多尺度聚合特征向量， 使用第一全连接网络进行计算， 得到所述 目标点相对于所述待观察 点的观察特 征向量， 包括： 使用所述待观察点的位置信 息减去所述目标点的位置信 息， 得到所述目标点相对于所 述待观察 点的相对位置信息； 将所述目标点相对于所述待观察点的相对位置信息与所述目标点的多尺度聚合特征 向量进行拼接， 得到拼接后的多尺度聚合特 征向量； 使用所述第 一全连接网络对所述拼接后的多尺度聚合特征向量进行计算， 得到所述目 标点相对于所述待观察 点的观察特 征向量。 3.根据权利要求1所述的三维重建方法， 其特征在于， 按照如下公式进行聚合计算， 得 到所述待观察 点的外观描述向量： 其中，fx表示所述待观察点的外观描述向量， ，i表示第i个目标点， Ai表示第i个 目标点对应的显著性特征向量， ， 其中， 为第i个目标点的位置信息， x 为所述待观察点的位置信息， 表示第i个所述目标点相对于所述待观察点的观察特权　利　要　求　书 1/3 页 2 CN 115409931 A 2征向量； 按照如下公式进行聚合计算， 得到所述待观察 点的体密度信息： 其中， 表示所述待观察点的体密度信息， 表示第i个所述目标点相对于 所述待 观察点的观察密度向量。 4.根据权利要求1所述的三维重建方法， 其特征在于， 根据观察采样点的位置信息、 所 述待观察点的位置信息进 行位置编 码计算， 得到所述待观察点相对于所述观察采样点的高 维位置向量， 包括： 使用所述观察采样点的位置信 息减去所述待观察点的位置信 息， 得到所述待观察点相 对于所述观察采样点的相对位置信息； 将所述待观察点相对于所述观察采样点的相对位置信息映射到32维空间中， 得到所述 待观察点相对于所述观察采样点的高维位置向量。 5.根据权利要求1所述的三维重建方法， 其特征在于， 对图像数据进行显著性提取， 包 括： 使用多尺度特征提取卷积网络对所述图像数据进行多尺度 特征提取， 得到第 一层次特 征图、 第二层次特征图和第三层次特征图， 其中第一层次特征图的通道数为8， 第二层次特 征图的通道数为16， 第三层次特 征图的通道数为32； 使用显著性提取网络对所述第 一层次特征图、 第 二层次特征图和第 三层次特征图进行 处理， 对应得到第一中间特征图、 第二中间特征图和第三中间特征图， 其中， 所述显著性提 取网络的输出通道数为1； 将所述第一中间特征图、 所述第 二中间特征图和所述第 三中间特征图分别乘以对应的 显著性权 重然后相加， 得到所述图像数据的显著性特 征图。 6.根据权利要求5所述的三维重建方法， 其特征在于， 对图像数据进行多尺度聚合特征 描述， 包括： 将所述第一层次特征图、 所述第 二层次特征图和所述第 三层次特征图分别成乘以对应 的聚合权 重， 得到第一多尺度特 征图、 第二多尺度特 征图和第三多尺度特 征图； 将所述第一多尺度特征图、 所述第 二多尺度 特征图和所述第 三多尺度 特征图按照通道 维度堆叠， 得到所述图像数据的所述多尺度聚合特 征图。 7.根据权利要求1所述的三维重建方法， 其特征在于， 所述的对所述点云序列中的多个 所述点云数据进行配准和融合处 理， 得到所述被测对象的全景点云； 包括： 依次对所述点云序列中的两个相邻点云数据进行配准， 得到所述两个相邻点云数据对 应的旋转矩阵和平 移向量； 根据所述两个相邻点云数据对应的旋转矩阵和平移向量， 依次融合所述两个相邻点云 数据， 得到新的点云序列； 将所述新的点云序列作为所述被测对象的点云序列， 重复上述得到新的点云序列的过 程， 指导新的点云序列中包 含的点云数据的数量 为1； 得到所述被测对象的全景点云。权　利　要　求　书 2/3 页 3 CN 115409931 A 3