(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211193372.1 (22)申请日 2022.09.28 (71)申请人 苏州浪潮智能科技有限公司 地址 215128 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 刘鑫　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 张睿 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 图像重建方法、 装置、 电子设备及存 储介质 (57)摘要 本发明提供一种图像重建方法、 装置、 电子 设备及存储介质， 获取待重建的源视图； 将所述 待重建的源视图输入至训练完成的图像重建模 型中， 得到所述待重建的源视图的重建图像； 其 中， 所述图像重建模型是将采集的实际场景中的 3D图像数据集作为训练集， 并基于所述训练集和 训练集对应的3D重建图像进行训练得到的； 所述 3D图像数据集包括场景数据集和物体数据集。 本 发明能够通过实际场景下的3D图像数据集提高 模型训练数据集的真实性， 从而提高源视图的重 建效果。 权利要求书3页 说明书15页 附图2页 CN 115512048 A 2022.12.23 CN 115512048 A 1.一种图像重建方法， 其特 征在于， 包括： 获取待重建的源视图； 将所述待重建的源视图输入至训练完成的图像重建模型中， 得到所述待重建的源视图 的重建图像； 其中， 所述图像重建模型是将采集的实际场景中的3D图像数据集作为训练集， 并基于 所述训练集和训练集对应的3D重建图像进行训练得到的； 所述3D图像数据集包括场景 数据集和物体数据集。 2.根据权利要求1所述的图像重建方法， 其特征在于， 所述图像重建模型的训练方法， 包括： 在实际场景中获取 所述3D图像数据集； 建立待训练的初始模型， 将所述3D图像数据集输入至所述初始模型中， 得到 重建图像； 对所述初始模型进行迭代更新， 得到每次迭代的训练模型， 基于迭代损 失值调整所述 每次迭代的训练模型 的模型参数， 直至所述迭代损失值达到预设目标值， 得到训练完成的 图像重建模型。 3.根据权利要求2所述的图像重建方法， 其特征在于， 所述初始模型为Nerf模型， 所述 Nerf模型包括Transformer子模型和重建子模型； 所述将所述3D图像数据集输入至所述初 始模型中， 得到 重建图像， 包括： 将所述3D图像数据集输入至所述Transformer子模型中， 基于渲染光线的传播对所述 3D图像数据集进行图像渲染， 得到渲染新视图； 基于所述Transformer子模型的第一注意力层和第二注意力层对所述渲染新视图进行 特征交替联合， 得到聚合特 征； 通过所述重建子模型对所述聚合特 征进行特征重建， 输出 所述重建图像。 4.根据权利要求2所述的图像重建方法， 其特征在于， 所述在实际场景中获取所述3D图 像数据集， 包括： 在实际场景中， 基于目标场景获取所述场景数据集， 以及基于目标物体获取物体数据 集； 将所述场景 数据集和物体数据集进行融合， 得到所述3D图像数据集。 5.根据权利要求4所述的图像重建方法， 其特征在于， 所述场景数据集的获取方法包 括： 从第一数据库中选取 所述目标场景， 基于所述目标场景 得到所述场景 数据集； 其中， 所述第一数据库是对实际室内场景进行 大数据采集建立的。 6.根据权利要求5所述的图像重建方法， 其特征在于， 所述将所述场景数据集和物体数 据集进行融合， 得到所述3D图像数据集， 包括： 从第二数据库中选取 所述目标物体； 获取所述目标物体在所述目标场景中多个位置的渲染图像； 对各所述渲染图像进行 过滤处理， 将过滤后的图像作为所述3D图像数据集。 7.根据权利要求6所述的图像重建方法， 其特征在于， 所述对各所述渲染图像进行过滤 处理， 将过滤后的图像作为所述3D图像数据集， 包括： 获取各所述渲染图像中所述目标物体掩码的边界矩形面积， 以及获取所述渲染图像的权　利　要　求　书 1/3 页 2 CN 115512048 A 2图像大小； 获取所述边界矩形面积和所述图像大小的比率， 将所述比率和预设阈值进行比较； 对所述比率小于所述预设阈值的渲染图像进行过滤， 将过滤后的图像作为所述3D图像 数据集。 8.根据权利要求6或7所述的图像重建方法， 其特征在于， 所述获取所述目标物体在所 述目标场景中多个位置的渲染图像， 包括： 基于所述目标物体在所述目标场景中的导 航结果， 确认多个图像采集 位置； 在确认所述目标物体置于所述目标场景中的情况下， 通过图像采集设备获取所述目标 物体在每 个所述图像采集 位置的渲染图像。 9.根据权利要求8所述的图像重建方法， 其特征在于， 所述基于所述目标物体在所述目 标场景中的导 航结果， 确认多个图像采集 位置之后， 所述方法还 包括： 基于所述图像采集 位置确认目标区域； 所述通过图像采集设备获取所述目标物体在每个所述图像采集位置的渲染图像， 包 括： 将所述图像采集设备设置于所述目标区域中， 并确认所述图像采集设备与 所述目标场 景无碰撞现象； 通过图像采集设备获取所述目标物体在所述目标区域内的采集图像， 并对所述采集图 像进行渲染， 得到所述 渲染图像。 10.根据权利要求3所述的图像重建方法， 其特征在于， 所述图像重建模型包括 Transformer子模型和重建子模型； 所述将所述待重建的源视图输入至训练完成的图像重 建模型中， 得到所述待重建的源视图的重建图像， 包括： 将所述待重建的源视图输入至训练完成的图像重建模型中， 对所述源视图进行图像渲 染， 并基于所述Transformer子模 型的第一注 意力层和第二注 意力层进行特征联合， 得到聚 合特征； 通过所述重建子模型对所述聚合特 征进行特征重建， 得到所述重建图像。 11.一种图像重建模型的训练方法， 其特 征在于， 包括： 将场景数据集和物体数据集进行融合， 得到 3D图像数据集； 建立待训练的初始模型， 将所述3D图像数据集输入至所述初始模型的Transformer子 模型中， 基于渲染光线的传播对所述3D图像数据集进行图像渲染， 得到渲染新视图； 基于所述Transformer子模型的第一注意力层和第二注意力层对所述渲染新视图进行 特征交替联合， 得到聚合特 征； 通过所述初始模型的重建子模型对所述聚合特 征进行特征重建， 输出重建图像； 对所述初始模型进行迭代更新， 得到每次迭代的训练模型， 基于迭代损 失值调整所述 每次迭代的训练模型 的模型参数， 直至所述迭代损失值达到预设目标值， 得到训练完成的 图像重建模型。 12.一种图像重建装置， 其特 征在于， 包括： 获取模块， 用于获取待重建的源视图； 重建模块， 用于将所述待重建的源视 图输入至训练完成的图像重建模型中， 得到所述 待重建的源视图的重建图像；权　利　要　求　书 2/3 页 3 CN 115512048 A 3