(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211257959.4 (22)申请日 2022.10.14 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 俞洪蕴　陈志文　吕承飞　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 张爱　刘戈 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/80(2022.01) G06Q 30/06(2012.01) (54)发明名称 三维重建与商品信息处理方法、 装置、 设备 及存储介质 (57)摘要 本申请实施例提供一种三维重建与商品信 息处理方法、 装置、 设备及存储介质。 在本申请实 施例中， 对目标对象的多张图像进行三维重建， 在三维重建过程中对多张图像进行特征向量的 提取和拼接， 以及基于拼接的特征向量预测用于 模型控制的姿态控制参数和形状控制参数， 并按 照姿态控制参数和形状控制参数对目标对象的 初始三维模 型进行蒙层处理， 得到目标对象 的目 标三维模型。 该三维重建方式极大地提高了三维 模型的精度和真实感， 进而有效地拓展基于三维 模型的应用范围和应用效果。 特别地， 在商品选 购场景中， 能够基于三维重建的模 型为目标对象 选购与之适配的商品， 为解决现有退换货问题提 供条件。 权利要求书4页 说明书21页 附图5页 CN 115359192 A 2022.11.18 CN 115359192 A 1.一种三维重建方法， 其特 征在于， 包括： 获取包括目标对象的多帧图像， 以及所述目标对象对应的三维模型描述信息； 将所述多帧图像输入特征提取网络进行特征提取， 以得到所述多帧图像的特征向量， 对所述多帧图像的特 征向量进行拼接， 得到目标拼接特 征向量； 将所述目标拼接特征向量输入参数回归 网络， 根据 所述三维模型描述信 息预测用于模 型控制的多个控制参数， 所述多个控制参数包括姿态控制参数和形状控制参数； 按照所述姿态控制参数和形状控制参数对所述目标对象的初始三维模型进行蒙层处 理， 得到所述 目标对象的目标三维模型， 所述初始三维模型是根据所述三维模型描述信息 得到的。 2.根据权利要求1所述的方法， 其特征在于， 将所述多帧图像输入特征提取网络进行特 征提取， 以得到所述多帧图像的特 征向量， 包括： 针对所述多帧图像中的每帧图像， 将该帧图像输入所述特征提取网络中的特征提取模 块进行特征提取， 得到该帧图像的图像特 征图； 将采集该帧图像时的相机姿态数据输入所述特征提取网络中的相机参数融合模块进 行特征提取， 得到该帧图像的相机位姿特 征图； 利用所述特征提取网络中的特征拼接模块对每帧图像的图像特征图和相机位姿特征 图进行拼接， 得到每帧图像的拼接特 征图； 以及 利用所述特征提取网络 中的特征降维模块对每帧图像的拼接特征图进行降维处理， 得 到每帧图像的特 征向量。 3.根据权利要求2所述的方法， 其特征在于， 针对所述多帧图像中的每帧图像， 将该帧 图像输入所述特征提取网络中的特征提取模块进行特征提取， 得到该帧图像的图像特征 图， 包括： 针对所述多帧图像中的每帧图像， 将该帧图像输入所述特征提取模块中的跳跃连接 层， 对该帧图像进行多分辨率的特征图提取并对相同分辨率的特征图进行跳跃连接， 以得 到该帧图像的第二中间特 征图； 将该帧图像的第 二中间特征图输入所述特征提取模块中的下采样层进行M次下采样处 理， 得到该帧图像的图像特 征图， 其中， M是≥1的正整数。 4.根据权利要求3所述的方法， 其特征在于， 所述跳跃连接层采用编码器和解码器结 构， 则将该帧图像输入所述特征提取模块中的跳跃连接层， 对该帧图像进行多分辨率的特 征图提取并对相同分辨率的特征图进行跳跃连接， 以得到该帧图像的第二中间特征图， 包 括： 将该帧图像输入所述跳跃连接层中的编码器， 对该帧图像进行编码以得到该帧图像的 初始特征图， 并依次对所述初始特 征图进行N次下采样处 理， 得到第一中间特 征图； 将所述第一中间特征图输入所述跳跃连接层中的解码器， 依次对所述第 一中间特征图 进行N次上采样处理， 并在每次上采样处理中与所述编码器中下采样处理得到的相同分辨 率的第一中间特 征图进行跳跃 连接， 以得到该帧图像的第二中间特 征图。 5.根据权利要求4所述的方法， 其特征在于， 所述编码器包括依次连接的编码子模块和 N个下采样子模块， 则将该帧图像输入 所述跳跃连接层中的编 码器， 对该帧图像进 行编码以 得到该帧图像的初始特征图， 并依次对 所述初始特征图进行N次下采样处理， 得到第一中间权　利　要　求　书 1/4 页 2 CN 115359192 A 2特征图， 包括： 将该帧图像输入所述编码子模块进行编码， 以得到该帧图像的初始特 征图； 利用所述N个下采样子模块对所述初始特征图进行N 次下采样处理， 得到第 一中间特征 图； 其中， 在每个下采样子模块中， 利用依次连接的K1个卷积单元各自对应的目标卷积参 数对其输入进行卷积处理， 得到待激活的中间特征图， 利用激活函数对待激活的中间特征 图进行激活以得到每 个卷积单 元的输出， K1是≥2的正整数。 6.根据权利要求3所述的方法， 其特征在于， 所述下采样层包括依次连接的M个下采样 子模块， 则将该帧图像的第二中间特征图输入所述特征提取模块中的下采样层进行M次下 采样处理， 得到该帧图像的图像特 征图， 包括： 利用所述M个下采样子模块对所述第 二中间特征图进行M次下采样处理， 得到该帧图像 的图像特 征图； 其中， 在每个下采样子模块中， 利用依次连接的K2个卷积单元各自对应的目标卷积参 数对其输入进行卷积处理， 得到待激活的中间特征图， 利用激活函数对待激活的中间特征 图进行激活以得到每 个卷积单 元的输出， K2是≥2的正整数。 7.根据权利要求2所述的方法， 其特征在于， 将采集该帧图像时的相机姿态数据输入所 述特征提取网络中的相 机参数融合模块进行特征提取， 得到该帧图像的相 机位姿特征图， 包括： 将采集该帧图像时的相机姿态数据输入所述特征提取网络 中的相机参数融合模块， 所 述相机姿态数据包括至少两种姿态角； 根据所述至少两种姿态角以及所述至少两种姿态角之间的相互关系进行三角函数处 理， 得到多种姿态 表征参数； 利用所述相机参数融合模块中的多层感知机MLP网络处理所述多种姿态表征参数， 得 到该帧图像的相机姿态特 征图。 8.根据权利要求7所述的方法， 其特征在于， 根据 所述至少两种 姿态角以及所述至少两 种姿态角之间的相互关系进行三角函数处 理， 得到多种姿态 表征参数， 包括： 对所述至少两种姿态角中的两两姿态角进行数值计算， 以得到多种融合姿态角， 每种 融合姿态角表示对应两个姿态角之间的相互关系； 对所述至少两种姿态角中的每种姿态角以及所述多种融合姿态角中的每种融合姿态 角分别进行三角函数处 理， 得到多种姿态 表征参数。 9.根据权利要求7所述的方法， 其特征在于， 利用所述相机参数融合模块中的多层感知 机MLP网络处 理所述多种姿态 表征参数， 得到该帧图像的相机姿态特 征图， 包括： 对所述多种姿态 表征参数进行向量 化处理， 得到相机姿态特 征向量； 利用多层感知机 MLP网络处 理所述相机姿态特 征向量， 得到相机姿态特 征图。 10.根据权利要求1所述的方法， 其特征在于， 将所述目标拼接特征向量输入参数回归 网络， 根据所述 参数数量预测用于模型控制的多个控制参数， 包括： 将所述目标拼接特征向量输入参数回归 网络中， 根据所述参数数量对所述目标拼接特 征向量进行至少一次多层感知机 MLP运算， 以得到用于模型控制的多个控制参数。 11.根据权利要求1 ‑10任一项所述的方法， 其特征在于， 所述多帧图像包括当前帧图像权　利　要　求　书 2/4 页 3 CN 115359192 A 3