(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211383316.4 (22)申请日 2022.11.07 (71)申请人 成都索贝数码科技股份有限公司 地址 610041 四川省成 都市高新区新园南 二路2号 (72)发明人 王炜　谢超平　姚仕元　张琪浩　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 周浩杰 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01) G06T 7/90(2017.01) G06T 7/80(2017.01) G06T 7/70(2017.01) (54)发明名称 基于多对象图像α叠加的异构对象表征方 法 (57)摘要 本发明公开了一种基于多对象图像α叠加 的异构对象表征方法， 属于计算机图形学领域， 包括步骤： S1， 建立虚拟建模环境坐标系， 根据虚 拟相机位置， 标定计算相机参数， 包括内参Kc、 外 参Rc， 记录当前环境下的光源信息Lin以及时刻 TC； S2， 针对当前虚拟建模环境下的对象模型进 行分层渲染， 输出在S1步骤中相机参数确定 下的 各自模型的对应渲染图层； S3， 将场景内虚拟相 机可视范围下的各类型对象， 根据图层到虚拟相 机的距离在α通道进行多图层叠加， 完成异构 对 象表征。 本发 明能够减少因为多对象渲染而带来 的复杂光影、 反射、 多视角等大量信息获取， 并极 大减少计算 渲染资源。 权利要求书2页 说明书7页 附图8页 CN 115439616 A 2022.12.06 CN 115439616 A 1.一种基于多对象图像α 叠加的异构对象表征 方法， 其特 征在于， 包括以下步骤： S1， 建立虚拟建模环境坐标系， 根据虚拟相机位置， 标定计算相机参数， 包括 内参Kc、 外 参Rc， 记录当前环境下的光源信息Lin以及时刻TC； S2， 针对当前虚拟建模环境下的对象模型进行分层渲染， 输出在S1步骤中相机参数确 定下的各自模型的对应渲染图层； S3， 将场景内虚拟相机可视范围下的各类型对象， 根据图层到虚拟相机的距离在α 通道 进行多图层叠加， 完成异构对象表征。 2.根据权利要求1所述的基于多对象图像α叠加的异构对象表征方法， 其特征在于， 在 步骤S2中， 包括子步骤： S21， 输入标定的Kc、 Rc和记录的光源信息Lin、 时刻TC； S22， 对不同模型对象进行相机参数确定下的部分渲染渲染； S23， 在相机参数确定的情况下， 根据当前相机视角和成像大小， 输出虚拟环境内i个对 象的RGBα 图片， 每张图片记录与焦平面距离D [i]。 3.根据权利要求1所述的基于多对象图像α叠加的异构对象表征方法， 其特征在于， 在 步骤S2中， 所述对象模型包括 NERF模型、 M ESH模型、 点云模型。 4.根据权利要求1所述的基于多对象图像α叠加的异构对象表征方法， 其特征在于， 在 步骤S3中， 所述各类型对象均为完全不透明的静态对象和动态对象。 5.根据权利要求1~4任一所述的基于多对象图像α 叠加的异构对象表征方法， 其特征在 于， 在步骤S3中， 所述在α 通道进行多图层叠加包括步骤： NERF模型下的α 输出、 Mesh模型下 的α 输出和点云模型 下的α 输出。 6.根据权利要求5所述的基于多对象图像α叠加的异构对象表征方法， 其特征在于， 所 述NERF模型 下的α 输出， 包括 步骤： S301， NERF模型场景表达、 模型输入、 模型输出、 模型渲染、 视角渲染； 其中， NERF的场景 表达为 ， 为NERF场景表达的映射函数， x为三维空间的位置信息， d 为视角方向， x、d为已知量， c=(r,g,b)是视角相关的3D点颜色， 为体素密度； 模型输入为 x和d， 输出为 c和 ； 在模型渲染中， 相机射线表达为  ，  为相机射线 表达函数， o为射线原点， t为射线距离， t的近端和远端边界分别为 tn和tf； 射线颜色积分为 ； 其中， T(t)为累计透明度函数， 为相机射线的体素密度， 为 相机该方 向相机射线的颜色， 且 ， T （t） 的阈值范 围在 （0 ~1） ， 为 的离散信息， s为t上的离散点对象， 且为完全非透明对象， 即T （tw） 的值为 0， tw为光线在对象表面的点； 在视角渲染中， 虚拟相机拍摄视角、 位置确定的情 况下， 即d确权　利　要　求　书 1/2 页 2 CN 115439616 A 2定， 输出该视角下的渲染图像 ： S302， α 通道输出： 将选定视角下渲染出的图像与透明通道α 进行合成， 输出该对象的透 明通道α 1。 7.根据权利要求5所述的基于多对象图像α叠加的异构对象表征方法， 其特征在于， 在 步骤S3中， 所述Mesh模型 下的α 输出， 包括子步骤： S311， Mesh的模型表达： 定义M=(Ti， Ci)， i的范围为1~n， n取正整数， M为组成对象的n个 三角形的数据集合， Ti 为三角形的空间坐标， Ti=(xi1, xi2, xi3, yi1, yi2, yi3, zi1, zi2,  zi3)， 其中xi， yi， zi分别为第i个三角形的三个顶点在x轴、 y轴、 z轴的空间坐标位置， xi1， yi1， zi1分别为第i个 三角形的第1个顶点在在x轴、 y轴、 z轴的空间坐 标位置， xi2， yi2， zi2分别为第 i个三角形的第2 个顶点在在x轴、 y轴、 z轴的空间坐标位置， xi3， yi3， zi3第i个三角形的第3个 顶点在在x轴、 y轴、 z轴的空间坐标位置， Ci为该三角形的颜色； S312， α通道输出： 在相机视角及方位确定情况下， 捕捉在该视角下的Mesh二维图像信 息Im， Im=(Tid， Cid)， 其中Tid与Cid为当前视角下可视三角形的位置信息与颜色信息， 考虑到 物体为非透明， 被遮挡的三角形信息不在考虑范围； 将 Mesh的特定视角下的二 维图像与α 通 道进行合成， 形成该对象的透明通道α 2。 8.根据权利要求5所述的基于多对象图像α叠加的异构对象表征方法， 其特征在于， 在 步骤S3中， 所述 点云模型 下的α 输出， 包括子步骤： S321， 点云模型下的α输出： 点云部分为空间内采样到的数个离散的点， 模型为D=(xi， yi， zi)， i=n， n为采样到的点的数量， xi， yi， zi分别为第i个 三角形的三个顶点在x轴、 y轴、 z轴 的空间坐标位置； 对点云模 型进行x、 y、 z方向上的颜色定义， 生 成带有颜色信息的点云模 型 Dc=( xi， yi， zi， C)， 其中C为 坐标系中x,y,z方向上的r、 g、 b值； S322， α 通道 输出： 输出特定视角下带有颜色信息的点 云模型Dc的二维图像， 不考虑对象 模型存在透明度， 将图像可表达为Dc=(xid， yid， zid， Cd)， 其中xid， yid， zid分别为视角下的位置 信息， Cd为颜色信息， 根据最终合成输出获得2d图片。 9.根据权利要求5所述的基于多对象图像α叠加的异构对象表征方法， 其特征在于， 所 述在α 通道进行多图层叠加包括步骤： 将背景、 NERF模 型、 Mesh模 型和点云模 型， 四个对象在 α 通道进行叠加。 10.根据权利要求2所述的基于多对象图像α 叠加的异构对象表征方法， 其特征在于， 在 步骤S22中， 所述对不同模型对象进 行相机参数确定下的部 分渲染渲染， 即仅渲 染相机可拍 摄范围内的模型部分。权　利　要　求　书 2/2 页 3 CN 115439616 A 3