(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210151825.8 (22)申请日 2022.02.18 (71)申请人 厦门大学 地址 361000 福建省厦门市思明南路42 2号 (72)发明人 刘伟权　王程　赖柏锜　臧彧　 沈思淇　温程璐　程明　 (74)专利代理 机构 厦门创象知识产权代理有限 公司 35232 专利代理师 叶秀红 (51)Int.Cl. G06F 16/583(2019.01) G06T 3/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于多视角投影的跨维数据检索方法 (57)摘要 本发明提出了一种基于多视角投影的跨维 数据检索方法， 该方法包括： 获取二维图像数据 和对应匹配的原始三维点云； 对对应匹配的原始 三维点云进行体素化处理， 以得到对应的体素； 将对应的体素投影到二维空间以生成每个二维 图像对应匹配的点云多视角投影图像； 根据孪生 网络构建深度学习模型， 并将二维图像数据和对 应匹配的点云多视角投影图像输入到深度学习 模型进行训练； 获取多个待检索的二维图像和三 维点云， 并基于训练好的深度学习模 型从二维图 像对三维点 云进行检索， 以得到每个待检索的二 维图像在所有三维点云中最匹配的三维点云； 由 此， 可缩小点云数据在跨维匹配中与二维图像的 数据差异， 从而提高二维图像到三维点云的检索 准确率。 权利要求书2页 说明书9页 附图7页 CN 114637880 A 2022.06.17 CN 114637880 A 1.一种基于多视角投影的跨维数据检索方法， 其特 征在于， 包括以下步骤： 获取二维图像数据和与所述 二维图像数据中每 个二维图像对应匹配的原 始三维点云； 对所述二维图像数据中每个二维图像对应匹配的原始三维点云进行体素化处理， 以得 到对应的体素； 将所述对应的体素投影到二维空间以生成每个二维图像对应匹配的点云多视角投影 图像； 根据孪生网络构建深度 学习模型， 并将所述二维图像数据和与 所述二维图像数据中每 个二维图像对应匹配的点云多视角投影图像输入到所述深度学习模型进行训练； 获取多个待检索的二维图像和三维点云， 将所述多个待检索的三维点云输入到训练好 的深度学习模型中以得到点云特征描述， 并将所述多个待检索的二 维图像输入到训练好的 深度学习模型中以得到图像特征描述， 以及根据所述点云特征描述和所述图像特征描述检 索每个待检索的二维图像在所有三维点云中最匹配的三维点云。 2.如权利要求1所述的基于多视角投影的跨维数据检索方法， 其特征在于， 对所述二维 图像数据中每个二维 图像对应匹配的原始三维点云进行体素化处理， 以得到对应的体素， 包括： 将原始三维点云的立方体边界框作为 边界进行体素化空间划分； 在所述划分的体素化空间中均匀分割多个立方体， 并将每 个立方体作为 一个体素； 将每个体素的体素值定义 为每个立方体空间中包 含的点云RGB值的均值。 3.如权利要求2所述的基于多视角投影的跨维数据检索方法， 其特征在于， 在对所述二 维图像数据中每个二 维图像对应匹配的原始 三维点云进行体素化处理之前还包括： 对所述 原始三维点云进行角度随机 旋转， 以使得到的三维体素 具有旋转随机性。 4.如权利要求2所述的基于多视角投影的跨维数据检索方法， 其特征在于， 根据孪生网 络构建深度学习模型， 包括： 采用深度 学习孪生网络结构框架搭建， 设计具有图像分支和点云分支的非对称结构双 分支网络； 其中， 所述图像分支包括基于卷积网络的图像特征提取网络， 以便通过所述图像特征 提取网络处 理二维图像数据， 以得到对应的图像特 征描述； 其中， 所述点云分支包括基于点云多视角投影的点云特征提取网络和融合点云纹理特 征和点云结构特征 的融合网络， 点云特征提取网络包含纹理感知器和结构感知器， 以便通 过纹理感知器和结构感知器对点云数据进行处理， 以得到点云纹理特征和点云结构特征； 融合点云纹理特征和点云结构特征的融合网络， 同时接收所述点云纹理特征和点云结构特 征， 融合以得到对应的点云特 征描述； 局部特征损失函数设计， 损失函数依照训练过程中采样的二维图像负样本和三维点云 负样本， 使图像特征描述和 点云特征描述的距离拉近， 使图像特征描述与三维点云负样本 以及点云特 征描述与二维图像负 样本的距离疏远。 5.如权利要求4所述的基于多视角投影的跨维数据检索方法， 其特征在于， 所述纹理感 知器用于处理点云多视角投影图像， 感知点云包含的纹理信息； 所述纹理感知器包括卷积 网络和特 征融合函数。 6.如权利要求5所述的基于多视角投影的跨维数据检索方法， 其特征在于， 所述卷积网权　利　要　求　书 1/2 页 2 CN 114637880 A 2络用于处理多角度投影得到n个长度固定d 的一维特征描述； 特征融合函数为对输入顺序不 敏感的对称函数， n个固定长度d的一维特征描述由特征融合函数变换为一个固定长度d的 一维特征描述t， 将所述 一个固定 长度d的一维特 征描述t作为 点云纹理特征。 7.如权利要求5所述的基于多视角投影的跨维数据检索方法， 其特征在于， 所述结构 感 知器用于处理原始 点云数据， 感知原始 点云数据包含的结构信息， 其中， 所述结构感知器采 用基于PointNet网络结构的特征提取方法， 得到一个固定长度d的一维特征描述s， 将所述 一个固定 长度d的一维特 征描述s作为 点云结构特 征。 8.一种计算机可读存储介质， 其特征在于， 其上存储有基于多视角投影的跨维数据检 索程序， 该基于多视角投影的跨维数据检索程序被处理器执行时实现如权利要求1 ‑7中任 一项所述的基于多视角投影的跨维数据检索方法。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时， 实现如权利要求1 ‑7中任一项 所述的基于多视角投影的跨维数据检索方法。权　利　要　求　书 2/2 页 3 CN 114637880 A 3