(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221042680 3.8 (22)申请日 2022.04.22 (65)同一申请的已公布的文献号 申请公布号 CN 114549608 A (43)申请公布日 2022.05.27 (73)专利权人 季华实验室 地址 528200 广东省佛山市南海区桂城街 道环岛南路28号 (72)发明人 邓涛　张晟东　李志建　古家威　 霍震　陈海龙　黄秀韦　何昊名　 (74)专利代理 机构 佛山市海融科创知识产权代 理事务所(普通 合伙) 44377 专利代理师 许家裕 (51)Int.Cl. G06T 7/50(2017.01)G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 张笑迪 (54)发明名称 点云融合方法、 装置、 电子设备及存 储介质 (57)摘要 本申请属于数据处理技术领域， 提供一种点 云融合方法、 装置、 电子设备及存储介质， 包括以 下步骤： 获取第一点云数据及第二点云数据； 基 于多头自注意力机制对第一点云数据与第二点 云数据进行初步融合， 得到初步融合结果； 计算 第一点云数据的权重衰减量及第二点云数据的 权重衰减量； 根据第一点云数据的权重衰减量及 第二点云数据的权重衰减量反向传播分别对第 一点云数据的融合参数及第二点云数据的融合 参数进行更新， 直至第一点云数据融合权重的更 新变化率及第二点云数据融合权重的更新变化 率分别小于预设阈值， 停止迭代， 得到最优融合 参数。 本申请点云融合方法、 装置、 电子设备及存 储介质降低了融合过程中的计算复杂 度， 提高了 点云融合的效率和精度。 权利要求书3页 说明书12页 附图2页 CN 114549608 B 2022.10.18 CN 114549608 B 1.一种点云融合方法， 用于对无人机采集的第一点云数据及四足机器人采集的第二点 云数据进行融合， 其特 征在于， 所述方法包括以下步骤： 获取所述第一 点云数据及所述第二 点云数据； 基于多头自注意力 机制对所述第 一点云数据与 所述第二点云数据进行初步融合， 得到 初步融合结果； 计算所述第一 点云数据的权 重衰减量及所述第二 点云数据的权 重衰减量； 根据所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量反向传播分 别对所述第一点云数据的融合参数及所述第二点云数据的融合参数进 行更新， 直至所述第 一点云数据融合权重的更新变化率及所述第二点云数据融合权重的更新变化率分别小于 预设阈值， 停止迭代， 得到最优融合 参数； 根据所述最优融合参数融合所述第 一点云数据及所述第 二点云数据， 得到最终融合结 果。 2.根据权利要求1所述的点云融合方法， 其特征在于， 所述基于多头自注意力 机制对所 述第一点云数据与所述第二 点云数据进行初步融合之前包括以下步骤： 根据设定比例对所述第一 点云数据及所述第二 点云数据进行随机采样。 3.根据权利要求1所述的点云融合方法， 其特征在于， 所述计算所述第 一点云数据的权 重衰减量及所述第二 点云数据的权 重衰减量均包括以下步骤： 求取融合矩阵； 根据所述融合矩阵计算得到融合矩阵权 重向量； 根据所述融合矩阵及所述融合矩阵权 重向量计算得到融合矩阵输出向量； 基于权重矩阵和偏置利用前馈神经网络计算得到 输出； 根据所述输出计算得到损失函数； 根据所述损失函数求偏导得到 权重衰减量。 4.根据权利要求3所述的点云融合方法， 其特征在于， 所述求取融合矩阵通过以下公式 计算： 其中， 融合矩阵包括 、 及 ， 为输入键融合矩阵， 为输入值融合矩阵， 为 输出融合矩阵， 、 及 的初始值符合高斯分布的0 ‑1范围的随机数矩阵； 表示所述 第一点云数据中的第 个点云数据或所述第二点云数据中的第 个点云数据， ， 为所 述第一点云数据中或所述第二点云数据中点云数据的总数， 、 及 分别表示通过输入键 融合矩阵 、 输入值融合矩阵 及输出融合矩阵 对所述第一点云数据 中的第 个点云 数据 或所述第二 点云数据中的第 个点云数据 的初步融合结果。 5.根据权利要求3所述的点云融合方法， 其特征在于， 所述根据 所述融合矩阵计算得到 融合矩阵权 重向量通过以下公式计算：权　利　要　求　书 1/3 页 2 CN 114549608 B 2其中， 表示融合矩阵权重向量， 表示通过输入键融合矩阵 对所述第一点云数据 中的第 个点云数据 或所述第二点云数据中的第 个点云数据 的初步融合结果， 表示 输入值融合矩阵 对所述第一点云数据中的第 个点云数据 或所述第二点云数据中的 第 个点云数据 的初步融合结果。 6.根据权利要求3所述的点云融合方法， 其特征在于， 所述根据 所述融合矩阵及所述融 合矩阵权 重向量计算得到融合矩阵输出向量 通过以下公式计算： 其中， 表示融合矩阵输出向量， 为所述融合矩阵权重向量 中的第 个元素， 表 示通过 与 计算得到的进 一步融合结果， 表示通过输入键融合矩阵 对所述第一点 云 数据中的第 个点云数据 或所述第二点云数据中的第 个点云数据 的初步融合结果， 表示输入值融合矩阵 对所述第一 点云数据中的第 个点云数据 或所述第二点云数据中 的第 个点云数据 的初步融合 结果， 表示输出融合矩阵 对所述第一点云数据中的第 个点云数据 或所述第二 点云数据中的第 个点云数据 的初步融合结果。 7.根据权利要求1所述的点云融合方法， 其特征在于， 所述基于多头自注意力 机制对所 述第一点云数据与所述第二 点云数据进行初步融合 通过以下公式计算： 其中， 为自注意力层输出的初步融合结果， 和 均为行列数值相同的多头加权矩阵， 表示所述第一点云数据基于多头自注意力机制的输出， ， 表示第一点云数据 中第 个数据， 表示所述第二点云数据 基于多头自注意力机制的输出， ， 表示 第二点云数据中第 个数据。 8.一种点云融合装置， 用于对无人机采集的第一点云数据及四足机器人采集的第二点 云数据进行融合， 其特 征在于， 所述装置包括： 获取模块， 用于获取 所述第一 点云数据及所述第二 点云数据；权　利　要　求　书 2/3 页 3 CN 114549608 B 3