(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210483286.8 (22)申请日 2022.05.05 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 张轲　阳昊　孙浩瀚　王皖勇　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06T 7/194(2017.01)G06V 10/44(2022.01) (54)发明名称 双目视觉三维重构方法及系统 (57)摘要 本发明提供了一种双目视觉三维重构方法 及系统， 包括： 步骤1： 获取待焊工件的视角图像； 步骤2： 利用第一模型对视角图像进行 实例分割， 得到待焊工件的特征线， 第一模 型用于识别待焊 工件的特征； 步骤3： 根据路径压缩算法和特征 线， 得到待焊工件的特征点； 步骤4： 对特征点进 行配对得到 特征点匹配对； 步骤5： 根据特征点匹 配对进行三维重构。 与现有技术相比， 本发明只 需提取少数特征点即可对焊缝路径进行三维重 建， 操作简单， 能够满足 实际应用需求。 权利要求书2页 说明书8页 附图7页 CN 114842144 A 2022.08.02 CN 114842144 A 1.一种双目视 觉三维重构方法， 其特 征在于， 包括: 步骤1： 获取待焊工件的视角图像； 步骤2： 利用第一模型对所述视角图像进行实例分割， 得到所述待焊工件的特征线， 所 述第一模型用于识别所述待焊工件的特 征； 步骤3： 根据路径压缩算法和所述特 征线， 得到所述待焊工件的特 征点； 步骤4： 对所述特 征点进行配对得到特 征点匹配对； 步骤5： 根据所述特 征点匹配对进行三维重构。 2.根据权利要求1所述的双目视觉三维重构方法， 其特征在于， 所述特征线包括焊缝曲 线和边缘直线， 所述 步骤2， 包括： 步骤201： 利用所述第一模型的得到所述视 觉图像中的焊件 掩模和焊缝掩 模； 步骤202： 对所述焊件掩模和焊缝掩模进行去除背景处理， 得到所述待焊工件的工件前 景图像； 步骤203： 对所述工件前 景图像进行边 缘识别处 理， 得到工件边缘图像； 步骤204： 对所述工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的所述边 缘直线。 3.根据权利要求2所述的双目视 觉三维重构方法， 其特 征在于， 所述 步骤2， 还 包括： 步骤205： 利用所述焊缝掩 模得到单独 焊缝的边 缘线； 步骤206： 对所述 边缘线进行三次平 滑样条拟合， 得到所述焊缝曲线。 4.根据权利要求1 ‑3任一项所述的双目视觉三维重构方法， 其特征在于， 所述步骤3， 包 括： 步骤301： 利用所述路径压缩算法压缩所述焊缝曲线以及所述焊缝曲线与所述边缘直 线交点， 得到整条焊缝的所述特 征点。 5.根据权利要求4所述的双目视觉三维重构方法， 其特征在于， 所述视角图像包括： 左 视角图像和右视角图像， 所述 步骤4， 包括： 步骤401： 根据 所述左视角图像和所述右视角图像的极性约束条件， 得到所述左视角图 像中的所述特 征点在所述右视角图像中对应的对极线方程； 步骤402： 根据所述对极线方程进行配对得到所述特 征点匹配对。 6.一种双目视 觉三维重构系统， 其特 征在于， 包括： 模块M1： 获取待焊工件的视角图像； 模块M2： 利用第一模型对所述视角图像进行实例分割， 得到所述待焊工件的特征线， 所 述第一模型用于识别所述待焊工件的特 征； 模块M3： 根据路径压缩算法和所述特 征线， 得到所述待焊工件的特 征点； 模块M4： 对所述特 征点进行配对得到特 征点匹配对； 模块M5： 根据所述特 征点匹配对进行三维重构。 7.根据权利要求6所述的双目视觉三维重构系统， 其特征在于， 所述特征线包括焊缝曲 线和边缘直线， 所述模块M2， 包括： 子模块M201： 利用所述第一模型的得到所述视 觉图像中的焊件 掩模和焊缝掩 模； 子模块M202： 对所述焊件掩模和焊缝掩模进行去除背景处理， 得到所述待焊工件的工 件前景图像；权　利　要　求　书 1/2 页 2 CN 114842144 A 2子模块M20 3： 对所述工件前 景图像进行边 缘识别处 理， 得到工件边缘图像； 子模块M204： 对所述工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的所述 边缘直线。 8.根据权利要求7 所述的双目视 觉三维重构系统， 其特 征在于， 所述模块M2， 还 包括： 子模块M20 5： 利用所述焊缝掩 模得到单独 焊缝的边 缘线； 子模块M20 6： 对所述 边缘线进行三次平 滑样条拟合， 得到所述焊缝曲线。 9.根据权利要求6 ‑8任一项所述的双目视觉三维重构系统， 其特征在于， 所述模块M3， 包括： 子模块M301： 利用所述路径压缩算法压缩所述焊缝曲线以及所述焊缝曲线与所述边缘 直线交点， 得到整条焊缝的所述特 征点。 10.根据权利要求9所述的双目视觉三维重构系统， 其特征在于， 所述视角图像包括： 左 视角图像和右视角图像， 所述模块M4， 包括： 子模块M401： 根据所述左视角图像和所述右视角图像的极性约束条件， 得到所述左视 角图像中的所述特 征点在所述右视角图像中对应的对极线方程； 子模块M402： 根据所述对极线方程进行配对得到所述特 征点匹配对。权　利　要　求　书 2/2 页 3 CN 114842144 A 3