(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210944328.3 (22)申请日 2022.08.08 (71)申请人 国网浙江省电力有限公司宁波供电 公司 地址 315000 浙江省宁波市海曙区丽园北 路1408号 (72)发明人 岳衡　董元龙　林明晖　丁靖　 李杨　尚海一　任学海　裘学东　 邬黎斌　徐益明　朱力　周璐　 陈凌　邵梦丽　蔡旦蓉　 (74)专利代理 机构 宁波市鄞州盛飞专利代理事 务所(特殊普通 合伙) 33243 专利代理师 刘群英 (51)Int.Cl. G06T 7/80(2017.01)G06T 7/73(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于高尺度单元的立体匹配模型及其 应用方法 (57)摘要 本发明公开了一种基于高尺度单元的立体 匹配模型及其应用方法， 涉及双目测距领域， 其 包括依次连接的计算通道、 三维卷积层、 综合视 差层与输 出层； 所述计算通道包括结构一致的第 一计算通道与第二计算通道； 所述第一计算通道 与第二计算通道， 分别用于利用其对应的高尺度 单元获取双目图像中第一图像与第二图像对应 的目标代价特征； 三维卷积层， 用于对第一图像 与第二图像对应的目标代价特征进行三维卷积 计算以得到三维代价特征； 综合视差层， 用于通 过三维代 价特征获取双目图像的视差值， 以得到 双目图像对应的视差图； 其极大的提高了视差计 算的精准度。 权利要求书4页 说明书11页 附图1页 CN 114998453 A 2022.09.02 CN 114998453 A 1.一种基于 高尺度单元的立体匹配模型， 其利用双目相机获取的双目图像获取其对应 的视差值， 其特 征在于， 所述 立体匹配模型包括： 依次连接的计算通道、 三维卷积层、 综合视差层与输出层； 所述计算通道包括结构一致 的第一计算通道与第二计算通道； 所述第一计算通道与第二计算通道均包括依次连接的输 入层、 第一卷积层、 高尺度单元与第二卷积层， 所述第一计算通道与第二计算通道的第二卷 积层均连接 于三维卷积层； 其中： 第一计算通道与第 二计算通道， 分别用于利用其对应的高尺度 单元获取双目图像 中第 一图像与第二图像对应的目标代价特 征； 三维卷积层， 用于对第 一图像与第 二图像对应的目标代价特征进行三维卷积计算以得 到三维代价特 征； 综合视差层， 用于通过三维代价特征获取双目图像的视差值， 以得到双目图像对应的 视差图； 输出层， 用于 输出视差图。 2.根据权利要求1所述的一种基于 高尺度单元的立体匹配模型， 其特征在于， 所述第 一 计算通道中： 输入层， 用于 输入第一图像； 第一卷积层， 用于对第一图像进行卷积计算以获取第一图像对应的卷积特征图， 并输 入高尺度单 元； 高尺度单 元， 用于获取第一图像对应卷积特 征图的目标代价特 征； 第二卷积层， 用于对第一图像对应的目标代价特征进行卷积计算， 并将卷积计算后的 目标代价特 征输入三维卷积层； 所述第二计算 通道中： 输入层， 用于 输入第二图像； 第一卷积层， 用于对第二图像进行卷积计算以获取第二图像对应的卷积特征图， 并输 入高尺度单 元； 高尺度单 元， 用于获取第二图像对应卷积特 征图的目标代价特 征； 第二卷积层， 用于对第二图像对应的目标代价特征进行卷积计算， 并将卷积计算后的 目标代价特 征输入三维卷积层。 3.根据权利要求2所述的一种基于 高尺度单元的立体匹配模型， 其特征在于， 所述高尺 度单元包括以下依次连接的连接段： 特征提取段、 第 二融合段、 第 三融合段与第四融合段； 所述各连接段内均包括有 并行层 次子网； 所述特征提取段包括一个并行层次子网， 融合段比其对应的前一连接段多一个并 行层次子网； 所述融合段内的各个并行层次子网的输入均包括前一连接段内各个并行层次子网提 取的所有特 征； 所述并行层次子网用于对输入的特 征作进一 步的特征提取； 所述融合段， 用于融合其包含的各个并行层次子网提取的所有特征， 并输入下一融合 段； 所述融合段为第二融合段或第三融合段或第四融合段。 4.根据权利要求3所述的一种基于 高尺度单元的立体匹配模型， 其特征在于， 所述特征权　利　要　求　书 1/4 页 2 CN 114998453 A 2提取段具体包括第一并行层次子网； 所述第二融合段包括第一并行层次子网与第二并行层 次子网； 所述第三融合段包括第一并行层次子网、 第二并行层次子网与第三并行层次子网； 所述第四融合段包括第一并行层次子网、 第二并行层次子网、 第三并行层次子网与第四并 行层次子网； 所述高尺度单 元中的： 特征提取段， 用于通过其对应的并行层次子网提取卷积特征图对应的初始代价特征， 并输入第二融合段中的各个并行层次子网； 第二融合段， 用于通过其对应的并行层次子网分别对初始代价特征进行特征提取， 以 得到各并行层次子网提取 的二次代价特征， 融合各并行层次子网对应的二次代价特征， 得 到二次融合代价特 征， 并将二次融合代价特 征输入第三融合段内的各个并行层次子网； 第三融合段， 用于通过其对应的并行层次子网分别对二次融合代价特征进行特征提 取， 以得到各并行层次子网提取 的三次代价特征， 融合各并行层次子网对应的三次代价特 征， 得到三次融合代价特征， 并将三次融合代价特征输入第四融合段内的各个并行层次子 网； 第四融合段， 用于通过其对应的并行层次子网分别对三次融合代价特征进行特征提 取， 以得到各并行层次子网提取 的四次代价特征， 融合各并行层次子网对应的四次代价特 征， 得到目标代价特 征， 并将目标代价特 征输入三维卷积层。 5.根据权利要求4所述的一种基于 高尺度单元的立体匹配模型， 其特征在于， 所述特征 提取段中的并行层次子网具体为残差模块， 用于对卷积特征图中的特征进行残差计算， 以 得到卷积特 征图对应的初始 代价特征， 并输入第二融合段中的各个并行层次子网； 所述第二融合段包括： 依次连接的第 一融合单元、 第 二融合单元与第 三融合单元； 所述 各融合单元中均包括有第一并行层次子网对应的第一残差单元、 第二并行层次子网对应的 第二残差单 元与融合中心； 所述第一融合单元中， 所述第 一残差单元与第 二残差单元均用于对二 次代价特征进行 残差计算以得到各自对应的第一残差特 征， 并通过融合中心融合后输入第二融合单 元； 所述第二融合单元中， 所述第 一残差单元与第 二残差单元均用于对融合后的第 一残差 特征进行残差计算以得到各自对应的第二残差特征， 并通过融合中心融合后输入第三融合 单元； 所述第三融合单元中， 所述第 一残差单元与第 二残差单元均用于对融合后的第 二残差 特征进行残差计算以得到各自对应的第三残差特征， 所述融合中心用于融合各个第三残差 特征以得到二次融合代价特 征， 并输入第三融合段内的各个并行层次子网。 6.根据权利要求5所述的一种基于 高尺度单元的立体匹配模型， 其特征在于， 所述第 三 融合段包括： 依次连接的第一融合单元、 第二融合单元与第三融合单元； 所述各融合单元中 均包括有第一并行层次子网对应的第一残差单元、 第二并行层次子网对应的第二残差单 元、 第三并行层次子网对应的第三残差单 元与融合中心； 所述第一融合单元中， 所述第一残差单元、 第二残差单元与第三残差单元均用于对三 次代价特征进 行残差计算以得到各自对应的第一残差特征， 并通过融合中心融合后输入第 二融合单 元； 所述第二融合单元中， 所述第一残差单元、 第二残差单元与第三残差单元均用于对融权　利　要　求　书 2/4 页 3 CN 114998453 A 3