(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210249881.5 (22)申请日 2022.03.15 (71)申请人 北京中科慧眼科技有限公司 地址 100085 北京市海淀区创业中路32号 楼32-1-1- 559 (72)发明人 王鹏　冯凯　杨超　 (74)专利代理 机构 北京远立知识产权代理事务 所(普通合伙) 11502 代理人 李海燕 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 基于双目相机的路面平坦度语义分割方法 和系统 (57)摘要 本发明公开了一种基于双目相机的路面平 坦度语义分割方法和系统， 所述方法包括： 获取 目标检测区域内的原始图像， 并将所述原始图像 划分为多个不同尺寸的输入图像； 基于所述输入 图像， 在第一语义分割网络中进行特征图提取和 融合， 以得到粗分割结果； 基于所述原始图像对 应的特征图和所述粗分割结果， 在第二语义分割 网络中进行特征点关联， 以得到最终分割结果。 其解决了现有平坦度检测缺少与双目相机融合、 且平坦度检测效果较 差的技术问题。 权利要求书2页 说明书7页 附图1页 CN 114332802 A 2022.04.12 CN 114332802 A 1.一种基于双目相机的路面平坦度语义分割方法， 其特 征在于， 所述方法包括： 获取目标检测区域内的原始图像， 并将所述原始图像划分为多个不同尺寸的输入图 像； 基于所述输入图像， 在第一语义分割 网络中进行特征图提取和融合， 以得到粗分割结 果； 基于所述原始图像对应的特征图和所述粗分割结果， 在第 二语义分割网络 中进行特征 点关联， 以得到最终分割结果。 2.如权利要求1所述的路面平坦度语义分割方法， 其特征在于， 所述获取目标检测区域 内的原始图像， 具体包括： 采用双目相机获取 所述目标检测区域内的视 差图； 将所述视 差图转换为灰度图， 并以所述灰度图作为所述原 始图像。 3.如权利要求1所述的路面平坦度语义分割方法， 其特征在于， 所述将所述原始图像划 分为多个不同尺寸的输入图像， 具体包括： 将所述原始图像划分为原尺寸图像、 四分之一大小图像和十六分之一大小图像， 并将 原尺寸图像、 四分之一大小图像和十六分之一大小图像作为输入图像。 4.如权利要求3所述的路面平坦度语义分割方法， 其特征在于， 基于所述输入图像， 在 第一语义分割网络中进行 特征图提取和融合， 以得到粗分割结果， 具体包括： 将所述十六分之一大小图像与所述 四分之一大小图像进行特征融合， 以得到第 一特征 图； 将所述四分之一大小图像与所述原 尺寸图像进行 特征融合， 以得到第二特 征图； 将所述十六分之一大小图像与所述原 尺寸图像进行 特征融合， 以得到第三特 征图； 将所述第一特 征图、 所述第二特 征图和所述第三特 征图作为所述 粗分割结果。 5.如权利要求4所述的路面平坦度语义分割方法， 其特征在于， 将所述十六分之一大小 图像与所述四分之一大小图像进行 特征融合， 以得到第一特 征图， 具体包括： 将十六分之一大小图像t1上采样到四分之一大小图像， 以得到融合后的特 征图t11； 将四分之一大小图像t 2与融合后的特 征图t11中每个特征点进行加权相加， 得到t 21； 其中， 对于t2上的每一个点， t21[i]  = t2[i]*a+t11[i]*(1 ‑a)， a的值由监督信号学习 得到。 6.如权利要求5所述的路面平坦度语义分割方法， 其特征在于， 基于所述原始图像对应 的特征图和所述粗分割 结果， 在第二语义分割网络中进行特征点关联， 以得到最终分割 结 果， 具体包括： 将粗分割结果与所述原尺寸图像的特征图做矩阵乘法， 将相同类别特征点之间进行强 关联， 以得到强关联 结果； 将强关联 结果与所述原 尺寸图像的特 征图进行矩阵乘法， 得到最终分割结果。 7.如权利要求1 ‑6任一项所述的路面平坦度语义分割方法， 其特征在于， 所述第 一语义 分割网络为Encoder网络， 所述第二语义分割网络为Decoder网络 。 8.一种基于双目相机的路面平坦度语义分割 系统， 其特 征在于， 所述系统包括： 图像获取单元， 用于获取目标检测区域内的原始图像， 并将所述原始图像划分为多个 不同尺寸的输入图像；权　利　要　求　书 1/2 页 2 CN 114332802 A 2图像粗分割单元， 用于基于所述输入图像， 在第一语义分割 网络中进行特征图提取和 融合， 以得到粗分割结果； 图像精分割单元， 用于基于所述原始图像对应的特征图和所述粗分割结果， 在第二语 义分割网络中进行 特征点关联， 以得到最终分割结果。 9.一种设备， 其特 征在于， 所述设备包括： 数据采集装置、 处 理器和存 储器； 所述数据采集装置用于采集数据； 所述存储器用于存储一个或多个程序指令； 所述处 理器， 用于执 行一个或多个程序指令， 用以执 行如权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机存储介质中包含一个或多个程 序指令， 所述 一个或多个程序指令用于执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114332802 A 3