(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210444361.X (22)申请日 2022.04.25 (71)申请人 北京小米移动软件 有限公司 地址 100085 北京市海淀区西二 旗中路33 号院6号楼8层018号 (72)发明人 叶航军　蔡锐　赵婕　祝贺　王斌　 周珏嘉　邱叶　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 卢夏子 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/73(2017.01) (54)发明名称 车道线检测方法、 装置、 车辆及存 储介质 (57)摘要 本公开涉及一种车道线检测方法、 装置、 车 辆及存储介质， 该车道线检测方法通过获取目标 检测图像； 将所述目标检测图像输入 预设车道线 检测模型中， 以使所述预设车道线检测模型输出 所述目标检测图像中车道线的目标位置， 其中， 所述预设车道线检测模型通过包括分割网络和 分类网络的预设初始模型训练得到， 所述分割网 络用于确定车道线检测样本图像中车道线的第 一预测位置， 所述分类网络用于确定车道线检测 样本图像中车道线的第二预测位置， 通过该预设 车道线检测模 型进行车道线检测， 能够有效提升 车道线检测结果的准确性。 权利要求书3页 说明书17页 附图4页 CN 114863392 A 2022.08.05 CN 114863392 A 1.一种车道线检测方法， 其特 征在于， 所述方法包括： 获取目标检测图像； 将所述目标检测图像输入预设车道线检测模型中， 以使所述预设车道线检测模型输出 所述目标检测图像中车道线的目标位置； 其中， 所述预设车道线检测模型通过以下 方式训练得到： 获取多个车道线检测样本图像， 所述车道线检测图像包括车道线标注位置； 将每个所述车道线检测样本图像输入预设初始模型， 所述预设初始模型包括分割网络 和分类网络， 所述分割网络用于确定车道线检测样本图像中车道线的第一预测位置， 所述 分类网络用于确定车道线检测样本图像中车道线的第二预测位置； 根据所述第 一预测位置， 所述第 二预测位置和所述车道线标注位置对所述预设初始模 型进行训练， 以得到所述预设车道线检测模型。 2.根据权利要求1所述的方法， 其特征在于， 所述预设初始模型还包括特征提取网络， 所述特征提取网络与所述分类网络和所述分割网络耦合， 所述预设初始模型用于： 通过所述特征提取网络获取每个所述车道线检测样本图像对应的多尺度样本特征图， 并根据所述多尺度样本特 征图确定包括图像全局信息的第一样本特 征图； 通过所述分割网络根据所述第一样本特征图确定所述车道线检测样本图像中车道线 的第一预测位置； 通过所述分类网络根据所述多尺度样本特征图确定所述车道线检测样本图像中车道 线的第二预测位置 。 3.根据权利要求2所述的方法， 其特征在于， 所述预设车道线检测模型通过以下方式训 练得到： 通过预设初始模型中的所述特征提取网络获取所述车道线检测样本图像对应的多尺 度样本特征图， 根据所述多尺度样本特征图中的最小尺度样本特征图确定包括图像全局信 息的第一样本特 征图； 通过所述分割网络根据所述第一样本特征图确定所述车道线检测样本图像中车道线 的第一预测位置； 根据所述第一预测位置和所述车道线标注位置确定第一损失函数对应的第一损失值； 通过所述分类网路根据所述最小尺度样本特征图确定所述车道线检测样本图像中车 道线的第二预测位置； 根据所述第二预测位置和所述车道线标注位置确定第二损失函数对应的第二损失值； 根据所述第一损失值和所述第二损失值确定第三损失函数对应的第三损失值； 在所述第三损失值大于或者等于预设损失值阈值的情况下， 调整所述预设初始模型的 模型参数， 以得到更新后的目标模型， 并再次执行通过预设初始模型中的所述特征提取网 络获取所述车道线检测样本图像对应的多尺度样本特征图， 至所述根据所述第一损失值和 所述第二损失值确定第三损失函数对应的第三损失值的步骤， 直至在确定所述第三损失值 小于所述预设损失值阈值的情况下， 删除当前所述 目标模型中的所述分割网络， 以得到所 述预设车道线检测模型。 4.根据权利要求2所述的方法， 其特征在于， 所述特征提取网络， 包括特征金字塔网络 和全局特征提取网络， 所述特征金字塔网络包括自底向上子网络和自顶向下子网络， 所述权　利　要　求　书 1/3 页 2 CN 114863392 A 2全局特征提取网络的输入端与所述自底向上子网络的输出端耦合， 所述全局特征提取网络 的输出端与所述自顶向下子网络的输入端耦合， 所述全局特征提取网络的输出端还与所述 分割网络的输入端耦合， 所述自顶向下子网络的输出端也与所述分割网络的输入端耦合， 所述预设初始模型用于： 通过所述特征金字塔网络中的自底向上子网络获取所述车道线检测样本图像对应的 多尺度样本特征图， 并将所述多尺度样本特征图中的最小尺度样本特征图输入所述全局特 征提取网络， 以使所述全局特征提取网络向所述分割网络和所述自顶向下子网络输出所述 第一样本特 征图； 通过所述自顶向下子网络向所述分割网络输入多尺度的第 二样本特征图， 以使所述分 割网络根据所述第一样本特征图和所述第二样本特征图确定所述车道线检测样本图像中 车道线的第一预测位置 。 5.根据权利要求4所述的方法， 其特征在于， 所述分割网络根据 所述第一样本特征图和 所述第二样本特 征图确定所述车道线检测样本图像中车道线的第一预测位置， 包括： 通过所述分割网络对所述第 一样本特征图和所述第 二样本特征图进行上采样处理， 以 得到待分割样本特 征图； 按照预设 分割方式对所述待分割样本特 征图进行分割， 以得到多个局部特 征图； 对所述多个局部特 征图进行 卷积和拼接处 理， 以得到目标样本特 征图； 根据所述目标样本特征图确定所述车道线检测样本 图像中每个像素属于车道线的第 一概率； 根据每个像素的所述第一概率确定所述车道线检测样本图像中车道线的第一预测位 置。 6.根据权利要求5所述的方法， 其特 征在于， 所述按照预设 分割方式包括： 将所述待分割样本特征图划分为H个C*W的局部特征图， 将所述待分割样本特征图划分 为C个H*W的局部特征图， 将所述待分割样 本特征图划分为W个H*C的局部特征图中的至少一 个， 其中， H为待分割样 本特征图的层数， C为待分割样 本特征图的长度， W为所述待分割样本 特征图的宽度。 7.根据权利要求5所述的方法， 其特征在于， 所述对所述多个局部特征图进行卷积和拼 接处理， 以得到目标样本特 征图， 包括： 获取当前局部特征图， 并对当前局部特征图进行卷积操作， 以得到卷积后的指定局部 特征图； 将所述指定局部特征图与 所述当前局部特征图对应的下一个局部特征图进行拼接后， 得到更新后的当前局部特 征图； 确定所述当前局部特征图对应的下一个所述局部特征图是否为所述多个局部特征图 中最后一个； 在确定所述当前局部特征图对应的下一个所述局部特征图为非所述多个局部特征图 中最后一个的情况下， 再次执行获取当前局部特征图， 并对当前局部特征图进 行卷积操作， 以得到卷积后的指 定局部特征图， 至确定所述当前局部特征图对应的下一个所述局部特征 图是否为所述多个局部特 征图中最后一个的步骤； 在确定当前局部特征图对应的下一个所述局部特征图为所述多个局部特征图中最后权　利　要　求　书 2/3 页 3 CN 114863392 A 3