(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210594510.0 (22)申请日 2022.05.27 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 张艳艳　左超　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 陈天林 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/34(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键点估计的并行多尺度特征聚 合车道线检测方法 (57)摘要 本发明涉及自动驾驶和计算机视觉领域， 公 开了一种基于关键点估计的并行多尺度特征聚 合车道检测方法车道线检测方法， 包括以下步 骤： 1)获取车道线图像数据集， 用于训练车道线 检测模型； 2)对车道线图像数据集进行数据预处 理， 统一缩放图像尺寸并进行归一化； 3)构建基 于关键点估计的并行多尺度特征聚合车道线检 测模型； 4)将车道线图像数据集馈送到检测模型 中进行训练； 5)将待测试图像或视频输入到已训 练收敛的检测模 型中， 模型进行车道线检测并输 出图像或视频的车道线检测信息。 本发明在兼顾 车道线检测精度和检测速度的同时， 也能够适应 任意结构和任意数量的道路场景， 具有较高的鲁 棒性和实用性。 权利要求书3页 说明书9页 附图3页 CN 114913498 A 2022.08.16 CN 114913498 A 1.一种基于关键点估计的并行多尺度特征聚合车道线检测方法,其特征在于， 所述方 法包括如下步骤： S1、 获取车道线图像数据集， 用于训练车道线检测模型； S2、 对所获得的车道线图像数据集进行数据预处理， 统一缩放图像尺寸并进行归一化， 同时应用多种数据增强策略； S3、 构建基于关键点估计的并行多尺度特 征聚合车道线检测模型； 所述检测模型包括输入图像初始化模块、 并行多尺度特征聚合网络、 全局关键点检测 模块、 关键点关联聚类模块、 图像输出模块； 输入图像经过输入图像初始化模块后， 被馈送 到并行多尺度特征聚合网络中进 行特征提取， 全局关键点检测模块基于网络输出的特征图 对全局车道线关键点的精确定位， 而后关键点关联聚类模块依据网络为每个关键点生成的 嵌入向量， 应用关联嵌入思想将全局的关键点检测结果集成到局部的车道曲线几何建模 中， 最后， 由输出模块可视化模型的车道线预测结果； 所述输入图像初始化模块的经过数据预处理后： 输入图像尺寸压缩到32 ×64分辨率， 同时图像通道维数也会由3扩充到 32； S4、 将车道线图像数据集馈送到检测模型中进行训练， 调整模型超参数， 训练模型直至 损失完全收敛， 得到训练好的检测模型； S5、 将待测试图像或视频输入到已训练收敛的检测模型中， 模型进行车道线检测并输 出图像或视频的车道线检测信息 。 2.根据权利要求1所述的一种基于关键点估计的并行多尺度特征聚合车道线检测方 法， 其特征在于， 所述S1中车道线图像数据集， 包括T uSimple和CULane 车道线数据集； 所述TuSimple数据集场景主要为在良好和中等天气条件下 白天不同时段的高速公路 场景， 包含3626张训练图像和2782张测试图像， 准确率(accuracy)是该数据集的主要评估 指标； 所述CULane数据集有88880幅训练图像， 9675张验证图像和34680张测试图像， 包涵九 种不同道路场景(如拥堵、 阴影、 夜晚、 眩光 等场景)， F1分数 是其主要评估指标。 3.根据权利要求1所述的一种基于关键点估计的并行多尺度特征聚合车道线检测方 法， 其特征在于， 所述S2中车道线图像数据集进 行数据预 处理方法为： 将图像的尺寸统一调 整为256×512分辨率， 并将图像RGB值归一 化到0～1。 4.根据权利要求1所述的一种基于关键点估计的并行多尺度特征聚合车道线检测方 法， 其特征在于， 所述S3中并行多尺度特征聚合网络能够并行整合多个尺度特征映射的全 局空间信息， 并丰富车道线特征信息； 并行多尺度特征聚合网络的网络架构由一个编码器 和一个解码器组成， 其间采用并行 连接的方式。 5.根据权利要求4所述的一种基于关键点估计的并行多尺度特征聚合车道线检测方 法， 其特征在于， 所述S3中并行多尺度特征聚合网络集成了双头注意力特征融合上采样模 块(DAFU)， DAFU通过注 意力特征融合方式沿通道维度聚合来自插值型粗化采样和转置卷积 细化采样两种不同感受域的全局信息， 能够在多个空间尺度上并行地将低分辨率的特征映 射精确恢复为像素级预测； DAFU由一个转置卷积细化分支、 一个插值采样粗化分支和一个 注意力特 征融合模块组成， 可表示 为：权　利　要　求　书 1/3 页 2 CN 114913498 A 2其中， T(·)表示转置卷积或反卷积， B( ·)表示插值型上采样， M( ·,·)表示注意力特 征融合， δ 为sigmo id函数， x是输入特 征映射。 6.根据权利要求1所述的一种基于关键点估计的并行多尺度特征聚合车道线检测方 法， 其特征在于， 所述S 3中全局关键点检测模块， 基于并行多尺度特征聚合网络预测一组关 键点的概率热图和一组关键点位置偏移向量热图， 精确定位出车道关键点的位置， 保证最 后输出车道曲线的几何精确性； 其中， 概率热图用于 建模所有目标关键点的概率空间， 预测 出图像中每 个网格的车道线关键点 概率； 偏移热图预测车道线关键点的位置偏移向量； 所述全局关键点检测模块， 针对概率热图输出和偏移热图输出分别应用了平衡性焦损 失函数和均方差损失函数训练网络， 在训练数据中， 每条车道曲线都被标记为一组有序的 关键点集lm＝{ki|i＝1,2, …,n}， 其中lm表示第m条车道包含n个关键点， ki表示第i个关键 点； 概率热图损失和位置偏移损失分别表示 为： 其中， Lkp为关键点概率热图损失， Lposition为关键点位置偏移损失， Pi为热图中在第i个 网格位置的关键 点概率得分， Nk是当前图像中总关键 点的数量， gi表示正负样本真 实值， α 是 平衡因子， 平衡训练过程的正负样本损失， γ是可调超参， 控制对负样本的惩罚， Pi_x和Pi_y 分别是横轴和纵轴偏移预测， Gi_x和Gi_y是真实值。 7.根据权利要求1所述的一种基于关键点估计的并行多尺度特征聚合车道线检测方 法， 其特征在于， 所述S 3中关键点关联聚类模块， 将前一部 分的全局检测关键点结果进一步 细分， 以确定它们归属的车道类别， 针对这部 分， 网络为检测到的所有关键点生成一个特征 嵌入向量， 通过对关键点特征嵌入向量应用一种关联嵌入的聚类损失函数， 训练网络完成 聚类任务， 该部分 关键点关联聚类损失函数 可表示为： LGP＝Lassemble+Lseparate 其中， 是车道l的一个关键点 嵌入， Kl为车道l的关键点 嵌入总数量， N表示图像中总车权　利　要　求　书 2/3 页 3 CN 114913498 A 3