(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211238009.7 (22)申请日 2022.10.11 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 慧动星球 （北京） 科技有限公司 (72)发明人 龚建伟　尹旻　查富耕　褚云峰　 齐建永　翟涌　贾鹏　王羽纯　 高尚东　朱荣飞　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 赵兴华 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 20/56(2022.01) (54)发明名称 一种道路标识牌识别系统及检测、 定位、 评 估方法 (57)摘要 本发明涉及一种道路标识牌识别系统及检 测、 定位、 评估 方法， 属于道路标识牌识别技术领 域， 包括： 工控机、 边缘计算 盒以及安装在无人驾 驶车辆上的工业相机， 工控机分别与边缘计算盒 和工业相机通信连接。 工业相机用于拍摄得到无 人驾驶车辆的前方道路图像， 前方道路图像包括 道路标识牌。 工控机用于将前方道路图像转发至 边缘计算盒。 边缘计算盒包括目标检测模块， 目 标检测模块用于利用目标检测模型对前方道路 图像进行检测， 得到道路标识牌的类别和道路标 识牌在前方道路图像中的位置区域， 采用边缘计 算盒对道路标识牌进行检测， 实时性好， 且利用 目标检测模型对道路标识牌进行检测， 准确度 高。 权利要求书2页 说明书8页 附图4页 CN 115359459 A 2022.11.18 CN 115359459 A 1.一种道路标识牌识别系统， 其特征在于， 包括： 工控机、 边缘计算盒以及安装在无人 驾驶车辆上的工业相机； 所述工控机分别与所述 边缘计算盒和所述工业相机通信连接； 所述工业相机用于拍摄得到所述无人驾驶车辆的前方道路图像； 所述前方道路图像包 括道路标识牌； 所述工控机用于将所述前 方道路图像转发至所述 边缘计算盒； 所述边缘计算盒包括目标检测模块； 所述目标检测模块用于利用目标检测模型对所述 前方道路图像进 行检测， 得到所述道路标识 牌的类别和所述道路标识牌在所述前方道路图 像中的位置区域。 2.根据权利要求1所述的道路标识牌识别系统， 其特征在于， 还包括： 安装在所述无人 驾驶车辆上且与所述工控机通信连接的激光雷达； 所述激光雷达用于扫描得到所述无 人驾驶车辆前 方的激光雷达点云数据； 所述边缘计算盒还包括目标定位模块； 所述目标定位模块用于根据所述位置区域对所 述激光雷达点云数据进行筛选， 得到筛选后点云数据， 并根据所述筛选后点云数据计算所 述道路标识牌相对于所述无 人驾驶车辆的第一相对位置 。 3.根据权利要求2所述的道路标识牌识别系统， 其特征在于， 还包括： 安装在所述无人 驾驶车辆上且与所述工控机通信连接的全球定位系统和惯性 导航系统； 所述全球定位系统用于对所述无人驾驶车辆进行位置定位， 得到所述无人驾驶车辆的 第一位置坐标； 所述惯性导航系统用于对所述无人驾驶车辆进行角度定位， 得到所述无人驾驶车辆的 车辆航向角； 所述边缘计算盒还包括定位精度评估模块； 所述定位精度评估模块用于基于所述车辆 航向角将所述第一位置坐标转换到车辆坐标系 下， 得到第二位置坐标， 并根据所述第二位 置坐标计算所述道路标识牌相对于所述无人驾驶车辆的第二相对位置； 计算所述第二相对 位置和所述第一相对位置的差值， 得到 定位精度。 4.根据权利要求3所述的道路标识牌识别系统， 其特征在于， 所述工业相机将所述前方 道路图像以ROS话题的格式传输至所述工控机； 所述激光雷达将所述激光雷达点云数据以 ROS话题的格式传输至所述工控机； 所述全球定位系统将所述第一位置坐标以ROS话题的格 式传输至所述工控机； 所述惯性导航系统将所述车辆航向角以ROS话题的格式传输至所述 工控机。 5.一种道路标识牌检测方法， 其特 征在于， 包括： 获取无人驾驶车辆的前 方道路图像； 所述前 方道路图像包括道路标识牌； 利用目标检测模型对所述前方道路图像进行检测， 得到所述道路标识牌的类别和所述 道路标识牌在所述前 方道路图像中的位置区域。 6.一种道路标识牌定位方法， 其特 征在于， 包括： 获取无人驾驶车辆的前方道路图像和所述无人驾驶车辆前方的激光雷达点云数据； 所 述前方道路图像包括道路标识牌； 利用目标检测模型对所述前方道路图像进行检测， 得到所述道路标识牌的类别和所述 道路标识牌在所述前 方道路图像中的位置区域； 根据所述位置区域对所述激光雷达点云数据进行筛选， 得到筛选后点云数据， 并根据权　利　要　求　书 1/2 页 2 CN 115359459 A 2所述筛选后点云数据计算所述道路标识牌相对于所述无 人驾驶车辆的第一相对位置 。 7.根据权利要求6所述的道路标识牌定位方法， 其特征在于， 所述根据 所述位置区域对 所述激光雷达点云数据进行筛 选， 得到筛选后点云数据具体包括： 利用激光雷达坐标系和相机像素坐标系之间的投影矩阵， 将所述激光雷达点云数据投 影到所述相机像素坐标系下， 得到所述激光雷达点云数据中的每一个雷达点的投影数据； 将所述投影数据 未在所述位置区域内的雷达点从所述激光雷达点云数据中去除， 得到 筛选后点云数据。 8.根据权利要求7所述的道路标识牌定位方法， 其特征在于， 在利用激光雷达坐标系和 相机像素坐标系之 间的投影矩阵， 将所述激光雷达点云数据投影到所述相机像素坐标系下 之前， 还包括： 对所述激光雷达点云数据进 行初步筛选， 筛选出所述无人驾驶车辆前方的地 面以上的雷达点， 组成初步筛选后点云数据， 并以所述初步筛选后点云数据作为新的激光 雷达点云数据。 9.根据权利要求6所述的道路标识牌定位方法， 其特征在于， 所述根据 所述筛选后点云 数据计算所述道路标识牌相对于所述无 人驾驶车辆的第一相对位置具体包括： 利用RANSAC方法对所述筛 选后点云数据进行平面拟合， 得到拟合平面； 计算所述筛选后 点云数据中的每一个雷达点与 所述拟合平面的距离， 并去除所述距离 大于预设阈值的雷达点， 得到计算用点云数据； 计算所述计算用点云数据的质心坐标， 得到所述道路标识牌相对于所述无人驾驶车辆 的第一相对位置 。 10.一种道路标识牌评估方法， 其特 征在于， 包括： 获取无人驾驶车辆的前方道路图像、 所述无人驾驶车辆前方的激光雷达点云数据以及 所述无人驾驶车辆的第一 位置坐标和车辆航向角； 所述前 方道路图像包括道路标识牌； 利用目标检测模型对所述前方道路图像进行检测， 得到所述道路标识牌的类别和所述 道路标识牌在所述前 方道路图像中的位置区域； 根据所述位置区域对所述激光雷达点云数据进行筛选， 得到筛选后点云数据， 并根据 所述筛选后点云数据计算所述道路标识牌相对于所述无 人驾驶车辆的第一相对位置； 基于所述车辆航向角 将所述第一位置坐标转换到车辆坐标系下， 得到第二位置坐标， 并根据所述第二位置坐标计算所述道路标识 牌相对于所述无人驾驶车辆的第二相对位置； 计算所述第二相对位置和所述第一相对位置的差值， 得到 定位精度。权　利　要　求　书 2/2 页 3 CN 115359459 A 3