(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210110628.1 (22)申请日 2022.01.29 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 赵池航　刘洋　朱小艳　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 景鹏飞 (51)Int.Cl. G06V 20/10(2022.01) G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 基于深度强化学习融合模型的团雾图像识 别方法 (57)摘要 本发明公开了一种基于深度强化学习融合 模型的团雾图像识别方法， 包括： 采用旋转、 翻 转、 裁剪、 擦除、 平移等方法对高速公路气象图像 数据进行在线强化； 构建基于强化学习的VGG16 气象分类网络模型， 获取分类特征向量Fv； 构建 基于强化学习的InceptionV3气象分类网络模 型， 获取分类特征向量FI； 构建基于强化学习的 MobileNetV2气 象分类网络模型， 获取分类特征 向量FM； 构建基于深度强化学习气象图像分类融 合模型RL‑FDNN， 特征向量Fv、 FI、 FM并联后的概率 均值作为的深层网络融合模型的输出层， 对团雾 信息进行识别分类。 本发明将强化学习理论与 深 度学习紧密结合， 从而可以更精 准的实现团雾的 识别， 可对高速公路场景的气候环 境感知提供技 术支持。 权利要求书2页 说明书5页 附图1页 CN 114445709 A 2022.05.06 CN 114445709 A 1.一种基于深度强化学习融合模型的团雾图像识别方法， 其特 征在于： 包括如下步骤： S1： 构建高速公路气象图像数据集， 并对高速公路气象图像数据进行在线强化； S2： 构建基于强化学习的VG G16气象分类网络模型， 获取分类特 征向量Fv； S3： 构建基于强化学习的I nceptionV3气象分类网络模型， 获取分类特 征向量FI； S4： 构建基于强化学习的Mobi leNetV2气象分类网络模型， 获取分类特 征向量FM； S5： 构建基于深度强化学习气象图像分类融合模型RL ‑FDNN， 将特征向量Fv、 FI、 FM并联 融合， 并取 各类的概 率均值作为深层网络融合模型的输出层， 对团雾信息进行识别分类。 2.根据权利要求1所述的一种基于深度强化学习融合模型的团雾图像识别方法， 其特 征在于： 所述步骤S1中构建高速公路气象图像数据集， 并对高速公路气象图像数据进行在 线强化的具体方法如下： S1‑1： 收集高速公路气象图像5060幅， 将其分为三类， 其中团雾2090幅， 正常1500幅， 其 他1470幅， 构建高速公路气象图像数据集， 其中， 正常包括晴天、 阴天， 其 他包括雨天、 雪天； S1‑2： 各模型训练前， 在训练集中随机抽取一个batc h_size的图像数据； S1‑3： 对抽取的batch_size图像数据进行在线强化， 包括翻转、 旋转、 缩放、 平移、 擦除 和裁剪。 3.根据权利要求2所述的一种基于深度强化学习融合模型的团雾图像识别方法， 其特 征在于： 所述 步骤S1‑3中图像数据进行在线强化的具体方法如下： ①翻转： 分为水平翻转和垂直翻转， 强化因子优选为2或3； ②旋转： 以图像的中心为坐标原点， 使图像发生一定角度的转动， 强化因子优选为2到 4； ③缩放： 放大图像时， 放大部分按照原始尺寸进行裁切； 缩小图像时， 对边缘像素进行 填充操作， 填充的方法可选择零 填充、 常数填充、 镜像填充、 重复填充， 强化因子任意； ④平移： 使图像沿着水平面上任意方向移动， 强化因子任意； ⑤随机擦除： 随机在原图中选择一个矩形区域， 将其像素替换为随机值， 强化因子任 意； ⑥随机裁剪： 随机裁剪出图像的一部分， 并调整为原图大小， 强化因子任意； 上述方法可以分开或组合使用。 4.根据权利要求3所述的一种基于深度强化学习融合模型的团雾图像识别方法， 其特 征在于： 所述基于强化学习的VGG16气象分类网络模 型RL‑VGG16的构建方法为： 在训练集中 随机抽取一个batch_size的图像数据， 并对该batch_ size图像数据进行强化学习图像增强 样本； 基于强化学习的VGG16气象分类网络模 型， 在原VGG16模 型基础上， 在输入层后加入 数 据强化层， 后接5个block的卷积运算， 与全局平均池化层相连得到维度为1 ×512的特征向 量， 删除末尾的三个全 连接层， 并增加一个丢弃率为0.4的Dr opout层、 一个激活函数为Relu 的全连接层， 之后使用一个丢弃率为0.5的Dropout层， 最后输出1 ×3的特征向量Fv， 采用 softmax激活函数进行分类。 5.根据权利要求3所述的一种基于深度强化学习融合模型的团雾图像识别方法， 其特 征在于： 所述基于强化学习的InceptionV3气象分类模型RL ‑IncecptionV3的构建方法为： 在训练集中随机抽取一个batch_size的图像数据， 并对该batch_ size图像数据进行强化学 习图像增强样本； 基于强化学习的InceptionV3气象分类网络模型， 在原InceptionV3模型权　利　要　求　书 1/2 页 2 CN 114445709 A 2基础上， 在299 ×299×3的输入层后加入数据强化层， 低层b lock 1‑block 2使用普通的卷 积层， 每个block包括两个核函数为3 ×3的卷积层和一个最大池化层， 中高层block  3‑ block 7使用多个Inc eption模块包括3个Incep tion Module A、 1个Incep tion Module B、 4 个Inception  Module C、 1个Inception  Module D和2个Inception  Module E， 采用全局平 均池化层得到维度为1 ×2048的特征向量， 去掉最后的全连接层， 并增加一个丢弃率为0.4 的Dropout层、 一个激活函数为Relu的1 ×512全连接层， 之后使用一个丢弃率为0.5的 Dropout层， 最后输出1 ×3的特征向量FI， 采用softmax激活函数进行分类。 6.根据权利要求3所述的一种基于深度强化学习融合模型的团雾图像识别方法， 其特 征在于： 所述基于强化学习的MobileNetV2气象分类模型RL ‑MobileNetV2的构建方法为： 在 训练集中随机抽取一个batch_size的图像数据， 并对该batch_ size图像数据进行强化学习 图像增强样本； 基于强化学习的MobileNetV2气象分类网络模型， 在原MobileNetV2模型基 础上， 在输入层后加入数据强化层， 接着是7个bottleneck结构， 采用全局平均池化层得到 维度为1×1280的特征向量， 去掉最后的全连接层， 并增加一个丢弃率为0.4的Dropout层、 一个激活函数为Relu的1 ×512全连接层， 之后使用一个丢弃率为0.5的Dropout层， 最后输 出1×3的特征向量FM， 采用softmax激活函数进行分类。 7.根据权利要求1所述的一种基于深度强化学习融合模型的团雾图像识别方法， 其特 征在于： 所述步骤S5中基于深度强化学习气象图像分类融合模型RL ‑FDNN的构建方法为： RL‑VGG16、 RL ‑IncecptionV3、 RL ‑MobileNetV2三个气象分类模型采用并联融合规则， 形成 RL‑FDNN气象图像分类模型； 对于RL ‑VGG16、 RL ‑IncecptionV3、 RL ‑MobileNetV2三个模型， 其前面结构均保留， 最后对三个模型得到的三个1 ×3的特征向量并联融合得到3 ×3的特 征， 最后对每个模型的概率输出取平均值， 得到1 ×3维的特征向量， 向量中最大分量对应的 类别即为 最终分类结果。权　利　要　求　书 2/2 页 3 CN 114445709 A 3