(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210291408.3 (22)申请日 2022.03.23 (71)申请人 超级视线科技有限公司 地址 075000 河北省张家口市桥 东区站前 东大街28号河北国控北方硅谷高科新 城10号楼4层 (72)发明人 闫军　丁丽珠　王艳清　 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/54(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于视频流的交通场景解析方法以及装置 (57)摘要 本申请公开一种基于视频流的交通场景解 析方法以及装置。 方法包括： 将多个关键帧图像 输入至骨干网络中进行关键帧特征提取， 获得多 个关键帧特征图； 将每个非关键帧图像的时间距 离最近的关键帧图像以及对应的关键帧特征图 与每个非关键帧图像输入至特征映射网络中进 行特征映射， 获得每个非关键帧图像对应的非关 键帧映射特征图； 将关键帧特征图与非关键帧 映 射特征图输入至语义分割分支网络与实例分割 分支网络中进行预测， 获得视频流的预测全景分 割结果； 根据预测全景分割结果与真实全景分割 结果， 构建空间特征约束损失函数， 并根据每个 非关键帧特征图与对应的非关键帧映射特征图， 构建时间特 征约束损失函数。 权利要求书4页 说明书13页 附图2页 CN 114898243 A 2022.08.12 CN 114898243 A 1.一种基于 视频流的交通场景解析 方法， 其特 征在于， 包括： 获取视频流， 并对所述视频流进行全景分割标注， 获得所述视频流的真实全景分割结 果； 对所述视频流进行关键帧抽取， 获得多个关键帧图像与多个非关键帧图像， 并将所述 多个关键帧图像输入至所述全景分割模型的骨干网络中进 行关键帧特征提取， 获得多个关 键帧特征图； 将每个所述非关键帧图像的时间距离最近的所述关键帧图像以及所述关键帧图像对 应的所述关键 帧特征图与每个所述非关键 帧图像输入至所述全景分割模型的特征映射网 络中进行 特征映射， 获得每 个所述非关键帧图像对应的非关键帧映射特 征图； 将每个所述非关键帧图像的时间距离最近的所述关键帧图像对应的所述关键帧特征 图与每个所述非关键 帧图像对应的所述非关键 帧映射特征图输入至所述全景分割模型的 语义分割分支网络与实例分割分支网络中进行预测， 获得所述视频流的预测全景分割结 果； 根据所述预测全景分割结果与所述真实全景分割结果， 构建空间特征约束损 失函数， 并根据每个所述 非关键帧图像对应的非关键帧特征图与所述 非关键帧映射特征图， 构建时 间特征约束损失函数； 根据所述空间特征约束损 失函数与所述时间特征约束损失函数对所述全景分割模型 进行训练优化， 获得训练完成的全景分割模型， 并根据所述训练完成的全景分割模型， 对待 测视频流进行交通场景解析。 2.根据权利要求1所述的基于视频流的交通场景解析方法， 其特征在于， 所述将每个所 述非关键 帧图像的时间距离最近的所述关键 帧图像以及所述关键 帧图像对应的所述关键 帧特征图与每个所述非关键 帧图像输入至所述全景分割模型的特征映射网络中进行特征 映射， 获得每 个所述非关键帧图像对应的非关键帧映射特 征图， 包括： 将每个所述非关键帧图像的时间距离最近的所述关键帧图像与每个所述非关键帧图 像输入至光 流神经网络中， 获得 特征光流图； 将每个所述特征光流图与时间距离最近的所述关键帧图像对应的所述关键帧特征图 进行特征映射， 获得每 个所述非关键帧图像对应的所述非关键帧映射特 征图。 3.根据权利要求2所述的基于视频流的交通场景解析方法， 其特征在于， 所述将每个所 述特征光流图与时间距离最近的所述关键帧图像对应的所述关键帧特征图进 行特征映射， 获得每个所述非关键帧图像对应的所述非关键帧映射特征图中， 第i个非关键帧图像对应 的所述非关键帧映射特 征图表示 为fi(p)＝G(q,p+δp)fk(q)； 其中， fi(p)表示所述第i个非关键帧图像中在位置P处的特征， fk(q)表示与所述第i个 非关键帧图像的时间距离最近的第k个关键帧图像在位置q处的特征， G(q,p+δp)表示双线 性插值， δp＝Fi→k(p)表示所述第k个关键帧图像 中位置q处映射到所述第 i个非关键帧图像 中位置P处时的位置移动， Fi→k＝f(Ik,Ii)表示所述第i个非关键帧图像与所述第k个关键帧 图像对应的特征光流图， Ik表示所述第k个关键帧图像， Ii表示所述第i个非关键帧图像， f为 所述光流神经网络 。 4.根据权利要求3所述的基于视频流的交通场景解析方法， 其特征在于， 所述根据每个 所述非关键帧图像对应的非关键帧特征图与所述 非关键帧映射特征图， 构建时间特征约束权　利　要　求　书 1/4 页 2 CN 114898243 A 2损失函数中， 所述时间特 征约束损失函数为： 其中， 表示所述非关键帧映射特征图， y表示所述非关键帧特征图， N表示所述视频流 中图像的帧数。 5.根据权利要求1所述的基于视频流的交通场景解析方法， 其特征在于， 所述将每个所 述非关键 帧图像的时间距离最近的所述关键 帧图像对应的所述关键 帧特征图与每个所述 非关键帧图像对应的所述非关键 帧映射特征图输入至所述全景分割模型的语义分割分支 网络与实例分割分支网络中进行 预测， 获得 所述视频流的预测全景分割结果， 包括： 将每个所述关键帧特征图与每个所述非关键帧映射特征图输入至所述全景分割模型 的语义分割分支网络中进行语义预测， 获得 所述视频流的多个预测不可 数目标类别； 将每个所述关键帧特征图与每个所述非关键帧映射特征图输入至所述全景分割模型 的实例分割分支网络中进行实例预测， 获得所述视频流的多个预测可数目标检测框类别、 多个预测可 数目标检测框位置以及多个预测可 数目标检测框二 值化掩码； 将所述多个预测不可数目标类别与 所述多个预测可数目标检测框类别、 所述多个预测 可数目标检测框位置以及所述多个预测可数目标检测框二值化掩码进 行融合处理， 获得所 述视频流的预测全景分割结果。 6.根据权利要求1所述的基于视频流的交通场景解析方法， 其特征在于， 所述对所述视 频流进行关键帧抽取， 获得多个关键 帧图像与多个非关键帧图像， 并将所述多个关键帧图 像输入至所述全景分割模型 的骨干网络中进行关键 帧特征提取， 获得多个关键帧特征图， 包括： 对所述视频流中每间隔K帧进行抽取， 获得所述多个关键帧图像与所述多个非关键帧 图像； 将所述多个关键帧图像输入至所述骨干网络 中进行特征提取， 获得所述多个关键帧特 征图； 其中， K为3 至8范围内的正整数。 7.一种基于 视频流的交通场景解析装置， 其特 征在于， 包括： 数据获取模块， 用于获取视频流， 并对所述视频流进行全景分割标注， 获得所述视频流 的真实全景分割结果； 特征提取模块， 用于对所述视频流进行关键帧抽取， 获得多个关键帧图像与多个非关 键帧图像， 并将所述多个关键帧图像输入至所述全景分割模型的骨干网络中进行关键帧特 征提取， 获得多个关键帧特 征图； 特征映射模块， 用于将每个所述非关键帧图像的时间距离最近的所述关键帧图像以及 所述关键 帧图像对应的所述关键 帧特征图与每个所述非关键 帧图像输入至所述全景分割 模型的特征映射网络中进 行特征映射， 获得每个所述 非关键帧图像对应的非关键帧映射特 征图； 预测模块， 用于将每个所述非关键帧图像的时间距离最近的所述关键帧图像对应的所 述关键帧特征图与每个所述非关键 帧图像对应的所述非关键 帧映射特征图输入至所述全权　利　要　求　书 2/4 页 3 CN 114898243 A 3