(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210194552.5 (22)申请日 2022.03.01 (71)申请人 讯飞智元信息科技有限公司 地址 230088 安徽省合肥市高新区望江西 路666号讯飞大厦8层-10层 申请人 科大讯飞股份有限公司 　安徽大学 (72)发明人 贾若然　谭昶　朱兴海　郑爱华　 刘江　冯祥　韩辉　张友国　 姜殿洪　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 乔慧 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 事故检测方法、 装置、 电子设备和存 储介质 (57)摘要 本发明提供一种事故检测方法、 装置、 电子 设备和存储介质， 其中方法包括： 确定待检测视 频的图像帧序列； 基于全局提取网络， 对图像帧 序列进行三维特征提取， 得到待检测视频的全局 特征； 基于局部提取网络， 应用图像帧序列中各 帧图像的检测目标和目标位置， 确定待检测视频 的局部特征； 基于融合分类网络， 应用全局特征 和局部特征， 确定待检测视频的事故检测结果。 本发明提供的方法、 装置、 电子设备和存储介质， 通过联合待检测视频的全局特征和局部特征进 行事故检测， 无论针对目标剧烈变化导致目标检 测失效或者跟丢的情况， 还是针对场景变化不明 显的情况， 均能够准确、 可靠地完成事故检测， 从 而保证能够及时监控到交通事故， 便于事故排查 的及时性。 权利要求书2页 说明书13页 附图3页 CN 114677618 A 2022.06.28 CN 114677618 A 1.一种事故检测方法， 其特 征在于， 包括： 确定待检测视频的图像帧序列； 基于全局提取网络， 对所述图像帧序列进行三维特征提取， 得到所述待检测视频的全 局特征； 基于局部提取网络， 应用所述图像帧序列中各帧图像的检测目标和目标位置， 确定所 述待检测视频的局部特 征； 基于融合分类网络， 应用所述全局特征和所述局部特征， 确定所述待检测视频的事故 检测结果。 2.根据权利要求1所述的事故检测方法， 其特征在于， 所述基于全局提取网络， 对所述 图像帧序列进行三维特 征提取， 得到所述待检测视频的全局特 征， 包括： 基于所述全局提取网络中的多层三维卷积网络， 对所述图像帧序列进行多层三维卷 积， 得到第一卷积特征和第二卷积特征， 所述第一卷积特征在所述第二卷积特征之前卷积 得到； 基于所述全局提取网络中的注意力网络， 应用所述第一卷积特征， 确定所述第二卷积 特征的注意力权重， 并应用所述注意力权重， 对所述第二卷积特征进 行加权， 得到所述全局 特征。 3.根据权利要求2所述的事故检测方法， 其特征在于， 所述第 一卷积特征和所述第 二卷 积特征分别为所述多层三维卷积的倒数第二层和倒数第一层输出的卷积特 征； 所述应用所述第一卷积特 征， 确定所述第二卷积特 征的注意力权 重， 包括： 对所述第一卷积特征进行单层三维卷积， 得到与 所述第二卷积特征相同维度的第 三卷 积特征； 基于所述第三卷积特 征， 确定所述注意力权 重。 4.根据权利要求1所述的事故检测方法， 其特征在于， 所述基于局部提取网络， 应用所 述图像帧序列中各帧图像的检测目标和目标位置， 确定所述待检测视频的局部特 征， 包括： 基于所述局部提取网络 中的目标检测网络， 确定所述图像帧序列的各帧图像中检测目 标的目标 特征和目标位置； 基于所述局部提取网络 中的时空提取网络， 对所述各帧图像的目标特征图进行时空信 息提取， 得到所述局部特征， 所述 目标特征图基于对应图像中检测目标的目标特征和目标 位置确定 。 5.根据权利要求4所述的事故检测方法， 其特征在于， 所述基于所述局部提取网络 中的 时空提取网络， 对所述各帧图像的目标特征图进行时空信息提取， 得到所述局部特征， 包 括： 基于所述 时空提取网络 中的图卷积网络， 对所述各帧图像的目标特征图进行空间信 息 提取， 得到所述各帧图像的目标空间关系； 基于所述 时空提取网络 中的时序提取网络， 对所述各帧图像的目标空间关系 进行时序 特征提取， 得到所述待检测视频的局部特 征。 6.根据权利要求1所述的事故检测方法， 其特征在于， 所述基于融合分类网络， 应用所 述全局特 征和所述局部特 征， 确定所述待检测视频的事故检测结果， 包括： 基于所述融合分类网络， 对所述全局特征和所述局部特征进行融合， 并基于融合所得权　利　要　求　书 1/2 页 2 CN 114677618 A 2的特征进 行上下文提取， 得到上下文 特征， 应用所述上下文 特征进行事故分类， 确定所述事 故检测结果。 7.根据权利要求1至6 中任一项所述的事故检测方法， 其特征在于， 所述全局提取网络、 所述局部提取网络和所述融合分类网络基于如下步骤确定： 基于初始全局提取网络、 初始局部提取网络和初始融合分类网络构建初始检测网络； 基于携带有事故标签的第一样本视频， 对所述初始检测网络进行训练， 基于训练完成 的初始检测网络确定所述全局提取网络、 所述局部提取网络和所述融合分类网络 。 8.根据权利要求7所述的事故检测方法， 其特征在于， 所述初始全局提取网络是基于携 带有事故标签的第二样本视频， 联合全局分类网络训练得到的， 所述全局分类网络用于基 于全局特 征进行事故检测。 9.一种事故检测装置， 其特 征在于， 包括： 序列确定单 元， 用于确定待检测视频的图像帧序列； 全局提取单元， 用于基于全局提取网络， 对所述图像帧序列进行三维特征提取， 得到所 述待检测视频的全局特 征； 局部提取单元， 用于基于局部提取网络， 应用所述图像帧序列中各帧图像的检测目标 和目标位置， 确定所述待检测视频的局部特 征； 融合分类单元， 用于基于融合分类网络， 应用所述全局特征和所述局部特征， 确定所述 待检测视频的事故检测结果。 10.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至8任一项所 述事故检测方法的步骤。 11.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至8任一项所述事故检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 114677618 A 3