(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211243854.3 (22)申请日 2022.10.12 (71)申请人 山东劳兰电子科技有限公司 地址 276002 山东省临沂市兰山 南京路与 卧虎山路交汇应用科 学城A1501室 (72)发明人 王磊　 (74)专利代理 机构 济南文衡创服知识产权代理 事务所(普通 合伙) 37323 专利代理师 刘真 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/54(2022.01) G06V 20/59(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) (54)发明名称 渣土车运输管理系统及其管理方法 (57)摘要 本申请涉及渣土车管 理技术领域， 其具体地 公开了一种渣土车运输管理系统及其管理方法， 其通过多尺度邻域特征提取模块和第一卷积神 经网络模型对预定时间段内多个预定时间点的 车辆行驶参数进行车辆行驶状态特征提取， 同 时， 通过使用时间注意力机制的第二卷积神经网 络模型对预定时间段的司机面部监控视频进行 驾驶员的面部特征提取， 最后， 将车辆行驶状态 特征和驾驶员的面部特征进行融合并通过分类 器以得到用于表示司机是否存在不规范驾驶行 为的分类结果， 通过这样 的方式， 更为准确的对 司机的驾驶状态进行监测以在检测到司机存在 疲劳驾驶 或分心驾驶等不合规驾驶状态时， 能够 及时地产生预 警， 以确保司机人身安全和避免不 必要的损失 发生。 权利要求书3页 说明书11页 附图9页 CN 115311609 A 2022.11.08 CN 115311609 A 1.一种渣土车运输管理系统， 其特征在于， 包括： 监控模块， 用于获取预定时间段的司 机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数； 单点行驶参数关 联特征提取模块， 用于将各个所述预定时间点的车辆行驶参数中所有 数据项通过多尺度邻 域特征提取模块以得到多个车辆行驶参数特征向量； 差分模块， 用于计算所述多个车辆行 驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到 多个差分特征向量； 参数变化特征提取模块， 用于将所述多个差分特征向量进行二维排列 为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向 量； 监控视频编码模块， 用于将所述司机面部监控视频通过使用时间注意力机制的第二卷 积神经网络模型以得到面部监控特征图； 降维模块， 用于对所述面部监控特征图的沿通道 维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量； 特征表达优化模块， 用 于基于所述面部监控特征向量的全局统计特征， 对所述面部监控特征向量进 行特征优化以 得到优化面部监控特征向量； 多源特征融合模块， 用于融合所述优化面部监控特征向量和 所述车辆行驶参数变化特征向量以得到分类特征向量； 以及管理结果生成模块， 用于将所 述分类特征向量通过分类器以得到 分类结果， 所述分类结果用于表示司机是否存在不规范 驾驶行为。 2.根据权利要求1所述的渣土车运输管理系统， 其特征在于， 所述单点行驶参数关联特 征提取模块， 包括： 第一跨度参数间关联特征提取单元， 用于将各个所述预定时间点的车辆 行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度 行驶参数特征向量， 其中， 所述第一卷积层具有第一长度的第一一 维卷积核； 第二跨度参数 间关联特征提取单元， 用于将各个所述预定时间点的车辆行驶参数中所有 数据项输入所述 多尺度邻域特征提取模块的第二卷积层以得到第二尺度行驶参数特征向量， 其中， 所述第 二卷积层具有第二长度的第二一维卷积核， 所述第一长度不同于所述第二长度； 以及多尺 度级联单元， 用于将所述第一尺度行驶参数特征向量和所述第二尺度行驶参数特征向量分 别进行级联以得到所述车辆行驶 参数特征向量。 3.根据权利要求2所述的渣土车运输管理系统， 其特征在于， 所述第 一跨度参数间关联 特征提取单元， 进一步用于： 使用所述多尺度邻域特征提取模块的第一卷积层以如下公式 对各个所述预定时间点的车辆行驶参数中所有数据项分别进行一维卷积编码以得到所述 多个第一尺度成分特 征向量； 其中， 所述公式为： 其中， 为第一卷积核在 方向上的宽度、 为第一卷积核参数向量、 为与卷积核函数运算的局部向量矩阵， 为第一卷积核的尺寸， 表示各 个所述预定时间点的车辆行驶 参数中所有数据项。 4.根据权利要求3所述的渣土车运输管理系统， 其特征在于， 所述第 二跨度参数间关联 特征提取单元， 进一步用于： 使用所述多尺度邻域特征提取模块的第二卷积层以如下公式权　利　要　求　书 1/3 页 2 CN 115311609 A 2对各个所述预定时间点的车辆行驶参数中所有数据项进行一维卷积编码以得到所述第二 尺度成分特 征向量； 其中， 所述公式为： 其中， 为第二卷积核在 方向上的宽度、 为第二卷积核参数向量、 为与卷积核函数运算的局部 向量矩阵， 为第二卷积核的尺寸， 表示所 述输入向量。 5.根据权利要求4所述的渣土车运输管理系统， 其特征在于， 所述参数变化特征提取模 块， 进一步用于： 所述第一卷积神经网络模型 的各层在层的正向传递中对输入数据分别进 行： 使用所述第一卷积神经网络模型的各层的卷积单元对所述输入数据进 行基于二 维卷积 核的卷积处理以得到卷积特征图； 使用所述第一卷积神经网络模型的各层的池化单元对所 述卷积特征图进 行基于特征矩阵的全局均值池化以得到池化特征图； 以及使用所述第一卷 积神经网络模型的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激 活以得到激活特征图； 其中， 所述第一卷积神经网络模型 的最后一层的输出为所述车辆行 驶参数变化特 征向量。 6.根据权利要求5所述的渣土车运输管理系统， 其特征在于， 所述监控视频编码模块， 包括： 采样单元， 用于以预定采样频率从所述司机面部监控视频得到多个监控关键帧； 以及 时间注意力卷积编 码单元， 用于将所述多个监控关键帧通过所述使用时间注意力机制的第 二卷积神经网络模型以得到所述 面部监控特 征图。 7.根据权利要求6所述的渣土车运输管理系统， 其特征在于， 所述 时间注意力卷积编码 单元， 包括； 相邻帧提取子单元， 用于从所述多个监控关键帧中提取相 邻的第一监控关键帧 和第二监控关键帧； 第一卷积编码单元， 用于将所述第一监控关键帧所述第二监控关键 帧 分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第 二卷积特征图； 时间注意力单元， 用于计算所述第一卷积特征图和所述第二卷积特征图之 间的按位置点乘以得到时间注意力图； 注意力激活单元， 用于将所述时间注意力图输入 Softmax激活函数以得到时间注 意力特征图； 第二卷积编码单元， 用于将所述第二监控关键 帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图； 以及注意力施加单 元， 用于计算所述第三卷积特征图和所述时间注 意力特征图之 间的按位置点乘以得到对应 于所述第二 监控关键帧的时间注意力特 征图。 8.根据权利要求7所述的渣土车运输管理系统， 其特征在于， 所述特征表达优化模块， 进一步用于： 基于所述面部监控特征向量的全局统计特征， 以如下公式对所述面部监控特 征向量进行 特征优化以得到优化 面部监控特 征向量； 其中， 所述公式为： 权　利　要　求　书 2/3 页 3 CN 115311609 A 3