(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210491032.0 (22)申请日 2022.05.07 (71)申请人 安徽工业大学科技园有限公司 地址 243000 安徽省马鞍山市经济技 术开 发区 （示范园区） 嘉善科技园1号科研 楼 (72)发明人 董冲　方挺　韩家明　 (74)专利代理 机构 南京九致知识产权代理事务 所(普通合伙) 32307 专利代理师 严巧巧 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/12(2017.01) G06T 7/00(2017.01) G06T 5/30(2006.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像序列运动遮挡检测方法、 装置、 存储器 和处理器 (57)摘要 本申请公开了一种图像序列运动遮挡检测 方法、 装置、 存储器和处理器， 本方法通过 获取任 意连续的两帧图像； 获取所述两帧图像 之间的稠 密光流场和运动边界区域； 利用语义分割深度神 经网络模型对所述稠密光流场和运动边界区域 作为输入进行分析， 获得所述语义分割深度神经 网络模型输出的遮挡检测结果。 在上述语义分割 深度神经网络模型中采用一种基于遮挡边界空 间信息权重的多层累加损失函数， 通过将遮挡边 界的邻域像素空间相关性 嵌入到学习过程中， 使 得网络模型能够收敛到运动遮挡边界等细节处， 从而构造 出的网络模型合适运动遮挡检测， 并且 获得边界清晰的遮挡检测效果。 权利要求书2页 说明书7页 附图2页 CN 114972422 A 2022.08.30 CN 114972422 A 1.图像序列运动遮挡检测方法， 其特 征在于： 获取任意连续的两帧图像； 获取所述两帧图像之间的稠密光 流场和运动边界区域； 利用语义分割深度神经网络模型对所述稠密光流场和运动边界区域作为输入进行分 析， 获得所述语义分割深度神经网络模型输出的遮挡检测结果； 其中， 所述语义分割深度神经网络模型中在解码器的第k层的损失值 Lk如下： 上式中， 各参数含义如下： x指像素坐标， Ω表示实数域； kx为解码器最后一层输入的遮挡特 征图每个通道中的预测值； a(kx)表示所述 kx映射到(0， 1)区间后形成遮挡映射 值的激活值； o(x)表示每 个像素x的遮挡标签， 取0或1； ω(x)表示权 重， 且 O为遮挡区域， B为遮挡边界区域； ω0(x)为遮挡区域权 重； ωb为遮挡边界区域的初始权 重； D( σ )为基于 搜索窗口半径σ 的距离函数。 2.根据权利要求1所述的方法， 其特 征在于： 所述D( σ )通过 下式获得： 其中： d1(x)为所述遮挡边界区域内的像素到遮挡边界的距离； d2(x)为在搜索窗口范围内该点到所述遮挡边界区域的距离 。 3.根据权利要求1所述的方法， 其特 征在于： 所述遮挡边界区域 通过如下 方法得到： 从真实遮挡图中获得遮挡边界； 对所述遮挡边界进行掩码膨胀获得膨胀后遮挡区域； 将所述膨胀后遮挡区域与所述真实遮挡图相减获得 所述遮挡边界区域。 4.根据权利要求1所述的方法， 其特征在于： 所述语义分割深度神经网络模型的损失值 为 其中， ωk表示每层遮挡预测图的权 重。 5.根据权利要求 4所述的方法， 其特 征在于： 所述ωk取每层相同。 6.根据权利要求5所述的方法， 其特 征在于： 所述 解码器的每一层的结构如下： 4个连续堆叠的反卷积模块， 所述每个反卷积模块用于顺序执行一次4 ×4的反卷积操 作、 两次7 ×7的卷积操作获得反卷积操作后的特征图； 其中， 每次卷积操作之后均进 行一次 归一化处理和激活 处理；权　利　要　求　书 1/2 页 2 CN 114972422 A 2拼接模块， 用于将编码器的对应层产生的特征图与解码器该层获得的所述反卷积操作 后的特征图、 解码器前一层处理好的上采样的遮挡 特征图进行拼接获得拼接后特征图， 并 对所述拼接后特征图执行3 ×3卷积操作生成遮挡特征图； 所述遮挡特征图用于被处理成经 上采样操作将分辨 率扩大一 倍以作为下一 解码层中的所述上采样的遮挡特 征图； 其中， 所述解码器的第一层中的拼接模块在执行拼接获得拼接后特征图时， 将编码部 分的特征图与反卷积模块操作后的特 征图进行拼接获得拼接后特 征图。 7.根据权利要求1至6中任意一项所述的方法， 其特征在于： 所述获取所述两帧图像之 间的运动边界区域， 包括： 用边缘检测器 检测所述稠密光 流场的运动边界； 使用膨胀掩码扩展所述稠密光 流场的运动边界获得运动边界区域。 8.图像序列运动遮挡检测装置， 其特 征在于： 包括： 第一获取模块,用于获取任意连续的两帧图像； 第二获取模块， 用于获取 所述两帧图像之间的稠密光 流场和运动边界区域； 分析输出模块， 用于利用语义分割深度神经网络模型对所述稠密光流场和运动 边界区 域作为输入进行分析， 获得 所述语义分割深度神经网络模型输出的遮挡检测结果； 其中， 所述语义分割深度神经网络模型中在解码器的第k层的损失值 Lk如下： 上式中， 各参数含义如下： x指像素坐标， Ω表示实数域； kx为解码器最后一层输入的遮挡特 征图每个通道中的预测值； a(kx)表示所述 kx映射到(0， 1)区间后形成遮挡映射 值的激活值； o(x)表示每 个像素x的遮挡标签， 取0或1； ω(x)表示权 重， 且 O为遮挡区域， B为遮挡边界区域； ω0(x)为遮挡区域权 重； ωb为遮挡边界区域的初始权 重； D( σ )为基于 搜索窗口半径σ 的距离函数。 9.一种存储器， 用于存储软件， 其特征在于， 所述软件用于执行权利要求1 ‑7中任意一 项所述的方法。 10.一种处理器， 用于处理软件， 其特征在于， 所述软件用于执行权利要求1 ‑7中任意一 项所述的方法。权　利　要　求　书 2/2 页 3 CN 114972422 A 3