(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210480358.3 (22)申请日 2022.05.05 (71)申请人 南昌航空大 学 地址 330063 江西省南昌市丰和南大道696 号 (72)发明人 陈震　王梓歌　张聪炫　葛利跃　 王子旭　陈昊　黎明　胡卫明　 (74)专利代理 机构 南昌市平凡知识产权代理事 务所 36122 专利代理师 张文杰 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种联合图像金字塔引导和循环交叉注意 力的光流计算方法 (57)摘要 本发明提供了一种联合图像金字塔子网引 导和循环交叉注意力的光流计算方法。 所述方法 包括以下步骤： 1） 将图像序列连续两帧图像分别 输入到图像金字塔子网和特征金字塔子网； 2） 使 用图像金字塔子网对图片进行处理： 3） 将图像金 字塔子网提取到的特征与同层特征金字塔提取 到的特征进行相加 融合作为下一层特征金字塔 的输入； 4） 在特征金字塔最后三层将融合后的特 征输入到循环交叉注意力模块中进行上下文的 信息提取。 本发 明的联合图像金字塔子网引导和 循环交叉注 意力的光流计算方法， 通过浅层信息 的补充和对上下文信息的准确提取能力， 对图像 序列的运动边缘和大位移区域的特征信息进行 提取， 显著提高光 流估计的准确性和鲁棒 性。 权利要求书1页 说明书4页 附图5页 CN 114821105 A 2022.07.29 CN 114821105 A 1.一种联合图像金字塔子网引 导和循环交叉注意力的光流计算方法， 其特征在于， 所 述方法包括以下步骤： 1） 将图像序列连续两帧图像分别输入到图像金字塔子网和特 征金字塔子网； 2） 使用图像金字塔子网对图片进行处 理： 3） 将图像金字塔提取到的特征与同层特征金字塔提取到的特征进行相加融合作为下 一层特征金字塔的输入； 4） 分别在第四层和第五层将相加融合后的特征图和第六层特征金字塔子网提取到的 特征图作为循环交叉注意力模块的输入以获得图像的上 下文信息： 5） 将特征图进行变形和相关性计算后输入到共享光流解码器中进行初始光流估计， 并 在所有金字塔级别上进行迭代细化输出； 6） 将步骤 （5） 中所输出的初始光流经过上下文网络细化后再通过双边滤波器进行优 化， 从而得到最后精细化的光 流计算结果。 2.如权利要求1所述的一种联合图像金字塔引导和循环交叉注意力的光流计算方法， 其特征在于， 所述步骤 （2） 中的图像金字塔子网的输入是一组经过下采样的图像金字塔图 片， 经过图像金字塔进行下采样后， 通过一个浅层 网络即图像金字塔子网提取图像金字塔 的特征。 3.如权利要求2所述的一种联合图像金字塔引导和循环交叉注意力的光流计算方法， 其特征在于， 所述步骤 （4） 分别通过两个1 ×1的卷积降维获得Q、 K两个特征图， 得到Q、 K后再 通过关联操作得到注意力图 ， 再进行softmax操作得到注意力图 。权　利　要　求　书 1/1 页 2 CN 114821105 A 2一种联合图像金字塔引导和循环交叉注意力的光流计算方 法 技术领域 [0001]本发明涉及一种联合图像金字塔引导和循环交叉注意力的光 流计算方法。 背景技术 [0002]光流是空间移动物体在像素观察平面中移动的瞬时速度， 是一种计算物体在相邻 帧间运动信息的方法， 由物体和相 机的相对速度产生的， 反 映了物体在极小时间内对应的 图像像素的运动方向和速度。 从光流中恢复物体三维结构和运动则是现有计算机视觉研究 面临的最富有意义和挑战性的任务之一， 在计算机视觉中， 光流扮演着重要角色， 在目标对 象分割、 识别、 跟踪、 机器人导 航以及形状信息恢复等都有着非常重要的应用。 [0003]目前， 光流计算模型的特征提取方法大多采用特征金字塔， 但仅单纯的采用卷积 进行特征提取会使得浅层中空间信息不能被有效利用， 造成复杂运动场景中上下文提取能 力不足， 从而导致运动边缘和大位移 光流估计的准确性降低。 而引入图像金字塔作引导， 并 加入循环交叉注意力作为辅助上下文提取， 能够有效实现深浅层信息平衡， 有望提高在运 动边缘和大位移区域 光流计算的准确性和鲁棒 性。 发明内容 [0004]本发明的目的在于提供一种联合图像金字塔子网引导和循环交叉注意力的光流 计算方法， 以解决上述背景技 术中涉及的问题。 [0005]为实现上述目的， 本发明提供如下技 术方案： [0006]本发明提供一种联合图像金字塔子网引导和循环交叉注意力的光流计算方法， 所 述方法包括以下步骤： [0007]1)将图像序列连续两帧图像分别输入到图像金字塔子网和特 征金字塔子网； [0008]2)使用图像金字塔子网对图片进行处 理： [0009]3)将图像金字塔子网提取到 的特征与同层特征金字塔提取到 的特征进行相加融 合作为下一层特 征金字塔的输入； [0010]4)分别在第四层和第五层将相加融合后的特征图和第六层特征金字塔提取到的 特征图作为循环交叉注意力模块的输入以获得图像的上 下文信息： [0011]5)将特征 图进行变形和相关性计算后输入到共享光流解码器中进行初始光流估 计， 并在所有金字塔级别上进行迭代细化输出； [0012]6)将步骤(5)中所输出的初始光流经过上下文网络细化后再通过双边滤波器进行 优化， 从而得到最后精细化的光 流计算结果。 [0013]进一步的， 所述步骤(2)中的图像金字塔子网的输入是一组经过下采样的图像金 字塔图片； 经过图像金字塔进行下采样后， 通过一个浅层 网络即图像金字塔子网提取图像 金字塔的特 征。 [0014]进一步的， 所述步骤(4)分别通过两个1 ×1的卷积降维获得Q、 K两个特征图， 得到 Q、 K后再通过关联操作得到注意力图A， 再进行softmax操作得到注意力图A'。说　明　书 1/4 页 3 CN 114821105 A 3