(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726715.X (22)申请日 2022.06.23 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路 (72)发明人 戴玉超　樊斌　张志远　郭相　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 王鲜凯 (51)Int.Cl. H04N 5/232(2006.01) G06T 7/269(2017.01) G06T 7/246(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) H04N 5/374(2011.01) (54)发明名称 从卷帘快门图像恢复高帧率全局快门视频 的方法 (57)摘要 本发明涉及一种从卷帘快门图像恢复高帧 率全局快门视频的方法， 为了 克服现有技术的不 足， 本发明提出了卷帘快门图像校正问题的内在 几何模型： 在匀速运动模型下， 建模了去除卷帘 快门畸变的双向卷帘快门去畸变流； 然后， 通过 简单的缩放操作建立了连续帧之间的光流和对 应于任意扫描线的去畸变流之间的几何联系； 进 而， 建立了对应于不同扫描线的不同去畸变流之 间的相互转换机制。 本发明方法基于CMOS相机获 取的连续两帧卷帘快门图像数据， 通过将上述的 几何模型有机地融合到深度学习网络中， 可以逆 转卷帘快门成像机制， 同时实现去卷帘伪影与图 像时间超分辨， 比较适用于采用CMOS相机的手机 拍摄、 无人机拍摄、 计算摄 影等实际应用中。 权利要求书1页 说明书5页 附图4页 CN 115278054 A 2022.11.01 CN 115278054 A 1.一种从卷帘快门图像恢复高帧率全局快门视频的方法， 其特 征在于步骤如下： 步骤1： 将连续两幅分辨率为h ×w×3的卷帘快门图像输入光流估计 网络PWC‑Net， 输出 为这两幅卷帘快门图像之间的稠密光 流f， 其中f的分辨 率为h×w×2； 步骤2： 将这两幅卷帘快门图像以及它们之间的稠密光流f一起输入到一个编码器 ‑解 码器UNet网络， 输出为稠密光流f与对应中间扫描线的稠密去畸变流um之间的关联因子图 c， 其中um的分辨率为h×w×2， c的分辨 率为h×w×1； 步骤3： 利用位于卷帘快门图像中第κ扫描线的像素x处的关联因子值c(x)， 显式地计算 像素x处相对应于中间扫描 线的去畸变流um(x)： um(x)＝c(x) ×f(x) 其中： c(x)表示取c中对应 像素x的关联因子值， f(x)表示取f中对应 像素x的光 流值； 步骤4： 使用 将对应中间扫描线的去畸变流um(x)显式传播至对应 任意扫描 线s∈[1,h]的去畸变流us(x)； 步骤5： 对图像中h ×w个像素x重复步骤3和步骤4， 即可得到对应任意扫描线s∈[1,h] 的稠密去畸变流us， 其中us的分辨率为h×w×2； 步骤6： 根据对应于扫描线s∈[1,h]的稠密去畸变流us， 使用前向翘曲技术， 将第一幅卷 帘快门图像进行变换， 进 而恢复出与扫描 线s∈[1,h]相对应的全局快门图像； 步骤7： 按照步骤6依次恢复出对应于连续扫描线s＝1,2,...,h 的全局快门图像序列， 最后即可输出高帧率的全局快门视频。权　利　要　求　书 1/1 页 2 CN 115278054 A 2从卷帘快门图像恢复高帧率 全局快门视频的方 法 技术领域 [0001]本发明属于图像和视频合成技术领域， 涉及一种从卷帘快门图像恢复高帧率全局 快门视频的方法， 具体涉及一种高效的高帧率全局快门视频恢复方法。 背景技术 [0002]图像传感器一般根据其结构类型可被分为CCD(Charge ‑Coupled Device， 电荷耦 合器件)图像传感器和CMOS(Complementary  Metal Oxide Semiconductor， 互补金属氧化 物场效应管)图像传感器两大类。 从90年代 开始， CMOS图像传感技术在业内得到重视并获得 了大量的研发资源。 近年来， CMOS图像传感器已占据了市场的绝对主导地位， 基本实现对 CCD图像传感器的取代， 使用CM OS图像传感器的相机装置在无人驾驶、 无人机、 虚拟现实、 增 强现实、 计算摄影等领域也逐渐得到了较大普及。 CMOS相机的主要优势可归纳为以下三个 方面： 1)成本上， CM OS图像传感器 芯片一般采用适合大规模生产的标准流程工艺， 在批量生 产时单位 成本得以远低于CCD； 2)尺 寸上， CMOS传感器能够将图像采集单元和信号处理单元 集到同一块基板上， 体积得到大幅缩减， 使之非常适用于移动设备和各类小 型化设备； 3)功 耗上， CMOS传感器相比于 CCD还保持着低功耗和低发热的优势。 [0003]CMOS相机大都采用卷帘式快门工作机制， CCD相机均采用全局式快门方式。 全局快 门相机通常使用传感器在一瞬间完成整体像素曝光和收集光线进而得到一帧全局快门图 像。 卷帘快门CMOS相机则通过逐行曝光的方式采集图像。 传感器通过对场景光线按行扫描 导致处于不同行 的像素点具有不同的曝光时间， 相邻两行之间都会有一定的时间延迟， 所 有行像素 的曝光在极短的时间实现进而获得一幅卷帘快门图像。 在实际应用中， 摄影相 机 大多采用卷帘式快门的工作方式， 由于其逐行 曝光的成像机制， 当相 机在移动中对所处场 景进行拍摄或者拍摄场景中的运动物体时， 获得的卷帘快门 图像会出现图形倾斜、 晃动、 扭 曲等卷帘快门效应(即 “果冻”效应)。 这不仅造成了摄影中成像质量的严重退化， 而且使得 大多数针对全局快门相 机模型设计的三维视觉算法变得失效。 近些年来， 许多研究工作都 指出消除卷帘快门效应在实际应用中是极其重要的。 [0004]经过十几年的长足发展， 研究人员在消除卷帘快门效应这个问题上获得了许多卓 有成效的成果。 尤其是深度神经网络在最近几年被应用到卷帘快门图像校正任务上来， 并 取得了相 较于传统模型方法更为优异的去畸变效果。 事实上， 当人们在观察两幅连续的卷 帘快门图像时， 在脑海中能够自动推 断出隐藏在任意时刻下 的虚拟全局快门图像序列， 即 高帧率全局快门视频。 然而， 现有的深度学习方法只能根据输入的卷帘快门图像恢复出一 张对应于特定时刻的全局快门 图像， 还不具备类似于人这样强大的自动推断能力。 因此， 逆 转卷帘快门成像机制来恢复出高帧率高质量全局快门视频对于场景理解、 计算摄影、 影像 娱乐、 视频压缩和编辑 等实际应用将具有十分重大的意 义。 发明内容 [0005]要解决的技 术问题说　明　书 1/5 页 3 CN 115278054 A 3