(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111622158.9 (22)申请日 2021.12.28 (71)申请人 苏州工业园区智在天下 科技有限公 司 地址 215000 江苏省苏州市工业园区仁爱 路166号亲民楼1 12室 (72)发明人 马强　程志威　周少华　 (74)专利代理 机构 苏州威世朋知识产权代理事 务所(普通 合伙) 32235 代理人 陈如建 (51)Int.Cl. H04N 5/21(2006.01) G06T 5/00(2006.01) (54)发明名称 用于视频的降噪方法及其装置 (57)摘要 本发明公开了一种用于视频的降噪方法及 其装置， 该降噪方法包括以下步骤： 接收到以时 间顺序排列的T个视频帧， 每个视频帧均由M行N 列个像素构成； 将T个前景视频帧分解成T个前景 视频帧和T个背景视频帧； 对T个前景视频帧和T 个背景视频帧进行降噪处理， 之后， 将降噪之后 的T个前景视频帧和T个背景视频帧合并为降噪 之后的T个视频帧。 综上所述， 该降噪方法能够完 成视频降噪。 权利要求书2页 说明书10页 附图3页 CN 114070960 A 2022.02.18 CN 114070960 A 1.一种用于 视频的降噪方法， 其特 征在于， 包括以下步骤： 接收到以时间顺序排列的T个视频帧Y1， Y2， ...， YT， 每个视频帧Yi均由M行N列个像素构 成； 其中， T， M， N和i均为自然数， 且T≥2， 1≤i≤T； 创建T个前景视频帧F1， F2， ...， FT和T个背景视频帧B1， B2， ...， BT， 且F1＝0， B1＝Y1； 基于 partialSVD对视频帧Y1进行处理， 即U1， X1， V1＝partialSVD(B1， r)， 其中， U1是M行M列矩阵， V1是N行N列矩阵， X1是M行N列对角矩阵， r为预设秩值； 初始化m＝1且t＝2， 持续执行第一操作： 将m值增加1， Ut， Xt， Vt＝incSVD(Yt， Ut‑1， Xt‑1， Vt‑1) ， 持续执行n次第二操作， 当m≥预设阀值R时， dwnSVD(1， Ut， Xt， Vt) ， 当 m＝1， 之后， 将t值增加1； 第二操作具体包括： Bt＝Ut’*Xt*VtT， Ut’为Ut的M行1至r列元素组成， VtT为Vt的转置， Ft＝sgn(Yt‑Bt)*max(0， |Yt‑Bt|‑γ)， 其中， γ为预设参数， sgn()为符号函数； 且在第二次操作已经执行了n次时， 执行Ut， Xt， Vt＝ repSVD(Yt， Ft， Ut， Xt， Vt)； 对T个前景视频帧F1， F2， ...， FT进行降噪处理， 并且对T个背景视频帧B1， B2， ...， BT进行 降噪处理， 之后， 将降噪之后的T个前景视频帧F1， F2， ...， FT和T个背景视频帧B1， B2， ...， BT 合并为降噪之后的T个视频帧。 2.根据权利要求1所述的降噪方法， 其特征在于， 所述 “对T个前景视频帧F1， F2， ...， FT 进行降噪处 理， 并且对T个背景视频帧B1， B2， ...， BT进行降噪处 理”具体包括： 获取预设的轻量级神经网络， 将所述T个前景视频帧F1， F2， ...， FT输入所述轻量级神经 网络进行降噪处理， 将所述T个背景视频帧B1， B2， ...， BT输入所述轻量级神经网络进行降噪 处理； 所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成； 所述轻量级神经网络包括： SqueezeNet神经网络、 ShuffleNet神经网络、 MnasNet神经 网络、 MobileNet神 经网络、 CondenseNet神 经网络、 ESPNet神 经网络、 ChannelNets神 经网 络、 PeleeNet神经网络、 I GC神经网络、 FBNet神经网络、 EfficientNet神经网络、 Gho stNet神 经网络、 WeightNet神经网络、 Micro Net神经网络和U ‑NET神经网络 。 3.根据权利要求2所述的降噪方法， 其特征在于， 所述 “所述轻量级神经网络由多个干 净图像和与之匹配的噪声图像训练而成 ”具体包括： 将多个噪声图像化输入到深度神经网络Dθ， 并输出与每个噪声图像相匹配的干 净图像， 之后， 基于多个干净图像和与之匹配的噪声图像， 训练所述轻量级神经网络 。 4.根据权利要求2所述的降噪方法， 其特征在于， 所述 “对T个前景视频帧F1， F2， ...， FT 进行降噪处 理”具体包括： 将T个前景视频帧F1， F2， ...， FT划分为多个前景视频帧组， 每个前景视频帧组均包含有 多个前景视频帧， 基于光 流法， 对每 个前景视频帧组中的多个前 景视频帧进行降噪处 理。 5.根据权利要求4所述的降噪方法， 其特征在于， 所述 “基于光流法， 对每个前景视频帧 组中的多个前 景视频帧进行降噪处 理”具体包括： 对每个前景视频帧组均进行以下处理： 从所述前景视频帧组中选择一个关键前景视频 帧， 计算所述前景视频帧组中所有前景视频帧相对于所述关键前景视频帧的光流信息， 基 于所述光流信息， 将所有 前景视频帧相对于所述关键前景视频帧进 行配准处理， 之后， 对配 准之后的所有前 景视频帧进行降噪处 理。权　利　要　求　书 1/2 页 2 CN 114070960 A 26.一种用于 视频的降噪装置， 其特 征在于， 包括以下模块： 数据获取模 块， 用于接收到以时间顺序排列的T个视 频帧Y1， Y2， ...， YT， 每个视频帧Yi均 由M行N列个 像素构成； 其中， T， M， N和i均为自然数， 且T≥2， 1≤i≤T； 初始化模 块， 用于创建T个前景视 频帧F1， F2， ...， FT和T个背景视频帧B1， B2， ...， BT， 且F1 ＝0， B1＝Y1； 基于partialSVD对视频帧Y1进行处理， 即U1， X1， V1＝partialSVD(B1， r)， 其中， U1 是M行M列矩阵， V1是N行N列矩阵， X1是M行N列对角矩阵， r为预设秩值； 前后景提取模块， 用于初始化m＝1且t＝2， 持续执行第一操作： 将 m值增加1， Ut， Xt， Vt＝ incSVD(Yt， Ut‑1， Xt‑1， Vt‑1)， 持续执行n次第二操作， 当m≥预设阀值R时， dwnSVD(1， Ut， Xt， Vt)， 当 m＝1， 之后， 将t值增加1； 第二操作具体包括： Bt＝Ut’* Xt*VtT， Ut’为Ut的M行1至r列元素组成， VtT为Vt的转置， Ft＝sgn(Yt‑Bt)*max(0， |Yt‑Bt|‑γ)， 其中， γ为预设参数， sgn()为符号函数； 且在第二次操作已经执行了n次时， 执行Ut， Xt， Vt ＝repSVD(Yt， Ft， Ut， Xt， Vt)； 降噪模块， 用于对T个 前景视频帧F1， F2， ...， FT进行降噪处理， 并且对T个背景视 频帧B1， B2， ...， BT进行降噪处理， 之后， 将降噪之后的T个前景视频帧F1， F2， ...， FT和T个背景视频帧 B1， B2， ...， BT合并为降噪之后的T个视频帧。 7.根据权利要求6所述的降噪装置， 其特 征在于， 所述降噪模块还用于： 获取预设的轻量级神经网络， 将所述T个前景视频帧F1， F2， ...， FT输入所述轻量级神经 网络进行降噪处理， 将所述T个背景视频帧B1， B2， ...， BT输入所述轻量级神经网络进行降噪 处理； 所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成； 所述轻量级神经网络包括： SqueezeNet神经网络、 ShuffleNet神经网络、 MnasNet神经 网络、 MobileNet神 经网络、 CondenseNet神 经网络、 ESPNet神 经网络、 ChannelNets神 经网 络、 PeleeNet神经网络、 I GC神经网络、 FBNet神经网络、 EfficientNet神经网络、 Gho stNet神 经网络、 WeightNet神经网络、 Micro Net神经网络和U ‑NET神经网络 。 8.根据权利要求7 所述的降噪装置， 其特 征在于， 所述降噪模块还用于： 将多个噪声图像化输入到深度神经网络Dθ， 并输出与每个噪声图像相匹配的干 净图像， 之后， 基于多个干净图像和与之匹配的噪声图像， 训练所述轻量级神经网络 。 9.根据权利要求7 所述的降噪装置， 其特 征在于， 所述降噪模块还用于： 将T个前景视频帧F1， F2， ...， FT划分为多个前景视频帧组， 每个前景视频帧组均包含有 多个前景视频帧， 基于光 流法， 对每 个前景视频帧组中的多个前 景视频帧进行降噪处 理。 10.根据权利要求9所述的降噪装置， 其特 征在于， 所述降噪模块还用于： 对每个前景视频帧组均进行以下处理： 从所述前景视频帧组中选择一个关键前景视频 帧， 计算所述前景视频帧组中所有前景视频帧相对于所述关键前景视频帧的光流信息， 基 于所述光流信息， 将所有 前景视频帧相对于所述关键前景视频帧进 行配准处理， 之后， 对配 准之后的所有前 景视频帧进行降噪处 理。权　利　要　求　书 2/2 页 3 CN 114070960 A 3