(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210272947.2 (22)申请日 2022.03.18 (71)申请人 四川大学 地址 610000 四川省成 都市一环路南 一段 24号 (72)发明人 申俊飞　寇廷栋　 (74)专利代理 机构 成都其知创新专利代理事务 所(普通合伙) 51326 专利代理师 房立普 (51)Int.Cl. G06T 5/50(2006.01) G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 5/232(2006.01) H04N 5/265(2006.01) (54)发明名称 基于多点扩散函数生成对抗网络的大景深 成像方法及系统 (57)摘要 本发明公开了基于多点扩散函数生成对抗 网络的大景深成像方法及系统， 包括以下步骤： 步骤1： 构建基于自动聚焦的多聚焦成像模型； 步 骤2： 获取小景深多聚焦图像和大景深真值图像， 构建数据集； 步骤3： 构建基于生成对抗网络的 图 像重建网络模型； 步骤4： 根据步骤2得到的数据 集， 对步骤3得到的网络模型进行训练； 训练过程 中基于反向传播梯度下降算法最小化损失函数； 步骤5： 将多聚焦图像输入步骤4得到的网络模 型， 即可得到重建的大景深图像； 本发明具有简 单、 灵活、 低成本的优点， 缓解了景深与信噪比的 之间制衡， 提高了成像质量， 能够满足各类场景 的大景深成像需求。 权利要求书2页 说明书7页 附图3页 CN 114612362 A 2022.06.10 CN 114612362 A 1.一种基于多点扩散函数生成对抗网络的大景深成像方法， 其特征在于， 包括以下步 骤： 步骤1： 构建基于自动聚焦的多聚焦成像模型； 步骤2： 获取小景深多聚焦图像和大 景深真值图像， 构建数据集； 步骤3： 构建基于生成对抗网络的图像重建网络模型； 步骤4： 根据步骤1得到的数据集， 对步骤2得到的网络模型进行训练； 训练过程中基于 反向传播梯度下降算法最小化损失函数； 步骤5： 将多聚焦图像输入步骤3得到的网络模型， 即可 得到重建的大 景深图像； 所述步骤1中的多聚焦成像模型包括约束焦点设置模块， 自动聚焦模块； 约束焦点设置模块通过设置约束成像焦点与最终自动 聚焦成像焦点之间的距离选择 约束成像焦点的位置； 自动聚焦模块利用自动聚焦过程在约束成像焦点处拍摄多聚焦图像。 所述步骤2中的网络模型包括生成器， 生成器包括点扩散函数学习及 反卷积模块、 特征 融合模块和特 征重建模块； 点扩散函数及反卷积模块用于从多聚焦图像中提取空间和光谱特征， 学习不同约束成 像焦点处沿不同物方深度下的点扩散函数， 并以此反卷积小景深多聚焦图像； 特征融合模块用于提取反卷积图像中的清晰特 征并融合得到融合图像； 特征重建模块用于处 理融合图像中出现的缺陷。 2.根据权利要求1所述的一种基于多点扩散函数生成对抗网络的大景深成像方法， 其 特征在于， 所述网络模型还包括鉴别器， 用于在训练阶段鉴别输入图像的真假， 输入图像为 生成器生成的重建图像及真值图像。 3.根据权利要求1所述的一种基于多点扩散函数生成对抗网络的大景深成像方法， 其 特征在于， 所述点扩散函数学习及反卷积模块包括依次设置的n个卷积层、 v个激活层、 m个 下采样层和m个上采样层、 注意力层和b个归一 化层。 4.根据权利要求1所述的一种基于多点扩散函数生成对抗网络的大景深成像方法， 其 特征在于， 所述特 征融合模块包括依次设置的卷积层、 卷积SoftMax层。 5.根据权利要求1所述的一种基于多点扩散函数生成对抗网络的大景深成像方法， 其 特征在于， 所述特 征重建模块包括依次设置的4个卷积层、 归一 化层、 激活层。 6.根据权利要求1所述的一种基于多点扩散函数生成对抗网络的大景深成像方法， 其 特征在于， 所述 鉴别器包括依次设置的4个卷积下采样层、 归一 化层和激活层。 7.根据权利要求2所述的一种基于多点扩散函数生成对抗网络的大景深成像方法， 其 特征在于， 所述 生成器的损失函数ГG如下： ΓG＝PL+LG+CFL 其中， LG为生成器的对抗 性损失函数， PL 为感知损失函数， CFL 为颜色保真度损失函数； 鉴别器的损失函数ГD如下： ΓD＝LD 其中， LD为鉴别器的对抗 性损失函数； 其中CFL为：权　利　要　求　书 1/2 页 2 CN 114612362 A 2其中： k为原始图像个数， Ii为第i幅原始图像， R为重建图像， Sm为SoftMax算子； C为维 度， H为高度， W 为宽度。 8.根据权利要求7所述的一种基于多点扩散函数生成对抗网络的大景深成像方法， 其 特征在于， 所述感知损失函数PL 为： 其中， 为预训练网络模 型， x为重 建图像， real为真值图像， 为神经网络第 j个卷积 层生成的大小为Cj×Hj×Wj的特征图； F为F ‑范数， Cj、 Hj、 Wj分别为第j个卷积层输出的特征 图的维度、 高度和宽度； h、 w、 c为特 征像素点在特 征图中的坐标； 其中， 为变量在真值数据分布的期望值， 为变量在生成数据分布的期望值， S为 Sigmoid非线性激活函数， xr为真值图像， xf为重建图像， 鉴别器输入为x时输出D(x)， E为生 成数据分布， P为真值数据分布。 9.一种如权利要求1～8所述基于多点扩散函数生成对抗网络的大景深成像图像系统， 其特征在于， 包括： 光学成像模块： 通过构建基于自动聚焦的多聚焦成像模型获取小景深多聚焦图像； 图像重建模块： 通过构建基于生成对抗网络的图像重建网络模型生成大景深重建图 像， 包括生成器和鉴别器； 生成器包括点扩散函数学习及反卷积模块、 特征融合模块和特征 重建模块； 点扩散函数及反卷积模块用于从多聚焦图像中提取空间和光谱特征， 采用深度 学习算 法学习出不同物方深度下 的点扩散函数， 并以此反卷积小景深图像， 重建源图像中的模糊 区域； 特征融合模块用于提取反卷积图像中的清晰特 征并融合得到融合图像； 特征重建模块用于处 理融合图像中出现的缺陷； 鉴别器用于在网络模型训练阶段鉴别输入图像的真假。权　利　要　求　书 2/2 页 3 CN 114612362 A 3