(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211145713.8 (22)申请日 2022.09.20 (71)申请人 北京深势科技有限公司 地址 100082 北京市海淀区海淀东 三街2号 14层1401 (72)发明人 么琳　王宇航　张林峰　孙伟杰　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 曹延鹏 (51)Int.Cl. G06T 17/00(2006.01) G06N 20/00(2019.01) (54)发明名称 图像处理方法、 装置和电子设备 (57)摘要 本发明提供了一种图像处理方法、 装置和电 子设备， 包括： 第一任务和第二任务； 第一任务包 括： 将多个投影图像输入机器学习模型， 输出多 个投影图像分别对应的多个预测投影图像； 调整 编码器和解码器的参数； 第二任务包括： 将第三 类投影参数输入机器学习模型， 输出第三类投影 参数对应的第三类预测投影参数； 调整编码器 和/或解码器的参数； 交替或同时执行第一任务 和第二任务， 得到最终的机器学习模型； 基于最 终的机器学习模型将二维图像转化为三维模型 或者新视角下的二维图像。 实现了基于机器学习 利用实空间进行端对端的高质量图像三维重构， 对大批量的电镜数据做到更高效的三维重构， 在 低计算资源、 低数据量的情况下也可以达到很好 的三维重构效果。 权利要求书3页 说明书12页 附图4页 CN 115526986 A 2022.12.27 CN 115526986 A 1.一种图像处理方法， 其特征在于， 应用于机器学习 模型， 所述机器学习 模型包括编码 器和解码器； 所述方法包括第一任务和第二任务； 所述第一任务包括： 将多个投影图像输入所述机器学习模型， 输出多个所述投影图像 分别对应的多个预测投影图像； 基于多个所述投影图像和多个所述预测投影图像调整 所述 编码器和所述 解码器的参数； 所述第二任务包括： 将第三类投影参数输入所述机器学习模型， 输出所述第三类投影 参数对应的第三类预测投影参数； 基于所述第三类投影参数和所述第三类预测投影参数调 整所述编码器和/或所述解码 器的参数； 其中， 第三类投影参数和 第三类预测投影参数均包 括投影图像的投影角度和投影平 移； 交替或同时执 行所述第一任务和所述第二任务， 得到最终的机器学习模型； 基于最终的所述机器学习模型将二维图像转 化为三维模型或者 新视角下的二维图像。 2.根据权利要求1所述的方法， 其特征在于， 将多个投影图像输入所述机器学习模型， 输出多个所述投影图像分别对应的多个预测投影图像的步骤， 包括： 获取至少一个第一类投影图像和至少一个第二类投影图像； 其中， 所述第一类投影图 像表征来自实验或非实验手段获得的投影图； 第二类投影图像包括对所述第一类投影图像 进行二维图像 变换处理后生成的图像； 将所述第一类投影图像和所述第 二类投影图像输入所述编码器中， 输出对应所述第 一 类投影图像的第一类投影参数和对应所述第二类投影图像的第二类投影参数； 所述第一类 投影参数和所述第二类投影参数均包括投影图像的投影角度和投影平 移； 将所述第一类投影参数和所述第 二类投影参数输入所述解码器中， 输出所述第 一类投 影参数对应的第一类预测投影图像和所述第二类投影参数对应的第二类预测投影图像。 3.根据权利要求2所述的方法， 其特征在于， 获取至少一个第 一类投影图像和至少一个 第二类投影图像的步骤之后， 所述方法还 包括： 对所述第一类投影图像和所述第二类投影图像均进行 预处理。 4.根据权利要求2所述的方法， 其特征在于， 基于多个所述投影图像和多个所述预测投 影图像调整所述编码器和所述 解码器的参数的步骤， 包括： 基于所述第一类投影图像、 所述第二类投影图像、 所述第一类预测 投影图像和所述第 二类预测投影图像确定第一损失值； 基于所述第一损失值调整所述编码器和所述 解码器的参数。 5.根据权利要求4所述的方法， 其特征在于， 基于所述第一类投影图像、 所述第二类投 影图像、 所述第一类预测投影图像和所述第二类预测投影图像确定第一损失值的步骤， 包 括： 当所述第一任务的迭代次数小于第 一阈值时， 对所述第 一类投影图像和所述第 二类投 影图像进行图像信号处理； 基于该图像信号处理后的所述第一类投影图像、 该图像信号处 理后的所述第二类投影图像、 所述第一类预测投影图像和所述第二类预测投影图像确定第 一损失值； 其中， 该图像信号处 理包括高斯滤波； 当所述第一任务的迭代次数大于或等于所述第一阈值时， 基于所述第一类投影图像、 所述第二类投影图像、 所述第一类预测投影图像和所述第二类预测投影图像确定第一损失 值。权　利　要　求　书 1/3 页 2 CN 115526986 A 26.根据权利要求4所述的方法， 其特征在于， 基于所述第 一损失值调 整所述编码器和所 述解码器的参数的步骤， 包括： 通过自动微分框架基于所述第一损失值调整所述编码器和所述 解码器的参数。 7.根据权利要求1所述的方法， 其特征在于， 所述第 三类投影参数包括基于随机数生成 器生成的电镜投影参数； 将第三类投影参数输入所述机器学习模型， 输出所述第三类投影 参数对应的第三类预测投影参数的步骤， 包括： 生成第三类投影参数； 将所述第三类投影参数输入所述解码器， 输出与第 三类投影参数对应的第 三类投影图 像； 为所述第三类投影图像添加图像噪音； 将添加所述图像噪音后的所述第 三类投影图像输入所述编码器， 输出与第 三类投影图 像对应的第三类预测投影参数。 8.根据权利要求7所述的方法， 其特征在于， 为所述第 三类投影图像添加图像噪音的步 骤之后， 所述方法还 包括： 对添加所述图像噪音后的所述第三类投影图像进行后处 理。 9.根据权利要求1所述的方法， 其特征在于， 基于所述第 三类投影参数和所述第 三类预 测投影参数调整所述编码器和/或所述 解码器的参数的步骤， 包括： 基于所述第三类投影参数和所述第三类预测投影参数确定第二损失值； 基于所述第二损失值调整所述编码器和/或所述 解码器的参数。 10.根据权利要求9所述的方法， 其特征在于， 基于所述第 二损失值调 整所述编码器和/ 或所述解码器的参数的步骤， 包括： 保持所述 解码器的参数不变， 基于所述第二损失值调整所述编码器的参数； 或者， 基于所述第二损失值调整所述编码器和所述 解码器的参数。 11.根据权利要求9所述的方法， 其特征在于， 基于所述第 二损失值调 整所述编码器和/ 或所述解码器的参数的步骤， 包括： 通过自动微分框架基于所述第二损失值调整所述编码器和/或所述 解码器的参数。 12.根据权利要求1所述的方法， 其特征在于， 所述二维图像为自然图像、 电子显微镜图 像或其它类成像设备拍摄的图像。 13.一种图像处理装置， 其特征在于， 应用于机器学习模型， 所述机器学习模型包括编 码器和解码器； 所述方法包括第一任务和第二任务； 所述装置包括： 第一任务模块， 用于将多个投影图像输入所述机器学习模型， 输出多个所述投影图像 分别对应的多个预测投影图像； 基于多个所述投影图像和多个所述预测投影图像调整 所述 编码器和所述 解码器的参数； 第二任务模块， 用于将第三类投影参数输入所述机器学习模型， 输出所述第三类投影 参数对应的第三类预测投影参数； 基于所述第三类投影参数和所述第三类预测投影参数调 整所述编码器和/或所述解码 器的参数； 其中， 第三类投影参数和 第三类预测投影参数均包 括投影图像的投影角度和投影平 移； 任务执行模块， 用于交替或同时执行所述第一任务和所述第二任务， 得到最终的机器 学习模型；权　利　要　求　书 2/3 页 3 CN 115526986 A 3