(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210771599.3 (22)申请日 2022.06.30 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 叶宇翔　陈翼男　朱雅靖　许晓薇　 黄烨翀　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 许昌莲 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/762(2022.01) (54)发明名称 图像处理方法、 装置、 设备及存 储介质 (57)摘要 本申请公开了一种图像处理方法、 装置、 设 备及存储介质。 该图像处理方法包括： 获取均包 含目标的第一目标图像和若干参考图像； 将第一 目标图像关于目标的初始特征与各参考图像关 于目标的参考特征进行特征融合， 得到第一目标 图像的目标特征； 基于目标特征对第一目标图像 进行图像处理。 上述方案， 能够提高图像处理结 果的准确度。 权利要求书3页 说明书17页 附图5页 CN 114972946 A 2022.08.30 CN 114972946 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取均包 含目标的第一目标图像和若干参 考图像； 将所述第一目标图像关于所述目标的初始特征与各所述参考图像关于所述目标的参 考特征进行特征融合， 得到所述第一目标图像的目标 特征； 基于所述目标 特征对所述第一目标图像进行图像处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一目标图像关于所述目标的 初始特征与各所述参考图像关于所述目标的参考特征进行特征融合， 得到所述第一目标图 像的目标 特征， 包括： 利用所述第一目标图像的预设特征分别与所述初始特征和各所述参考特征进行融合 处理， 以得到所述初始特 征对应的第一进阶特 征和各所述参考特征对应的第二进阶特 征； 将所述第一进阶特 征和各所述第二进阶特 征进行融合， 得到所述目标 特征。 3.根据权利要求1至2任一项所述的方法， 其特征在于， 所述第一目标图像和若干参考 图像是从采用不同采集方式采集得到的若干待处理图像中选择得到的， 每个所述待处理图 像分别作为所述第一目标图像， 且所述第一目标图像对应的所述若干参考图像为所述若干 待处理图像中除所述第一 目标图像以外的至少 部分所述待处理图像； 其中， 对每个所述第 一目标图像均执行所述将所述第一目标图像关于所述目标 的初始特征与各所述参考图像 关于所述 目标的参考特征进行特征融合， 得到所述第一 目标图像的目标特征 的步骤， 以得 到每个所述待处 理图像的所述目标 特征。 4.根据权利要求3所述的方法， 其特征在于， 在所述基于所述目标特征对所述第 一目标 图像进行图像处 理之前， 所述方法还 包括： 对于每个所述第 一目标图像， 继续执行至少一 次所述将所述第 一目标图像关于所述目 标的初始特征与各所述参考图像关于所述目标的参考特征进 行特征融合， 得到所述第一目 标图像的目标 特征的步骤， 以得到每 个所述第一目标图像最终的所述目标图像； 其中， 第n次所述特征融合的过程中， 在所述n为1的情况下， 所述第一目标图像的初始 特征和各所述参考图像的参考特征是分别对所述第一目标图像和各所述参考图像进行特 征提取得到的； 在所述n不为1的情况下， 所述第一 目标图像的初始特征为所述第一目标图 像在第n‑1次特征融合得到的所述目标特征， 各所述参考图像的参考特征为各所述参考图 像作为其他所述第一目标图像在第n ‑1次特征融合得到的所述目标 特征。 5.根据权利要求4所述的方法， 其特征在于， 所述图像处理方法由图像处理模型执行， 所述图像处理模型包括依序连接的若干个特征融合层， 每一所述特征融合层用于对所述若 干待处理图像执行一次所述特征融合， 以得到每个所述待处理图像对应所述特征融合层的 所述目标特征； 末级 所述特征融合层输出的各所述待处理图像的目标特征分别用于对各所 述待处理图像进行 所述图像处 理。 6.根据权利要求5所述的方法， 其特征在于， 至少一个所述特征融合层作为目标特征融 合层， 且所述 目标特征融合层包括非首级的所述特征融合层， 所述图像处理模型包括若干 采样层， 每个所述 目标特征融合层之前均连接至少一个所述采样层， 每个所述目标特征融 合层连接的所述采样层用于将前一所述特征融合层输出的各所述待处理图像的目标特征 进行尺度调整后， 再作为所述 目标特征融合层的所述初始特征和 参考特征， 以使所述 目标 特征融合层输出的所述目标 特征与前一所述特 征融合层输出的所述目标 特征的尺度不同；权　利　要　求　书 1/3 页 2 CN 114972946 A 2和/或， 所述方法还 包括所述图像处 理模型的训练步骤： 获取各所述特征融合层输出的若干样本 图像对应的目标特征， 其中， 所述若干样本 图 像是采用不同采集方式对所述目标进行采集得到的； 对于各所述样本 图像， 基于所述样本 图像的各所述特征融合层输出的所述目标特征， 分别对所述目标图像进行所述图像处理， 得到所述样本图像分别对应各所述特征融合层的 训练图像处 理结果； 基于真实图像处 理结果与各 所述训练图像处 理结果之间的差异， 确定目标损失； 基于所述目标损失对所述图像处 理模型中的参数进行调整。 7.根据权利要求6所述的方法， 其特征在于， 所述基于真实图像处理结果与 各所述训练 图像处理结果之间的差异， 确定目标损失， 包括： 基于所述真实图像处理结果与每一所述训练图像处理结果之间的差异， 对应得到每一 所述训练图像处 理结果对应的预 备损失； 将各所述预备损失进行加权融合， 得到所述目标损失。 8.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 基于各所述待处理图像的图像处理结果进行聚合， 得到聚合结果， 各所述待处理图像 的图像处理结果为基于所述待处理图像的目标特征对所述待处理图像进行所述图像处理 得到的； 基于所述聚合结果， 对各 所述待处 理图像的图像处 理结果进行 更新。 9.根据权利要求8所述的方法， 其特征在于， 所述基于各所述待处理图像的图像处理结 果进行聚合， 得到聚合结果， 包括： 至少将各所述待处理图像作为聚类图像， 并基于各所述聚类图像的图像处理结果， 得 到各所述聚类图像关于所述目标的图像处 理特征； 对各所述聚类图像关于所述目标的所述图像处 理特征进行聚类， 得到所述聚类结果； 所述基于所述聚合结果， 对各 所述待处 理图像的图像处 理结果进行 更新， 包括： 对各所述待处 理图像进行二次特 征提取， 得到各 所述待处 理图像的二次特 征； 结合所述 聚类结果， 基于各所述待处理图像的二 次特征分别对各所述待处理图像进行 所述图像处 理， 得到各 所述待处 理图像的经 更新的图像处 理结果。 10.根据权利要求9所述的方法， 其特征在于， 所述若干待处理图像是分别从若干原始 图像中提取且对应所述原始图像中预设对象的同一区域的局部图像； 所述聚类图像还包括 从各原始图像提取得到的若干其他局部图像， 所述其他局部图像中包含至少一个目标， 且 对应所述预设对象的其 他区域； 和/或， 所述图像处理的结果包括所述目标的大小、 所述目标在图像中的位置、 所述目 标在所述位置的概率， 所述基于各所述聚类图像的图像处理结果， 得到各所述聚类图像的 图像处理特征， 包括： 对于每一所述聚类图像， 基于所述目标的大小、 所述目标在图像中的位置、 所述概率以 及所述聚类图像的预设特征， 构建所述聚类图像关于所述 目标的图像处理特征， 每个所述 聚类图像的预设特 征是基于所述聚类图像的采集方式确定的。 11.根据权利要求1 ‑10任一项所述的方法， 其特征在于， 所述获取均包含目标的第一目 标图像和若干参 考图像之前， 所述方法还 包括：权　利　要　求　书 2/3 页 3 CN 114972946 A 3