(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210323811.X (22)申请日 2022.03.30 (65)同一申请的已公布的文献号 申请公布号 CN 114419146 A (43)申请公布日 2022.04.29 (73)专利权人 北京航天晨信科技有限责任公司 地址 102308 北京市门头沟区石龙 经济开 发区永安路1号 (72)发明人 曹扬　彭渊　赵思聪　吴京辉　 贾帅楠　吕乃冰　周武　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06T 7/70(2017.01)G06V 20/52(2022.01) G06F 30/20(2020.01) (56)对比文件 CN 110162812 A,2019.08.23 CN 110428388 A,2019.1 1.08 CN 109919007 A,2019.0 6.21 WO 2019246001 A1,2019.12.26 CN 112613397 A,2021.04.0 6 周立君 等.一种基 于GAN和自适应 迁移学习 的样本生成方法. 《应用光学》 .2020,第41卷(第1 期),第120 -126页. 审查员 刘梦瑶 (54)发明名称 一种多源光学样本生成方法和系统 (57)摘要 本申请提供了一种多源光学样本生成方法 和系统， 属于图像处理技术领域。 本申请实施例 通过接收用于生成同一识别任务的仿真场景的 输入参数， 并根据该输入参数， 构建与每种光学 类型一一对应的仿真场景， 并在每种光学类型对 应的仿真场景中， 生成该种光学类型的光学图像 以及光学图像对应的标注信息， 最后将光学图像 和标注信息作为该种光学类型下的光学样本。 本 申请实施例通过仿真的方式， 可以根据识别任务 的识别需求， 生成足够多的识别任务密切相关的 多种光学类型的高质量光学样 本， 并利用该光学 样本对与识别任务对应的目标识别模型进行充 分训练， 能够提高目标识别模型的训练效果， 进 而有效提高目标识别模型执行该识别任务时的 实际应用效果。 权利要求书3页 说明书10页 附图1页 CN 114419146 B 2022.07.12 CN 114419146 B 1.一种多源光学样本生成方法， 其特 征在于， 所述方法包括： 接收用于生成同一识别任务的仿真场景的输入参数， 所述输入参数包括所述识别任务 的不同光学类型的光学样本特性 参数和仿真条件参数； 根据每种光学类型的光学样本特性参数和仿真条件参数， 构建与每种光学类型一一对 应的仿真场景， 并在每种光学类型对应的仿真场景中， 生成该种光学类型 的光学图像以及 所述光学图像对应的标注信息， 所述标注信息至少包括所述光学图像中的目标对象的位置 信息； 将所述光学图像和所述标注信息作为该种光学类型 下的所述 光学样本； 所述输入参数包括可 见光样本参数、 动态视 觉样本参数和红外样本参数； 其中， 所述可见光样本参数、 所述动态视觉样本参数和所述红外样本参数均包括各自 对应的光学样本特性 参数和仿真条件参数； 其中， 所述仿真条件参数包括图像类型参数、 目标位置约束参数、 背景参数、 环境参数、 传感 器与载体参数、 命名参数、 存 储路径参数和显示 参数； 所述光学样本特性参数包括可见光样本特性参数、 动态视觉样本特性参数和红外样本 特性参数； 其中， 所述可见光样本特性 参数包括可 见光样本增广参数和可 见光样本 批量生成参数； 所述动态视觉样本特性参数包括动态视觉样本增广参数、 预设时间间隔参数、 噪声变 换参数、 图像 变换参数和动态视 觉样本批量生成参数； 所述红外样本特性参数包括红外样本增广参数、 红外仿真参数、 红外样本批量生成参 数。 2.根据权利要求1所述的方法， 其特征在于， 所述识别任务为环境污染监测任务、 濒危 物种监测任务以及交通 监控任务中的任一。 3.根据权利要求1所述的方法， 其特征在于， 根据每种光学类型的光学样本特性参数和 仿真条件参数， 构建与每种光学类型一一对应的仿真场景， 并在每种光学类型对应的仿真 场景中， 生成该种光学类型的光学图像以及所述 光学图像对应的标注信息， 包括： 根据所述可见光样本参数， 构建可见光仿真场景， 并在所述可见光仿真场景中生成可 见光图像以及所述可 见光图像对应的标注信息； 和/或， 根据所述动态视觉样本参数， 构建动态视觉仿真场景， 并在所述动态视觉仿真场景中 生成初始图像， 并对所述初始图像进行图像变换， 得到动态视觉图像以及所述动态视觉图 像对应的标注信息； 和/或， 根据所述红外样本参数， 构建红外仿真场景， 并在所述红外仿真场景中生成红外 图像 以及所述红外图像对应的标注信息 。 4.根据权利要求3所述的方法， 其特征在于， 对所述初始图像进行图像变换， 得到动态 视觉图像以及所述动态视 觉图像对应的标注信息， 包括： 获取当前时刻生成的第一初始图像和预设时间 间隔后生成的第二初始图像； 通过噪声变换函数， 对所述第 二初始图像与所述第 一初始图像之间的差值进行 噪声变 换， 得到噪声图像； 通过图像 变换函数， 对所述噪声图像进行图像 变换， 得到动态视 觉图像； 将所述预设时间间隔除以二的商与 所述当前时刻的和， 确定为所述动态视觉图像的目权　利　要　求　书 1/3 页 2 CN 114419146 B 2标仿真时刻； 将所述目标仿真时刻对应的标注信息作为所述动态视 觉图像的标注信息 。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 响应于用户触发的查询指令， 显示所述 查询指令对应的光学样本； 响应于用户触发的参数调整指令， 对所述可见光样本参数、 所述动态视觉样本参数和/ 或所述红外样本参数进行调整。 6.一种多源光学样本生成系统， 其特 征在于， 所述系统包括： 接口模块， 用于接收用于生成同一识别任务的仿真场景的输入参数， 所述输入参数包 括所述识别任务的不同光学类型的光学样本特性 参数和仿真条件参数； 仿真模块， 用于根据每种光学类型的光学样本特性参数和仿真条件参数， 构建与每种 光学类型一一对应的仿真场景， 并在每种光学类型对应的仿真场景中， 生成该种光学类型 的光学图像以及所述光学图像对应的标注信息， 所述标注信息至少包括所述光学图像中的 目标对象的位置信息； 样本生成模块， 用于将所述光学图像和所述标注信 息作为该种光学类型下的所述光学 样本； 所述输入参数包括可 见光样本参数、 动态视 觉样本参数和红外样本参数； 其中， 所述可见光样本参数、 所述动态视觉样本参数和所述红外样本参数均包括各自 对应的光学样本特性 参数和仿真条件参数； 其中， 所述仿真条件参数包括图像类型参数、 目标位置约束参数、 背景参数、 环境参数、 传感 器与载体参数、 命名参数、 存 储路径参数和显示 参数； 所述光学样本特性参数包括可见光样本特性参数、 动态视觉样本特性参数和红外样本 特性参数； 其中， 所述可见光样本特性 参数包括可 见光样本增广参数和可 见光样本 批量生成参数； 所述动态视觉样本特性参数包括动态视觉样本增广参数、 预设时间间隔参数、 噪声变 换参数、 图像 变换参数和动态视 觉样本批量生成参数； 所述红外样本特性参数包括红外样本增广参数、 红外仿真参数、 红外样本批量生成参 数。 7.根据权利要求6所述的系统， 其特征在于， 所述仿真模块包括可见光仿真子模块、 动 态视觉仿真子模块和红外 仿真子模块； 其中， 所述可见光仿真子模块， 用于根据所述可见光样本参数， 构建可见光仿真场景， 并在所 述可见光仿真场景中生成可 见光图像以及所述可 见光图像对应的标注信息； 所述动态视觉仿真子模块， 用于根据所述动态视觉样本参数， 构建动态视觉仿真场景， 并在所述动态视觉仿真场景中生成初始图像， 并对所述初始图像进行图像变换， 得到动态 视觉图像以及所述动态视 觉图像对应的标注信息； 所述红外仿真子模块， 用于根据所述红外样本参数， 构建红外仿真场景， 并在所述红外 仿真场景中生成红外图像以及所述红外图像对应的标注信息 。 8.根据权利要求7 所述的系统， 其特 征在于， 所述动态视 觉仿真子模块包括： 初始图像生成子模块， 用于获取当前时刻生成的第 一初始图像和预设时间间隔后生成 的第二初始图像；权　利　要　求　书 2/3 页 3 CN 114419146 B 3