(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210172348.3 (22)申请日 2022.02.24 (71)申请人 深圳万兴软件 有限公司 地址 518000 广东省深圳市南 山区粤海街 道软件产业基地5 栋D座1001 (72)发明人 王健　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李燕娥 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 增加难样本数据 的方法、 系统、 计算机设备 及存储介质 (57)摘要 本发明公开了增加难样本数据的方法、 系 统、 计算机设备及存储介质， 该方法包括： 获取具 有多张简易样本图像和难样本图像的原始训练 集， 利用原始训练集对初始分割模型进行训练， 得到目标分割模 型； 对原始训练集进行筛选获取 难样本图像， 并利用难样本图像对目标分割模型 进行训练， 得到优化后的目标分割模型； 将目标 图像输入至优化后的目标分割模 型中进行识别， 并判断识别结果是否为难样本图像； 若识别结果 为难样本图像， 则将目标图像作为新的难样本图 像保存至原始训练集中。 本发明通过对常规的初 始分割模型进行训练， 从而 得到一个针对难样本 数据进行识别的目标分割模型， 实现难样本数据 的快速识别， 提高了识别效率， 降低了获取成本 。 权利要求书2页 说明书6页 附图3页 CN 114550054 A 2022.05.27 CN 114550054 A 1.一种增 加难样本数据的方法， 其特 征在于， 包括： 获取具有多 张简易样本图像和难样本图像的原始训练集， 利用所述原始训练集对初始 分割模型进行训练， 得到目标分割模型； 对所述原始训练集进行筛选获取难样本图像， 并利用所述难样本图像对所述目标分割 模型进行训练， 得到优化后的目标分割模型； 将目标图像输入至所述优化后的目标分割 模型中进行识别， 并判断识别结果是否为难 样本图像； 若识别结果为难样本图像， 则将所述目标图像作为新的难样本图像保存至所述原始训 练集中。 2.根据权利要求1所述的增加难样本数据的方法， 其特征在于， 所述利用所述原始训练 集对初始分割模型进行训练， 得到目标分割模型， 包括： 将所述原始训练集中的样本图像输入至语义估计模块进行卷积处理， 并利用L2损失函 数计算语义估计模块的损失， 得到语义处 理结果； 将所述原始训练集中的样本 图像输入至细节预测模块进行编码 ‑解码操作， 并利用交 叉熵损失函数计算损失， 得到细节处 理结果； 将所述语义处理结果和细节处理结果进行特征拼接， 得到最终的分割结果， 并利用L1 损失函数对最终的分割结果进行计算， 得到目标分割模型。 3.根据权利要求2所述的增加难样本数据的方法， 其特征在于， 所述将所述原始训练集 中的样本图像输入至语义估计模块进 行卷积处理， 并利用L2损失函数计算语义估计模块的 损失， 得到语义处 理结果， 包括： 将所述原始训练集中的样本图像输入至多层连续的卷积层中进行卷积， 得到每一层的 卷积结果； 将最后一层的卷积结果输入至全局池化层进行池化处理， 并将池化结果输入至两个连 续的全连接层 进行卷积， 最后输入至sigmod层 进行激活处理， 得到第一特征图， 并将所述第 一特征图与最后一层的卷积结果进行 特征相加， 得到目标 特征图； 将所述目标特征图与每一层的卷积结果进行特征相乘 处理， 并对特征相乘结果进行卷 积处理， 得到语义处 理结果。 4.根据权利要求3所述的增加难样本数据的方法， 其特征在于， 所述将所述原始训练集 中的样本图像输入至细节预测模块进 行编码‑解码操作， 并利用交叉熵损失函数计算损失， 得到细节处 理结果， 包括： 将所述原始训练集中的样本图像进行下采样处理， 并将下采样结果与 所述最后 一层的 卷积结果进行 特征拼接， 得到第一 拼接结果； 将所述第一 拼接结果输入至多个连续的编码层进行编码处 理， 得到编码特 征图； 将所述语义处理结果进行上采样， 并将上采样结果与所述编码特征图进行特征拼接， 得到第二 拼接结果并输入至多层连续的解码层进行 特征解码， 得到特 征解码图； 将所述特 征解码图与所述第一 拼接结果输入至卷积层中进行 卷积得到细节处 理结果。 5.根据权利要求4所述的增加难样本数据的方法， 其特征在于， 所述将所述语义处理结 果和细节处 理结果进行拼接， 得到最终的分割结果， 包括： 将所述语义处理结果输入至卷积层中进行卷积处理， 并将卷积结果进行上采样处理，权　利　要　求　书 1/2 页 2 CN 114550054 A 2将上采样结果与特 征解码图进行 特征拼接， 得到第三 拼接结果； 将所述第三拼接结果输入至连续的多层卷积层中进行卷积处理， 得到最终的分割结 果。 6.一种增 加难样本数据的系统， 其特 征在于， 包括： 目标分割模型获取单元， 用于获取具有多张简易样本图像和难样本图像的原始训练 集， 利用所述原 始训练集对初始分割模型进行训练， 得到目标分割模型； 目标分割模型优化单元， 用于对所述原始训练集进行筛选获取难样本 图像， 并利用所 述难样本图像对所述目标分割模型进行训练， 得到优化后的目标分割模型； 难样本图像识别单元， 用于将目标图像输入至所述优化后的目标分割模型中进行识 别， 并判断识别结果是否为难样本图像； 原始训练集更新单元， 用于若识别结果为难样本 图像， 则将所述目标图像作为新的难 样本图像保存至所述原 始训练集中。 7.根据权利要求6所述的增加难样本数据的系统， 其特征在于， 所述目标分割 模型获取 单元， 包括： 语义处理结果获取单元， 用于将所述原始训练集中的样本图像输入至语义估计模块进 行卷积处理， 并利用L2损失函数计算语义估计模块的损失， 得到语义处 理结果； 细节处理结果获取单元， 用于将所述原始训练集中的样本图像输入至细节预测模块进 行编码‑解码操作， 并利用交叉熵损失函数计算损失， 得到细节处 理结果； 特征拼接单元， 用于将所述语义处理结果和细节处理结果进行特征拼接， 得到最终的 分割结果， 并利用L1损失函数对最终的分割结果进行计算， 得到目标分割模型。 8.根据权利要求7所述的增加难样本数据的系统， 其特征在于， 所述语义处理结果获取 单元， 包括： 多层卷积结果获取单元， 用于将所述原始训练集中的样本图像输入至多层连续的卷积 层中进行 卷积， 得到每一层的卷积结果； 目标特征图获取单元， 用于将最后一层的卷积结果输入至全局池化层进行池化处理， 并将池化结果输入至两个连续的全连接层进行卷积， 最后输入至sigmod层进行激活处理， 得到第一特征图， 并将所述第一特征图与最后一层的卷积结果进行特征相加， 得到目标特 征图； 特征相乘处理单元， 用于将所述目标特征图与每一层的卷积结果进行特征相乘处理， 并对特征相乘结果进行 卷积处理， 得到语义处 理结果。 9.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至5 中任一项所述的增 加难样本数据的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求 1至5任一项 所述的增 加难样本数据的方法。权　利　要　求　书 2/2 页 3 CN 114550054 A 3