(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210427559.7 (22)申请日 2022.04.21 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 徐靖翔　李娟　李建强　王全增　 赵琳娜　罗锦涛　高正凯　刘朝磊　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/56(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/46(2022.01)G06V 10/764(2022.01) G06V 10/766(2022.01) G06T 7/33(2017.01) (54)发明名称 与深度学习方法相结合的多焦 图像中目标 分割方法 (57)摘要 本发明公开了与深度学习方法相结合的多 焦图像中目标分割方法， 先对多焦图像进行配 准； 再基于目标的颜色与轮廓进行粗分割得到一 张只包含单个目标的局部图像并基于目标中心 所在位置与所属图像形成目标的定位标签； 提出 两种评价尺度， 分别为目标清晰度判断模块与目 标需求性判断模块； 综合清晰度判断模块与需求 性判断模块的分数得到目标的分割价值系数； 最 后针对具有相同定位标签的目标， 比较其分割价 值系数， 将具有分割价值的目标放入语义细分割 模块来获取多焦图像中所有清晰需求的非重复 目标， 以解决单独使用传统方法中所存在的分割 粗糙的问题和单独使用深度学习语义分割方法 中存在的效率低下、 效果差等问题。 这样便兼顾 了分割的效果与效率。 权利要求书2页 说明书8页 附图2页 CN 114926635 A 2022.08.19 CN 114926635 A 1.与深度学习方法相结合的多焦图像中目标分割方法， 其特征在于： 该方法包括如下 步骤， 步骤1： 图像 配准； 随机选取图像组中的一张图片为基准， 图像组中的其他图像对照基准图像进行特征选 取、 特征匹配、 图像 变换操作， 最终 实现图像组中所有图像的特 征一致； 步骤2： 基于颜色、 轮廓特 征的粗分割； 通过步骤1将图像组中的图像特征调整一致后， 以需求目标与无关背景、 无关目标之间 的颜色差异与需求 目标的特有轮廓为出发点， 寻找前后景之间的分界边； 从而对现有图像 进行粗分割获取含有类寻 求目标的局部图像； 步骤3： 目标定位； 根据步骤2粗分割后形成的目标轮廓 边缘计算目标边缘点的中心距进而求出中心点的 坐标， 再将目标的中心坐标 形成标签与目标图像关联； 步骤4： 目标图像清晰度评价； 将之前经过步骤1、 2、 3处理过的具有定位信 息的粗分割目标输入模型以评价图像清晰 度； 步骤5： 目标图像需求 性预测； 将之前经过步骤1、 2、 3处理过的具有定位信 息的粗分割目标输入模型以评价图像 需求 度； 此步骤与步骤4 为并行步骤； 步骤6： 目标图像分割价 值综合判定； 根据步骤4得出的图像清晰度分数与步骤5得出的图像的需求置信度求解图像的分割 价值判定； 步骤7： 根据目标图像的定位信息 筛选高分割价 值目标图像 群中的非重复目标图像； 获取目标图像关联的定位标签， 与其他目标的定位标签进行比较， 划分具有相同定位 的图像组， 再根据图像在步骤6中得出 的分割价值系 数设置阈值筛选出高分割价值 目标图 像群中的非重复目标图像； 步骤8： 细分割高价 值目标图像； 采用语义分割模型对步骤7 得到的目标图像进行轮廓细分割； 步骤8.1训练基于轮廓的语义分割模型； 对训练集的目标轮廓进行像素级绘制， 用以训练基于轮廓的语义分割模型； 步骤8.2绘制目标精细轮廓； 将目标图像输入训练好的语义分割模型绘制目标精细轮廓； 步骤9： 获得多焦图像中的非重复清晰需求目标； 将计算的具有高分割价值的非重复图像放入步骤8.1训练的模型进行语义细分割得到 轮廓掩模图， 再对比掩 模图与源图像以分离出多焦图像中的非重复清晰需求目标。 2.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法， 其特征 在于： 步骤2的实施过程如下， 步骤2.1寻找前后景颜色差异像素点； 将图像转换为灰度图后再基于图像的灰度 特征来x和y方向上的梯度算子， 之后使用一 阶有限差分计算梯度， 与梯度算子相乘差分计算幅值和方向， 从而确定目标边 缘轮廓；权　利　要　求　书 1/2 页 2 CN 114926635 A 2步骤2.2目标轮廓特 征检测与判断； 利用图像全局特征将边缘像素连接起来组成区域封闭边界， 将图像空间转换到参数空 间， 在参数空间对点进 行描述， 达到检测图像边缘的目的； 把所有 可能落在边缘上的点进 行 统计计算， 根据对数据的统计结果确定目标轮廓特 征是否符合标准特 征。 3.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法， 其特征 在于： 步骤4的实施过程如下， 步骤4.1训练多参数融合的清晰度评价回归 模型； 计算训练集在各个参数指标上的得分， 之后对训练集进行二分类标注， 再训练多参数 融合的清晰度评价回归 模型； 步骤4.2获取目标图像的清晰度分数； 将目标图像输入已训练好的模型计算目标图像的清晰度分数。 4.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法， 其特征 在于： 步骤5的实施过程如下， 步骤5.1训练基于纹 理特征需求目标识别的二分类深度学习模型； 选取适当规模的只包含需求目标图像和轮廓颜色与需求目标类似但纹理特征不同的 目标图像制作数据集并关联标签， 用以训练基于纹理特征需求目标识别的二分类深度学习 模型； 步骤5.2获取目标图像的需求置信度； 将目标图像输入训练好的模型获取目标的需求置信度。 5.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法， 其特征 在于： 步骤6的实施过程如下， 步骤6.1根据清晰度分数及需求置信度计算分割价 值系数； 步骤6.2划分高分割价 值目标图像 群； 根据后续所需要的数据规模设置阈值， 划分高分割价 值目标图像 群。权　利　要　求　书 2/2 页 3 CN 114926635 A 3