(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210288277.3 (22)申请日 2022.03.23 (65)同一申请的已公布的文献号 申请公布号 CN 114565770 A (43)申请公布日 2022.05.31 (73)专利权人 中南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路2号 专利权人 中南大学湘雅医院 (72)发明人 王勇　钟立科　黄伟红　胡建中　 (74)专利代理 机构 长沙麓创时代 专利代理事务 所(普通合伙) 43249 专利代理师 贾庆 (51)Int.Cl. G06V 10/26(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112967300 A,2021.0 6.15 CN 114004811 A,2022.02.01 CN 109584246 A,2019.04.0 5 余帅等.基 于多级通道注意力的遥感图像分 割方法. 《激光与光电子学进 展》 .2019,第57 卷 (第04期), 审查员 周婷 (54)发明名称 基于边缘辅助计算和掩模注意力的图像分 割方法及系统 (57)摘要 本发明公开了一种基于边缘辅助计算和掩 模注意力的图像 分割方法及系统， 建立由多阶级 联的残差模块构建的特征编码器， 通过融合三个 浅层特征图得到边缘特征图， 特征降维后获得边 缘预测图像， 增强前三层特征编码器的表征能 力， 最后一阶残差模块依次经过多个特征解码器 与掩模注 意力模块， 利用掩模注 意力模块提高每 个层级特征解码器对局部区域的重点关注力度， 并在每个层级输出对应尺度预测的分割结果图 像， 融合特征解码器的输出特征图与前三阶残差 模块的边缘特征图， 经过特征降维预测最终的分 割结果图像。 相比于现有的图像分割方法， 本发 明能够提供更精准的分割边缘预测， 适用于各种 复杂场景下的图像分割， 泛化性能更强， 分割效 果更好。 权利要求书2页 说明书5页 附图3页 CN 114565770 B 2022.09.13 CN 114565770 B 1.一种基于边界感知注意的图像分割系统， 其特征在于， 包括n级级联的残差模块conv 构建的特征编码器， 对应每一级残差模块设置有特征解码器decoder  block， 对应每一级特 征解码器decoder  block设置有掩模注 意力模块； 其中第a级的残差模块输出的特征图为第 a+1级残差模块的输入； 第a级残差模块输出的特征图输入第a级的特征解码器decoder   block， 第a级特征解码器decoder  block输出的输出特征图输入第a级的掩模注意力模块 mask_attention  block； 第a级掩模注意力 模块mask_ attention  block输出的增强的特征 图输入第a ‑1级特征解码器decoder； 对前3级残差模块的输出分别进行降维和上采样得到三个浅层特征图， 融合三个浅层 特征图得到最终的边缘特征图efeature， 最终的边缘特征图efeature特征降维获得边缘预 测图像edge_predict； 最终的边缘特征图efeature与第一级掩模注意力模块输出的最后一 个增强的特征图last_feature拼接融合得到最终预测分割图像predict_512； n＝5； 其中， 第一级残差模块conv1包含卷积核为7*7的卷积层、 Bat chNorm层、 ReLu层以及MaxPool层； 其 余的残差模块包含Conv  Block和Identity  Block； Conv  Block输入和输出的维度不同； Identity  Bloc的k输入维度和输出维度相同， 用于加深网络； 输入图像经过五个残差模块 分别得到特征图feature_1、 特征图feature_2、 特征图feature_3、 特征图feature_4、 特征 图feature_5， 取特征图feature_1、 feature_2和feature_3， 分别经过卷积核为1*1的卷积 层进行通道降维， 再经过卷积核为3*3的卷积层进行特征提取， 再分别进行因子为2、 4、 8的 线性插值上采样操作， 得到尺度相同的三个边缘特征图efeature_1、 efeature_2和 efeature_3； 将三个边缘特征图efeature_1、 efeature_2和efeature_3以拼接的方式进行 特征融合， 获得最终的边缘特征图efeature， 采用卷积核为1*1的卷积层对边缘特征图 efeature进行通道降维， 得到边 缘预测图像edge_predict。 2.如权利要求1所述的基于边界感知注意的图像分割系统， 其特征在于， 所述第a级残 差模块输出的特征图和第a+1级掩模注意力模块mask_attention  block输出的增强的特征 图输入第a级特征解码器decoder  block； 在第a级特征解码器decoder  block中， 增强的特 征图首先经过 因子为2的线性插值上采样， 然后与特征图通过拼接操作完成特征融合， 再经 过两个卷积核为3 *3的卷积层输出 得到输出特征图； 第a级特征解码器decoder  block的输出特征图输入第a级掩模注意力模块mask_ attention  block； 输出特征图首先经过卷积核为3*3以及卷积核为1*1 的卷积层得到对应 尺度的预测分割图像， 预测分割图像作为掩模注 意力图谱mask_attention与输出特征图进 行相乘得到注 意力特征图att _feature， 注意力特征图att _feature与输出特征图直接进行 相加， 得到增强的特征图； 第五级至第二级的掩模注意力模块分别输出尺度大小分别为32* 32、 64*64、 128*128、 25 6*256的预测分割图像predict_x， x＝2、 3、 4、 5 。 3.如权利要求2所述的基于边界感知注意的图像分割系统， 其特征在于， 第 一级掩模注 意力模块输出的最后一个增强 的特征图last_feature与最终 的边缘特征图efeature进行 拼接操作， 然后经过卷积核为1*1的卷积层， 将卷积操作的结果输入Sigmoid激活函数， 获得 最终预测分割图像predict_512； 对边缘预测图像edge_predict、 多尺度预测分割图像predict_x以及最终预测分割图 像predict_512分别计算聚合损失函数L oss： Loss＝BCELoss+DiceLoss+JaccardLoss权　利　要　求　书 1/2 页 2 CN 114565770 B 2其中， BCELoss是在单标签二分类场景下计算二分类交叉熵损失， 一个输入样本图片对 应于一个输出分割图片， 对于包含N个样本图片的Batch数据集D(p,y)， 其中p为预测结果， 取值范围在0～1， y为标签信息， 取值 为0或1； BC ELoss计算公式如下: 其中， pi表示第i个样本图片的预测结果， yi表示第i个样本图片的标签信息； 其中DiceL oss＝1‑Dice(P,Y) 其中， Dice(P， Y)表示Dice系数， P为预测结果， 取值范围在0～1， Y为标签信息， 取值为0 或1； JaccardLoss＝1‑Jaccard(P,Y)； 其中， Jac card(P， Y)表示Jac card系数； 获得边缘预测图像edge_predict、 多尺度预测分割图像predict_x以及最终预测分割 图像predict_512的总聚合损失函数L oss_sum： Loss_sum＝Loss(32)+Loss(64)+Loss(128)+Loss(256)+Loss(512)+Loss(edge)其中， Loss(32)、 Lo ss(64)、 Lo ss(128)、 Loss(256)分别为第五级至第二级的掩模注意力模块输 出 的预测分割图像的聚合损失函数； Loss(512)为最终预测分割图像predict _512的聚合损失 函数； Loss(edge)为 边缘预测图像edge_predict的聚合损失函数； 优化总聚合损失函数L oss_sum， 使得L oss_sum最小， 得到优化后的图像分割 系统。 4.如权利要求3所述的基于边界感知注意的图像分割系统， 其特征在于， 采用Adam梯度 下降算法优化总聚合损失函数L oss_sum。 5.一种基于边界感知注意的图像分割方法， 其特征在于， 将初始图像输入权利要求1 ‑4 任一所述基于边界感知注意的图像 分割系统， 得到最 终的边缘特征图efeature和最终预测 分割图像predict_512。权　利　要　求　书 2/2 页 3 CN 114565770 B 3