(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210622507.5 (22)申请日 2022.06.02 (71)申请人 重庆傲雄在线信息技 术有限公司 地址 401121 重庆市渝北区金开大道西段 106号13幢17-1号 (72)发明人 陈双浩　覃勋辉　刘科　 (74)专利代理 机构 重庆华科专利事务所 5 0123 专利代理师 康海燕　唐锡娇 (51)Int.Cl. G06V 40/30(2022.01) G06V 10/22(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于双分支神经网络的离线手写签名分割 系统和方法 (57)摘要 本发明公开一种基于双分支神经网络的离 线手写签名分割方法， 涉及电子签名识别技术， 学习文档图像粗糙的语义信息， 将文档图像划分 区域， 基于编码 ‑译码分支网络对签名图像进行 分割， 得到粗糙分割签名； 推理签名边缘模糊区 域的细节， 继续进行特征编码， 学习签名周围的 边界细节， 得到较精细分割签名； 按照区域划分 特征类别， 自适应分配特征中心， 使得属于相同 类别的图像特征向所赋予的特征中心靠拢； 签名 空间结构捕获， 生成对抗损失函数， 对精细分割 签名进行真假评估， 愚弄双分支网络分割得到更 高质量的签名输出。 对签署在任意位置和复杂背 景上， 小尺寸电子签名能进行准确分割和识别。 能应用于场景复杂性， 背景模糊等情形的电子签 名笔迹识别。 权利要求书3页 说明书10页 附图1页 CN 114882599 A 2022.08.09 CN 114882599 A 1.一种基于双分支神经网络的离线手写签名分割方法， 其特征在于， 定位手写签名在 图像中的位置确定候选区域， 基于检测框的置信度及候选框获得感兴趣区域图像； 基于编 码‑译码分支网络对感兴趣区域图像中签名主体及签名周围边界进行初步分割获得语义特 征图， 按照区域划分特征类别； 对语义特征图经过空洞空间金子塔池化上采样操作， 学习签 名边界细节获得卷积特征图； 基于注意力机制融合语义特征图和卷积特征图生成预测签名 区域掩膜； 采用二分类神经网络将签名区域预测作为输入评估其是否足够真， 以此愚弄双 分支签名分割网络生成更高质量的分割签名； 通过图像处理操作移除分割签名中的噪声和 干扰， 进行 过滤及笔画结构优化得到最终签名输出。 2.根据权利要求1所述的方法， 其特征在于， 所述进行初步分割获得语义特征图进一步 包括， 采用多个卷积层对感兴趣区域图像进行特征编码， 采用反卷积恢复签名图像空间维 度并区分签名主体及边界所在区域， 压缩激励 网络SE模块关注图像特征通道， 进行特征编 码得到多个阶段的特征图， 根据顺序分别记为E1～E4特征， 其中， 特征E4通过SE模块进行通 道重要性加权,然后将前3个阶段的特征E1～E3分别与解码网络的不同阶段进行特征融合, 输出一个具有三 通道的特 征图， 每一个特 征图分别代 表一个类别。 3.根据权利要求1所述的方法， 其特征在于， 对语义特征图经过空洞空间金子塔池化上 采样操作进一步包括， 使用空洞空间金子塔池化ASPP模块通过扩大卷积核的感受野聚合不 同感受野的特征， 使得签名周围边界特征有效联系签名前景和文档背景信息， 进行高水平 细节预测， 实现更加精准的签名分割； 设置6个卷积层生成卷积特征图， 其中， 前5个卷积层 对低水平语义学习分支模块编 码网络输出的特征图分别进 行卷积操作， 最后一个卷积层采 用1x1卷积核对前5个卷积层的输出 特征图通道连接后进行通道压缩输出 卷积特征图。 4.根据权利要求1或2所述的方法， 其特征在于， 所述按照 区域划分特征类别进一步包 括： 按照签名主体、 签名边界及 背景的空间位置分配对应的特征中心向量， 使得属于相同类 别的图像特征向所赋予的特征中心靠拢， 使用中心损失加强输出特征图中不同类别特征间 的“类内一致性 ”， 经前向传播后输出一个三通道的区域预测图， 对编码器末尾卷积层输出 的特征进行压缩操作， 将每个特征通道变成一个实数， 通过激励操作压缩后的特征生成权 重， 将权重逐通道加权 到特征上， 完成对特 征的通道 注意力标定 。 5.根据权利要求1—3其中之一所述的方法， 其特征在于， 所述生成预测签名区域掩膜 进一步包括， 捕获签名空间结构， 空间判别子网络与双分支签名分割网络相互对抗， 一方面 训练空间判别子网络最大化区分真实签名掩膜与预测签名掩膜， 同时强迫双分支签名分割 网络生成更高质量的预测签名掩膜， 根据预测签名掩膜标记 真实签名掩膜标记 Ialpha、 双分支签名分割网络G， 空间结构判别器D， 调用公式： 计算对抗损失函数Ladv(G， D)， 根据 待分割文档图像 Isig、 签名主体与签名边界区域的语 义标记Ilabel、 签名边界区域 标记Iborder、 真实签名掩膜标记Ialpha、 交叉熵损失函数Lseg、 均方方差损失函数Ldetail， 调用公式： Ltotal＝ λsegLseg(Isig， Ilabel)+λdetailLdetail(Isig， Iborder)+λadv(Isig， Ialpha)计算双分支签名分割网络损 失函数， 其中， λseg、 λdetail、 λadv分别表示交叉熵损失函数权重系数、 均方差损失函数权重系 数、 对抗损失函数权 重系数。 6.一种基于双 分支神经网络的离线手写签名分割系统， 其特征在于， 包括： 签名检测模权　利　要　求　书 1/3 页 2 CN 114882599 A 2块， 非法签名校验模块， 签名分割模块， 签名后处理模块， 签名检测模块定位手写签名在图 像中的位置确定候选区域； 非法签名校验模块基于检测框的置信度及候选框， 过滤掉合法 的候选区域 获得感兴趣区域图像； 签名分割模块进一步包括： 低水平语义学习分支模块、 高 水平边界学习分支模块、 空间注意力融合模块、 空间结构判别子网络， 低水平语义学习分支 模块基于编码 ‑译码的网络骨架对签名主体及签名周围边界进行初步分割获得语义特征 图； 高水平边界学习分支模块对语义特征图经过空洞空间金子塔池化上采样操作， 学习签 名边界细节获得卷积特征图； 空间注意力融合模块基于注意力机制融合语义特征图和卷积 特征图预测签名区域掩膜； 空间结构判别子网络采用二分类神经网络将 签名区域掩膜作为 输入评估其是否足够真， 以此愚弄签名分割模块生成更高质量的分割签名； 签名后处理模 块进行过滤及笔画结构优化得到最终签名输出。 7.根据权利要求6所述的系统， 其特征在于， 低水平语义学习分支模块中编码部分采用 多个卷积层 对感兴趣区域图像进 行特征编 码， 解码部分采用与编 码部分卷积层 对应个数反 卷积恢复签名图像空间维度并区分签名主体及边界所在区域， 编 码部分和解码部分之 间通 过压缩激励网络SE模块关注图像特征通道， 编码部分进行特征编码得到多个阶段的特征 图， 根据顺序分别记 为E1～E4特征， 其中， 特征E4通过SE模块进行通道重要性加权,然后将前 3个阶段的特征E1～E3分别与解码网络的不同阶段进行特征融合,输出一个具有三通道的特 征图， 每一个特 征图分别代 表一个类别。 8.根据权利要求6所述的系统， 其特征在于， 高水平边界学习分支模块使用空洞空间金 子塔池化ASPP模块通过扩大卷积核的感受野聚合不同感受野的特征， 使 得签名周围边界特 征有效联系签名前景和文档背景信息， 进行高水平细节预测， 实现更加精准的签名分割； ASPP模块中前5个卷积层 对低水平语义学习分支模块编 码网络输出的特征图分别进 行卷积 操作， 最后一个卷积层 采用1x1卷积核对前5个卷积层的输出特征图通道连接后进 行通道压 缩输出卷积特征图。 9.根据权利要求6 ‑8其中之一所述的系统， 其特征在于， 空间注意力融合模块采用注意 力机制， 使用包含签名主体和签名边界的低水平语义学习分支末 尾字符区域预测作为区域 注意信息， 与高水平边界学习分支末尾的特征输出进行点乘操作， 选择该分支中的签名特 征， 将选择 的签名特征与低水平语义学习分支末尾卷积层输出进行通道连接操作， 预测最 终的签名区域掩膜。 10.根据权利要求6 ‑8其中之一所述的系统， 其特征在于， 低水平语义学习分支模块还 包括特征聚类部分按照区域划分特征类别， 按照签名主体、 签名边界及背景 的空间位置分 配对应的特征中心向量， 使得属于相同类别的图像特征向所赋予的特征中心靠拢， 调用公 式： 确定特征中心向量， 其中， 表示三通道输出中第i个特征向量， 表示 所属类别的特 征中心,N表示特 征图中像素总数。 11.根据权利要求10所述的系统， 其特征在于， 使用中心损失加强低水平语义学习分支 模块中最后一层卷积层输出特征图中不同类别特征间的类内一致性， 经反向传播后输出一 个三通道的区域预测图， 对以编 码器末尾卷积层输出的特征X进 行压缩操作， 将每个二