(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210167207.2 (22)申请日 2022.02.23 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 申请人 安徽育高医疗管理有限公司 (72)发明人 王晓华　范伟　程峰　胡敏　盛海　 王宇航　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/80(2022.01) (54)发明名称 基于卷积神经网络和多粒度注意力的手骨 关键性区域获取方法 (57)摘要 本发明公开了一种基于卷积神经网络和多 粒度注意力的手骨关键性区域获取方法， 其步骤 包括： 1获取包含手骨骨龄信息的数据集； 2构建 包含多粒度注意力的骨龄评估网络； 3离线训练 建立的骨龄评估网络； 4利用训练好的网络中的 注意力获取到手骨关键性区域。 本发 明能仅通过 手骨骨龄标签获取到手骨关键性区域， 且获取到 的关键性区域和TW3方法使用的关键性区域相一 致， 克服了现有的关键性区域获取方法依赖人工 标签的困难。 权利要求书2页 说明书6页 附图3页 CN 114549470 A 2022.05.27 CN 114549470 A 1.一种基于卷积神经网络和多粒度注意力的手骨关键性 区域获取方法， 其特征是按如 下步骤进行： 步骤1： 对所有手骨X光图像尺寸进行归一化， 并应用随机仿射变换和随机水平翻转进 行数据增强， 得到 输入图像集， 所述输入图像集中的任意图像记为 I； 步骤2： 构建包含多粒度注意力的骨龄评估网络， 包括： 主干网络、 注意力监督模块、 两 个特征融合模块、 三个全连接层； 所述主干网络为 L层的卷积神经网络； 所述注意力监 督模块由上采样层、 复制层、 激活层组成； 所述特征融合模块是由点乘操作、 平均池化层、 LSTM网络组成； 步骤2.1： 依次向主干网络输入所述输入图像集中的图像， 其中， 任意输入图像I经过所 述主干网络的卷积处理后， 得到中级图像特征FF， 精细注意力AF， 高级图像特征FC和粗略注 意力AC； 其中， 所述中级图像特征FF是由所述主干网络的第 L‑1层中倒数第 二个卷积块输出 的结果， 所述精细注意力AF是由所述主干网络的第L ‑1层中最后一个卷积块输出的特征图 并切分前MF个通道后的结果， 所述高级图像特征FC是由所述主 干网络的第L层中倒数第二个 卷积块输出的结果， 所述粗略注意力AC是由所述主干网络 的第L层中最后一个卷积块输出 的特征图并切分前MC个通道后的结果； 步骤2.2： 所述精细注意力AF和粗略注意力AC输入所述注意力监督模块中进行处理， 得 到由粗略注意力引导后的精细注意力 步骤2.3： 所述中级图像特征FF和精细注意力AF输入第一特征融合模块中进行处理， 得 到中级局部特 征VF和中级全局特 征GF； 所述高级图像特征FC和粗略注意力AC输入第二特征融合模块中进行处理， 得到高级局 部特征VC和高级全局特 征GC； 步骤2.4： 将输入图像I所对应的性别信息输入到第一个全连接层中， 输出性别特征向 量s； 将中级全局特征GF和性别特征向量 s拼接后输入第二个全连接层中， 输 出中层预测结果 将全局高级特征GC和性别特征向量 s拼接后输入第三个全连接层中， 输 出高层预测结果 步骤2.5： 从粗略注意力图AC中随机选 择第k个通道， 得到 单个粗略注意力 并对 按 照输入图像I的尺寸进行 上采样处 理， 得到归一 化注意力 若 中第i行第j列的像素点 大于阈值θ， 则将 设置为“0”， 否则， 设置为 “1”， 从而生成掩膜mask； 所述输入图像I被掩膜mask擦除后生成注意力擦除图像E； 步骤2.6： 将注意力擦除图像E重新输入骨龄评估网络中进行处理， 得到注意力擦除图 像E的高层预测结果 步骤2.7： 利用式(1)、 式(2)和式(3)构建中层区域 一致性损失 权　利　要　求　书 1/2 页 2 CN 114549470 A 2式(1)、 式(2)和式(3)中， Vα表示局部特征， Cα是输入图像集中所有图像共享的特征中 心， 是输入图像集中所有图像共享的临时特征中心， β 是特征中心Cα的更新权重； 当α ＝F 时， 由中级局部特征VF构建中级一致性损失 当α＝C时， 由高级局部特征VC构建高级一 致性损失 步骤2.8： 利用式(4)构建总损失L： 式(4)中， 和 分别表示 和 所对应的L1损失函数； 步骤3： 基于输入图像集对骨龄评估网络进行训练， 同时使用Adam更新网络的权重， 并 在总损失L趋 于稳定后完成训练， 得到最优 模型； 步骤4： 对最优模型中由粗略注意力引导后的精细注意力进行平均以及上采样操作后 得到输入图像I的关键区域注意力图AI； 步骤5： 若AI中第i行第j列的像素点AI(i,j)大于阈值σ， 则令AI(i,j)为“1”， 否则， 令AI (i,j)为“0”， 从而生成掩膜mask*； 利用掩膜mask*擦除输入图像 I后得到关键区域图像D即为 手骨关键性区域。权　利　要　求　书 2/2 页 3 CN 114549470 A 3