(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210110301.4 (22)申请日 2022.01.29 (71)申请人 脉得智能科技 （无锡） 有限公司 地址 214000 江苏省无锡市滨湖区马山 梅 梁路88号二楼西 (72)发明人 赵星　赵婉君　石一磊　牟立超　 朱晓香　张雷　朱精强　 (74)专利代理 机构 无锡华源专利商标事务所 (普通合伙) 32228 专利代理师 过顾佳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/73(2017.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G16H 30/20(2018.01) (54)发明名称 基于多级加权神经网络的甲状腺结节定位 方法 (57)摘要 本发明涉及一种基于多级加权神经网络的 甲状腺结节定位方法。 构建基于PyTorch深度学 习框架的甲状腺结节定位模型， 其中， 所构建的 甲状腺结节定位模型包括结节轮廓粗定位网络 模型以及结节轮廓精定位网络模 型； 对任一待识 别定位的甲状 腺超声图像， 对所述甲状 腺超声图 像进行预处理， 并将预处理后的甲状 腺超声图像 依次经结节轮廓粗定位网络模型以及结节轮廓 精定位网络模 型分割定位处理， 以得到甲状腺结 节位置轮廓特征图， 并根据所述甲状 腺结节位置 轮廓特征图， 在所识别定位的甲状 腺超声图像上 描绘出甲状 腺结节的位置与轮廓。 本发明能对甲 状腺超声图像上的结节实现快速准确的定位， 使 诊断结果更加可靠 。 权利要求书3页 说明书10页 附图2页 CN 114494216 A 2022.05.13 CN 114494216 A 1.一种基于多级加权神经网络的甲状腺结节定位方法， 其特征是： 构建基于PyTorch深 度学习框架的甲状腺结节定位模型， 其中， 所构建的甲状腺结节定位模型包括结节轮廓粗 定位网络模型以及结节轮廓精定位网络模型； 对任一待识别定位的甲状腺超声图像， 对所述甲状腺超声图像进行预处理， 并将预处 理后的甲状腺超声图像依 次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分 割定位处理， 以得到甲状腺结节位置轮廓特征图， 并根据所述甲状腺结节位置轮廓特征图， 在所识别定位的 甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。 2.根据权利要求1所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是： 对 所述甲状腺超声图像预处理时， 包括将所述甲状腺超声图像转换至目标尺寸规格， 并将转 换后图像的像素值归一 化处理。 3.根据权利要求2所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是， 构 建基于PyTorc h深度学习框架的 甲状腺结节定位模型时， 包括如下步骤： 步骤1、 提供基于PyTorch深度学习框架的目标定位模型， 并配置训练所述目标定位模 型的超参数； 步骤2、 制作用于训练目标定位模型的训练数据集和测试数据集， 在利用所制作的数据 集对目标定位模 型进行训练时， 损失函数采用FocalLoss损失函数， 利用Adam优化器对当前 目标定位模型的参数进行优化， 并在训练终止后得到基于PyTorch深度学习框架的甲状腺 结节定位模型。 4.根据权利要求1至3任一项所述的基于多级加权神经网络的甲状腺结节定位方法， 其 特征是， 结节轮廓粗定位网络模型对预处 理后的甲状腺超声图像处 理时， 包括如下步骤： 步骤10、 将待识别定位的甲状腺超声图像预处理后， 以得到特征图一， 并将所得到的特 征图一输入到结节轮廓粗定位网络模型， 所述结节轮廓粗定位网络模型利用步长为2的卷 积操作实现下采样， 并使用双线性插值方法逐步扩增特征图， 最后得到通道数为2的特征图 二； 步骤11、 对特征图二内两个通道内的元素值进行比较， 以得到表征结节位置指示特征 的特征图三； 步骤12、 根据特征图三， 确定粗结节定位轮廓以及与所确定粗结节定位轮廓相适配的 轮廓外扩矩形， 根据所确定的轮廓外扩矩形在甲状腺超声图像上截取图像块， 以利用所截 取的图像块 生成特征图四， 并将所述特 征图四输入到结节轮廓精定位网络模型。 5.根据权利要求4所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是， 所 述结节轮廓精定位网络模型包括结节轮廓第一定位子网络、 结节轮廓第二定位子网络以及 结节轮廓第三定位子网络， 其中， 通过结节轮廓第一定位子网络对特征图四处理后得到通 道数为2的特征图五； 结节轮廓第二定位子网络对 特征图五和特征图四进 行处理， 以得到通 道数为2的特征图六； 结节轮廓第三定位子网络对 特征图六和特征图四进 行处理， 以得到通 道数为2的特 征图七。 6.根据权利要求5所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是， 对 特征图七内两个通道内的元 素值进行比较， 并在比较后得到特 征图八； 将特征图八的尺寸调整到与轮廓外扩矩形相同的尺寸， 并将尺寸调 整后的特征图八覆 盖到特征图三中， 以得到表征结节精 位置指示特征的特征图九， 利用特征图九， 在所识别定权　利　要　求　书 1/3 页 2 CN 114494216 A 2位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。 7.根据权利要求5所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是， 通 过结节轮廓第一定位子网络对特征图四处理后得到特征图五时， 所述特征图五的通道数为 2， 其中， 任一特征点的第一通道特征值表示该特征点为非甲状腺结节的概率值， 任一特征 点的第二 通道特征值表示该 特征点为甲状腺结节的概 率值。 8.根据权利要求5所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是， 结 节轮廓第二定位子网络对特 征图五和特 征图四进行处 理时， 包括如下步骤： 步骤20、 将特征图四均匀地分割为特征子图Fi(i＝1、 2、 3、 4)， 对四块特征图依次处理后 得到四块 通道数为2的特 征图M′i(i＝1、 2、 3、 4)； 步骤21、 根据特征图四分割得到特征子图Fi(i＝1、 2、 3、 4)的方式对特征图五进行均匀 分割， 以得到特征子图Ni(i＝1、 2、 3、 4)， 并将特征子图Ni(i＝1、 2、 3、 4)与 特征图M′i(i＝1、 2、 3、 4)按通道拼接， 以得到通道数为 4的特征拼接图； 步骤22、 对特征拼接图进行特征融合， 以得到通道 数为2的特征图Pi， 其中， 对特征图Pi， 任一特征点的第一通道特征值表示所述特征点为 非甲状腺结节的概率值， 任一特征点的第 二通道特征值表示所述特 征点为甲状腺结节的概 率值； 步骤23、 对特征图Pi的任一特征点， 计算所述特征点预测结果的可信 度s， 并根据所有特 征点的预测结果的可信度s得到预测结果可信度特征图Pic； 根据预测结果可信度特征图的 计算确定方式， 对特 征子图Ni(i＝1、 2、 3、 4)计算得到预测结果可信度特 征图Nic； 步骤24、 利用预测结果可信度特征图Pic以及预测结果可信度特征图Nic， 计算得到优化 排序特征图Ci(i＝1、 2、 3、 4)； 步骤25、 将优化排序特征图Ci内的特征值按从大到小 排列， 确定 前k个特征点的坐标； 根 据所确定前k个特征点的坐标， 对特征子图Ni(i＝1、 2、 3、 4)的特征值采用加权求和方式处 理， 以输出 特征子图Mi(i＝1、 2、 3、 4)； 步骤26、 根据特征图四分割得到特征子图Fi(i＝1、 2、 3、 4)的坐标参数， 将特征子图Mi(i ＝1、 2、 3、 4)进行位置拼接， 以得到通道数为2， 大小为128*128的特 征图六。 9.根据权利要求8所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是， 步 骤24中， 利用预测结果可信度 特征图Pic以及预测结果可信度特征图Nic， 得到排序特征图Ci 时， 则有： 其中， 表示逐点相乘。 10.根据权利要求8所述的基于多级加权神经网络的甲状腺结节定位方法， 其特征是， 结节轮廓第三定位子网络对特征图六和特征图四进行处理， 以得到通道数为2的特征图七 时， 具体包括如下步骤： 步骤30、 将特征图四均匀地 分割为特征子图， 对所述特征子图Fj′(j＝1、 2、 3、 ...、 16)依 次处理后得到 十六块通道数为2的特 征图M′j(j＝1、 2、 3、 . ..、 16)； 步骤31、 根据特征图四分割得到特征子图F ′j(j＝1、 2、 3、 ...、 16)的方式对特征图六进 行均匀分割， 以得到特征子图Nj(j＝1、 2、 3、 ...、 16)， 并将特征子图Nj(j＝1、 2、 3、 ...、 16)与 特征图M′j(j＝1、 2、 3、 . ..、 16)按通道拼接， 以得到通道数为 4的特征拼接图； 步骤32、 对上述特征拼接图进行特征融合， 以得到通道数为2的特征图P ′j(j＝1、 2、 3、 ...、 16)， 其中， 对特征图P ′j(j＝1、 2、 3、 ...、 16)， 任一特征点的第一通道特征值表示所 述特征点为 非甲状腺结节的概率值， 任一特征点的第二通道特征值表示所述特征点为甲状权　利　要　求　书 2/3 页 3 CN 114494216 A 3