(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210456908.8 (22)申请日 2022.04.25 (71)申请人 郑州大学 地址 450000 河南省郑州市高新 技术开发 区科学大道100号 (72)发明人 石磊　徐静　张亚萌　高宇飞　 (74)专利代理 机构 北京集智东方知识产权代理 有限公司 1 1578 专利代理师 王鹏 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自注意力机制的弱监督宫颈癌前 病变分级方法 (57)摘要 本发明适用于医学图像处理技术领域， 提供 了一种基于自注意力机制的弱监督宫颈癌前病 变分级方法， 包括如下步骤： 步骤S1： 病理图像预 处理； 步骤S2： 以包和示例的层级方式将组织病 理图像切分成指定大小的切片； 步骤S3： 使用预 训练的卷积神经网络(CNN)提取图像局部特征； 步骤S4： 使用基于自注意力机制的模型A和B分别 编码示例 间和包间的关系以增强全局信息捕捉 能力， 结合全 连接层以聚合示例级表征获得包级 表征， 进而获得全局图像级表征； 步骤S5： 使用全 连接层， 结合Softmax 函数得到分级结果。 本发明 可以在只有图像级标注的情况下对宫颈癌前病 变进行有效分级， 辅助临床病理医生的诊断工 作， 缓解医疗资源紧张的问题。 权利要求书2页 说明书6页 附图3页 CN 115272739 A 2022.11.01 CN 115272739 A 1.一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特征在于， 包括如下步 骤： 步骤S1： 病理图像预处 理； 步骤S2： 以包和示例的层级方式将组织病理图像切分成指定大小的切片； 步骤S3： 使用预训练的卷积神经网络(CN N)提取图像局部特 征； 步骤S4： 使用基于自注意力机制的模型A和B分别编码示例间和包 间的关系以增强全局 信息捕捉能力， 结合全连接层以聚合 示例级表征获得包级表征， 进 而获得全局图像级表征； 步骤S5： 使用全连接层， 结合Softmax函数 得到分级结果。 2.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 步骤S1中所述病理 图像预处理具体为： 筛选MTCHI中宫颈病理 图像， 剔除组织区域 占比小于25％的图像， 采用Reinhard方法做染色标准化处理， 利用通道滤波器去除图像中 的污渍和阴影部分， 以中心裁剪方式将图像缩放为固定尺寸， 每张图像包含一个粗粒度的 图像级标签。 3.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 步骤S2中所述以包和示例的层级方式将组织病理图像切分成指 定大小的切片具体 为： 利用滑动窗口裁剪经步骤S1得到的图像， 首先设置固定尺寸的窗口， 沿着图像的行与列 滑动剪裁。 4.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 步骤S 3中所述使用预训练的卷积神经网络(CNN)提取图像局部特征具体为： 选择在 ImageNet数据集上预训练的MobileNet ‑v2模型， 迁移其除分类层外的网络结构及预训练参 数。 5.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 步骤S4中所述使用自注意力机制编 码示例间和包间的关系以增强全局信息捕捉能 力， 结合全连接层以聚合 示例级表征获得包级表征， 进 而获得全局图像级表征 具体为： 步骤一， 针对由步骤S3得到的卷积神经网络特征图 采用步骤S4所述的 模型A编码示例间的关系得到 步骤二， 将由步骤一得到的示例级表征 传入一个全连接层以获得包级 表征 步骤三， 针对由步骤二得到的包级表征 采用步骤S4 所述的模型B编码包间 的关系得到 步骤四， 将由步骤三得到的包级表征 传入一个全连接层以聚合包间表示进 而获得图像级表征 。 6.如权利要求5所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 模型A的具体结构如下： 一个多头自注意力模块和一个前向传播网络， 每个模块输 入前都利用一个L ayerNorm层进行归一化处理， 且都应用了残差连接， 由BiCNN得到Bih h计算 过程如式(1)～(6)所示： H′＝MHSA(Q＝BiCNN′,K＝BiCNN′,V＝BiCNN′)权　利　要　求　书 1/2 页 2 CN 115272739 A 2 ＝Concat(head1,…,headh)WO#(1) H＝H′+BiCNN#(4) FFN(LayerN orm(H))＝RELU(LayerN orm(H)β1)β2#(5) Bihh＝FFN(LayerN orm(H))+H#(6)。 7.如权利要求5所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 模型B的具体结构如下： 一个多头自注意力模块和一个前向传播网络， 每个模块输 入前都利用一个LayerNorm层进行归一化处理， 且都应用了残差连接， 由Bhb得到Bbb计算过 程如式(7)～(10)所示： M'＝MHSA(Q＝Bhb′,K＝Bhb′,V＝Bhb′) ＝Concat(head1,…,headh)WO#(7) M＝M′+Bhb#(8) FFN(LayerN orm(M))＝RELU(LayerN orm(M)β1)β2#(9) Bbb＝FFN(LayerN orm(M)+M)#(10)  。 8.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 步骤S5中所述使用全连接层， 结合Softmax函数得到分级结果具体为： 以输出的最 大置信概 率对应的级别作为分级结果。 9.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法， 其特 征在于， 多头注意力机制中h＝8,训练模型采用Adam优化器， 利用warm ‑up策略在初始的500 次迭代中学习率由10‑7上升到10‑4， 之后先以10‑4训练前50个epoch， 衰减一半后再训练剩余 的50个epoch。权　利　要　求　书 2/2 页 3 CN 115272739 A 3