(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210713528.8 (22)申请日 2022.06.22 (71)申请人 北京航空航天大 学 地址 100000 北京市海淀区学院路37号 (72)发明人 郑钰山　姜志国　谢凤英　张浩鹏　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06V 10/52(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于核注意力网络的病理全切片图像 分类方法 (57)摘要 本发明公开了一种基于核注意力网络的病 理全切片图像分类方法， 包括： 利用卷积神经网 络结合滑窗法分块提取病理肿瘤数据集中的病 理全切片图像底层特征， 组成图像特征矩阵； 根 据滑窗法提取病理全切片的图像块特征， 利用 kmeans算法进行特征位置聚类， 获得锚点掩码集 合； 构建核注意力网络； 将图像特征矩阵和锚点 掩码集合作为核注意力网络的输入， 病理全切片 图像的类别标签作为输出， 进行训练； 采用训练 后的核注 意力网络， 对需要进行分析的肿瘤数字 病理全切片图像进行分类识别。 该方法通过提升 模型对组织病理全切片图像结构的描述能力， 进 而提高下游肿瘤分级分类任务的精度和速度。 权利要求书2页 说明书8页 附图2页 CN 115100467 A 2022.09.23 CN 115100467 A 1.一种基于核注意力网络的病理全切片图像分类方法， 其特 征在于， 包括： 利用卷积神经网络结合滑窗法分块提取病理肿瘤数据集中的病理全切片图像底层特 征， 组成图像特 征矩阵； 根据所述滑窗法提取所述病理全切片的图像块特征， 利用kmeans算法进行特征位置聚 类， 获得锚点掩码集 合； 构建核注意力网络； 所述核注意力网络由归一化层、 核注意力模块和前馈网络堆叠而 成； 将所述图像特征矩阵和锚点掩码集合作为所述核注意力网络的输入， 病理全切片图像 的类别标签作为输出， 进行训练； 采用训练后的所述核注意力网络， 对需要进行分析的肿瘤数字病理全切片图像进行分 类识别。 2.根据权利要求1所述的一种基于核注意力网络的病理全切片图像分类方法， 其特征 在于， 利用卷积神经网络结合滑窗法分块提取病理肿瘤数据集中的病理全切片图像底层特 征， 组成图像特 征矩阵； 包括： 利用阈值法获得病理肿瘤数据集中的病理全切片图像的前景区域； 所述前景区域为组 织区域掩码； 将所述组织区域掩码作为 参照， 结合滑窗法将前 景区域分割成等尺寸的图像块； 利用卷积神经网络提取所述图像块的特征， 并记录所述图像块的特征在所述病理全切 片图像中的行列位置， 形成特 征方阵； 将所述特征方阵进行重排， 获得二维特征矩阵， 表示为 其中np表示组织区 域被分割成图像块的数量， df表示CNN提取特征的维数。 3.根据权利要求2所述的一种基于核注意力网络的病理全切片图像分类方法， 其特征 在于， 所述卷积神经网络包括： ResNet， EfficientNet和DenseNet； 所述卷积神经网络的训 练方法包括： 1)采用Ima geNet数据集训练； 2)采用病理图像数据集有监 督、 弱监督和/或自监 督训练。 4.根据权利要求2所述的一种基于核注意力网络的病理全切片图像分类方法， 其特征 在于， 根据所述滑窗法提取所述病理全切片的图像块特征， 利用kmeans算法进行特征位置 聚类， 获得锚点掩码集 合； 包括： 将滑窗法获得的图像块xi在病理全切片图像中的行列位置记作p(xi)＝(mi， ni)T， 将切 片中所有图像块的位置数据记作集 合P＝{p(xi)， i＝1， 2， ...， np}； 利用kmeans算法将所述 集合P中的点聚为K类， 得到K个聚类中心； 对每个聚类中心在所述集合P中选定聚类其最近的点作为一个锚点使用； 获得所有锚 点集合C＝{ck＝(mk， nk)， k＝1， 2...， K}； 计算每个锚点位置与图像块位置直径的距离权重， 将所述距离权重作为锚点位置掩码 使用， 获得锚点掩码集 合。 5.根据权利要求4所述的一种基于核注意力网络的病理全切片图像分类方法， 其特征 在于， 计算每 个锚点位置与图像块 位置直径的距离 权重， 采用如下公式：权　利　要　求　书 1/2 页 2 CN 115100467 A 2其中， e表示自然底 数， δ为类高斯模型的尺度参数， 用于控制掩码的作用范围， mki( δ )表 示第k个锚点和第 i个图像块在尺度参数δ下的距离权重； p(xi)表示图像块xi在病理全切片 图像中的行列位置； ck表示第k个锚点的位置； 将mki( δ )排列为矩阵 称 为锚点位置掩码， 将多层次掩码表示为集合M＝{M(n)＝M( δn)， n＝1， 2...， N}， 其中N表示掩 码层级的数量。 6.根据权利要求5所述的一种基于核注意力网络的病理全切片图像分类方法， 其特征 在于， 将所述图像特征矩阵和锚点掩码集合作为所述核注意力网络的输入， 所述核注意力 模块的计算过程包括： a)在信息收集过程中， 各锚点位置通过交叉注意力计算收集其近邻区域的信息， 表示 为： 其中， 表示可训练参数， n表示掩码层级的数量， M(n)表示多层 次掩码 集合，⊙表示哈达玛内积运算， smax表示行softmax函数； X(0)＝σ(WpeXT+bpe)， 其中 σ 表示全连接神经网络的激活函数， Wpe和bpe表示该层网络的可训练参数； 表 示核特征， 由随机初始化获得的可训练参数组成； b)信息分发过程中， 各锚点将综合后的信息分发给其近邻的区域， 用公式表示 为： MT(n)表示M(n)的转置； c)信息汇总过程中， 各锚点将信息发送给分类节点， 用于形成全切片图像的表征， 用公 式表示为： 核注意力网络在N次堆叠后， 将分类节点对应的输出r作为全切片图像的整体表征使 用， 在其后建立分类层实现全切片图像的分类。权　利　要　求　书 2/2 页 3 CN 115100467 A 3