(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210489820.6 (22)申请日 2022.05.07 (65)同一申请的已公布的文献号 申请公布号 CN 114638823 A (43)申请公布日 2022.06.17 (73)专利权人 赛维森 （广州） 医疗科技 服务有限 公司 地址 510300 广东省广州市海珠区瑞宝瑞 兴街一横街3号10 6铺 (72)发明人 冯嘉豪　林真　汪进　陈睿　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 冯右明 (51)Int.Cl. G06T 7/00(2017.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 US 20180 33144 A1,2018.02.01 CN 114332040 A,202 2.04.12 审查员 李若童 (54)发明名称 基于注意力机制序列模型的全切片图像分 类方法及装置 (57)摘要 本申请涉及计算机视觉技术领域， 提供了一 种基于注意力机制序列模型的全切片图像分类 方法及装置。 本申请采用具有高维度特点的图像 特征样本对模型进行训练， 能够 有效提高全切片 图像分类结果的准确性。 该方法包括： 将全切片 图像分割成多个子图像； 将所述多个子图像输入 至图像特征提取模块， 得到第一子图像特征向 量； 将多个第一子图像特征向量序列化输入至序 列注意力计算模块， 得到多个第一子图像特征向 量对应的短期状态， 并针对每一第一子图像特征 向量对应的短期状态， 基于注 意力机制得到第二 子图像特征向量； 对多个第二子图像特征向量进 行求和， 得到第三子图像特征向量； 将所述第三 子图像特征向量传递至全 连接分类模块， 得到各 分类类别的置信度。 权利要求书2页 说明书9页 附图4页 CN 114638823 B 2022.08.12 CN 114638823 B 1.一种基于注意力机制序列模型的全切片图像分类方法， 其特征在于， 所述基于注意 力机制序列模型配置有图像特征提取模块、 序列注意力计算模块和全连接分类模块； 所述 方法包括： 将全切片图像分割成多个全切片子 图像； 所述全切片图像包括组织全切片图像、 细胞 全切片图像； 所述细胞全切片图像为类间差异较小的细胞的全切片图像； 将所述多个全切片子图像输入至预训练好的图像特征提取模块， 得到所述图像特征提 取模块输出的与所述多个全切片子图像各自对应的第一子图像特 征向量； 将所述多个第一子图像特征向量以序列形式输入至所述序列注意力计算模块的对应 子模块； 其中， 所述序列注意力计算模块的对应子模块的数量与所述多个第一子图像特征 向量的数量相对应； 通过所述序列 注意力计算模块的各个对应子模块分别获取所述多个第 一子图像特征向量各自对应的短期状态， 并针对每一第一子图像特征向量， 根据其对应短 期状态， 基于注意力机制得到所述序列注意力计算模块输出的第二子图像特 征向量； 对多个第二子图像特 征向量进行求和处 理， 得到第三子图像特 征向量； 将所述第三子图像特征向量传递至全连接分类模块， 得到所述全连接分类模块输出的 各分类类别的置信度； 根据所述各分类类别的置信度与预期图像分类的交叉熵， 构建得到图像分类损失函 数； 所述图像分类损失函数为交叉熵损失函数； 根据所述图像分类损失函数的运算结果， 基于反向传播法调 整所述序列注意力 计算模 块及所述全连接分类模块的参数。 2.根据权利要求1所述的方法， 其特征在于， 所述根据其对应短期状态， 基于注意力机 制得到所述序列注意力计算模块输出的第二子图像特 征向量， 包括： 根据其对应短期状态， 得到 权重计算特 征向量； 根据所述权重计算特征向量及预设注意力值计算公式， 得到所述第二子图像特征向 量； 其中， 所述第二子图像特 征向量由所述序列注意力计算模块输出。 3.根据权利要求1至2任一项所述的方法， 其特征在于， 所述将全切片图像分割成多个 全切片子图像， 包括： 通过滑动窗口的形式， 将所述全切片图像按照预设尺寸分割成所述多个全切片子图 像。 4.一种基于注意力机制序列模型的全切片图像分类装置， 其特征在于， 所述基于注意 力机制序列模型配置有图像特征提取模块、 序列注意力计算模块和全连接分类模块； 所述 装置包括： 图像分割单 元， 将全切片图像分割成多个全切片子图像； 特征提取单元， 将所述多个全切片子 图像输入至预训练好的图像特征提取模块， 得到 所述图像特 征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特 征向量； 特征加权单元， 将所述多个第 一子图像特征向量以序列 形式输入至所述序列注意力计 算模块的对应子模块； 其中， 所述序列注意力计算模块的对应子模块的数量与所述多个第 一子图像特征向量的数量相对应； 通过所述序列 注意力计算模块的各个对应子模块分别获 取所述多个第一子图像特征向量各自对应的短期状态， 并针对每一第一子图像特征向量， 根据其对应短期 状态， 基于注意力机制得到所述序列 注意力计算模块输出的第二子图像特权　利　要　求　书 1/2 页 2 CN 114638823 B 2征向量； 特征求和单 元， 对多个第二子图像特 征向量进行求和处 理， 得到第三子图像特 征向量； 结果输出单元， 将所述第三子 图像特征向量传递至全连接分类模块， 得到所述全连接 分类模块输出的各分类 类别的置信度； 损失函数构建单元， 根据所述各分类类别的置信度与预期图像分类的交叉熵， 构建得 到图像分类损失函数； 所述图像分类损失函数为交叉熵损失函数； 参数调整单元， 根据所述图像分类损 失函数的运算结果， 基于反向传播法调整所述序 列注意力计算模块及所述全连接分类模块的参数。 5.根据权利要求 4所述的装置， 其特 征在于， 所述特 征加权单 元， 还用于： 根据其对应短期状态， 得到 权重计算特 征向量； 根据所述权重计算特征向量及预设注意力值计算公式， 得到所述第二子图像特征向 量； 其中， 所述第二子图像特 征向量由所述序列注意力计算模块输出。 6.根据权利要求 4所述的装置， 其特 征在于， 所述图像分割单 元， 具体用于： 通过滑动窗口的形式， 将所述全切片图像按照预设尺寸分割成所述多个全切片子图 像。 7.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至 3中任一项所述的方法的步骤。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至 3中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114638823 B 3