(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210149217.3 (22)申请日 2022.02.18 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区学府路 253号 (72)发明人 金怀平　薛飞跃　李振辉　陶海波　 (74)专利代理 机构 昆明人从众知识产权代理有 限公司 5 3204 专利代理师 陈波 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于集成深度学习的全视野数字切片图像 分类建模方法及装置 (57)摘要 本发明公开了一种基于集成深度学习的全 视野数字切片图像 分类建模 方法及装置， 本发明 通过预先收集的由专家进行标注的目标区域及 非目标区域tile训练了一个高准确率的目标区 域识别模型， 用来对每张WSI的所有tile进行筛 选， 只提取包含目标区域的tile， 大大降低了训 练的复杂度， 提升了训练效率； 并且引入集成学 习的思想， 构建了满足多样性条件的3个不同的 分类网络， 最终采用集成策略对子分类器结果进 行融合， 以降低问题的复杂度， 提高模型鲁棒性、 可解释性和预测精度。 权利要求书3页 说明书12页 附图3页 CN 115239613 A 2022.10.25 CN 115239613 A 1.一种基于集成深度学习的全视野数字切片图像分类建模方法， 其特 征在于： 包括： S1、 收集一批原始全视野数字切片图像WSI， 且收集一批对目标 区域及非目标 区域进行 标注的数字图像切片ti le； S2、 对原始全视野数字切片图像WSI划分为训练集Dtrn、 验证集Dval和测试集Dtest， 并对每 张原始全视野 数字切片图像WSI进 行滑动窗口切分处理， 得到每张全视野数字切片图像WSI 对应的一组数字图像切片ti le； S3、 针对S2切分后得到的数字图像切片tile进行预处理， 得到预处理后的数字图像切 片tile； S4、 针对S1收集到的有标注的数字图像切片ti le训练一个目标区域ti le识别模型； S5、 针对S3预处理后的数字图像切片tile， 将其输入S4中训练好的目标区域tile识别 模型， 挑选出只包 含目标区域的一组数字图像切片ti le； S6、 针对S5得到的只包含目标区域的一组数字图像切 片tile， 将属于训练集Dtrn的所有 数字图像切片tile按照标签分为两大类， 并将这两大类划分为预训练训练集Dtrnpre和预训 练验证集Dvalpre； S7、 选择多个为子分类器， 首先利用S6中得到的预训练训练集Dtrnpre， 针对每个子分类 器进行预训练并且保存每批次训练的参数， 并利用预训练验证集Dvalpre验证每批次训练中 子分类器的性能， 最终选择 出在预训练验证集Dvalpre上性能最 好的参数； S8、 对S5处理后的训练集Dtrn分别输入多个子分类器进行训练， 且子分类器的初始化参 数为S7中预训练得到的最优参数， 而后对于多个子分类器引入Maiority  Voting集成策略 对预测结果进 行融合， 得到最终集成后的预测结果； 而后利用S 5处理后的验证集Dval验证每 批次训练中模 型的性能， 选择出在 验证集Dval上性能最好的参数作为最 终分类模型的参数， 再利用测试集Dtest测试分类模型的性能， 最终得到 了一个图像分类模型。 2.根据权利要求1所述的基于集成深度学习的全视野数字切片图像分类建模方法， 其 特征在于： 所述S2 中对每张全视野数字切片图像WSI进行滑动窗口切分处理， 包括： 获取原 始全视野数字切片图像WSI的总金字塔层数、 目标切分层的尺寸， 而后根据设置的窗口大小 计算窗口滑动次数， 以切分所选目标切分层的全视野数字切片图像WSI。 3.根据权利要求1所述的基于集成深度学习的全视野数字切片图像分类建模方法， 其 特征在于： 所述S2中对每张全视野数字切片图像WSI进行滑动窗口切分处 理， 包括： S2.1、 对于原始全视野数字切 片图像WSI， 首先获取其总金字塔层 数假设为Lall层， 选取 第Lall‑1层作为目标切分层， 获取目标切分层的尺寸w和h； 其中， w为目标切分层的宽度， h为 目标切分层数的长度； S2.2、 针对获取到的目标切分层的尺寸， 进行窗口滑动次数计算： 式(1)中， w inw表示窗口宽度， Nw为窗口横向滑动次数， 且做向下 取整处理； 式(2)中， w inh表示窗口长度， Nh为窗口纵向滑动次数， 且做向下 取整处理； S2.3、 针对计算得到的窗口横向、 纵向滑动次数， 对目标切分层的全视野数字切片图像 WSI进行滑动窗口切分， 并对每张ti le进行写出并保存。权　利　要　求　书 1/3 页 2 CN 115239613 A 24.根据权利要求1所述的基于集成深度学习的全视野数字切片图像分类建模方法， 其 特征在于： 所述S3中预处 理包括染色归一 化、 尺寸归一 化和空白筛 选。 5.根据权利要求1所述的基于集成深度学习的全视野数字切片图像分类建模方法， 其 特征在于： 所述S4中的目标区域ti le识别模型构建过程如下： S4.1、 首先将S1收集到的有标注的数字图像切片tile划分为识别模型训练集Dlabeltrn、 识别模型验证集Dlabelval和识别模型测试集Dlabeltest； S4.2、 选择Pytorch作为深度学习框架， 对识别模型训练集Dlabeltrn的图像进行尺寸统 一、 水平翻转、 灰度化操作， 对于识别 模型验证集Dlabelval的图像只进行尺寸统一操作， 识别 模型测试集Dlabeltest的操作同于识别模型验证集； S4.3、 选择残差神经网络ResNet作为标区域tile识别模型的建模网络， 利用识别模型 训练集Dlabeltrn和识别模型验证集Dlabelval对残差神经网络ResNet进行训练和验证， 并保存 每批次的训练参数， 最终获得分类准确率、 敏感度、 特异度的评价指标结果； 根据识别模型 验证集的评价指标结果挑选出性能最好的一批次参数作为最 终的参数， 并利用识别模型测 试集Dlabeltest测试分类效果， 从而构建出目标区域ti le识别模型。 6.根据权利要求5所述的基于集成深度学习的全视野数字切片图像分类建模方法， 其 特征在于： 所述S4.2具体为， 对识别模型训练集Dlabeltrn的图像transform操作， transforms.Resize将图像尺寸统一到224x224、 transforms.RandomHorizontalFlip将图 像以0.5的概率进行水平翻转操作、 transforms.RandomGrayscale将图像以0.2的概率将图 像进行灰度化操作； 对于识别模型验证集Dlabelval只进行transforms.Resize将图像尺寸统 一到224x224， 识别模型测试集Dlabeltest的操作同于识别模型验证集。 7.根据权利要求1所述的基于集成深度学习的全视野数字切片图像分类建模方法， 其 特征在于： 所述多个子分类 器为ResNet、 Mobi leNetV3、 EfficientNet V2。 8.一种基于集成深度学习的全视野数字切片图像分类建模 装置， 其特 征在于： 包括： 收集模块， 用于收集一批原始全视野数字切片图像WSI， 且收集一批对目标区域及非目 标区域进行 标注的数字图像切片ti le； 第一获得模块， 用于对原始全视野数字切 片图像WSI划分为训练集Dtrn、 验证集Dval和测 试集Dtest， 并对每张原始全视野数字切片图像WSI进行滑动窗口切分处理， 得到每张全视野 数字切片图像WSI对应的一组数字图像切片ti le； 第二获得模块， 针对第一获得模块切分后得到的数字图像切片tile进行预处理， 得到 预处理后的数字图像切片ti le； 训练模块， 用于针对收集模块收集到的有标注的数字图像切片tile训练一个目标 区域 tile识别模型； 第一处理模块， 用于针对第二获得模块预处理后的数字图像切片tile， 将其输入训练 模块中训练好的目标区域tile识别模型， 挑选出只包含目标区域的一组数字图像切片 tile； 划分模块， 针对第一处理模块得到的只包含目标区域的一组数字图像切片tile， 将属 于训练集Dtrn的所有数字图像切片tile按照标签分为两大类， 并将这两大类划分为预训练 训练集Dtrnpre和预训练验证集Dvalpre； 第二处理模块， 用于选择多个为子分类器， 首先利用划分模块中得到的预训练训练集权　利　要　求　书 2/3 页 3 CN 115239613 A 3