(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210155190.9 (22)申请日 2022.02.21 (65)同一申请的已公布的文献号 申请公布号 CN 114612389 A (43)申请公布日 2022.06.10 (73)专利权人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 金凯　叶娟　高知远　马晓宇　 王亚奇　李云响　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 曹兆霞 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112766376 A,2021.0 5.07 CN 108095 683 A,2018.0 6.01 CN 111127425 A,2020.0 5.08 CN 111667490 A,2020.09.15 Shaoze Wang等. “Human Visual System- Based Fundus Ima ge Quality Assessment of Portable Fundus Camera Photographs ”. 《IEEE TRANSACTIONS ON M EDICAL IMAGI NG》 .2016,第 1046-1055页. Chenzhong Gao等.“Multi-scale PI IFD for Registrati on of Multi-source Remote Sensing Images”. 《arXiv》 .2021,第1-7页. 审查员 王丹丹 (54)发明名称 基于多源多尺度特征融合的眼底图像质量 评价方法和装置 (57)摘要 本发明公开了一种基于多源多尺度特征融 合的眼底图像质量评价方法， 包括： 步骤1： 获取 多源域眼底图像， 并对多源域眼底图像进行关于 亮度、 模糊程度、 对比程度以及图像的总体质量 四个评价维度的标签标注， 将眼底图像与标注标 签组成训练样本； 步骤2： 构建眼底图像质量评价 网络， 包括特征提取模块、 融合模块、 注意力模块 以及评价模块； 步骤3： 利用训练样本对眼底图像 质量评价网络进行训练， 获得眼底图像质量评价 模型； 步骤4： 将待测眼底图像输入到眼底图像质 量评价模型中， 经计算输出质量评价结果。 本发 明还提供了基于上述方法的眼底 图像质量评价 装置。 通过本发明提供的方法， 在考虑多种成像 环境的条件下， 对眼底图像进行全面客观的评价。 权利要求书1页 说明书6页 附图3页 CN 114612389 B 2022.09.06 CN 114612389 B 1.一种基于多源多尺度特 征融合的眼底图像质量评价方法， 其特 征在于， 包括： 步骤1： 获取多源域眼底图像包括由普通相机拍摄的普通彩色眼底照、 由便携式眼底照 相机拍摄的眼底照以及由激光广角相机拍摄的激光广角眼底照， 并对多源域眼底图像进 行 关于亮度、 模糊程度、 对比程度以及图像的总体质量四个评价维度的标签标注， 将眼底图像 与标注标签组成训练样本； 步骤2： 构建眼底图像质量评价网络， 包括特征提取模块、 融合模块、 注意力模块以及评 价模块， 所述特征提取模块包括多尺度特征提取器， 用于提取眼底图像的多尺度图像特征， 所述融合模块用于融合多尺度图像特征得到融合特征， 所述注意力模块用于对输入的融合 特征进行注意力操作， 并将注意力操作结果与输入的融合特征点乘后输入至评价模块， 所 述评价模块用于对输入的特征进行预测计算， 以输出质量评价结果， 所述质量评价结果包 括亮度评价结果、 模糊程度评价结果、 对比度评价结果以及图像总体质量评价结果； 步骤3： 利用训练样本对眼底图像质量评价网络进行训练， 训练结束后， 获得眼底图像 质量评价模型； 步骤4： 将待测眼底图像输入到眼底图像质量评价模型中， 经计算输出质量评价结果。 2.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法， 其特征 在于， 所述眼底图像输入眼底图像质量评价网络之前， 进行眼底图像的预处理， 包括裁剪、 缩放以及获取眼部区域掩膜， 预处 理后的眼底图像输入至眼底图像质量评价网络 。 3.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法， 其特征 在于， 所述特征提取模块包括4个尺度的特征提取器， 对应输入眼底图像的尺 寸分别为原图 像分辨率的1/4， 1/8， 1/16， 1/32， 每个特征提取器通过输入的眼底图像进行卷积操作， 以得 到图像特 征， 特征提取器输出的图像特 征维度相同， 尺寸相同。 4.根据权利要求3所述的基于多源多尺度特征融合的眼底图像质量评价方法， 其特征 在于， 所述每个特征提取器输出 的图像特征经过拼接后输入至融合模块， 融合模块采用卷 积层， 通过对拼接后图像特 征进行卷积操作， 得到融合特 征。 5.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法， 其特征 在于， 所述评价模块为MLP分类器， 采用MLP分类器对输入的特征进行预测计算， 以输出质量 评价结果。 6.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法， 其特征 在于， 训练 时， 针对每个评价 维度， 以标注标签与评价结果的交叉熵作为单评价维度的损失 函数， 综合 考虑四个评价维度损失函数 更新眼底图像质量评价网络的参数。 7.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法， 其特征 在于， 训练时， 优化器选用Adam， 初始学习率设置为0.0 01， 每20个epoc h衰减0.0005倍。 8.一种眼底图像质量评价装置， 包括计算机存储器、 计算机处理器以及存储在所述计 算机存储器中并可在所述计算机处理器上执行 的计算机程序， 其特征在于， 所述计算机存 储器中采用权利要求 1‑7 任一项所述的眼底图像质量评价模型； 所述计算机处理器执行所 述计算机程序时实现以下步骤： 将待检测的眼底图像输入至眼底图像质量评价模型中， 经 计算输出眼底图像质量的评价结果。权　利　要　求　书 1/1 页 2 CN 114612389 B 2基于多源多尺度特征融合的眼底图像质量评价 方法和装置 技术领域 [0001]本发明属于医学图像处理技术领域， 具体涉及一种基于多源多尺度特征 融合的眼 底图像质量评价方法和装置 。 背景技术 [0002]眼底照相(Fundus  photography)是诊断糖尿病视网膜病变、 青光眼、 与年龄相关 的黄斑变性和 其他眼病的最重要成像方式。 随着人工智能的发展， 通过眼底图像进行自动 疾病筛查已成为当前研究的热门话题。 因此， 眼底图像的质量对诊断模型 的性能具有重大 意义， 图像质量评估对于 自动化诊断系统非常必要。 虽然通过专家手动评价质量是最可靠 的方法， 但它成本高昂且耗时， 使自动诊断系统变得低效而失去意 义。 [0003]由于临床场景的复杂性， 临床实践中有多种眼底成像方式， 如彩色眼底摄影 (Color fundus photography,CFP)、 便携式数字眼底摄影(Portable  digital fundus  photography)和激光广角眼底成像(Ultra ‑wide fundus photography,UWF)。 彩色眼底摄 影是最主要的成像方法， 许多 人工智能模型都基于彩色眼底照。 尽管如此， 彩色眼底摄影需 要桌面式的成像仪器， 从而限制 了其在初级卫生保健的应用。 便携式数字眼底摄影设备可 以手持， 因此更适用于低级别的卫生服务中心， 尤其是在发展中 国家的乡村地区较为 实用。 但便携式摄像机的图像可能缺 乏病变的细节， 且通常会出现伪影。 激光广角眼底摄影是一 项新技术， 与标准眼底摄影相比， 其单张图像可捕获多达200 °的视野， 且 快速、 高效、 易于使 用， 不需要散瞳。 激光广角眼底摄影图像也有潜在的预后意义， 因为其可以检测外周病变。 然而， 该类激光广角眼底摄影机器较为昂贵， 其成本效益仍然 是一个重要的考虑因素。 考虑 到上述方法的利弊， 作为一个全面的眼底图像质量评价系统， 应该能处理以上三种基本图 像， 以满足各种临床需求。 [0004]先前的研究已经提出了几种方法来自动评估眼底图像的质量， 可以分为基于整体 相似性的方法和基于局部结构细分的方法， 但仍存在一些问题需要解决。 首先， 每种质量评 估方法的通用性是不确定的。 许多研究在单中心数据集上训练他们的模型， 忽略了成像设 备的类型、 眼睛状况和成像环境。 其次， 目前的图像质量评价方法侧重于局部或整体信息中 的一个， 但对医生来说这两者同样重要。 第三， 由于深度学习网络的"黑匣子"特征， 最近的 运用深度学习评估图像质量的算法不够可解释， 而常用的解释方法， 如热力图， 可能不够有 说服力。 发明内容 [0005]为了解决上述问题， 本发明提出了一种基于多源多尺度融合的眼底图像质量评价 方法， 该方法以人眼视觉系统， 采用多个具有代表性的数据源， 同时结合空间加权和自加权 的眼底图像质量