(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221079075 6.5 (22)申请日 2022.07.06 (71)申请人 中国华能集团清洁能源技 术研究院 有限公司 地址 102209 北京市昌平区北七家未来科 技城华能人才创新创业基地实验楼A 楼 申请人 华能盐城大丰新能源发电有限责任 公司　 华能国际电力江苏能源开发有限公 司　 华能国际电力江苏能源开发有限公 司清洁能源分公司 (72)发明人 吴昊　王恩民　任鑫　杭兆峰　 姚中原　潘赫男　周国栋　陶伟　 周峰峰　陈石　施俊佼　(74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于CycleGAN的风机叶片缺陷图像生成及 缺陷识别方法及设备 (57)摘要 本发明提出一种基于CycleGAN的风机叶片 缺陷图像生成及缺陷识别方法及设备， 该方法针 对风机叶片不同的缺陷类型， 基于CycleGAN生成 多个缺陷图像生成模型； 利用CycleGAN模型， 能 够将正常的风机叶片图像生成不同类型的缺陷 图像， 解决风机叶片缺陷图像稀少的问题； 利用 原始的缺陷图像和生成的大量不同类型的风机 叶片缺陷图像， 基于YOLO训练一个风机叶片图像 缺陷识别模 型， 解决风机叶片图像缺陷识别准确 率不高的问题。 通过本发明， 能够将大量风机叶 片的正常图像转换成大量的叶片缺陷图像， 从而 给叶片图像缺陷识别模型提供充足的缺陷图像 数据， 提升识别模型的缺陷识别效果。 权利要求书2页 说明书7页 附图2页 CN 115249239 A 2022.10.28 CN 115249239 A 1.一种基于 CycleGAN的风机叶片缺陷图像生成及缺陷识别方法， 其特 征在于， 包括： 构建风机叶片缺陷图像生成及缺陷识别网络， 所述风机叶片缺陷图像生成及缺陷识别 网络包括 风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络； 获取风机 叶片图像数据集， 划分风机 叶片正常图像和风机 叶片缺陷图像， 并对风机 叶 片缺陷图像的缺陷类型和缺陷位置进 行标记； 通过标记后的所述风机叶片图像数据集对所 述风机叶片缺陷图像生成网络进 行训练； 基于训练完成的所述风机叶片缺陷图像生成网络 生成的风机叶片缺陷图像， 训练所述 风机叶片缺陷图像识别网络； 将实时拍摄的风机叶片缺陷 图像输入训练完成的所述风机叶片缺陷图像识别网络， 输 出结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果。 2.根据权利要求1所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法， 其 特征在于， 将所述风机叶片图像数据集划分为风机叶片正常图像数据集和N个类型 的风机 叶片缺陷图像数据集； N为缺陷类型， 至少 包括胶衣脱落、 油漆脱落、 开裂、 表面裂纹、 腐蚀、 油污、 砂眼及结冰。 3.根据权利要求2所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法， 其 特征在于， 所述风机叶片缺陷图像生成网络使用CycleGAN模型结构， 所述风机叶片缺陷图 像生成网络 设计与缺陷类型数量相同的风机叶片缺陷图像生成子网络， 每一风机叶片缺陷 图像生成子网络包括2个生成器G、 F和 2个判别器DX、 DY； 每一风机叶片缺陷图像生成子网络 的输入为一张风机叶片正常图像X和一张具有缺陷类型中的一种缺陷的风机叶片缺陷图像 Y， 生成器G通过输入风机叶片正常图像X， 生成一张与风机叶片缺陷图像Y的缺陷类型相同 的风机叶片缺陷图像X ’； 生成器F通过输入风机叶片缺陷图像Y， 生成一张风机叶片正常图 像Y’； DX用于区分真实风机叶片正常图像X和生成的风机叶片正常图像Y ’， DY用于真实区分 风机叶片缺陷图像Y和生成的风机叶片缺陷图像X ’。 4.根据权利要求3所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法， 其 特征在于， 每一风机叶片缺陷图像生成子网络用于生成一种指定类型 的风机叶片缺陷； 通 过将指定类型的风机叶片缺陷图像和风机叶片正常图像， 输入对应的风机叶片缺陷图像生 成子网络进行训练， 利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行 更新。 5.根据权利要求4所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法， 其 特征在于， 利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行更新的步骤中， 包括： 设定第一损 失函数， 结合输入的风机 叶片正常图像X和具有缺陷类型中的一种缺陷的 风机叶片缺陷图像Y， 训练生成器G和生成器F； 第一损失函数公式表示 为： 其中， LossGAN表示使生成器G生成的风机叶片缺陷图像尽可能被判别器DY判定为真实风 机叶片缺陷图像； 使生成器F生成的风机叶片正常图像尽可能被判别器DX判定为真实风机 叶片正常图像； 表示 为： LossCycle表示将生成的风机叶片 缺陷图像输入生成器F使其能够尽可能恢复原图， 将 生 成的风机叶片正常图像输入生成器G使其能够 尽可能恢复原图； 表示 为：权　利　要　求　书 1/2 页 2 CN 115249239 A 2LossIdentity表示保证生成器G、 F生成的图像与输入的图像在内容上基本保持一致， 仅实 现正常和缺陷图像的转换； 表示 为： 设定第二损 失函数， 通过输入真实风机 叶片正常图像X和生成的风机叶片正常图像Y' 训练判别器DX， 其目的是区分 真实和生成的风机叶片正常图像； 表示 为： 设定第三损 失函数， 通过输入真实风机 叶片缺陷图像Y和生成的风机叶片缺陷图像X ’ 训练判别器DY， 其目的是区分 真实和生成的风机叶片缺陷图像； 表示 为： 通过迭代训练， 当达 到迭代次数时， 停止迭代训练， 输出生成器G、 F和判别器Dx、 Dy。 6.根据权利要求5所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法， 其 特征在于， 将风机叶片正常图像数据集输入训练完成的每一风机叶片缺陷图像生成子网 络， 生成对应缺陷类型 的风机叶片缺陷图像数据集， 作为所述风机叶片缺陷图像识别网络 的训练数据。 7.根据权利要求6所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法， 其 特征在于， 所述风机叶片缺陷图像识别网络为YOLO网络模型， 通过风机叶片图像数据集中 的风机叶片缺陷图像和 通过风机叶片缺陷图像生成网络生成的风机叶片缺陷图像训练所 述风机叶片缺陷图像识别网络； 训练完成后， 将实时获取 的风机叶片缺陷图像输入训练完 成的所述风机叶片缺陷图像识别网络中， 输出结果为对所述 实时获取的风机叶片缺陷图像 的缺陷类型识别结果。 8.一种基于 CycleGAN的风机叶片缺陷图像生成及缺陷识别装置， 其特 征在于， 包括： 模型构建模块， 用于构建风机 叶片缺陷图像生成及缺陷识别网络， 所述风机 叶片缺陷 图像生成及缺陷识别网络包括 风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络； 模型训练模块， 用于获取风机 叶片图像数据集， 划分风机 叶片正常图像和风机 叶片缺 陷图像， 并对风机叶片缺陷图像的缺陷类型和 缺陷位置进行标记； 通过标记后的所述风机 叶片图像数据集对所述风机叶片缺陷图像生成网络进 行训练； 基于训练完成的所述风机叶 片缺陷图像生成网络生成的风机叶片缺陷图像， 训练所述 风机叶片缺陷图像识别网络； 缺陷识别模块， 用于将 实时拍摄的风机叶片缺陷 图像输入训练完成的所述风机叶片缺 陷图像识别网络， 输出 结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时， 实现如权利要求 1‑7中 任一所述的方法。 10.一种非临时性计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计 算机程序被处 理器执行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115249239 A 3