(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210482334.1 (22)申请日 2022.05.05 (71)申请人 江苏海洋大学 地址 222005 江苏省连云港市高新区苍梧 路59号 (72)发明人 李慧　刘鑫堂　张舒　候鹏飞　 李鑫　邢立豹　蒋园园　韩国凯　 顾勇　 (74)专利代理 机构 北京和联顺知识产权代理有 限公司 1 1621 专利代理师 胡杨 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的胸片识别方法、 训练方 法及装置 (57)摘要 本发明涉及一种基于深度学习的胸片识别 方法、 训练方法及装置， 其具体步骤为： S1： 获取 胸片图像， 调整胸片图像的参数； S2： 通过卷积神 经网络对该胸片图像提取全局和区域视觉特征； S3： 对胸片图像进行识别， 得到识别结果； S4： 响 应于所述识别结果生成主题， 并将所述主题作为 输入生成描述胸像图片的句子。 具有自动化生成 医学报告可以有效减少医生工作量和错误的发 生的特点。 本发 明涉及一种基于深度学习的胸片 识别训练方法。 通过训练识别胸片模型， 具有可 以自动化生成医学报告可以有效减少医生工作 量和错误的发生的特点。 本发明涉及一种基于深 度学习的胸片识别装置， 具有自动化生成医学报 告可以有效减少医生工作量和错误的发生的特 点。 权利要求书1页 说明书8页 附图5页 CN 114862791 A 2022.08.05 CN 114862791 A 1.一种基于深度学习的胸片识别方法， 其特 征在于， 具体步骤为： S1： 获取胸片图像， 调整胸片图像的参数； S2： 通过卷积神经网络对该胸片图像提取全局 和区域视 觉特征； S3： 对胸片图像进行识别， 得到识别结果； S4： 响应于所述识别结果 生成主题， 并将所述主题作为输入生成描述胸像图片的句子 。 2.一种基于深度学习的胸片识别训练方法， 其特 征在于， 具体步骤为： S1： 获取原 始数据集胸像图片， 将训练和验证数据集按约1/10的比例拆分； S2： 调整原始数据集中的胸像图片的大小调整为224 ×224以保持与预训练的图像编码 器一致； S3： 通过卷积神经网络对从输入的胸像图片中提取全局 和区域视 觉特征； S4： 对胸片图像进行识别， 得到识别结果； S5： 响应于所述识别结果 生成主题， 并将所述主题作为输入生成描述胸像图片的句子 。 3.根据权利要求2所述一种基于深度 学习的胸片识别训练方法， 其特征在于， 向所述卷 积神经网络添加了一个值为0.3或0.5或0.7的dropout层， 在dropout层之后添加了一个密 集层， 将激活函数应用于 输入， 即带有偏差的内核。 4.根据权利要求3所述一种基于深度 学习的胸片识别训练方法， 其特征在于， 所述激活 函数为整流线性单 元， 输出空间的大小指定为25 6。 5.一种基于深度学习的胸片识别装置， 其特 征在于， 包括： 图像编码器， 用于提取胸片图像中的全局 和区域视 觉特征向量； 句子循环生成模块， 对所述图像编码器提取的视觉特征向量进行变换， 通过变换后的 视觉特征向量生成的预测描述胸片图像句子； 循环段落生成模块， 对所述图像编码器提取的视觉特征向量进行变换， 并提取所述句 子循环生成模块 生成的预测描述胸片图像句子的语义特 征作为输入生成结果段落句子 。 6.根据权利要求5所述一种基于深度 学习的胸片识别装置， 其特征在于， 所述循环段落 生成模块包括句子编码器和注意力句子解码器， 所述句子编码器用于从所述句子循环生成模块中生成的所述描述胸片图像句子提取 语义向量； 所述注意力句子解码器将所述句子编码器提取的语义向量和所述图像编码器提取的 视觉特征向量作为输入生成最终句子 。 7.根据权利要求5所述一种基于深度 学习的胸片识别装置， 其特征在于， 所述图像编码 器将输入的图像大小调整为2 24*224。 8.根据权利要求5所述一种基于深度 学习的胸片识别装置， 其特征在于， 所述循环段落 生成模块采用双向长短期记 忆。 9.根据权利要求5所述一种基于深度 学习的胸片识别装置， 其特征在于， 所述图像编码 器是自动提取层次结构的卷积神经网络图像的视 觉特征。 10.根据权利要求5所述一种基于深度学习的胸片识别装置， 其特征在于， 在句子循环 生成模块中， 单层LSTM用于句子解码， 初始隐藏状态和单元状态 LSTM的值设置为零， 视觉特 征向量被用作初始LSTM的输入来预测句子的第一个词， 然后逐字产生整个词句子 。权　利　要　求　书 1/1 页 2 CN 114862791 A 2一种基于深度学习的胸片识别方 法、 训练方 法及装置 技术领域 [0001]本发明涉及图像识别的技术领域， 尤其是涉及一种基于深度学习的胸片识别方 法、 训练方法及装置 。 背景技术 [0002]随着计算机科学的不断发展， 人工智能技术应运而生。 人工智能作为研究、 开发用 于模拟、 延伸和扩展人的智能的理论、 方法、 技术及应用系统的一门新的技术科学。 基于人 工智能技 术对图像进行处 理， 对于医学检测领域， 具 备重要意 义。 [0003]目前现有的神经网络算法模型有以下： [0004](1)CNN‑RNN组合模型； [0005]CNN和RNN都是传统神 经网络的扩展， 能前向计算产生结果， 反向计算进行模型的 更新， 每层神经网络横向可以存在多个神经元， 纵向可以有多层神经网络连接。 组合使用的 意义在于组合的意义可以处理大量信息同时具有时间空间特性， 比如视频， 图文 结合。 还有 真实的场景对话、 带有图像的对话， 使文本表达更具体， 并且视频相对图片描述的内容更完 整。 特征提取主要采用卷积核， 卷积核的宽度和高度大于1， 而卷积核只与图像中每个大小 相同的位置进行互相关运算。 所以， 输出大小等于输入大小nh×nw减去卷积核大小kh×kw， 即： [0006] [0007]图像说明技术可以为指定图像自动生成文字描述。 最近研究的图像文本模型大多 是基于CNN‑RNN框架。 [0008](2)Attention Mechanisms； [0009]自19世纪以来， 科学家们一直致力于研究认知神经科学领域 的注意力。 1964年的 核回归(kernel  regression)正是具有注意力 机制(attention  mechanism)的机器学习的 简单演示。 用数学语言描述， 假设有一个查询q∈Rq和m个键值对(k1,v1), …,(km,vm)， 其中 ki∈Rk， vi∈Rv。 注意力汇聚函数f就被表示成值的加权和： [0010] [0011]其中查询q和键ki的注意力权重(标量)是通过注意力评分函数a将两个向量映射 成标量， 再 经过softmax运 算得到的： [0012] [0013]注意力机制已被证明对于添加图像文本是有用的。 相关研究团队已将空间视觉注 意机制引入CN N中间层提取的图像特 征中。 [0014](3)长短时记 忆网络； [0015]长短期记忆网络的设计灵感来自于计算机的逻辑门。 长短期记忆网络引入了记忆说　明　书 1/8 页 3 CN 114862791 A 3