(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210932127.1 (22)申请日 2022.08.04 (71)申请人 华伦医疗用品 （深圳） 有限公司 地址 518100 广东省深圳市宝安区福永街 道凤凰社区兴业一路163号厂房3栋3 层、 4层、 办公大楼4层 (72)发明人 唐永安　林文晶　 (74)专利代理 机构 北京酷爱智慧知识产权代理 有限公司 1 1514 专利代理师 阮建 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 5/50(2006.01) G06V 10/762(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种内窥镜荧光与可见光图像融合方法及 其系统 (57)摘要 本发明实施例公开了一种内窥镜荧光与可 见光图像融合方法及系统， 方法包括： 获取可见 光图像和荧光图像； 对可见光图像进行图像增强 及预处理， 以得到第一图像； 将荧光图像和第一 图像输入预先训练的神经网络进行融合， 得到目 标融合图像。 与现有技术相比， 采用上述方法得 到的目标融合图像可以更加清晰地显示病灶区 域， 从而使得医生对病变组织部位的判断更加准 确且高效。 权利要求书2页 说明书7页 附图3页 CN 115018830 A 2022.09.06 CN 115018830 A 1.一种内窥镜荧光与 可见光图像融合方法， 适用于双相机医用内窥镜， 其特征在于， 包 括： 获取可见光图像和荧 光图像； 对所述可 见光图像进行图像增强及预处 理， 得到第一图像； 将所述荧光图像和第 一图像输入预先训练 的神经网络进行图像融合， 得到目标融合图 像。 2.如权利要求1所述的内窥镜荧光与 可见光图像融合方法， 其特征在于， 对所述可见光 图像进行图像增强及预处 理， 得到第一图像， 具体为： 对所述可 见光图像进行剪 裁处理， 以得到 剪裁图像； 对所述剪 裁图像进行 水平镜像及旋转处 理， 其中残缺部分用黑色填充； 采用黑色像素填充所述剪 裁图像中随机一小块部分； 随机将所述剪 裁图像沿水平、 垂直方向进行移动， 其中残缺部分用黑色填充； 随机对所述剪 裁图像进行加噪及归一 化处理， 得到所述第一图像。 3.如权利要求1所述的内窥镜荧光与 可见光图像融合方法， 其特征在于， 获取可见光图 像之前， 所述方法还 包括： 构建神经网络； 所述神经网络包括输入层、 隐含层以及输出层构成， 所述输入层、 隐含 层以及输出层之间的节点通过连接权重矩阵相连接， 所述隐含层采用logsig激活函数， 所 述输出层采用purel in激活函数； 获取样本图像数据集， 所述样本图像数据集中包括样本可 见光图像和样本荧 光图像； 采用所述样本图像数据集对所述神经网络进行训练。 4.如权利要求3所述的内窥镜荧光与 可见光图像融合方法， 其特征在于， 采用所述样本 图像数据集对所述神经网络进行训练， 具体为： 将所述样本图像数据集划分为训练集和 测试集； 采用所述训练集对所述神经网络进行训练； 采样非线性降维算法对所述测试集进行降维处理， 并采用K ‑means算法对降维处理后 的所述测试集进行聚类， 得到聚类测试样本； 采用所述聚类测试样本对训练好的神经网络进行测试。 5.如权利要求1 ‑4任一项所述的内窥镜荧光与可见光图像 融合方法， 其特征在于， 得到 目标融合图像之后， 所述方法还 包括： 输出RGB格式的所述目标融合图像。 6.一种内窥镜荧光与 可见光图像融合系统， 包括相互通讯的双相机医用内窥镜和计算 机设备， 其特征在于， 所述计算机 设备包括处理器、 输入设备、 输出设备和存储器， 所述处理 器、 输入设备、 输出设备和存储器相互连接， 其中， 所述存储器用于存储计算机程序， 所述计 算机程序包括程序指 令， 所述处理器被配置用于调用所述程序指令， 执行如权利要求5所述 的方法。 7.一种内窥镜荧光与 可见光图像融合系统， 包括相互通讯的双相机医用内窥镜和图像 融合装置， 其特 征在于， 所述融合装置包括： 获取单元， 用于获取 可见光图像和荧 光图像； 处理单元， 用于对所述可 见光图像进行图像增强及预处 理， 得到第一图像；权　利　要　求　书 1/2 页 2 CN 115018830 A 2融合单元， 用于将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合， 得到目标融合图像。 8.如权利要求7所述的内窥镜荧光与 可见光图像融合系统， 其特征在于， 所述处理单元 具体用于： 对所述可 见光图像进行剪 裁处理， 以得到 剪裁图像； 对所述剪 裁图像进行 水平镜像及旋转处 理， 其中残缺部分用黑色填充； 采用黑色像素填充所述剪 裁图像中随机一小块部分； 随机将所述剪 裁图像沿水平、 垂直方向进行移动， 其中残缺部分用黑色填充； 随机对所述剪 裁图像进行加噪及归一 化处理， 得到所述第一图像。 9.如权利要求7或8所述的内窥镜荧光与可见光图像融合系统， 其特征在于， 所述图像 融合系统还 包括网络训练单 元， 用于： 构建神经网络； 所述神经网络包括输入层、 隐含层以及输出层构成， 所述输入层、 隐含 层以及输出层之间的节点通过连接权重矩阵相连接， 所述隐含层采用logsig激活函数， 所 述输出层采用purel in激活函数； 获取样本图像数据集， 所述样本图像数据集中包括样本可 见光图像和样本荧 光图像； 将所述样本图像数据集划分为训练集和 测试集； 采用所述训练集对所述神经网络进行训练； 采样非线性降维算法对所述测试集进行降维处理， 并采用K ‑means算法对降维处理后 的所述测试集进行聚类， 得到聚类测试样本； 采用所述聚类测试样本对训练好的神经网络进行测试。权　利　要　求　书 2/2 页 3 CN 115018830 A 3