(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211017470.X (22)申请日 2022.08.23 (71)申请人 国科温州研究院 （温州生物材 料与 工程研究所） 地址 325000 浙江省温州市龙湾区永中街 道金联路1号 (72)发明人 帅建伟　王思璇　李钰杭　李家和　 史依　陈钒萱　韦超祎　陈浩满　 何情祖　帅真浩　阮煜闻　 (74)专利代理 机构 温州金瓯专利事务所(普通 合伙) 33237 专利代理师 江亮 (51)Int.Cl. G06T 7/11(2017.01) G06T 5/40(2006.01)G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Xformer类算法的腹腔镜图像分割方法 (57)摘要 基于Xformer类算法的腹腔镜图像分割方 法。 主要解决目前的腹腔镜图像分割处中模型的 性能还很一般的问题。 本发明设计了一种基于直 方图均衡的数据颜色处理方法， 该方法通过直方 图均衡算法让模 型对光照的影 响更具有鲁棒性， 采用了完美反射作为本文的方案， 获得颜色均衡 后的新数据。 本方案克服了使用多源设备的导致 的数据的颜色差异伪影干扰， 实现了提高检测模 型的检测性能。 权利要求书2页 说明书7页 附图1页 CN 115546230 A 2022.12.30 CN 115546230 A 1.基于Xformer类算法的腹腔镜图像分割方法， 其特 征在于： 包括以下步骤： S1， 收集腹腔镜手术视频并对图片和视频， 使用CVAT进行标注， 得到腹腔镜分割数据 库； S2， 使用直方图均衡算法对原 始内窥镜数据做预处 理； S3， 对数据集图像采用let terbox方法修改图像尺寸以满足网络的输入尺寸要求； S4， 构建一个 基于Xformer类算法的内窥镜图像目标检测网络； S5， 用制作的语义分割内窥镜数据集训练Xformer网络并保存 模型； S6， 用测试集数据去测试， 先输入内窥镜图像， 通过 Xformer模型检测是否有目标区域； S7， 将模型部署到GPU模块上用于检测客户端传输的图片， 并把检测结果返还至交互界 面。 2.根据权利要求1所述的基于Xformer类算法的腹腔镜图像分割方法， 其特征在于： S4 中， 目标检测网络具体实施细节为： S4.1， 利用注意力机制对encoder中骨干网络Resnet得到的特征优化， 以获得更有效底 层特征； S4.2， 通过基于聚类的decoder解码encoder信息； S4.3， 在原图绘制出检测结果 边框。 3.根据权利要求1所述的基于Xformer类算法的腹腔镜图像分割方法， 其特征在于： S2 中的直方图均衡算法的具体步骤如下： S2.1， 依次扫描原 始灰度图像的每一个 像素， 计算出图像的灰度直方图； S2.2， 计算灰度直方图的累积分布函数； S2.3， 根据累积分布函数和直方图均衡化原理得到 输入与输出之间的映射关系； S2.4， 最后根据映射关系得到结果进行图像 变换。 4.根据权利要求1所述的基于Xformer类算法的腹腔镜图像分割方法， 其特征在于： S3 的letterbox方法具体步骤如下： S3.1， 通过网络要求输入尺寸和原 始输入图尺寸计算收缩比r。 S3.2， 通过收缩比乘 原图长宽获得尺寸缩放后的图像。 S3.3， 计算收缩后图像中 需要填补的面积。 S3.4， 填补像素。 5.根据权利要求1所述的基于Xformer类算法的腹腔镜图像分割方法， 其特征在于： S4.1中的注意力机制P SA算法的具体步骤如下： S4.1.1， PSA通道分支， 首先先用了卷积核将输入的特征X转换成了Q和V， 其中Q的通道 被完全压缩， 而V的通道维度依旧保持在一个比较高的水平(也就是C/2)， 用Softmax对Q的 信息进行增强,然后将Q和K进行矩阵乘法， 并在后面接上卷积核、 LN将通道上C/2的维度升 为C,最后用Sigmo id函数使得 所有的参数都保持在0 ‑1之间,权 重计算公式如下： 其中Wz， Wv,Wq指1 ×1卷积， BN指批处理， RU指RELU激活层， SM指softmax,Fsm指softmax权　利　要　求　书 1/2 页 2 CN 115546230 A 2操作， σ 1和σ 2是两个张量重塑算子， θ 1指通道之间的参数， X指输入特 征， X∈Ci n×H×W； S4.1.2， 通道注意力， 模型先用了卷积核将输入的特征转换为了Q和V， 其中， 对于Q特征 用GlobalPooling对空间维度压缩； 而V特征的空间维度则保持在一个比较大的水平(HxW), 用了Softmax对Q的信息进行增强,然后将Q和K进行矩阵乘法， 然后接上reshape和Sigmoid 使得所有的参数都保持在0 ‑1之间， 权重计算公式如下： Asp(X)＝FSG[σ3(FSM( σ1(FGP(Wq(X))))×σ2(Wv(X)))]， 其中， Wq和Wv分别是标准的1 ×1卷积layer， θ2是这些信道卷积的中间参数， σ 1、 σ 2和σ 3 是三个整形算子， Fs m(·)指softmax操作， FGP( ·)是一个全局池算子； S4.1.3， 整合， 对于两个分支的结果， 模型提出了两种融合的方式： 并联和串联， 得到通 道和空间的输出Zc h和Zsp： 其中⊙ch指通道乘法，⊙sp指空间乘法运 算； 下面为拼接公式， 下 标p指串联， s指并联； PSAp(X)＝Zch+Zsp ＝Ach(X)⊙chX+Asp(X)⊙spX， or under the sequential  layout PSAs(X)＝Zsp(Zch) ＝Asp(Ach(X)⊙chX)⊙spAch(X)⊙chX.。 6.根据权利要求1所述的基于Xformer类算法的腹腔镜图像分割方法， 其特征在于： S4.2中基于聚类的decoder解码的具体步骤如下： 聚类路径共 包含六个聚类解码器， 它 们均匀分布在不同空间分辨 率的特征地图中。 S4.2.1， 分别为输出步长 32、 16和8的像素 特征部署了 两个聚类解码器； S4.2.2， 通过交叉注意力计算对象查询和像素(即Qc ×(Kp)T)之间 的亲和力， 该亲和力 通过空间方向的softmax(沿图像分辨 率操作)转换为注意力图,计算如下： 其中， soft max指集群方向的argmax， 其中C∈R  N×D表示具有D个通道的N个对象查询， C^表示更新的对象查询,上标p和c分别表 示从像素特征和对象查询中投影的特征,Qc∈R  N ×D， Kp∈R HW×D， Vp∈R HW×D表示查询、 键和值的线性投影特 征。权　利　要　求　书 2/2 页 3 CN 115546230 A 3