(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210301488.6 (22)申请日 2022.03.24 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 涂志刚　李可　尹太郎　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G16H 50/20(2018.01) (54)发明名称 基于时空注意力和跨模态融合的胚胎妊娠 预测方法及系统 (57)摘要 本发明公开了一种基于时空注意力和跨模 态融合的胚胎妊娠预测方法及系统， 包括采集胚 胎培养过程中各发育阶段的胚胎图像， 提取患者 的临床数据和病历数据； 对胚胎图像做预处理和 数据增强， 得到图像输入数据， 对临床数据进行 数据清洗和特征工程， 得到临床输入数据； 将临 床输入数据分别输入胚胎质量评估模型和临床 医学数据挖掘模 型， 分别得到胚胎形态学特征向 量和临床特征向量； 利用跨模态特征融合方式融 合两种模态的特征， 得到胚胎形态学特征与临床 特征的融合特征； 将融合特征输入预测器， 预测 胚胎妊娠概率。 本发明的自动分析预测结果具有 良好的鲁棒 性和可解释性。 权利要求书2页 说明书6页 附图1页 CN 114972167 A 2022.08.30 CN 114972167 A 1.一种基于时空注意力和跨模态融合的胚胎妊娠预测方法， 其特征在于， 包括以下步 骤： S1.采集胚胎培 养过程中各发育阶段的胚胎图像， 提取患者的临床数据和病历数据； S2.对胚胎图像做预处理和数据增强， 得到图像输入数据， 对临床数据进行数据清洗和 特征工程， 得到临床输入数据； S3.将步骤S2所得临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模 型， 分别得到胚胎形态学 特征向量和临床特 征向量； S4.利用跨模态特征融合方式融合两种模态 的特征， 得到胚胎形态学特征与临床特征 的融合特 征； S5.将步骤S4所 得融合特 征输入预测器， 预测胚胎妊娠概 率。 2.如权利要求1所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法， 其特 征在于： 所述 步骤S2包括以下子步骤， S201.对胚胎图像做灰度化处 理， 得到胚胎灰度图像； S202.用Can ny算子处 理S201所 得胚胎灰度图像， 得到原 始胚胎图像的二 值边缘图像； S203.利用霍夫变换检测S202所 得二值边缘图像中的圆心， 得到圆心的位置坐标； S204.通过S203圆心检测所得的位置坐标截取原始的胚胎图像， 使胚胎分布在图像的 正中间， 得到预处 理后的胚胎图像； S205.对S204预处理后的胚胎图像做数据增强， 包括色度、 亮度、 饱和度、 对比度转换， 得到图像输入数据； S206.对临床数据进行数据清洗， 包括去除、 补全缺失数据， 去除、 修正错误数据， 修正 数据格式， 以及去除离群值， 得到清洗后的数据； S207.对S206所得清洗后的数据做特征工程， 包括数据归一化， 数据变换， 数据降维， 以 及特征选择， 得到临床输入数据。 3.如权利要求1所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法， 其特 征在于： 所述 步骤S3包括以下子步骤， S301.以ResNet ‑50作为胚胎质量评估模型的基础网络， 在残差块 中加入空间注意力 模 块， 将同一胚胎的多个图像输入所述网络， 提取不同阶段胚胎的形态学 特征； S302.将同一胚胎不同发育阶段的特征进行时域特征融合， 并通过时间注意力模块得 到最终的胚胎形态学 特征向量； S303.将临床输入数据输入到Adabo ost模型， 得到临床特 征向量。 4.如权利要求1所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法， 其特 征在于： 所述 步骤S4包括以下子步骤， S401.对所述胚胎形态学 特征向量进行 数据降维处 理； S402.将降维后的形态学 特征向量与临床特 征向量对齐并拼接； S403.将所述 拼接特征向量输入跨模态特 征融合模块， 提取融合特 征。 5.一种基于时空注意力和跨模态融合的胚胎妊娠预测系统， 其特征在于： 包括以下模 块， 图像数据处理模块， 用于采集胚胎培养过程中各发育阶段的胚胎图像， 提取患者的临 床数据和病历数据；权　利　要　求　书 1/2 页 2 CN 114972167 A 2临床数据处理模块， 用于对胚胎图像做预处理和数据增强， 得到图像输入数据， 对临床 数据进行 数据清洗和特 征工程， 得到临床输入数据； 形态学特征提取模块， 用于将临床输入数据分别 输入胚胎质量评估模型和临床医学数 据挖掘模型， 分别得到胚胎形态学 特征向量和临床特 征向量； 跨模态特征融合模块， 用于利用跨模态特征融合方式融合两种模态的特征， 得到胚胎 形态学特征与临床特 征的融合特 征； 妊娠结局预测模块， 用于将融合特 征输入预测器， 预测胚胎妊娠概 率。权　利　要　求　书 2/2 页 3 CN 114972167 A 3