(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210445463.3 (22)申请日 2022.04.26 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 侯春萍　瞿宏博　王致芃　刘洪琛　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 程毓英 (51)Int.Cl. G06Q 10/04(2012.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Transformer的海表面 风速预测方法 (57)摘要 本发明涉及一种基于Transformer的海表面 风速预测方法， 包括特征提取模 块， Transformer 模块和风速场重建模块， 进行海表面风速预测 时， 输入是过去10个时间步长的完整风速场， 通 过特征提取模块， 输入的风速场被编码成每个时 刻风速场在高维特征空间的特征向量。 过去10个 时刻高维风速场的特征向量被输入Tran sformer 模块， Transformer模块用于建立不 同时刻风速 场特征向量间的全局长时依 赖， 并以此推出未来 10个时刻的风速场预测结果的特征向量； 将未来 10个时刻的风速场特征向量输入基于卷积神经 网络的风速场重建模块， 风速场重建模块将其解 码成完整的风速场。 权利要求书2页 说明书5页 附图2页 CN 114943368 A 2022.08.26 CN 114943368 A 1.一种基于Transformer的海表面风速预测 方法， 包括特征提取模块， Transformer模 块和风速场重 建模块， 进 行海表面风速预测时， 输入是过去10个时间步长的完整风速场， 通 过特征提取模块， 输入的风速场被编码成每个时刻风速场在高维特征空间的特征向量； 过 去10个时刻高维风速场的特征向量被输入Transformer模块， Transformer模块用于建立不 同时刻风速场特征向量间的全局长时依赖， 并以此推出未来 10个时刻的风速场预测结果的 特征向量； 将未来10个时刻的风速场特征向量输入基于卷积神经网络的风速场重建模块， 风速场重建模块将其 解码成完整的风速场。 2.根据权利要求1所述的海表面风速预测方法， 其特征在于， 特征提取模块与风场重建 模块包括如下的内容： 特征提取模块的作用是从风速场 提取特征， 风速场重建模块的作用是从特征中重建出 风速场， 为对特征提取模块与风速场重建模块进行训练， 将单一时刻的风速场同时作为输 入数据与标签； 设风速场特征提取模块为h( ·)， 风场重建模块为f( ·)， 输入风速场为I∈RH×W， 其中H， W分别为风速场的长和宽， 通过 特征提取模块从输入的风速场i中提取高维特 征x， 表示 为： x＝h(i) 风速场重建模块将高维特征x作为其输入， 将高维特征重构成完整的风速场 公式表示 为： 重构的风速场 和输入的风速场i间的误差越小， 模型被训练的越充分， 训练使用均方差 损失函数更新模型参数； 通过自监督的训练方式， 风速场特征提取模块具备从风速场提取 高维特征x的能力， 而风速场重建模块 根据高维特 征x解码成完整风场。 3.根据权利要求1所述的海表面风速预测方法， 其特征在于， Transformer模块采用如 下的步骤： 步骤1： 特 征提取 将输入数据中各个时刻的风速场使用特征提取模块进行编码， 得到每个时刻风速场在 高维特征空间的特 征向量， 表示 为(X1,X2,...,Xt)T； 步骤2： 位置编码与时间信息生成 Transformer为每个输入数据的位置信息进行编码， 称之为位置嵌入； 将序列数据的月 份、 年份、 时刻等信息进行编码， 称之为时间嵌入， 通过全局时间信息的输入有助于提高模 型捕获长期依赖的能力； 位置嵌入信息和时间嵌入信息加在变换维度后的输入数据上； 步骤3： 使用Transformer编码器对输入数据编码 步骤4： 生成一个长度为10的全0向量作为占位符； 步骤5： 将占位符与编码器中间结果 拼接， 作为Transformer解码器的输入； 步骤6： 使用Transformer解码器对输出数据预测： 在解码器内部， 输入数据先经过带掩 码的多头概率稀疏自注意力操作， 再与编码器输出 的中间结果进行多头自注意力操作， 最 终经全连接层调整数据输出的维度， 得到预测结果Y＝(Yt+1,Yt+2,...,Yt+10)T； 步骤7： 将各个时刻的风速场使用特征提取模块进行编码， 得到每个时刻风速场在高维 特征空间的特 征向量， 表示 为Z＝(Z1,Z2,...,Zt)T；权　利　要　求　书 1/2 页 2 CN 114943368 A 2步骤8： 将Y与Z进行欧氏距离计算， 得到特征误差， 通过反向传播优化Transformer模 型； 步骤9： 重复步骤1 ‑步骤8直到收敛， 获得训练好的预测模型。权　利　要　求　书 2/2 页 3 CN 114943368 A 3