(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210628842.6 (22)申请日 2022.06.06 (71)申请人 中国船舶集团有限公司系统工程研 究院 地址 100094 北京市海淀区丰贤东路1号 (72)发明人 刘翔　何晓　 (74)专利代理 机构 中国船舶专利中心 1 1026 专利代理师 李朝翠 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) (54)发明名称 一种基于BERT的体能训练数据特征提取方 法 (57)摘要 本发明实施例提供一种基于BERT的体能训 练数据特征提取方法， 将进行体能训练的人群日 常训练数据的80％作为模型的训练集， 10％作为 验证集， 10％作为测试集， 进行K折交叉验证， 在 BERT部分， 使用word2vec 预训练体能训练项目的 embedding， 将训练进行聚类； 改进MLM， 将原始直 接mask包括属性在内的整个训练信息的形式， 改 为仅进行mask训练的一部分信息； 融合部分将满 足预设条件的开展体能训练人群的年龄、 性别、 生理状态和心理状态分布融入到网络当中； 输出 部分， 对受训人员的年龄、 性别、 生理状态、 心理 状态分布进行分类预测， 输出采用不同训练实现 有效训练的用户类别概率； 将模 型训练至收敛后 结束。 权利要求书1页 说明书4页 附图1页 CN 115098623 A 2022.09.23 CN 115098623 A 1.一种基于BERT的体能训练数据特征提取方法， 其特征在于， 所述方法将进行体能训 练的人群日常训练数据的8 0％作为模型的训练集， 10％作为验证集， 10％作为测试集， 并进 行K折交叉验证， 所述方法包括： BERT部分， 其具体为使用word2vec预训练体能训练项目的embedding， 将训练进行聚 类； 改进MLM， 将原始直接mask包括属性在内的整个训练信息的形式， 改为仅进行mask训练 的一部分信息； 融合部分， 其具体为将满足预设条件的开展体能训练人群的年龄、 性别、 生理状态和 心 理状态分布融入到网络当中； 输出部分， 对受训人员的年龄、 性别、 生理状态、 心理状态分布进行分类预测， 输出采用 不同训练能够实现有效训练的用户类别概 率； 将模型训练至收敛后结束训练， 其中， 所述模型的BERT部分 即为训练特 征提取器。 2.根据权利要求1所述的基于BERT的体能训练数据特征提取方法， 其特征在于， 所述将 满足预设条件的开展体能训练人群的年龄、 性别、 生理状态和心理状态分布融入到网络当 中， 包括： 将满足预设条件的开展体能训练人群分成多个部分； 若受训者进行多项训练并来自第一个部分的人群， 则将剩下的作为种子人群， 计算出 每项训练的年龄、 性别、 生理状态和心理状态分布， 采用12层的Transformer进行融合。 3.根据权利要求2所述的基于BERT的体能训练数据特征提取方法， 其特征在于， 所述将 满足预设条件的开展体能训练人群分成多个部分， 具体为： 将满足预设条件的开展体能训练人群分成64个部分。 4.根据权利要求3所述的基于BERT的体能训练数据特征提取方法， 其特征在于， 所述采 用12层的Transformer进行融合， 具体为： 采用包含 12层Trans former的BERT模型作为编码器进行编码， 每层Trans former将 上一 层的隐变量作为输入， 输出信息交 互度更高的隐变量。 5.根据权利要求 4所述的基于BERT的体能训练数据特 征提取方法， 其特 征在于， 所述满足预设条件为满足预设训练时长且以预设频率进行训练。 6.根据权利要求5所述的基于BERT的体能训练数据特征提取方法， 其特征在于， 还包 括： 在采用使用改进后的MLM预测训练时， 能够使用最近进行的具体项目名称ID及其属性 进行预测， 以使不同属性的embed ding在语义空间中对齐。权　利　要　求　书 1/1 页 2 CN 115098623 A 2一种基于BERT的体能训练数据 特征提取方 法 技术领域 [0001]本发明涉及数据处理技术领域， 特别涉及一种基于BE RT的体能训练数据特征提取 方法。 背景技术 [0002]随着经济水平与国民素质的不断发展， 进行体能锻炼的人群日益庞大， 各类体能 训练的数据也不断丰富。 当对大量的体能训练数据进行分类与进一步数据分析时， 只有对 体能训练数据进行特征提取， 将对高维原始数据映射到低 维流形， 才能使得体能训练数据 变得可分。 [0003]期刊论文“数据挖掘技术在消防部队体能训 练中的应用[J].消防技术与产品信 息,2017(08):74 ‑77.”使用利用模糊分类法实现系统分类， 为分类实训提供依据。 利用AHP 法结合学员不同项目的训练成绩和标准， 逐分解计算。 [0004]但是， 上述论文技术方案中， 采取的模糊分类法和AHP法由于以专家的主观因素作 为关键特征的判断依据， 主观因素影响过大， 难以实现隐性知识挖掘， 不能做到科学有效的 特征提取， 将影响了数据分析的效果。 发明内容 [0005]本发明实施例提供了一种基于BERT的体能训 练数据特征提取方法， 通过特征工 程， 根据时序体能训练数据的差异， 提取出相应的关键特征， 降低训练数据特征维度,进而 降低体能训练的数据分析难度， 提高数据分析 的效率和有效性， 最终实现对训练目标效果 的预测。 [0006]本发明实施例提供一种基于BE RT的体能训练数据特征提取方法， 所述方法将进行 体能训练的人群日常训练数据的80％作为模型的训练集， 10％作为验证集， 10％作为测试 集， 并进行 K折交叉验证， 所述方法包括： [0007]BERT部分， 其具体为使用word2vec预训练体能训练项目的embedding， 将训练进行 聚类； 改进MLM， 将原始直接mask包括属性在内的整个训练信息的形式， 改为仅进行mask训 练的一部分信息； [0008]融合部分， 其具体为将满足预设条件的开展体能训练人群的年龄、 性别、 生理状态 和心理状态分布融入到网络当中； [0009]输出部分， 对受训人员的年龄、 性别、 生理状态、 心理状态分布进行分类预测， 输出 采用不同训练能够实现有效训练的用户类别概 率； [0010]将模型训练至收敛后结束训练， 其中， 所述模型的BERT部分 即为训练特 征提取器。 [0011]在本发明的一些实施例中， 所述将满足预设条件的开展体能训练人群 的年龄、 性 别、 生理状态和心理状态分布融入到网络当中， 包括： [0012]将满足预设条件的开展体能训练人群分成多个部分； [0013]若受训者进行多项训练并来自第一个部分的人群， 则将剩下的作为种子人群， 计说　明　书 1/4 页 3 CN 115098623 A 3