ICS 35.240 L 70 团 体 标 准 T/CESA 1034—2019 信息技术 人工智能 小样本机器学习样本 量和算法要求 Information technology - Artificial intelligence - Sample size and algorithm requirements for few -shot learning 2019 - 04 - 01发布 中国电子工业标准化技术协会 发布 2019 - 04 - 01实施 T/CESA 1034—2019 I 目 次 前 言 ................................ ................................ ................................ ................................ ............................. III 1 范围 ................................ ................................ ................................ ................................ ................................ .1 2 术语和定义 ................................ ................................ ................................ ................................ ..................... 1 3 缩略语 ................................ ................................ ................................ ................................ ............................. 1 4 算法要求描述项 ................................ ................................ ................................ ................................ ............. 1 5 算法要求量化方法 ................................ ................................ ................................ ................................ ......... 2 6 样本量和算法要求 ................................ ................................ ................................ ................................ .......10 6.1 概述 ................................ ................................ ................................ ................................ ....................... 10 6.2 计算机视觉 ................................ ................................ ................................ ................................ ........... 10 6.3 智能语音 ................................ ................................ ................................ ................................ ............... 12 6.4 语义理解 ................................ ................................ ................................ ................................ ............... 13 6.5 智能表数据分析 ................................ ................................ ................................ ................................ ...16 T/CESA 1034—2019 II 前 言 本标准按照 GB/T 1.1－2009《标准化工作导则 第1部分：标准的结构和编写》给出的规则起草 。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由中国电子技术标准化研究院提出并归口。 本标准起草单位：中国电子科技集团公司电子科学研究院、中国电子技术标准化研究院、北京市商 汤科技开发有限公司、科大讯飞股份有限公司、第四范式（北京）技术有限公司、北京深醒科技有限公 司、浪潮软件集团有限公司、 中国电信股份有限公司上海研究院 、中国电子科技集团公司第三十八研究 所、中国医学科学院生物医学工程研究所、京东数字科技控股有限公司、深圳前海微众银行股份有限公 司、上海智能制造系统创新中心有限公司、重庆邮电大学、广州广电运通金融电子股份有限公司、中国 石油大学（北京） 、中国电子科技集团公司第十四研究所、 海尔优家智能 科技（北京）有限公司、中 兴通讯股份有限公司、北京眼神科技有限公司。 本标准主要起草人：谢海永 、刘弋锋、王迎雪、刘小晗、许忠雄、代红、董建、张群、汪小娟、马 珊珊、王燕妮、蒋慧、马万钟、罗远飞、郭敬、李文昊、王迪、田永会、王功明、王建华、杨震、李洁、 田西兰、王斌、马敏、徐圣普、蒲江波、安耀祖、莫凯翔、汤耀华、王飞、梅军、张焱、黄庆卿、林冠 辰、王金江、孙晶 明、杨祎、胡江明、刘海军、江武明、丁松。T/CESA 1034—2019 1 信息技术 人工智能 小样本机器学习样本量和算法要求 1 范围 本标准规定了小样本机器学习算法在不同场景情况下的样本量及算法的要求。 本标准适用于小样本机器学习相关产品。 2 术语和定义 下列术语和定义适用于本文件。 2.1 样本量 sample size 数量较少的样本量。 2.2 小样本 small sample 数量较少或不足的样本量。 2.3 小样本机器学习 few-shot learning 样本数量较少情况下的机器学习。 3 缩略语 以下缩略语适用于本文件。 AP：平均精确率（ Average Precision ） AUC：ROC曲线覆盖区域面积（ Area Under Curve ROC） mAP：平均精确率均值（ Mean Average Precision ） MOS：平均意见得分（ Mean Opinion Score） ROC曲线：接受者操作特性曲线（ Receiver Operating Characteristic Curve） ROUGE：面向召回率的要点评估值 （Recall-Oriented Understudy for Gisting Evaluation ） 4 算法要求描述项 算法要求包含 评价要素、指标属性、量化方法和量化范围四个部分，含义分别为： a) 评价要素：每个评价指标的具体评价内容和要求 ； b) 指标属性：每个评价指标的属性 均为定量指标 ； c) 量化指标： 衡量小样本机器学习算法 性能的指标； T/CESA 1034—2019 2 d) 量化范围：每个评价指标的取值范围。 5 算法要求量化方法 5.1 精确率(查准率) 精确率是被模型 预测为正的正样本（真正例）占预测为正的样本的比例。精确率见式（ 1）。 TPPTP FP ................................ ...... (1) 式中： P ——精确率(查准率)； TP ——被判定为正样例，实际为正样例数目； FP ——被判定为正样例，实际为负样例数目 。 5.2 交叉精确率 交叉精确率是多次 交叉抽样计算的精确率的平均值。交叉精确率见式（ 2）。 1ik set iPcr