A Survey on Efficient Large Language Model Training: From Data-centric Perspectives

文章主要内容总结该论文是首篇从数据中心视角系统综述大语言模型（LLM）数据高效后训练的研究，核心围绕解决当前LLM后训练中人工标注成本高、数据规模边际收益递减、静态数据难以适配实时知识等痛点展开。论文提出了数据价值飞轮框架，将数据高效后训练方法分为五大核心类别，形成闭环优化体系：数据选择：从原始数据中筛选高价值子集，包括静态过滤、动态选择、智能体策略、标注效率优化四种维度；数据质量增强：通过语义重写（提升多样性）、毒性控制（消除有害内容）、分布稳定（优化数据特征）改善现有数据效用；合成数据生成：基于指令驱动、知识引导、对抗生成三种方式创造新训练数据，突破数据稀缺限制；数据蒸馏与压缩：通过模型蒸馏（知识迁移）、数据蒸馏（提取高信息密度样本）、联合压缩（模型-数据协同优化）降低训练复杂度；自进化数据生态：依托自迭代优化、动态评估反馈、LLM作为评判者（自我评估）实现数据自主进化与持续优化。此外，论文还分析了该领域的研究趋势（2022-2025年论文数量激增）、核心研究焦点（增强、合成、蒸馏等），并指出当前在领域适配性、大规模数据生成可扩展性、质量评估标准化等方面的挑战及未来研究方向。创新点首个系统性分类框架：首次将LLM数据高效后训练方