大语言模型的缩放法则与局限性

一、Scaling Laws缩放法则Scaling Laws 描述了模型性能与模型参数量、训练数据量、计算资源之间的关系。核心思想参数越多、数据越多、算力越强模型性能通常越好。Chinchilla 定律DeepMind 提出在相同计算预算下模型参数和训练数据存在最佳配比。不是参数越大越好而是模型规模和数据规模需要保持平衡。例如700 亿参数的 Chinchilla由于训练数据更多性能超过了 1750 亿参数的 GPT-3。能力涌现Emergent Abilities当模型规模达到一定程度后会突然拥有一些小模型没有的能力例如思维链CoT指令遵循多步推理代码生成因此复杂 Agent 往往需要较大规模的模型作为基础。二、模型幻觉Hallucination模型幻觉指模型生成了看似合理但实际上错误或不存在的信息。常见类型事实性幻觉与客观事实不符。忠实性幻觉未忠实反映原文内容。内在幻觉输出与用户输入相矛盾。产生原因训练数据存在错误或偏差自回归生成机制只是预测下一个 Token没有事实校验能力推理过程出现错误。三、大模型的其他局限除了幻觉还存在知识时效性训练之后的新知识无法获取。数据偏见Bias模型可能继承训练数据中的偏见。四、缓解幻觉的方法主要有三个方向数据层面数据清洗、RLHF 等。模型层面优化模型结构提高可靠性。推理层面RAG检索增强生成多步推理工具调用搜索、计算器、数据库等其中RAG 是目前缓解幻觉最常见的方法。学习总结本章主要学习了Scaling Laws缩放法则和Hallucination模型幻觉。缩放法则说明了模型能力随着参数、数据和算力增长而提升同时 Chinchilla 定律强调了数据规模的重要性。另一方面大语言模型仍存在幻觉、知识时效性和数据偏见等问题目前主要通过RAG、工具调用和多步推理等方式提升回答的准确性。