大语言模型原理：一句话讲清楚LLM如何工作

大语言模型原理一句话讲清楚LLM如何工作很多人在使用AI时有一个共同的困惑为什么有时候AI聪明得像个人类专家有时候又蠢得让人哭笑不得要真正用好提示词工程你需要对你的对话对象到底是怎么工作的有一个基本的认知。别担心这篇文章不需要你懂编程、不需要你懂数学——我会用最通俗的方式帮你建立起对LLM工作原理的直觉理解。一、一句话讲清楚如果你只能记住一句话那就记住这句大语言模型本质上是一个超级词接龙机——它通过学习海量文本中的语言模式能够在给定前文的情况下预测接下来最可能出现的文字。就这么简单就这么简单。但就这么简单的事情为什么能做到写代码、写文章、做翻译、做分析这些看起来需要理解和思考的事情呢这正是这篇文章要回答的问题。二、从词接龙说起2.1 一个你小时候玩过的游戏你可能小时候玩过成语接龙或者故事接龙——一个人说半句话下一个人接着往下编。比如第一个人说有一天小明走进了一家... 第二个人接神秘的商店店里摆满了... 第三个人再接闪闪发光的水晶球每颗水晶球里似乎都藏着一个小世界...一个有趣的现象是当接龙的人越多前面的铺垫越丰富后面接出来的故事就越合理、越连贯。大语言模型做的事情本质上和这个游戏一模一样——只不过它不是在几个人之间传递而是在一个巨大的神经网络内部完成的。而且它不是想了很久才接一句而是每生成一个字准确说是token就要重新想一遍。2.2 为什么词接龙能做到看起来像在思考这可能是你最想问的问题只是预测下一个词而已为什么会看起来这么智能答案在于规模和训练。想象你是一个超级书呆子你把人类所有公开可获取的书籍、文章、论文、网页、对话记录全部读了一遍——假设有10万亿个词的量。你读的不仅是内容本身你还学习了语言模式在汉语中形容词通常放在名词前面“漂亮的花而不是花漂亮的”知识关联提到牛顿通常和万有引力、“微积分”、苹果这些概念关联推理模式“因为…所以…”、如果…那么…这类逻辑结构问题解决模式数学题的解题步骤、代码的编写逻辑风格模式正式文本怎么写、口语对话怎么聊、诗歌押什么韵当你读得足够多你就不再只是接词了——你实际上学会了这些隐藏在语言中的模式。当有人给你一个开头你能基于这些学到的模式续写出合理的内容。用更精确的语言来说✅大语言模型通过在海量文本上的训练习得了语言的结构规律、世界的知识信息、以及隐性的推理能力——这些能力都以预测下一个token的形式表现出来。三、大语言模型的身世训练三部曲要真正理解LLM你需要了解它是怎么炼成的。不需要懂技术细节理解这三个阶段就够了。3.1 第一阶段预训练——疯狂的阅读期想象你被关在一个房间里唯一的任务就是阅读。你要读互联网上的几乎所有内容——维基百科、新闻文章、小说、技术文档、论坛帖子、学术论文、代码仓库。日复一日年复一年。你要完成的游戏是每当看到一段文字就猜下一个词是什么。猜对了给自己加分猜错了调整自己的猜测策略。刚开始你猜得很烂——“今天天气后面你猜量子力学”。但随着训练的进行你逐渐掌握了语言的规律。你知道今天天气后面大概率是真好、“不错”、很热这类表达。你开始理解语义、语法和文化常识。 这个阶段的模型通常被称为基座模型Base Model。它知识广博但不懂与人对话——你问它一个问题它可能继续接龙出更多问题而不是给你答案。训练这个阶段的模型有几个关键数据训练数据量GPT-4的训练数据估计在数十万亿token级别训练时间数周到数月使用数千块甚至上万块GPU训练成本GPT-4据估计约1亿美元以上模型参数GPT-4估计超过1万亿参数参数可以理解为模型脑细胞的数量3.2 第二阶段指令微调——学会听人话预训练之后的模型基本没法用——你问它问题它不会回答你而是续写更多问题或者文本。因为它只学会了看到文字后继续生成文字还没有学会对话。于是就有了第二阶段指令微调Instruction Tuning。在这个阶段AI公司会雇佣大量的数据标注员通常是受过良好教育的专业人员他们编写大量的问答复对。比如人类写翻译以下句子为英文你好世界。 AI应该输出Hello, world. 人类写写一首关于秋天的五言绝句。 AI应该输出秋风起天末落叶满长安。...通过在这些高质量的问题-回答对上训练模型学会了当用户给出指令时我该如何正确响应。这个阶段相当于让基座模型学会听话和说人话。 这个阶段的核心贡献在于让模型理解意图——不只是接龙而是理解人类想要什么并做出合适的回应。3.3 第三阶段RLHF——价值观的对齐即使模型学会了回答问题它的输出也可能存在偏见、不安全或者不够人性化。于是有了第三阶段基于人类反馈的强化学习RLHFReinforcement Learning from Human Feedback。这个阶段的做法很巧妙让模型对同一个问题生成多个不同的答案由人类评估员给这些答案打分和排序用这些评分训练一个奖励模型再用奖励模型去指导原始模型让它倾向于生成人类偏好的回答这个阶段让模型学会了什么是不安全、不恰当的回答学会拒绝什么回答风格更受欢迎更有帮助、更友好什么是我不知道学会诚实⚠️ RLHF是一个双刃剑。它让模型更安全、更友好但也可能让模型在某些场景下过于保守。理解这一点对于你在提示词中突破一些不必要的限制很有帮助。四、神经网络和Transformer你不必害怕的天书讲到LLM的原理绕不开两个概念神经网络和Transformer架构。很多人到这里就开始头疼。但我保证我不会用数学公式来折磨你。4.1 神经网络一个大号的模式匹配器神经网络顾名思义是受人类大脑启发设计的一种计算结构。但它和真正的大脑除了名字里的神经两字外其实差别巨大。你可以把神经网络想象成一个巨大的函数——输入一串数字经过内部的复杂计算输出一串数字。这个函数内部有数以亿计的参数你可以把这些参数想象成旋钮。训练的过悉就是通过不断调整这些旋钮让输入和输出之间建立起我们想要的映射关系。在LLM中输入你输入的文本被转换成数字向量输出模型预测的下一个token对应的数字概率分布而谜一般的地方在于当参数足够多千亿甚至万亿级别、训练数据足够大万亿级token、训练时间足够长时这个函数似乎真的学会了语言——不是表面的语法规则而是深层的语义理解和推理能力。这被称为涌现能力Emergent Abilities——当规模达到一定程度时模型突然展现出训练时并未明确教给它的能力。就像单个蚂蚁很简单但蚁群能表现出复杂的群体智能一样。4.2 Transformer为什么注意力改变了世界2017年Google的研究团队发表了一篇划时代的论文《Attention Is All You Need》提出了Transformer架构。今天几乎所有的主流大语言模型都是基于这个架构构建的。Transformer的核心创新是一个叫**自注意力机制Self-Attention**的东西。让我用一个很直观的比喻来解释它。想象你在一个嘈杂的鸡尾酒会上。有很多人在同时说话但你能够选择性注意其中一个人的声音同时忽略其他噪音。这个能力在心理学上叫做鸡尾酒会效应。Transformer的自注意力机制做的就是类似的事情——当模型在处理一个词的时候它会关注句子中的其他所有词并且计算每个词与当前词的关联程度。举个例子处理这句话小明的猫很可爱他很喜欢它。当模型处理它这个字时自注意力机制会让模型注意到——这个它和前面的猫关联很强和小明的关联相对较弱因为小明是人通常用他而和喜欢之间是动宾关系。通过计算这些关联模型就能理解它指代的是猫。这种关注所有词之间的关联的能力让Transformer能够捕捉长距离的语义依赖比如段落开头提到的事物对段落结尾的内容的影响并行处理整个序列不像之前的模型必须一个词一个词地读理解复杂的语言结构和上下文关系✅ 自注意力机制是LLM能够理解语言的关键。没有它AI无法建立长文本中各个部分之间的关联。五、从原理到实践为什么你需要知道这些你可能会问“我一个写提示词的为什么要知道LLM的原理”这是一个非常好的问题。让我用几个具体的例子来回答。5.1 理解幻觉的来源当你知道LLM的本质是预测下一个token时AI幻觉一本正经地胡说八道就不那么神秘了。AI不是先理解了事实再去表达——它的理解和表达是同一个动作预测下一个token。当一个事实在训练数据中出现的频率很高时比如地球是圆的模型很确定但当一个事实在训练数据中很少或与其他相似表述容易混淆时比如某个冷门的医学研究报告模型可能自信地猜错。 理解这一点你就会自然而然地在提示词中学会使用不确定时说不知道、“提供引用来源”、请核对你自己说的内容这类策略。我们会在第75-76篇深入讨论。5.2 理解偏见的来源LLM的偏见来自于它的训练数据。如果训练数据中90%的程序员都是男性那模型在生成代码相关的故事时就倾向于用他而不是她。当你知道这一点你可以在提示词中有意地引导模型跳出数据偏见或者在评估模型输出时多一双批判的眼睛。5.3 理解上下文窗口的限制当你知道模型有一个固定的上下文窗口比如8K、32K、128K或200K token你就会明白为什么在超长对话的中后期AI好像忘了你之前说过的话为什么在超长文档处理中你需要把最关键的信息放在提示词的开头或结尾为什么有时候少即是多——填充过多无关信息反而稀释了关键信号5.4 理解涌现能力的边界当你知道LLM的高级能力推理、编程、创意写作等是涌现出来的而非精确设计的你就会对AI的能力有一个合理的期待在需要确定性推理的场合做额外的验证在需要精确知识的场合提供权威参考资料在需要创造性的场合给予更多的引导和约束六、模型能力与提示策略的对应关系了解了原理后让我们做一个更有价值的联结把不同的模型能力和对应的提示策略匹配起来。6.1 利用模型的模式完成能力模型的核心能力是模式完成——给它一个模式的开头它会续写这个模式。对应提示策略少样本提示Few-shot Prompting输入苹果 → 水果 输入胡萝卜 → 蔬菜 输入牛肉 → 肉类 输入牛奶 →模型会自然地续写奶制品或饮品。因为它识别出了输入→分类这个模式。6.2 利用模型的注意力机制模型会关注提示词中关联紧密的信息。对应提示策略结构化提示、分隔符标记当你用分隔符如###、---或XML标签把提示词分成清晰的部分时模型的注意力机制能更有效地分配注意力资源到正确的部分。### 角色设定 你是... ### 背景信息 ... ### 任务要求 ...6.3 利用模型的上下文学习能力模型能从你提供的上下文中临时学习特定的格式、风格和知识。对应提示策略上下文注入、知识污染请参考以下资料回答问题。如果问题超出了资料范围请说资料中未涉及。 资料 [你的专属知识库内容...] 问题...6.4 利用模型的序列生成特性模型的生成是逐token的、顺序性的。对应提示策略思维链提示、分步引导不要要求AI一次性完成复杂任务而是引导它先做A再做B最后做C。七、不同模型的行为差异简要概览虽然提示词工程的基本原理是通用的但不同模型在处理提示词时确实有各自的特点。这一节做一个简要概述详细的对比会在第30篇展开。7.1 GPT系列OpenAI提示敏感性中等偏高对清晰的结构和具体的指令响应良好系统指令利用率高GPT-4很好地遵循system prompt创意能力强在开放性创作任务中表现出色跟随格式化指令良好尤其在JSON输出上有较好的支持7.2 Claude系列Anthropic提示敏感性较高对详细、结构化的指令响应优秀长上下文处理优秀200K token窗口且信息利用率高安全性较高拒绝有害请求的倾向更强结构化输出优秀在XML/JSON格式输出上表现突出7.3 文心一言百度中文能力强尤其在中文文学性和文化理解方面提示词习惯对中文惯用表达和语境理解更深生态整合与百度搜索、百度文库等产品整合 在实际使用中同一个任务在不同模型上可能需要微调提示词的结构和措辞。一个在Claude上表现很好的提示词在ChatGPT上可能需要稍作调整反之亦然。这也是提示词工程如此重要的原因之一——你需要根据对话伙伴的特点来调整你的沟通策略。八、深层思考能力、局限与未来在结束这篇文章之前我想和你聊一些更深层的思考。8.1 LLM真的理解语言吗这是AI领域一个持续争议的哲学问题。中文房间思想实验经常被引用来讨论这个问题。简单来说这个思想实验设想一个不懂中文的人在一个房间里他手上有非常详细的中文对话规则手册。外面的人通过门缝塞进中文问题房间内的人按照手册查找规则给出中文回复。外面的人会觉得房间里的一定懂中文但实际上里面的人只是在机械地执行规则。LLM的情况与此类似——它是在理解还是在做超高级的模式匹配我的实用主义观点是在大部分实用场景中这个问题的答案不影响你使用AI的效果。就像你不需要知道大脑的神经元如何放电也能和人正常交流一样你不需要纠结于AI是否真正理解也能高效地使用AI。重要的是输出是否准确、是否有用、是否可靠。8.2 LLM的局限你应该记住的几个关键点了解AI不能做什么和了解它能做什么同样重要⚠️LLM不是数据库它不能精确地检索和复现信息它只能重建最可能的输出。不要用AI替代精确的数据查询。⚠️LLM不会真正的逻辑推理它在模拟推理但可能会犯一些人类不会犯的逻辑错误特别是在复杂的多步推理中。⚠️LLM没有真实的信念或意识当AI说我认为的时候它不是表达意见而是在模拟一个表达意见的文本模式。⚠️LLM的知识有截止日期训练完成后模型不再自动获取新知识除非连接了搜索功能。⚠️LLM对提示词极其敏感微小的措辞变化可能导致截然不同的输出。8.3 未来趋势提示词工程将走向何方基于我对这个领域的持续关注有几个趋势值得你了解趋势一模型越来越懂你。新一代的模型在意图理解上越来越强它们需要的提示词会越来越自然——你不需要使用复杂的提示词技巧用日常语言表达需求就足够了。但这并不意味着提示词工程会过时。相反当基础交互变得更容易时区分普通用户和高级用户的关键就变成了谁能在容易的基础上做得更精准、更高效、更有创造性。趋势二多模态提示词的崛起。未来的提示词不再只是文字图片、音频、视频都可以成为提示词的一部分。理解多模态提示词的设计原理将成为新的核心竞争力。趋势三自动化提示词优化的普及。越来越多的工具会帮助你自动优化提示词。但理解底层原理的人会在使用这些工具时做出更好的决策——知道什么时候信任工具的优化什么时候手动干预。趋势四提示词工程的垂直化。通用提示词工程师的需求可能下降但深度理解某个垂直领域如医疗、法律、金融的提示词工程师将是稀缺人才。✅ 本文核心要点总结LLM本质上是超级词接龙机通过预测下一个token来生成文本它之所以看起来智能是因为在海量文本上学到了语言模式、知识关联和推理结构LLM的训练分为三个阶段预训练学语言→ 指令微调学对话→ RLHF学价值观Transformer架构中的自注意力机制是LLM理解语言关系的关键了解原理能帮你更好地应对幻觉、偏见、上下文限制等问题不同的模型能力对应不同的提示策略模式完成→少样本、注意力→结构化、序列生成→思维链LLM有明确的局限性不是数据库、不会真正的逻辑推理、知识有截止日期提示词工程的未来是向更自然、更多模态、更垂直化的方向发展本文是《提示词工程教程》系列的第3篇。在下一篇文章中我们将深入提示词的核心构成——指令、上下文与输入这三个要素是写好任何提示词的基础。