在深入使用大模型进行开发或应用时你是否曾好奇过这些动辄千亿参数的“智能黑箱”内部究竟是如何工作的从一段简单的文本输入到一段逻辑清晰、内容丰富的输出这中间经历了怎样复杂的计算与决策过程网上资料虽多但往往要么过于学术化要么流于表面缺乏一个从工程视角出发、贯穿始终的系统性拆解。本文将以 Andrej Karpathy前特斯拉 AI 总监、OpenAI 创始成员的经典技术演讲为蓝本结合最新的行业实践为你彻底讲透大模型LLM的运转机制。我们将避开艰深的数学公式聚焦于可理解的核心概念、数据流与关键组件目标是让你不仅能“听懂”更能建立起一个清晰的“心智模型”从而在实际调用 API、进行提示工程或微调模型时做到心中有数游刃有余。无论你是刚接触 AI 的开发者还是希望深化理解的技术爱好者这篇文章都将带你走完大模型从“预训练”到“推理生成”的完整旅程。1. 大模型运转的核心框架从文本到文本的流水线在深入细节之前我们首先要建立一个宏观的认知框架。一个大语言模型LLM的完整生命周期和运转流程可以概括为以下几个核心阶段预训练 (Pre-training)在海量无标注文本数据上让模型学习语言的统计规律和世界知识。这是模型获得“通用能力”的阶段耗时耗力通常由大型机构完成。产出物是一个“基础模型”Base Model如 GPT-3、LLaMA。对齐与微调 (Alignment Fine-tuning)为了让基础模型更安全、更有用、更符合人类意图会使用指令数据、人类反馈RLHF等技术对其进行微调。产出物是一个“对齐模型”或“聊天模型”如 ChatGPT 背后的模型。推理与生成 (Inference Generation)用户输入提示Prompt模型基于所学知识进行计算并逐词Token地生成回复。这是我们日常与模型交互的阶段。Karpathy 的演讲精彩地串联了这些阶段而本文的重点将放在解释“推理与生成”这一最神秘环节的内部机制并回溯其与前期训练阶段的内在联系。2. 核心组件一Tokenizer – 文本与数字世界的翻译官模型并不直接理解文字它处理的是数字。Tokenizer分词器就是负责将人类可读的文本转换成模型可处理的数字序列Token IDs以及反向转换的组件。2.1 Token 是什么Token 是模型处理文本的基本单位。它不一定等于一个单词或一个汉字。对于英文一个 Token 可能是一个单词如 “cat”一个子词如 “running” - “run” “ning”甚至是一个标点。对于中文由于汉字密集一个 Token 通常对应一个汉字或一个常见词组。使用开源tiktoken库OpenAI 所用可以直观感受# 示例使用 GPT-4 使用的分词器 import tiktoken # 加载编码器 enc tiktoken.encoding_for_model(gpt-4) text 大模型是如何运转的 # 将文本编码为 Token IDs token_ids enc.encode(text) print(Token IDs:, token_ids) # 输出可能类似[25931, 30301, 22511, 14680, 306, 102] # 查看每个 Token 对应的原始字符串片段 tokens [enc.decode_single_token_bytes(token_id).decode(utf-8, errorsreplace) for token_id in token_ids] print(Tokens:, tokens) # 输出可能类似[大, 模型, 是如何, 运转, 的, ]2.2 分词器的工作流程编码 (Encode)文本字符串 - [Token ID 列表]解码 (Decode)[Token ID 列表] - 文本字符串为什么这很重要模型视角模型看到的输入永远是一个由整数Token ID组成的向量例如[25931, 30301, 22511, ...]。提示工程影响不同的分词方式会影响模型对提示的理解。例如“Hello world” 和 “Hello-world” 可能被分成不同的 Token 序列导致模型产生不同的反应。上下文长度限制模型的上下文窗口如 4K、8K、128K Tokens限制的是 Token 的数量而非字符数。一个复杂的提示可能因为分词后 Token 数超限而被截断。3. 核心组件二Transformer 架构 – 模型的大脑Transformer 是当今所有主流大模型的基石架构。理解其核心——自注意力机制Self-Attention——是理解模型运转的关键。3.1 嵌入层 (Embedding Layer)模型拿到 Token ID 列表后第一步是通过一个巨大的“查找表”嵌入矩阵将每个 Token ID 转换成一个高维向量例如 4096 维。这个向量被称为“嵌入”Embedding它试图以稠密向量的形式捕获该 Token 的语义信息。# 概念性伪代码帮助理解 import torch import torch.nn as nn # 假设词汇表大小为 50000嵌入维度为 4096 vocab_size 50000 embed_dim 4096 embedding_layer nn.Embedding(vocab_size, embed_dim) # 输入是 Token IDs: [25931, 30301] input_ids torch.tensor([[25931, 30301]]) # 查找嵌入向量 token_embeddings embedding_layer(input_ids) # 形状: [1, 2, 4096] print(fToken Embeddings Shape: {token_embeddings.shape})3.2 自注意力机制 (Self-Attention)这是 Transformer 的灵魂。它的核心思想是在处理序列中的每一个 Token 时模型可以“关注”赋予不同权重序列中的所有其他 Token包括自身从而动态地捕捉上下文依赖关系。一个简化的计算过程对每个 Token 的嵌入向量通过线性变换生成三个向量查询向量Query、键向量Key、值向量Value。计算注意力分数分数 Query • Key^T。这衡量了当前 TokenQuery与序列中每个 TokenKey的相关性。对分数进行缩放和 Softmax 归一化得到注意力权重和为1。将权重与对应的 Value 向量加权求和得到当前 Token 新的、融合了全局上下文信息的表示。# 高度简化的自注意力概念演示非高效实现 import torch import torch.nn.functional as F def simple_self_attention(token_embeddings): # token_embeddings 形状: [batch, seq_len, embed_dim] batch, seq_len, d_model token_embeddings.shape # 1. 线性变换生成 Q, K, V (这里省略了实际的线性层用随机矩阵模拟) W_q torch.randn(d_model, d_model) # 假设的权重 W_k torch.randn(d_model, d_model) W_v torch.randn(d_model, d_model) Q torch.matmul(token_embeddings, W_q) K torch.matmul(token_embeddings, W_k) V torch.matmul(token_embeddings, W_v) # 2. 计算注意力分数 scores torch.matmul(Q, K.transpose(-2, -1)) / (d_model ** 0.5) # 缩放 # 3. Softmax 得到注意力权重 attn_weights F.softmax(scores, dim-1) # 形状: [batch, seq_len, seq_len] # 4. 加权求和 context torch.matmul(attn_weights, V) # 形状: [batch, seq_len, d_model] return context, attn_weights # 模拟两个 Token 的嵌入 embeddings torch.randn(1, 2, 4096) # [batch1, seq_len2, embed_dim4096] context_vector, weights simple_self_attention(embeddings) print(fContext Vector Shape: {context_vector.shape}) print(fAttention Weights (showing relationship between tokens):\n{weights})多头注意力 (Multi-Head Attention)实际模型中会并行运行多个独立的“注意力头”每个头从不同角度如语法、语义、指代学习关注不同的信息最后将结果拼接起来使模型的理解能力更强大。3.3 前馈网络与残差连接前馈网络 (Feed-Forward Network)对自注意力层的输出进行进一步的非线性变换通常是一个简单的两层全连接网络为每个 Token 独立计算。残差连接 (Residual Connection) 与层归一化 (LayerNorm)这是训练深度网络的关键技术。每一子层自注意力、前馈网络的输出都会与输入相加残差连接然后进行层归一化。这有助于缓解梯度消失问题使模型能够堆叠得很深数十甚至上百层。一个 Transformer 解码器块如 GPT 所用通常按此顺序工作输入 - 层归一化1 - 自注意力 - 残差相加 - 层归一化2 - 前馈网络 - 残差相加 - 输出。4. 推理生成过程逐 Token 的“文字接龙”理解了单次前向传播后我们来看模型如何生成一段话。这本质上是一个自回归Auto-regressive过程。4.1 生成循环假设我们输入提示“中国的首都是”。编码分词器将提示转换为 Token IDs。首次前向传播模型处理整个输入序列并计算序列最后一个位置对应“是”字之后的输出向量。概率分布将这个输出向量通过一个线性层语言模型头映射到整个词汇表大小的维度再经过 Softmax得到下一个 Token 的概率分布。这个分布反映了模型认为在所有可能的下一个 Token 中每个 Token 出现的可能性。采样根据这个概率分布通过某种策略如贪婪采样、核采样、温度采样选取下一个 Token ID。追加与循环将新生成的 Token ID 追加到输入序列的末尾。现在输入变成了“中国的首都是[新Token]”。然后重复步骤 2-4用这个新的、更长的序列进行下一次前向传播生成再下一个 Token。终止重复此过程直到生成一个特殊的“结束” Token如|endoftext|或达到最大生成长度。# 概念性伪代码展示生成循环 def generate_text(prompt, model, tokenizer, max_length50): input_ids tokenizer.encode(prompt, return_tensorspt) # 编码提示 for _ in range(max_length): # 获取模型对当前序列的最后一个位置的输出 logits outputs model(input_ids) # logits 形状: [batch, seq_len, vocab_size] next_token_logits outputs.logits[:, -1, :] # 取最后一个位置的 logits # 应用采样策略这里用贪婪采样即选概率最大的 next_token_id torch.argmax(next_token_logits, dim-1).unsqueeze(-1) # 如果生成了结束符则停止 if next_token_id.item() tokenizer.eos_token_id: break # 将新 Token 追加到输入序列 input_ids torch.cat([input_ids, next_token_id], dim-1) # 解码整个生成的序列 generated_text tokenizer.decode(input_ids[0], skip_special_tokensTrue) return generated_text # 注意实际使用中应使用模型的 generate() 方法它优化了此循环。4.2 关键采样策略贪婪采样 (Greedy)总是选择概率最高的 Token。生成结果可能确定性强但缺乏创造性容易重复。温度采样 (Temperature)在计算 Softmax 前将 logits 除以一个温度参数 T。T1保持原分布。T1如 0.8放大高概率 Token 的差距输出更确定、更保守。T1如 1.2平滑概率分布给低概率 Token 更多机会输出更多样、更有创造性。Top-k / Top-p (核采样)Top-k只从概率最高的 k 个 Token 中采样。Top-p从累积概率超过 p 的最小 Token 集合中采样。 这两种方法都能在保持多样性的同时避免采样到极低概率的荒谬 Token。5. 连接训练与推理损失函数与梯度下降理解了推理我们就能倒推模型是如何通过训练获得这种能力的。5.1 预训练目标下一个 Token 预测在预训练阶段模型的目标非常简单给定一个文本序列的前 N 个 Token预测第 N1 个 Token。这被称为“因果语言建模”或“自回归语言建模”。训练过程简述从海量文本中截取一段如“今天天气很好我决定去公园散步。”输入模型“今天天气很好我决定去公园”模型对序列中每一个位置都输出一个对下一个 Token 的预测。计算损失比较模型在位置i预测的概率分布与真实的下一个 Token位置i1的 Token ID之间的差异。通常使用交叉熵损失函数。通过反向传播和梯度下降调整模型的所有参数嵌入矩阵、注意力权重、前馈网络权重等让这个损失越来越小。用数十亿甚至数万亿的这样的文本片段反复训练模型就逐渐学会了语言的语法、事实、逻辑和风格。5.2 从微调到 RLHF对齐人类意图基础模型虽然知识渊博但可能生成有害、偏见或无用的内容。对齐Alignment旨在解决此问题。指令微调 (Instruction Tuning)使用高质量的“指令-输出”对如“写一首关于春天的诗” - “春眠不觉晓...”对基础模型进行有监督微调。这让模型学会遵循指令的格式和意图。基于人类反馈的强化学习 (RLHF)这是 ChatGPT 等模型惊艳表现的关键。步骤1收集比较数据。让人类标注员对模型同一个提示的多个回复进行排序哪个更好。步骤2训练奖励模型。用一个单独的模型奖励模型学习人类的偏好它可以给任何“提示-回复”对打一个分数预测人类会多喜欢这个回复。步骤3强化学习微调。将指令微调后的模型作为“策略”用奖励模型的打分作为“奖励信号”使用 PPO 等强化学习算法进一步微调模型。模型通过试错学习生成能获得更高奖励即更符合人类偏好的回复。6. 工程实践中的关键考量6.1 硬件与计算巨大的资源消耗训练需要成千上万个高端 GPU如 H100集群训练数周甚至数月耗资巨大。推理内存显存瓶颈模型参数、KV缓存用于加速生成过程都需要加载到 GPU 显存。一个 70B 参数的模型仅加载参数就需要超过 140GB 的显存假设 FP16 精度。这催生了量化Quantization、模型切分Model Parallelism等技术。计算瓶颈生成每个 Token 都需要进行一次完整的前向传播虽然比训练快但对于长序列或高并发计算量依然惊人。6.2 提示工程与模型沟通的艺术提示是用户控制模型行为的首要工具。有效的提示工程基于对模型运转机制的理解。系统提示 (System Prompt)在对话开始时设定模型的角色和行为准则如“你是一个有帮助的助手...”。少样本学习 (Few-shot Learning)在提示中提供几个输入-输出的例子引导模型进行类比学习。思维链 (Chain-of-Thought)在复杂推理问题中提示模型“一步一步思考”鼓励其展示中间推理步骤能显著提升逻辑和数学能力。格式约束明确要求输出 JSON、XML、Markdown 等格式利用模型在训练中见过的模式。6.3 常见问题与排查思路问题现象可能原因排查与解决思路模型输出无关或胡言乱语提示不清晰模型温度过高上下文过长导致注意力分散。1. 优化提示明确指令和上下文。2. 降低温度参数如设为0.2-0.8。3. 尝试少样本示例。4. 检查并缩短输入长度。生成内容重复循环重复惩罚参数设置过低模型陷入局部概率峰值。1. 启用并调整“重复惩罚”repetition_penalty参数。2. 使用 Top-p 采样替代贪婪采样。3. 稍微提高温度增加随机性。输出不符合指令格式模型未经过相应指令微调提示中格式说明不足。1. 在提示中提供清晰、具体的格式示例。2. 考虑使用专门针对该任务微调过的模型。推理速度极慢模型过大硬件不足未启用 KV 缓存生成长度设置过长。1. 使用量化版本模型如 GPTQ, AWQ。2. 确保推理框架支持并启用了 KV 缓存。3. 设置合理的max_new_tokens。4. 升级硬件或使用云 API。回答包含事实性错误幻觉这是大模型的固有缺陷之一训练数据中存在错误或模型过度泛化。1. 提示模型“基于已知信息回答”或“如果不知道就说不知道”。2. 进行检索增强生成RAG让模型参考外部知识库。3. 对关键事实进行二次验证。7. 最佳实践与进阶方向理解成本与权衡更大的模型通常能力更强但部署和推理成本呈指数增长。根据实际需求延迟、成本、精度选择合适规模的模型。优先使用 API 或微调模型对于绝大多数应用直接调用成熟的大模型 API如 OpenAI GPT, Anthropic Claude或使用开源微调模型如 ChatGLM, Qwen, DeepSeek比从零预训练要现实和经济得多。构建可观测性在生产环境中记录模型的输入、输出、延迟、Token 使用量以及用户反馈。这有助于监控成本、发现潜在问题并持续优化提示。安全与合规底线必须设置内容过滤层对模型的输入和输出进行审查防止生成有害、违法或偏见内容。永远不要将未经检查和过滤的模型输出直接呈现给用户。拥抱 RAG检索增强生成对于需要精确、最新知识的场景将大模型与外部知识库如向量数据库结合。让模型根据检索到的相关文档来生成答案能有效减少幻觉并提升专业性。探索智能体Agent架构让大模型扮演“大脑”通过调用工具搜索、计算、执行代码、进行规划拆解任务和反思检查结果来完成复杂任务这是当前最重要的应用范式之一。大模型的运转从一个简单的 Token ID 开始经过嵌入层的语义注入在 Transformer 层中通过自注意力完成复杂的上下文融合最终通过前馈网络和层层归一化转化成一个预测下一个 Token 的概率分布。这个过程的循环往复便诞生了我们所看到的流畅文本。掌握其内部机制并非为了徒增复杂性而是为了让我们能更自信、更高效地运用这项技术。当你在设计提示词时你会想到 Token 的边界当你在调整生成参数时你会理解温度与采样背后的概率游戏当模型出现“幻觉”时你会明白这是其自回归生成本质带来的固有挑战并知道如何通过 RAG 等技术来缓解。技术的核心在于理解理解之后便是创造。希望这篇近万字的拆解能为你点亮大模型这个“黑箱”中的一盏灯让你在 AI 的浪潮中不仅是一个使用者更成为一个明明白白的创造者。 大模型内部机制全解析：从Transformer架构到推理生成原理
在深入使用大模型进行开发或应用时你是否曾好奇过这些动辄千亿参数的“智能黑箱”内部究竟是如何工作的从一段简单的文本输入到一段逻辑清晰、内容丰富的输出这中间经历了怎样复杂的计算与决策过程网上资料虽多但往往要么过于学术化要么流于表面缺乏一个从工程视角出发、贯穿始终的系统性拆解。本文将以 Andrej Karpathy前特斯拉 AI 总监、OpenAI 创始成员的经典技术演讲为蓝本结合最新的行业实践为你彻底讲透大模型LLM的运转机制。我们将避开艰深的数学公式聚焦于可理解的核心概念、数据流与关键组件目标是让你不仅能“听懂”更能建立起一个清晰的“心智模型”从而在实际调用 API、进行提示工程或微调模型时做到心中有数游刃有余。无论你是刚接触 AI 的开发者还是希望深化理解的技术爱好者这篇文章都将带你走完大模型从“预训练”到“推理生成”的完整旅程。1. 大模型运转的核心框架从文本到文本的流水线在深入细节之前我们首先要建立一个宏观的认知框架。一个大语言模型LLM的完整生命周期和运转流程可以概括为以下几个核心阶段预训练 (Pre-training)在海量无标注文本数据上让模型学习语言的统计规律和世界知识。这是模型获得“通用能力”的阶段耗时耗力通常由大型机构完成。产出物是一个“基础模型”Base Model如 GPT-3、LLaMA。对齐与微调 (Alignment Fine-tuning)为了让基础模型更安全、更有用、更符合人类意图会使用指令数据、人类反馈RLHF等技术对其进行微调。产出物是一个“对齐模型”或“聊天模型”如 ChatGPT 背后的模型。推理与生成 (Inference Generation)用户输入提示Prompt模型基于所学知识进行计算并逐词Token地生成回复。这是我们日常与模型交互的阶段。Karpathy 的演讲精彩地串联了这些阶段而本文的重点将放在解释“推理与生成”这一最神秘环节的内部机制并回溯其与前期训练阶段的内在联系。2. 核心组件一Tokenizer – 文本与数字世界的翻译官模型并不直接理解文字它处理的是数字。Tokenizer分词器就是负责将人类可读的文本转换成模型可处理的数字序列Token IDs以及反向转换的组件。2.1 Token 是什么Token 是模型处理文本的基本单位。它不一定等于一个单词或一个汉字。对于英文一个 Token 可能是一个单词如 “cat”一个子词如 “running” - “run” “ning”甚至是一个标点。对于中文由于汉字密集一个 Token 通常对应一个汉字或一个常见词组。使用开源tiktoken库OpenAI 所用可以直观感受# 示例使用 GPT-4 使用的分词器 import tiktoken # 加载编码器 enc tiktoken.encoding_for_model(gpt-4) text 大模型是如何运转的 # 将文本编码为 Token IDs token_ids enc.encode(text) print(Token IDs:, token_ids) # 输出可能类似[25931, 30301, 22511, 14680, 306, 102] # 查看每个 Token 对应的原始字符串片段 tokens [enc.decode_single_token_bytes(token_id).decode(utf-8, errorsreplace) for token_id in token_ids] print(Tokens:, tokens) # 输出可能类似[大, 模型, 是如何, 运转, 的, ]2.2 分词器的工作流程编码 (Encode)文本字符串 - [Token ID 列表]解码 (Decode)[Token ID 列表] - 文本字符串为什么这很重要模型视角模型看到的输入永远是一个由整数Token ID组成的向量例如[25931, 30301, 22511, ...]。提示工程影响不同的分词方式会影响模型对提示的理解。例如“Hello world” 和 “Hello-world” 可能被分成不同的 Token 序列导致模型产生不同的反应。上下文长度限制模型的上下文窗口如 4K、8K、128K Tokens限制的是 Token 的数量而非字符数。一个复杂的提示可能因为分词后 Token 数超限而被截断。3. 核心组件二Transformer 架构 – 模型的大脑Transformer 是当今所有主流大模型的基石架构。理解其核心——自注意力机制Self-Attention——是理解模型运转的关键。3.1 嵌入层 (Embedding Layer)模型拿到 Token ID 列表后第一步是通过一个巨大的“查找表”嵌入矩阵将每个 Token ID 转换成一个高维向量例如 4096 维。这个向量被称为“嵌入”Embedding它试图以稠密向量的形式捕获该 Token 的语义信息。# 概念性伪代码帮助理解 import torch import torch.nn as nn # 假设词汇表大小为 50000嵌入维度为 4096 vocab_size 50000 embed_dim 4096 embedding_layer nn.Embedding(vocab_size, embed_dim) # 输入是 Token IDs: [25931, 30301] input_ids torch.tensor([[25931, 30301]]) # 查找嵌入向量 token_embeddings embedding_layer(input_ids) # 形状: [1, 2, 4096] print(fToken Embeddings Shape: {token_embeddings.shape})3.2 自注意力机制 (Self-Attention)这是 Transformer 的灵魂。它的核心思想是在处理序列中的每一个 Token 时模型可以“关注”赋予不同权重序列中的所有其他 Token包括自身从而动态地捕捉上下文依赖关系。一个简化的计算过程对每个 Token 的嵌入向量通过线性变换生成三个向量查询向量Query、键向量Key、值向量Value。计算注意力分数分数 Query • Key^T。这衡量了当前 TokenQuery与序列中每个 TokenKey的相关性。对分数进行缩放和 Softmax 归一化得到注意力权重和为1。将权重与对应的 Value 向量加权求和得到当前 Token 新的、融合了全局上下文信息的表示。# 高度简化的自注意力概念演示非高效实现 import torch import torch.nn.functional as F def simple_self_attention(token_embeddings): # token_embeddings 形状: [batch, seq_len, embed_dim] batch, seq_len, d_model token_embeddings.shape # 1. 线性变换生成 Q, K, V (这里省略了实际的线性层用随机矩阵模拟) W_q torch.randn(d_model, d_model) # 假设的权重 W_k torch.randn(d_model, d_model) W_v torch.randn(d_model, d_model) Q torch.matmul(token_embeddings, W_q) K torch.matmul(token_embeddings, W_k) V torch.matmul(token_embeddings, W_v) # 2. 计算注意力分数 scores torch.matmul(Q, K.transpose(-2, -1)) / (d_model ** 0.5) # 缩放 # 3. Softmax 得到注意力权重 attn_weights F.softmax(scores, dim-1) # 形状: [batch, seq_len, seq_len] # 4. 加权求和 context torch.matmul(attn_weights, V) # 形状: [batch, seq_len, d_model] return context, attn_weights # 模拟两个 Token 的嵌入 embeddings torch.randn(1, 2, 4096) # [batch1, seq_len2, embed_dim4096] context_vector, weights simple_self_attention(embeddings) print(fContext Vector Shape: {context_vector.shape}) print(fAttention Weights (showing relationship between tokens):\n{weights})多头注意力 (Multi-Head Attention)实际模型中会并行运行多个独立的“注意力头”每个头从不同角度如语法、语义、指代学习关注不同的信息最后将结果拼接起来使模型的理解能力更强大。3.3 前馈网络与残差连接前馈网络 (Feed-Forward Network)对自注意力层的输出进行进一步的非线性变换通常是一个简单的两层全连接网络为每个 Token 独立计算。残差连接 (Residual Connection) 与层归一化 (LayerNorm)这是训练深度网络的关键技术。每一子层自注意力、前馈网络的输出都会与输入相加残差连接然后进行层归一化。这有助于缓解梯度消失问题使模型能够堆叠得很深数十甚至上百层。一个 Transformer 解码器块如 GPT 所用通常按此顺序工作输入 - 层归一化1 - 自注意力 - 残差相加 - 层归一化2 - 前馈网络 - 残差相加 - 输出。4. 推理生成过程逐 Token 的“文字接龙”理解了单次前向传播后我们来看模型如何生成一段话。这本质上是一个自回归Auto-regressive过程。4.1 生成循环假设我们输入提示“中国的首都是”。编码分词器将提示转换为 Token IDs。首次前向传播模型处理整个输入序列并计算序列最后一个位置对应“是”字之后的输出向量。概率分布将这个输出向量通过一个线性层语言模型头映射到整个词汇表大小的维度再经过 Softmax得到下一个 Token 的概率分布。这个分布反映了模型认为在所有可能的下一个 Token 中每个 Token 出现的可能性。采样根据这个概率分布通过某种策略如贪婪采样、核采样、温度采样选取下一个 Token ID。追加与循环将新生成的 Token ID 追加到输入序列的末尾。现在输入变成了“中国的首都是[新Token]”。然后重复步骤 2-4用这个新的、更长的序列进行下一次前向传播生成再下一个 Token。终止重复此过程直到生成一个特殊的“结束” Token如|endoftext|或达到最大生成长度。# 概念性伪代码展示生成循环 def generate_text(prompt, model, tokenizer, max_length50): input_ids tokenizer.encode(prompt, return_tensorspt) # 编码提示 for _ in range(max_length): # 获取模型对当前序列的最后一个位置的输出 logits outputs model(input_ids) # logits 形状: [batch, seq_len, vocab_size] next_token_logits outputs.logits[:, -1, :] # 取最后一个位置的 logits # 应用采样策略这里用贪婪采样即选概率最大的 next_token_id torch.argmax(next_token_logits, dim-1).unsqueeze(-1) # 如果生成了结束符则停止 if next_token_id.item() tokenizer.eos_token_id: break # 将新 Token 追加到输入序列 input_ids torch.cat([input_ids, next_token_id], dim-1) # 解码整个生成的序列 generated_text tokenizer.decode(input_ids[0], skip_special_tokensTrue) return generated_text # 注意实际使用中应使用模型的 generate() 方法它优化了此循环。4.2 关键采样策略贪婪采样 (Greedy)总是选择概率最高的 Token。生成结果可能确定性强但缺乏创造性容易重复。温度采样 (Temperature)在计算 Softmax 前将 logits 除以一个温度参数 T。T1保持原分布。T1如 0.8放大高概率 Token 的差距输出更确定、更保守。T1如 1.2平滑概率分布给低概率 Token 更多机会输出更多样、更有创造性。Top-k / Top-p (核采样)Top-k只从概率最高的 k 个 Token 中采样。Top-p从累积概率超过 p 的最小 Token 集合中采样。 这两种方法都能在保持多样性的同时避免采样到极低概率的荒谬 Token。5. 连接训练与推理损失函数与梯度下降理解了推理我们就能倒推模型是如何通过训练获得这种能力的。5.1 预训练目标下一个 Token 预测在预训练阶段模型的目标非常简单给定一个文本序列的前 N 个 Token预测第 N1 个 Token。这被称为“因果语言建模”或“自回归语言建模”。训练过程简述从海量文本中截取一段如“今天天气很好我决定去公园散步。”输入模型“今天天气很好我决定去公园”模型对序列中每一个位置都输出一个对下一个 Token 的预测。计算损失比较模型在位置i预测的概率分布与真实的下一个 Token位置i1的 Token ID之间的差异。通常使用交叉熵损失函数。通过反向传播和梯度下降调整模型的所有参数嵌入矩阵、注意力权重、前馈网络权重等让这个损失越来越小。用数十亿甚至数万亿的这样的文本片段反复训练模型就逐渐学会了语言的语法、事实、逻辑和风格。5.2 从微调到 RLHF对齐人类意图基础模型虽然知识渊博但可能生成有害、偏见或无用的内容。对齐Alignment旨在解决此问题。指令微调 (Instruction Tuning)使用高质量的“指令-输出”对如“写一首关于春天的诗” - “春眠不觉晓...”对基础模型进行有监督微调。这让模型学会遵循指令的格式和意图。基于人类反馈的强化学习 (RLHF)这是 ChatGPT 等模型惊艳表现的关键。步骤1收集比较数据。让人类标注员对模型同一个提示的多个回复进行排序哪个更好。步骤2训练奖励模型。用一个单独的模型奖励模型学习人类的偏好它可以给任何“提示-回复”对打一个分数预测人类会多喜欢这个回复。步骤3强化学习微调。将指令微调后的模型作为“策略”用奖励模型的打分作为“奖励信号”使用 PPO 等强化学习算法进一步微调模型。模型通过试错学习生成能获得更高奖励即更符合人类偏好的回复。6. 工程实践中的关键考量6.1 硬件与计算巨大的资源消耗训练需要成千上万个高端 GPU如 H100集群训练数周甚至数月耗资巨大。推理内存显存瓶颈模型参数、KV缓存用于加速生成过程都需要加载到 GPU 显存。一个 70B 参数的模型仅加载参数就需要超过 140GB 的显存假设 FP16 精度。这催生了量化Quantization、模型切分Model Parallelism等技术。计算瓶颈生成每个 Token 都需要进行一次完整的前向传播虽然比训练快但对于长序列或高并发计算量依然惊人。6.2 提示工程与模型沟通的艺术提示是用户控制模型行为的首要工具。有效的提示工程基于对模型运转机制的理解。系统提示 (System Prompt)在对话开始时设定模型的角色和行为准则如“你是一个有帮助的助手...”。少样本学习 (Few-shot Learning)在提示中提供几个输入-输出的例子引导模型进行类比学习。思维链 (Chain-of-Thought)在复杂推理问题中提示模型“一步一步思考”鼓励其展示中间推理步骤能显著提升逻辑和数学能力。格式约束明确要求输出 JSON、XML、Markdown 等格式利用模型在训练中见过的模式。6.3 常见问题与排查思路问题现象可能原因排查与解决思路模型输出无关或胡言乱语提示不清晰模型温度过高上下文过长导致注意力分散。1. 优化提示明确指令和上下文。2. 降低温度参数如设为0.2-0.8。3. 尝试少样本示例。4. 检查并缩短输入长度。生成内容重复循环重复惩罚参数设置过低模型陷入局部概率峰值。1. 启用并调整“重复惩罚”repetition_penalty参数。2. 使用 Top-p 采样替代贪婪采样。3. 稍微提高温度增加随机性。输出不符合指令格式模型未经过相应指令微调提示中格式说明不足。1. 在提示中提供清晰、具体的格式示例。2. 考虑使用专门针对该任务微调过的模型。推理速度极慢模型过大硬件不足未启用 KV 缓存生成长度设置过长。1. 使用量化版本模型如 GPTQ, AWQ。2. 确保推理框架支持并启用了 KV 缓存。3. 设置合理的max_new_tokens。4. 升级硬件或使用云 API。回答包含事实性错误幻觉这是大模型的固有缺陷之一训练数据中存在错误或模型过度泛化。1. 提示模型“基于已知信息回答”或“如果不知道就说不知道”。2. 进行检索增强生成RAG让模型参考外部知识库。3. 对关键事实进行二次验证。7. 最佳实践与进阶方向理解成本与权衡更大的模型通常能力更强但部署和推理成本呈指数增长。根据实际需求延迟、成本、精度选择合适规模的模型。优先使用 API 或微调模型对于绝大多数应用直接调用成熟的大模型 API如 OpenAI GPT, Anthropic Claude或使用开源微调模型如 ChatGLM, Qwen, DeepSeek比从零预训练要现实和经济得多。构建可观测性在生产环境中记录模型的输入、输出、延迟、Token 使用量以及用户反馈。这有助于监控成本、发现潜在问题并持续优化提示。安全与合规底线必须设置内容过滤层对模型的输入和输出进行审查防止生成有害、违法或偏见内容。永远不要将未经检查和过滤的模型输出直接呈现给用户。拥抱 RAG检索增强生成对于需要精确、最新知识的场景将大模型与外部知识库如向量数据库结合。让模型根据检索到的相关文档来生成答案能有效减少幻觉并提升专业性。探索智能体Agent架构让大模型扮演“大脑”通过调用工具搜索、计算、执行代码、进行规划拆解任务和反思检查结果来完成复杂任务这是当前最重要的应用范式之一。大模型的运转从一个简单的 Token ID 开始经过嵌入层的语义注入在 Transformer 层中通过自注意力完成复杂的上下文融合最终通过前馈网络和层层归一化转化成一个预测下一个 Token 的概率分布。这个过程的循环往复便诞生了我们所看到的流畅文本。掌握其内部机制并非为了徒增复杂性而是为了让我们能更自信、更高效地运用这项技术。当你在设计提示词时你会想到 Token 的边界当你在调整生成参数时你会理解温度与采样背后的概率游戏当模型出现“幻觉”时你会明白这是其自回归生成本质带来的固有挑战并知道如何通过 RAG 等技术来缓解。技术的核心在于理解理解之后便是创造。希望这篇近万字的拆解能为你点亮大模型这个“黑箱”中的一盏灯让你在 AI 的浪潮中不仅是一个使用者更成为一个明明白白的创造者。