如果你跟我一样是写代码出身这几年一定被问过无数次“现在大模型都这么强了还有必要从零开始学AI工程吗”我自己的体会是这个问题的答案取决于你到底想当“用户”还是“工程师”。用API、搭Agent、做RAG这是用户视角几天就能上手但如果你想在模型输出异常时定位到是位置编码的问题想读懂一篇新架构论文想自己训练并部署一个能完成推理任务的小模型那“AI engineering from scratch”这条路绕不开也省不掉。这篇文章我想把我自己从零开始走通这条路的过程、踩过的坑、以及一套可以照着执行的路线图完整分享出来。它不适合只想赶紧调通接口的人适合的是愿意花三个月到半年用“自己动手构建”的方式把AI工程真正吃透的人。1. “从零开始”的边界在哪里不是重新发明轮子而是重走关键轮子的设计之路很多人一听“from scratch”就慌以为要像教科书那样从晶体管理论开始造芯片。不是的。我理解的从零是把你日常调用、训练、部署AI时遇到的核心概念每一步都亲手实现一遍最小可用版本直到你能用自己的代码解释这些概念为止。1.1 从API调用到亲手实现改变的是你的调试能力举个最直观的例子你调大模型API发现同样的Prompt有时候正常有时候胡言乱语。如果是纯用户视角你只能换个Prompt试试运气不好就换模型。但如果你自己实现过注意力机制你就会立刻想到检查输入序列里是否存在异常长文本、位置编码的序列长度是否超过训练上限、温度参数是否过高导致概率分布过度平滑。这就是心智模型的差异。黑盒调用者靠玄学调参白盒构建者靠机制定位。AI工程的核心能力从来不是“会调用”而是“会拆解”这正是“从零开始”带给你最值钱的东西。1.2 哪些轮子值得重走哪些轮子可以跳过我给自己定过一个原则凡是在你实际工作中大概率会碰到、且出了问题需要你深入排查的模块都要动手实现一遍凡是你纯当工具用的外围组件了解原理即可。值得完整实现的我用一张表列出来模块为什么值得手写实现到什么程度线性回归 / Softmax分类器理解梯度下降的直觉所有后续模型的基石能手动求梯度并实现完整训练循环多层感知机MLP理解反向传播与非线性表达力手写反向传播不用自动求导完成一轮更新Transformer 编码器/解码器预训练模型的绝对核心实现多头注意力、残差、LayerNorm、FFN分词器Tokenizer数据入口影响一切下游效果亲手实现BPE的合并逻辑自注意力各组件训练Debug必备能解释并手工推导QKV维度和记忆体逻辑不值得重写的也有比如CUDA底层优化、分布式通信协议、具体集群调度。这些属于基础设施原理层了解工程层直接用成熟方案就好。1.3 我把“徒手算维度”当成入门考试这里分享一个我建议初学者反复练习的题目给定输入形状为[batch8, seq_len1024, d_model768]的张量过一层标准多头注意力12头每个头维度64请写出每一步张量的形状变化。q是[b, 1024, 12, 64]或合并维度后是[b, 12, 1024, 64]k同理注意力分数是[b, 12, 1024, 1024]softmax之后乘v得到[b, 12, 1024, 64]再转置合并回[b, 1024, 768]。能一口气写清楚这些说明你对注意力机制的空间结构有了最基础的直觉。这个直觉在后续所有模型调试里都会反复用到。2. 地基三件套数学、机器学习、深度学习到底要掌握到什么程度干这行最难回答的问题之一就是“数学要学多深”。我的答案很务实学到能读懂论文公式、能手推关键推导、能排查数值问题的程度就行不需要成为数学家。2.1 数学学这些就够了但必须真能用线性代数方面向量矩阵运算、特征值分解、奇异值分解、矩阵求导和链式法则的顺序思维这几样最常用。概率论方面常见分布、极大似然估计、贝叶斯公式、信息论里的熵和交叉熵这决定了你怎么设计损失函数、怎么理解采样。微积分方面偏导数、梯度、链式法则这是反向传播的全部基础。数值计算方面数值稳定性、梯度消失和梯度爆炸这直接关系训练成败。我见过太多人卡在线性代数上被SVD劝退。其实在AI工程里你真正高频使用的就是把矩阵乘法写成维度批量运算、理解权重矩阵的秩对表达力的影响、识别数值溢出风险。2.2 机器学习不止是调库核心是“验证思维”如果只学一个概念我选“验证”。为什么因为训练模型本质就是反复做假设验证假设结构能拟合数据分布假设优化器能收敛假设这个超参数组合更优。没有验证思维就会变成盲人摸象。建议你重新理解过拟合、偏差方差权衡、正则化和数据划分这四件事。它们听起来基础但在后续做强化学习训练推理模型时你会发现评估集的设计、奖励模型的泛化能力全都围绕同样的逻辑展开。2.3 深度学习的两个分水岭第一个分水岭是能否不看任何参考徒手写出一个三层的反向传播。第二个分水岭是能否把Transformer论文里的公式逐行翻译成张量操作。跨过这两个分水岭你再读任何新模型论文都会轻松很多。我自己的检查方法是每周挑一篇新发表的模型论文强迫自己在两天内完成一个极简复现。不追求性能只追求核心模块跑通。这个方法进步极快也最能检验地基是否扎实。3. 手搓一个推理模型为什么“从零到Reasoning”是一条最优路径网络热词里最近很流行“build a reasoning model from scratch”我深以为然。大模型从“会对话”到“会推理”是一个质的跨越而实现这个跨越所需的思维链构造、强化学习对齐、评测体系设计恰好把AI工程的全部关键节点串起来了。以它为目标项目比单独学某个知识点高效得多。3.1 先搞清楚这里说的推理模型不是逻辑推理中文里“推理”容易跟传统AI专家系统的“逻辑推理”混淆。这里说的reasoning是模型在给出最终答案前先生成一段逐步思考的中间过程从而提高复杂问题正确率的能力。你见过的“思维链”“自我反思”都属于这个范畴。这类能力可以通过训练让模型获得典型的做法是先用高质量思维链数据做监督微调再用强化学习让模型学会自我探索。3.2 模型架构选型我会这样选既然目标是训练一个小规模推理模型我不会从绝对零开始而是选一个成熟基座做继续训练或者用成熟开源权重做初始化。这么做有两个好处一是省掉海量预训练的成本二是能集中精力把“对齐”和“推理能力提升”这两个环节吃透。具体选型上我推荐Decoder-only结构并搭配这四件套组件选择理由位置编码RoPE外推能力强训练Pre和Post的坑少归一化RMSNorm比LayerNorm省算力稳定激活函数SwiGLU同样参数下表达力更好注意力变体GQA减少KV Cache占用推理性价比高如果你用的是7B或13B级别的通用模型也可以跳过预训练直接微调。但如果目标是把整条链路打通建议还是用百亿以下参数、千亿以上token练一个小模型全流程体验一遍。3.3 三步训练法普通语言模型怎么变成推理模型我用过一个相对成熟的三阶段方案分享出来供你参考。第一步是预训练或继续预训练。目标是让模型具备基本的语言能力和知识覆盖。损失函数用交叉熵关注点是loss是否稳步下降、困惑度是否合理。第二步是监督微调SFT。目标是让模型养成输出思维链的习惯。这一步的核心是数据思维链数据的质量直接决定最终推理能力。数据来源可以是从已有强模型中蒸馏也可以人工标注有代表性的推理轨迹。注意思维链不是越长越好要有节制地让模型学会关键步骤而不是废话堆砌。第三步是强化学习。比较推荐GRPO这类轻量方案它的好处是不需要单独训练价值网络显存压力和实现复杂度都更低。奖励信号可以来自答案正确性、格式规范性、思维链长度的惩罚项等多个维度。这一步的目标是让模型在探索中自己发现更高效的推理路径而不是只会复读训练数据里的思维链。3.4 显存和算力的现实账不是非得有几卡A100很多人一算预训练成本就放弃了但这里有一个务实的替代路径用LoRA在消费级显卡上微调一个7B模型把训练数据重点放在思维链和推理指令上跑完GRPO变体。这条路依然能让你完整经历“数据构造→SFT→RL→评估→部署”的全部工程环节只是规模小一点。我算过一笔账1B模型用BF16混合精度权重占2GB梯度2GB优化器状态如果用AdamW大约12GB激活值视序列长度而定。一张24GB显存的显卡跑1B模型勉强能全参微调跑7B就需要LoRA。有条件上多卡就用张量并行跑7B的BF16训练两张A100基本可以覆盖。4. “训练完成”只算完成了前半程数据、评估、部署才是AI工程的地平线模型loss降下去那一刻很多人长舒一口气但我必须泼一盆冷水对AI工程师来说训练完成只代表前半程结束。数据质量、评估体系、部署性能这三块才是把模型从“能跑”变成“能用”的关键。4.1 数据管线的设计原则脏数据比烂模型更可怕训练一个推理模型数据配比很讲究。通用语料、数学、代码、思维链样例、安全对抗样例各自的占比决定了模型最终的能力偏向。数据清洗阶段要做去重、敏感信息过滤、语言过滤这些听起来不性感但效果立竿见影。一个常见的反直觉经验训练数据不一定要最多但一定要最干净。数据噪声直接表现为loss震荡和生成质量的随机性变差这些在事后极难排查。另外强烈建议你在数据管线里加上自动质检流程定期抽检若干条样本人工确认标注是否符合预期。4.2 评估体系要放在训练之前设计这是我从失败里学到的最大教训。第一次训模型时我训完了才去找评估集结果发现评估任务和训练数据分布差异过大完全不知道模型改进方向。正确做法是训练开始前就确定一份包含通用能力、代码能力、数学能力、推理能力四个维度的评估集并建立一套可重复的评测脚本。推理模型的评估尤其要小心“正确率幻觉”。模型可能给出的最终答案正确但思维链里全是胡编的中间步骤。所以评估时要同时看三件事最终答案正确率、关键中间步骤的逻辑连贯性、以及思维链的平均长度。理想情况是强化学习训练后平均正确率上升同时思维链长度没有无限膨胀。4.3 部署不是把权重文件拷到服务器就完了模型训练完你马上会面对推理延迟、吞吐量、并发压力这些工程问题。KV Cache是第一个要优化的点缓存历史计算过的Key和Value避免每个token都重新计算全部历史。KV Cache的显存占用大约等于2 × 层数 × 头维度 × 序列长度 × 字节数大模型跑长序列时非常惊人。框架层面我建议直接用vLLM或同类方案。它们的核心是PagedAttention技术把KV Cache按页管理类似操作系统内存分页有效降低碎片化。量化方面用INT8在绝大多数场景损失极小INT4在推理任务上要重点验证正确率衰减不要无脑压缩。4.4 训练过程的可观测性别让模型在黑暗中进化训练大模型时我从不断跑一个轻量日志系统。至少需要追踪训练loss、验证loss、梯度范数grad norm、学习率、缩放因子如果用混合精度和每个评估基准的单独得分。梯度范数是我个人的最优先关注项。如果梯度范数突然飙升又恢复通常是数据里有异常样本如果持续逼近极大值则大概率是数值不稳定或者学习率过大。Loss突然spike很多时候不是模型坏了而是某些数据批次的分布极端先定位到具体样本再动手。5. 三个月实践路线图每个阶段做什么、交什么、怎么验收这章直接给大家一份我验证过的、可执行的节奏表。它默认你每天能投入两到三小时周末全天上大任务。如果时间不够可以拉长周期但顺序不建议乱。5.1 第1到第4周基础补课与迷你实现周次任务产出物第1周数学快速回炉重点是矩阵求导和概率完成10道典型推导题第2周手写线性回归和MLP实现反向传播一个不依赖自动求导的可训练MLP第3周手写Transformer核心块注意力、FFN、Residual、LayerNorm的完整实现第4周自己写BPE分词器并跑通一个mini语言模型两千万token训练级的mini模型第4周最关键。哪怕模型很小只要你能用自写代码从数据到模型完整跑通一次训练循环你就过了最艰难的门槛。5.2 第5到第8周从普通语言模型迈向推理模型第5到第6周任务是数据准备和SFT。你要准备一份指令数据集和一份思维链数据集并用第4周的代码做监督微调。产出是模型能在限定领域内按步骤回答问题。第7到第8周任务是对齐和强化学习。我会建议你直接用一个开源7B模型做LoRA变体实验把对比组设为“只SFT”和“SFT强化学习”在数学、代码、谜题三类评测集上做对照。这样你能直观看到思维链和强化学习带来的效果提升。5.3 第9到第12周工程化与最终交付第9到第10周搭数据与评测闭环固化数据清洗、去重、评测脚本形成一条“训练一批评估一批”的流水线。第11周完成部署用vLLM做并发推理实测吞吐和延迟尝试INT8量化对照正确率。第12周整合成Demo附带完整的训练报告、评测报告、部署文档。这三个月走完你会发现你不再依赖任何单一框架对模型内部机制的每个环节都有自己的判断。6. 那些文档里不会写的坑与经验最后分享一些实操中反复有人摔跤的点希望你能少走弯路。第一个坑是盲目追求数据量。很多人以为推理模型效果差是因为数据集不够大实际往往是指令数据里混入了大量低质量重复样本。我见过一个实验砍掉百分之三十的低质量数据之后评估分数不降反升。第二个坑是只盯loss而忽略文本质量。语言模型的loss降到一定程度后就很难再反映质量差异了。尤其是思维链数据复杂度指标可能很接近但实际生成内容完全不在同一水平必须抽样肉眼检查。第三个坑是复现论文只见骨架、没见细节。论文里经常省略的“小东西”学习率的预热步数、权重衰减策略、输出层的缩放因子、数据Shuffle的随机种子这些全都会显著影响复现效果。从论文到可靠复现之间往往隔着一堆没人写出来的配置组合。第四个坑是忽略数值稳定性。做混合精度训练时如果不做损失缩放很容易出现loss突然飞掉或者出现NaN。出问题先查输入数据有没有NaN或极端值再查梯度最后才怀疑优化器。第五个坑是我个人反复提醒自己的别把模型想成“万能引擎”。哪怕是训练好的推理模型也只在它见过的推理模式范围内表现好。工程上的破解办法是体系化组件配合该用搜索就用搜索该用外挂工具就用外挂工具不要迷信单一模型。关于学习资源市面上一批“从零构建大语言模型”类的书籍和教程质量都不错我的建议是你不要只当读者要一边读一边复现代码并且把书里的实验在自己的小语料上跑一遍。凡是能跑通的教程才是真正属于你的经验否则只是别人的目录而已。走到这里如果你问我“从零开始”最终给你留下的是什么我的答案是一种面对任何新模型都不慌的底气。看到一张新架构图你不会只知道这东西“看起来很强”而是有能力拆解它的每一个设计动机判断哪些是核心、哪些是包装甚至能徒手构造一个它的迷你版。这个东西一旦学会就没人能拿走。如果你也想踏上这条路我的最后一个建议是别等所有基础都打好了再动手挑一个最感兴趣的模型组件先用今天的周末把它从零实现出来。从第一行代码跑通到loss开始下降的那一刻起你会发现题图上的所有困难都有了明确的答案。