1. 从零手搓AI工程为什么我不建议你直接调包很多人一上来就想搞个大模型应用第一反应是找API、装框架、跑通一个Demo然后觉得自己“入门AI工程”了。但真到了要优化推理速度、控制显存占用、排查输出异常的时候整个人是懵的——因为你跳过了所有底层环节根本不知道数据在每一层里到底经历了什么。ai-engineering-from-scratch这个方向核心不是教你调库而是让你亲手把矩阵乘法、反向传播、注意力机制、训练循环这些东西用最基础的工具实现一遍。它解决的是一个很具体的问题当你面对一个不工作的AI系统时你能不能从第一性原理出发定位问题而不是靠猜和试。适合谁看适合已经会用Python、懂一点线性代数、但每次看到model.fit()背后发生了什么就心里发虚的开发者。也适合那些想转行AI工程、但被各种框架版本和抽象层劝退的人。我自己的体会是手搓一遍之后再看PyTorch的源码和文档很多以前觉得“莫名其妙”的设计突然就通了。比如为什么nn.Linear的权重初始化要用Kaiming而不是均匀分布为什么LayerNorm要放在注意力之前而不是之后这些在调包时根本不会去想的问题手写一遍全都会暴露出来。2. 环境准备与工具选型别让环境问题消耗你的耐心2.1 为什么我坚持用NumPy起步而不是直接上PyTorch手搓AI工程的第一步是选工具。很多人会问既然PyTorch已经这么成熟了为什么还要用NumPy从零写我的理由很直接NumPy没有自动求导没有GPU加速没有优化器你被迫理解每一个计算步骤。当你用NumPy实现一个两层MLP的时候你必须手动写出前向传播的矩阵乘法、手动推导反向传播的梯度公式、手动更新权重。这个过程很痛苦但正是这种痛苦让你真正记住链式法则在代码里长什么样。等你用NumPy把MNIST分类跑通之后再切到PyTorch你会发现loss.backward()和optimizer.step()不再是黑盒你知道它们背后在做什么。这个顺序不能反。2.2 最小依赖清单与版本锁定我建议的起步环境非常干净python -m venv ai-scratch source ai-scratch/bin/activate # Windows用 ai-scratch\Scripts\activate pip install numpy matplotlib jupyter就这三个。numpy负责所有数值计算matplotlib用来可视化损失曲线和权重分布jupyter方便你逐块调试。不要一上来就装PyTorch、TensorFlow、CUDA工具链那些等你手搓完一个完整训练循环之后再装。版本方面NumPy 1.24以上、Python 3.10以上就够了。我踩过的坑是某些旧版NumPy的矩阵乘法运算符在特定形状下会有隐式广播行为导致梯度计算出错但不会报错。所以建议锁定一个较新的稳定版。注意如果你用的是Apple Silicon芯片NumPy的BLAS后端默认可能不是最优的。可以装numpy时确保它链接了Accelerate框架否则矩阵乘法会慢很多。检查方法np.show_config()看blas信息。2.3 目录结构从第一天就养成工程习惯手搓不等于乱写。我建议的目录结构是这样的ai-scratch/ ├── notebooks/ # 探索性实验 ├── src/ │ ├── layers.py # 各种层的手写实现 │ ├── losses.py # 损失函数 │ ├── optim.py # 优化器 │ └── model.py # 模型组装 ├── data/ # 数据集存放 └── tests/ # 梯度校验测试这个结构的好处是当你从NumPy切换到PyTorch时layers.py里的类可以保留接口不变只换内部实现。tests/目录尤其重要后面讲梯度校验时会详细说。3. 核心细节解析手搓AI工程到底要搓哪些东西3.1 从矩阵乘法到全连接层理解维度的流动一切从y xW b开始。看起来简单但手写的时候你会遇到第一个坑维度的对齐。假设输入x的形状是(batch_size, in_features)权重W的形状是(in_features, out_features)偏置b的形状是(out_features,)。前向传播就是x W bNumPy的广播机制会自动把b加到每一行上。但反向传播就没这么直观了。你需要计算三个梯度对输入的梯度dX、对权重的梯度dW、对偏置的梯度db。公式是dX dY W.TdW X.T dYdb dY.sum(axis0)我第一次写的时候把dW写成了dY X.T结果形状对不上调试了半天。后来养成了一个习惯每次写完梯度公式先检查形状是否匹配。dW的形状必须和W一样db的形状必须和b一样dX的形状必须和X一样。形状不对公式一定错。3.2 激活函数为什么ReLU的反向传播要缓存掩码ReLU的前向传播是max(0, x)反向传播是dY * (x 0)。关键在于反向传播时需要知道前向传播时哪些位置是大于0的。所以你在前向传播时必须缓存一个布尔掩码mask x 0反向时用dY * mask。我见过有人反向时重新计算x 0但如果x在前向和反向之间被修改了比如in-place操作结果就会错。所以缓存掩码是必须的这也是为什么PyTorch的nn.ReLU会有inplace参数——inplace会破坏缓存导致梯度错误。Sigmoid和Tanh的反向传播更复杂一些需要用到前向的输出值。Sigmoid的导数可以用输出表示sigmoid(x) * (1 - sigmoid(x))。所以前向传播时缓存输出y反向时用dY * y * (1 - y)。这个技巧在实现时很实用避免了重新计算指数。3.3 损失函数交叉熵的数值稳定性陷阱交叉熵损失是分类任务的标准配置。公式是-log(softmax(logits))[正确类别]。但如果你直接按公式实现会遇到数值溢出问题当logits很大时exp(logits)会变成inf。解决方案是log-sum-exp技巧先减去logits的最大值再做softmax。具体来说def softmax(x): x_shifted x - np.max(x, axis-1, keepdimsTrue) exp_x np.exp(x_shifted) return exp_x / np.sum(exp_x, axis-1, keepdimsTrue)这个减法不会改变softmax的结果因为分子分母同时乘以了exp(-max)。但数值上稳定得多。我实测过不加这个技巧在MNIST上训练到后期loss会突然变成nan加了之后全程稳定。交叉熵的反向传播有一个非常优雅的结果dLogits softmax(logits) - one_hot(label)。也就是说你不需要单独计算softmax的梯度和log的梯度它们合在一起简化成了这个形式。这个结论在手推的时候需要用到链式法则但代码实现时直接用这个结果就行。3.4 优化器SGD的动量为什么能加速收敛最基础的SGD更新是W W - lr * dW。但实际训练中纯SGD收敛很慢尤其是在损失曲面有“峡谷”形状的时候——梯度在某个方向上很大另一个方向上很小导致震荡。动量法的思路是维护一个速度变量v它是历史梯度的指数加权平均。更新变成v momentum * v - lr * dW W W v这样在梯度方向一致的维度上速度会累积加速前进在梯度方向来回震荡的维度上正负梯度会相互抵消减少震荡。我手写的时候用momentum0.9在MNIST上比纯SGD快了将近一倍达到相同的准确率。Adam优化器更复杂一些它同时维护一阶矩和二阶矩的估计并做偏差校正。手写Adam的时候容易漏掉偏差校正那一步导致训练初期更新步长异常大。偏差校正是这样的m_hat m / (1 - beta1 ** t) v_hat v / (1 - beta2 ** t)其中t是步数从1开始。漏掉这个前几步的更新会非常大loss直接飞掉。4. 实操过程从零搭建一个完整的训练循环4.1 数据加载与预处理为什么归一化如此重要以MNIST为例原始像素值是0到255的整数。如果你直接把这些值喂给网络梯度会非常大训练几乎不可能收敛。标准做法是归一化到0到1之间或者标准化到均值0、方差1。我习惯的做法是先转成float32除以255再减去0.5这样范围变成-0.5到0.5。为什么不是0到1因为以0为中心的输入能让梯度更新更稳定权重可以在正负两个方向更新而不是总往一个方向拉。标签方面需要做one-hot编码。手写一个one_hot函数很简单def one_hot(labels, num_classes): return np.eye(num_classes)[labels]但要注意如果你的标签是(batch_size,)的形状np.eye(num_classes)[labels]会返回(batch_size, num_classes)正好符合要求。4.2 前向传播逐层组装与缓存前向传播的过程就是逐层调用forward方法并把每一层的输出缓存下来供反向传播使用。我习惯用一个列表来存缓存caches [] x input_data for layer in layers: x, cache layer.forward(x) caches.append(cache)每一层的forward返回两个东西输出和缓存。缓存的内容因层而异全连接层缓存输入X、权重W、偏置bReLU层缓存掩码maskDropout层缓存掩码和缩放因子。这个设计的好处是反向传播时可以按相反顺序遍历caches每一层只需要自己的缓存就能计算梯度。4.3 反向传播链式法则的代码化反向传播从损失函数开始逐层往回传梯度。伪代码是这样的grad loss_fn.backward(predictions, labels) for layer, cache in zip(reversed(layers), reversed(caches)): grad layer.backward(grad, cache)这里的关键是每一层的backward必须返回对输入的梯度这样上一层才能继续往回传。同时层内部要计算对权重的梯度并存储起来供优化器更新。我踩过的一个坑是忘记在backward里返回梯度导致上一层的梯度是None然后报错。后来养成了习惯每个backward函数的最后一行一定是return dX。4.4 梯度校验手搓代码的保命符手写反向传播最容易出错的地方是梯度公式。你觉得自己推对了但代码里可能有个转置写反了或者符号搞错了。梯度校验是检测这些错误的标准方法。原理很简单用数值微分近似梯度和你的解析梯度对比。对于某个参数W数值梯度是def numerical_grad(f, W, epsilon1e-5): grad np.zeros_like(W) it np.nditer(W, flags[multi_index]) while not it.finished: idx it.multi_index old_val W[idx] W[idx] old_val epsilon f_plus f(W) W[idx] old_val - epsilon f_minus f(W) grad[idx] (f_plus - f_minus) / (2 * epsilon) W[idx] old_val it.iternext() return grad然后比较np.linalg.norm(analytical_grad - numerical_grad) / (np.linalg.norm(analytical_grad) np.linalg.norm(numerical_grad))如果小于1e-7说明梯度实现正确。这个校验很慢因为每个参数都要计算两次前向传播。所以只在小网络上做比如输入维度2、隐藏层3、输出1这样的规模。但就是这个小校验帮我抓出了至少五次梯度错误。注意梯度校验时要把Dropout关掉因为Dropout有随机性数值梯度会不稳定。同时要用双精度浮点数float64float32的精度不够。4.5 训练循环批大小与学习率的配合完整的训练循环包括打乱数据、分批、前向传播、计算损失、反向传播、更新参数。我习惯在每个epoch结束后打印平均损失和准确率。批大小的选择有讲究。太小比如1会导致梯度噪声大训练不稳定太大比如整个数据集会导致内存不够而且梯度更新次数少收敛慢。MNIST上我常用64或128。学习率方面纯SGD用0.1到0.01带动量用0.01到0.001Adam用0.001到0.0001。一个实用的技巧是学习率预热前几个epoch用较小的学习率然后逐步增大再衰减。但手搓阶段可以先不搞这么复杂固定学习率跑通再说。4.6 权重初始化为什么不能全零如果所有权重初始化为0那么每一层的所有神经元输出相同反向传播时梯度也相同更新后仍然相同。这叫做对称性问题网络永远学不到东西。正确的做法是随机初始化。对于ReLU激活函数推荐Kaiming初始化权重从均值为0、标准差为sqrt(2 / fan_in)的正态分布中采样。其中fan_in是输入维度。对于Sigmoid或Tanh推荐Xavier初始化标准差为sqrt(1 / fan_in)。我实测过用Kaiming初始化比用简单的0.01 * np.random.randn收敛快很多尤其是在深层网络中。5. 常见问题与排查技巧实录5.1 损失变成nan从数值稳定性入手这是手搓AI工程最常见的问题。原因通常有三个学习率太大、log(0)出现、指数溢出。排查顺序是先检查学习率是否过大然后检查损失函数里有没有log(0)的保护最后检查softmax有没有做log-sum-exp。我遇到过一次损失在第三个epoch突然变nan。查了半天发现是学习率0.1太大梯度爆炸了。降到0.01就好了。所以学习率是你第一个应该怀疑的参数。5.2 准确率不涨检查数据预处理和标签对齐如果损失在下降但准确率不动很可能是标签和预测对不上。比如你做了one-hot编码但计算准确率时用了argmax和原始标签比较维度不匹配。或者数据归一化时均值方差算错了。另一个常见原因是数据没有打乱。如果训练数据按类别排序每个batch里全是同一个类别梯度方向会非常偏网络很难学到有区分性的特征。5.3 梯度校验通过但训练不收敛检查优化器更新梯度校验通过说明反向传播的公式是对的但训练不收敛可能是优化器的问题。比如学习率太大导致震荡或者动量参数设置不当。我遇到过动量设成0.99结果速度累积太大直接冲过了最优点。还有一个隐蔽的问题是参数更新时用了错误的梯度。比如你把dW存到了layer.dW但优化器读的是layer.grad_W名字对不上更新时用的是旧值或零。这种bug不会报错但训练完全无效。5.4 常见问题速查表现象可能原因排查方法损失变nan学习率过大、log(0)、指数溢出降低学习率、加epsilon、用log-sum-exp损失不降权重初始化全零、数据未归一化检查初始化、检查数据范围准确率不动标签不对齐、数据未打乱检查标签形状、打乱数据训练极慢批大小太小、未用向量化增大批大小、检查是否有for循环梯度校验失败转置错误、符号错误逐元素对比数值梯度和解析梯度过拟合严重模型太大、无正则化加Dropout、L2正则、减小模型5.5 独家避坑技巧从NumPy到PyTorch的平滑过渡手搓完NumPy版本后切换到PyTorch时我建议保持相同的代码结构。比如你写了一个Linear类在PyTorch里也定义一个Linear类但内部用nn.Linear。这样你可以逐层替换每替换一层就跑一次测试确保输出一致。另一个技巧是用torch.from_numpy()把NumPy数组转成Tensor然后用torch.allclose()比较两个版本的输出。如果差异在1e-5以内说明替换正确。这个方法帮我快速定位了PyTorch和NumPy在padding、stride等细节上的差异。6. 从手搓到工程化下一步可以怎么扩展手搓一遍之后你对AI工程的理解会完全不一样。接下来可以往几个方向扩展一是加入卷积层和池化层理解图像任务中参数共享和局部连接的意义二是实现一个简单的Transformer手写自注意力机制理解为什么它比RNN更适合长序列三是加入批量归一化和LayerNorm理解它们对训练稳定性的影响。我自己的路径是NumPy MLP → NumPy CNN → NumPy Attention → PyTorch复现 → 实际项目。每一步都会遇到新的坑但每一步都让你对“AI工程”这四个字的理解更深一层。最后再分享一个小技巧把你手搓的代码和PyTorch的对应模块做数值对比写成一个测试脚本每次修改后跑一遍。这个习惯能帮你省下大量调试时间。