神经网络从零到英雄Micrograd Makemore 完整学习指南含动手步骤【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero如果你只想看视频看懂神经网络却没真正亲手把它训练出来那这个项目就是为你准备的。nn-zero-to-heroNeural Networks: Zero to Hero把神经网络最核心的两部分——反向传播和语言模型——拆解成一连串边讲边写的 Jupyter Notebook 教程带你从最朴素的微积分推导一路走到类 Transformer 的语言模型是神经网络学习这件事上少见的从零讲透的完整教程。为什么这套神经网络教程值得你花时间市面上的教程要么直接调框架 API让你会用但不懂要么纯推导数学让你懂但不会动手。这个项目的定位刚好卡在中间每一步代码都从零手写配视频逐行讲解让你既看得见原理也摸得着实现。亮点说明全程从零手写反向传播、MLP、BatchNorm 等核心组件全部手动实现不靠现成轮子课程脉络清晰从标量级微梯度到字符级语言模型再到卷积结构难度平滑爬坡Notebook 即讲义每个视频对应的 lectures 目录下的 Jupyter Notebook 可直接运行、可改可玩覆盖现代技术点MLP、批归一化、卷积WaveNet 风格结构等 GPT 时代的核心积木都包含在内一句话总结它解决的是我看过很多神经网络教程但为什么还是不会调、不会改、不会修这个问题。上手前的准备工作数学与工具要求先说结论门槛不高但有两个前提。数学方面课程假设你记得高中微积分——会求导、知道链式法则长什么样就够后面推导会一步步带着你走。线性代数里矩阵乘法的基本概念建议顺手复习一下。工具方面你只需要三样东西Python主要语言变量、循环、类的基本语法要熟PyTorch从 Makemore 系列开始使用尤其是torch.Tensor的使用方式Jupyter Notebook课程所有代码都在这里交互式运行建议装一个本地环境建议先花半小时把 Python 和 Jupyter 跑通再进入正式内容这样第一节课就不会卡在环境问题上。核心内容拆解从 Micrograd 到 Makemore 你都在学什么整个仓库就是 lectures 目录下的两条主线按顺序读即可。第一站Micrograd——把反向传播彻底讲透对应文件在 lectures/micrograd/分上下两篇 Notebook前半篇micrograd_lecture_first_half_roughly.ipynb后半篇micrograd_lecture_second_half_roughly.ipynb这里的micrograd是一个只有几十个代码量的小库用 Python 类实现带梯度的标量运算每个数值背后都挂着一张计算图记录它是怎么一步步算出来的。前半篇带你搭起这张计算图后半篇完成反向传播的自动求导。学完你能做什么——你能自己从零实现一个会训练的网络并且知道loss.backward()那一行下面到底发生了什么这是后面所有内容的基础。第二站Makemore——从字符预测一路搭到类 GPT 结构lectures/makemore/ 下共有 5 个递进式 Notebook目标是训练一个字符级语言模型即给定前文预测下一个字符最终能生成像人名这样的文本二元组Bigram模型makemore_part1_bigrams.ipynb。用查表的方式统计相邻两个字符的规律同时建立语言建模的完整框架训练、采样、用损失函数负对数似然评估好坏。这是入门最友好的一课。MLP 语言模型makemore_part2_mlp.ipynb。把查表换成神经网络并系统引入机器学习的基本纪律学习率调参、超参数、训练/验证集划分、过拟合与欠拟合的判断。激活函数、梯度与 BatchNormmakemore_part3_bn.ipynb。深入 MLP 内部检查前向激活和反向梯度的统计分布理解为什么深度网络训练这么脆弱并亲手实现 Batch Normalization批归一化——一种把每层数值掰回合理区间的技巧。手写反向传播makemore_part4_backprop.ipynb。不调框架的自动求导手动沿交叉熵损失 → 线性层 → tanh → BatchNorm → 线性层 → 词嵌入表一路推梯度。做完这一课你就拿到了作者口中反向传播忍者的段位。卷积结构WaveNet 风格makemore_part5_cnn1.ipynb。把 MLP 加深、扩展成树状结构得到一个类似 WaveNet 的卷积网络同时熟悉torch.nn的用法和真实深度学习开发的样子读文档、追踪张量形状、在 Notebook 和工程代码之间切换。这条路线学完你具备的正是理解现代 Transformer / GPT 类语言模型所需的全部积木——再往后看大模型论文时很多名词对你来说只是换个名字而已。上手步骤四步开始你的神经网络之旅克隆仓库拿到全部讲义和 Notebookgit clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero打开 Jupyter 进入 lectures 目录先打开 micrograd 前半篇把每个单元格都跑一遍建议配合对应的视频讲座观看README 中每节课都附了视频链接。动手验证把 Notebook 里的网络结构改一改——比如给 Micrograd 加一个新运算或把 Makemore 的隐藏层神经元数量改大/改小观察训练损失曲线的变化看你能不能解释这个变化。按 1 → 2 → 3 → 4 → 5 的顺序走完 Makemore 系列每个 Notebook 都建立在前一个之上不要跳课。回顾自检学完 第 4 课 后尝试合上视频自己把反向传播如何穿过一层 BatchNorm推导一遍能写出来才算真正过关。避坑指南几条来自课程本身的学习建议循序渐进别跳着看。Makemore 第 5 课GPT 相关明确建议先看完前面的课否则张量形状和语言建模框架会成为看不懂的拦路虎。边看视频边敲代码。作者在第 4 课特别提示这一课不适合纯观看——先自己做题卡住了再暂停视频看解答直接抄答案收获会大打折扣。重视诊断习惯。第 3 课花了大量篇幅讲如何用可视化观察激活值和梯度的分布——这个看网络健康度的习惯是你将来调试任何深度模型的看家本领建议刻意练习。卡住时先查文档。第 5 课刻意保留了读文档、记张量形状的真实开发体验别嫌烦这正是课程想训练的能力。适合谁学完能收获什么这套教程最适合有 Python 基础、想真正搞懂神经网络内部机制的初学者和普通开发者——不是要你会调包而是要你会拆包。学完你将收获从零手写反向传播的能力看懂并调试框架的自动求导独立完成一个字符级语言模型的全流程数据、训练、采样、评估对深度网络训练为什么难有了第一手感性认识并掌握 BatchNorm 等关键手段结语从 micrograd 的第一个标量类到 makemore 里能生成名字的字符语言模型这条路线不长但每一步都踩在实处。现在就克隆仓库、打开第一个 Notebook你的神经网络从零到英雄之旅从这里开始。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考