资讯详情

资讯详情

nn-zero-to-hero 完整指南:手写反向传播,一步步搭出神经网络

nn-zero-to-hero 完整指南手写反向传播一步步搭出神经网络【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero你看过不少深度学习讲解、能听懂但坐下来自己写梯度就卡住这个仓库就是冲着你来的。nn-zero-to-hero 用 7 个笔记本让你手写反向传播、一步步训练神经网络。跑完它们每一步梯度你都能手推出来。仓库很小就 1 个 lectures 目录、7 个 Jupyter 笔记本外加 1 份 README。你拿到手的不是一堆现成模型而是完整的推导过程。打开仓库第一眼 东西全在 lectures/ 里分两条线。lectures/micrograd/ 放 2 个笔记本是第一讲的前后半场先手搓一个标量自动求导引擎自动算链式法则的小工具再把它搭成可训练的网络。lectures/makemore/ 放 5 个笔记本从 bigram 一路走到 MLP、BatchNorm、手推反向传播最后搭一个类似 WaveNet 的卷积网络。根目录的 README.md 是课程目录8 讲各写了主题和前置要求每讲都指向对应笔记本。按这个顺序走 ✅先克隆到本地git clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero跑通 micrograd 两个笔记本搞懂标量层面的链式法则。这步跳过后面的自动求导全成黑盒。从makemore_part1_bigrams.ipynb入手熟悉 torch.Tensor张量。这一讲只加了一层字符级 bigram 语言模型。依次推 part2 到 part5每步只加一层复杂度MLP、BatchNorm、手写反向传播、CNN。每讲结束回看 README 的练习要求卡住就重读对应笔记本别硬往前冲。最容易翻车的三件事 ⚠️跳过 micrograd 直奔 makemore求导原理变黑盒part4 的手写反向传播基本做不动。纠正先把 micrograd 上半场跑完再开。part4 只看不写这一讲要求你先自己推一遍梯度光看收获打对折。纠正卡住就暂停视频推完再对答案。找第 7、8 讲 GPT 的笔记本仓库里暂时没有这两讲目前只有视频笔记本只覆盖 1 到 6 讲。纠正别白找等讲到那里再看 README 给的入口。自测适不适合你适合刚入门、想弄清反向传播到底在算什么的人天天用 PyTorch 但从没手写过自动求导的开发者。 也适合对 GPT 原理感兴趣的 NLP 方向学习者。 不适合只想快速调用现成模型出效果的这套课节奏偏慢直接看框架官方教程更快。 前置微积分底子薄先复习导数和链式法则否则第一讲会很吃力。别再收藏了今晚就打开 micrograd 第一个笔记本跑起来。等你自己能推完 part4 的每一步再去看 GPT 那讲感觉完全不一样。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →