Karpathy 发布 4 小时重磅教程：从零复现 GPT-2 模型
距 Andrej Karpathy 上一期 AI 课程更新已逾一月，其最新推出的“从零到英雄（Zero To Hero）”系列视频正式上线。本次课程时长达 4 小时，创下该系列时长新高，内容聚焦于从零开始构建并训练一个拥有 1.24 亿参数的 GPT-2 模型。
Karpathy 将本期课程总结为“全面”。这是一份手把手的教学指南，即便是人工智能初学者，跟随教程也能完成 GPT-2 模型的搭建。视频发布数小时内，播放量即突破 11 万次。
课程核心流程涵盖以下关键步骤：
- 构建 GPT-2 神经网络架构；
- 优化模型以实现快速训练；
- 参考 GPT-2 与 GPT-3 论文，配置训练超参数及运行优化策略；
- 启动模型评估与生成测试。
Karpathy 表示，经过“过夜”训练后的模型表现，已接近原生 GPT-2（124M）甚至部分 GPT-3 的水平。华裔天才少年 Alexandr Wang 评价称，Karpathy 的视频如同流行音乐巨星发布的新单曲，是开发者必看的内容。
课程核心内容详解
GPT-2 背景与选型逻辑
课程伊始，Karpathy 回顾了 2019 年 OpenAI 发布 GPT-2 的历史背景及相关论文。本次复现选择 1.24 亿参数版本，源于 GPT-2 发布初期的迷你系列中，该规格具有代表性。通过 Scaling Law 定律可知，随着模型规模扩大，下游任务性能通常随之提升。该 1.24 亿参数的 Transformer 架构包含 12 层网络及 768 个通道。
相较于五年前，如今复现该模型的成本大幅降低。在云端按需启动 GPU 实例（如使用 Lambda GPU Cloud），仅需约 1 小时及 10 美元成本即可完成训练。
技术栈迁移与代码实现
在代码复现环节，Karpathy 指出原版 GPT-2 基于 TensorFlow 编写，但当前主流已转向更友好的 PyTorch。为提升开发效率，课程选用 Hugging Face 上基于 Transformer 重构的 GPT-2 代码库作为基础。
教程详细演示了如何从 Hugging Face 导入模型、初始化 PyTorch NN 模块以及解析模型内部参数形状（如 Token 嵌入权重维度为 50257x768）。若需复现更大的 15 亿参数模型，仅需在配置中添加相应后缀即可。
四大核心模块精讲
整个 4 小时课程划分为四个主要部分，涵盖从构建到微调的全流程：
- 架构实施：亲手编写 GPT-2 神经网络模块；
- 训练加速：利用混合精度训练技术，将 GPU 运算时间压缩至毫秒级；
- 超参数优化：深入讲解 AdamW 优化器、梯度剪裁等关键训练策略；
- 结果验证：对比复现模型与原版 GPT-2、GPT-3 的性能表现。
最终结果显示，模型训练损失持续下降，生成效果显著。这门干货满满的大课为开发者提供了一条低成本、高效率的大模型学习路径。