人工智能快速发展，大语言模型（LLM）持续迭代升级。为帮助开发者快速掌握核心架构原理，AI专家Sebastian Raschka推出LLM Architecture Gallery（大语言模型架构画廊），以高度可视化、交互式的方式系统梳理主流开放权重模型的技术演进路径，引发全球技术社区广泛关注。
Karpathy等业界权威公开点赞。项目元数据及源码已全面开源至GitHub。
漫步架构画廊
该项目在Hacker News等平台引发热议，网页采用沉浸式交互设计，集中呈现自2019年基准模型至2026年春季最新开放权重模型的完整架构图谱。
用户点击任一模型名称，即可查看高清架构面板，清晰标注词嵌入、位置编码、归一化方式、前馈网络结构、注意力头数、隐藏层维度、上下文长度等关键参数。
每个模型配套简洁数据表，涵盖参数量、发布日期、解码器类型、注意力机制等信息，并内嵌GQA（分组查询注意力）、MLA（多头潜在注意力）、SWA（滑动窗口）、Gated DeltaNet（门控Delta网络）等前沿技术的通俗解释。
开发者无需反复查阅原始论文，即可直观对比模型间的继承关系与设计差异。全部数据开源托管于GitHub，支持社区协作更新与反馈。
洞悉演进本质
纵观2019—2026年发展脉络，当前顶尖开放权重模型在宏观结构上仍延续早期Transformer范式——核心仍为堆叠注意力层与前馈网络。性能跃升主要源于算力扩展与强化学习等新型训练范式的引入。
微观架构创新则呈现多元化趋势，焦点集中于内存优化与计算效率提升：
- Llama 4与DeepSeek V3均采用混合专家（MoE）架构，但Llama 4沿用GQA优化推理速度，DeepSeek V3全面采用MLA大幅降低KV缓存显存占用；
- Mistral Large 3同样基于MLA设计，仅进一步扩大专家网络规模；
- 通义千问Qwen3在传统注意力层中融合Gated DeltaNet，显著降低长文本处理的计算复杂度；
- 英伟达Nemotron 3 Nano将Mamba-2状态空间模型与注意力机制结合，探索兼顾推理速度与文本连贯性的混合架构路径。
Sebastian手绘的系列架构图，为行业提供了高透明度的技术演进观察窗口。相较于闭源模型的“黑盒”运作，开放权重模型生态正通过可视化对比，加速技术收敛与标准形成——哪些方案被验证淘汰，哪些设计成为新共识，一目了然。
Sebastian Raschka简介
Sebastian Raschka在人工智能与机器学习领域深耕超十年，兼具学术与工业界经验：曾执教于美国威斯康星大学麦迪逊分校统计系，现任职Lightning AI担任LLM研究工程师，专注模型实现、系统训练与高性能工程开发。
他倡导“动手即真知”的实践理念，坚信唯有亲手编写代码、逐层追踪数据流，才能真正理解模型本质。其GitHub账号拥有数万关注者，《LLMs-from-scratch》仓库Fork超1万次。
2024年出版《Build a Large Language Model (From Scratch)》，摒弃现成框架，全程使用Python+PyTorch，在普通笔记本上复现GPT级基础模型。内容覆盖数据准备、架构设计、预训练、微调全周期，并将注意力机制、Tokenizer、LayerNorm等抽象概念转化为可运行代码。
配套17小时视频课程深化实操理解；2026年推出续作《Build a Reasoning Model (From Scratch)》，聚焦逻辑推理能力构建。
参考资料：