🤗 大模型开源生态与硬件选型：从Hugging Face到GPU天梯榜
一、本章概览
第16章《大模型开源生态与硬件选型》是课程中最具生态视野与工程硬件视角的一章——从"大模型时代的 GitHub"Hugging Face 出发，到主流大模型横向对比、Open LLM Leaderboard 天梯榜，再到 GPU 选型推荐指南，全面覆盖大模型开发所需的开源生态与硬件基础。
核心内容速览：
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
二、大模型时代的 GitHub：Hugging Face
2.1 Hugging Face 是什么？
Hugging Face 是一家2016年成立、总部位于纽约的 AI 初创公司。最早开发的是聊天机器人，目标是为无聊的年轻人解闷，但该创意并未做大。转型的契机发生在 BERT 发布之后——Hugging Face 贡献了基于 PyTorch 的 BERT 预训练模型（pytorch-pretrained-bert），从此在 NLP 领域奠定了重要地位。
如今，Hugging Face 被誉为 **"大模型时代的 GitHub"**，是 AI 开发者最不可或缺的开源社区平台。
2.2 融资历程：从20亿到45亿美元
|
|
|
|
|---|---|---|
|
|
|
$20亿 |
|
|
|
$40亿 |
|
|
|
$45亿 |
★投资方包括 Lux Capital、红杉资本等知名机构。
2.3 与 Stability AI 的 Google Trends 对比
过去90天的搜索热度显示，Hugging Face 与 Stability AI 在 AI 社区中都具有极高的关注度，Hugging Face 的搜索关键词包括 hugging face ai、hugging face model、huggingface 等。
三、Hugging Face 开源社区生态
3.1 总体规模
|
|
|
|---|---|
|
|
300,000+ |
|
|
50,000+ |
|
|
100,000+ |
3.2 四大核心板块
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
3.3 Hugging Face 当周趋势榜
热门模型（部分）：
|
|
|
|
|---|---|---|
| WizardLM/WizardCoder-Python-34B-V1.0 |
|
|
| stabilityai/stable-diffusion-xl-base-1.0 |
|
|
| meta-llama/Llama-2-7b-chat-hf |
|
|
| meta-llama/Llama-2-7b |
|
|
| Phind/Phind-CodeLlama-34B-v2 |
|
|
热门数据集（部分）：
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
四、Hugging Face Transformers 库
4.1 项目信息
|
|
|
|---|---|
| 许可证 |
|
| 版本 |
|
| DOI |
|
| ⭐ Star | 111k |
| 🍴 Fork |
|
| 👁️ Watch |
|
4.2 支持的框架与模态
支持的深度学习框架：
PyTorch TensorFlow JAX
支持的模态与任务：
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
4.3 Transformers 的核心能力
★"Transformers provides APIs and tools to easily download and train state-of-the-art pretrained models. Using pretrained models can reduce your compute costs, carbon footprint, and save you the time and resources required to train a model from scratch."
五、Hugging Face 生态工具一览
|
|
|
|---|---|
| Transformers |
|
| PEFT |
|
| Accelerate |
|
| Optimum |
|
| Diffusers |
|
| Gradio |
|
| Hub |
|
| Inference Endpoints |
|
| Transformers.js |
|
| Huggingface.js |
|
| AWS Trainium & Inferentia |
|
六、大模型横向对比
6.1 主流大模型一览
以下是课程中整理的大模型横向对比表（部分代表性模型）：
|
|
|
|
|
|
|
|---|---|---|---|---|---|
| PaLM |
|
|
|
|
|
| LaMDA |
|
|
|
|
|
| OPT |
|
|
|
|
|
| FLAN |
|
|
|
|
|
| Flan-PaLM |
|
|
|
|
|
| Flan-T5 |
|
|
|
|
|
| mT5 |
|
|
|
|
|
| BLOOM |
|
|
|
|
|
| PanGu-α |
|
|
|
|
|
| PanGu-Σ |
|
|
|
|
|
| ERNIE 3.0 Titan |
|
|
|
|
|
| GLaM |
|
|
|
|
|
| MT-NLG |
|
|
|
|
|
| HyperCLOVA |
|
|
|
|
|
| WeLM |
|
|
|
|
|
| Sparrow |
|
|
|
|
|
| Anthropic |
|
|
|
|
|
| Yuan 1.0 |
|
|
|
|
|
★💡 从这张表可以看出，训练一个大模型需要数百到数千张 GPU/TPU，训练时间从数天到数百天不等，硬件成本极为高昂。
七、Open LLM Leaderboard（大模型天梯榜）
7.1 什么是 Open LLM Leaderboard？
Open LLM Leaderboard 是 Hugging Face 推出的开源大模型排行榜，旨在跟踪、排名和评估开源 LLM 及聊天机器人。它使用 Eleuther AI Language Model Evaluation Harness 作为后端评估框架。
7.2 四大评估指标
|
|
|
|
|---|---|---|
| ARC |
|
|
| HellaSwag |
|
|
| MMLU |
|
|
| TruthfulQA |
|
|
7.3 排行榜数据（部分）
|
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|---|
|
|
|
73.81 |
|
|
|
|
|
|
|
|
73.40 |
|
|
|
|
|
|
|
|
73.13 |
|
|
|
|
|
|
|
|
72.95 |
|
|
|
|
|
|
|
|
72.94 |
|
|
|
|
|
|
|
|
72.86 |
|
|
|
|
|
|
|
|
72.82 |
|
|
|
|
|
|
|
|
72.81 |
|
|
|
|
|
|
|
|
72.72 |
|
|
|
|
|
|
|
|
72.64 |
|
|
|
|
|
★可筛选维度：模型类型（pretrained / fine-tuned / instruction-tuned / RL-tuned）、精度、Hub License、参数量（< 1.5B / ~3B / ~7B / ~13B / ~35B / 60B+）
八、Llama 2 在 Hugging Face 上的情况
8.1 模型信息
|
|
|
|---|---|
| 模型名称 |
|
| 类型 |
|
| 框架 |
|
| 语言 |
|
| 点赞数 |
|
| 描述 |
|
| 相关论文 |
|
8.2 获取与使用流程
1. 通过 Meta 官网申请访问权限
2. 接受许可条款和可接受使用政策
3. 确保 Hugging Face 账户邮箱与 Meta 网站邮箱一致
4. 提交请求（处理需 1-2 天）
5. 同意共享姓名、邮箱和用户名给 Meta
6. 获取模型访问权
九、显卡选型推荐指南
9.1 GPU vs 显卡
"GPU（Graphics Processing Unit）"和"显卡"两者常被混用。严格来说：
-
GPU 是显卡上的核心计算芯片，负责图形渲染和并行计算 -
显卡 是包含 GPU、显存、散热、PCB 等组件的完整硬件产品
9.2 CUDA Core vs Tensor Core
★CUDA Core：通用并行计算核心，处理各种计算任务
Tensor Core：专门设计用于矩阵运算的硬件单元
★"机器学习、神经网络的时代到来。矩阵运算的计算量非常大……那就干脆……再来个Tensor Core，专门算矩阵。Tensor Core有着专门设计的硬件结构，可以把整个矩阵都载入寄存器中批量运算，有十几倍的效率提升。这简直是机器学习神器——自Volta架构发布以来，奠定了N卡在机器学习领域的江湖地位。"
9.3 N卡架构的Tensor Core演进
|
|
|
|
|
|---|---|---|---|
| Volta |
|
|
|
| Turing |
|
|
|
| Ampere |
|
|
|
| Hopper |
|
|
|
| Ada Lovelace |
|
|
|
★💡 Volta以来的每一代架构，除了制程上的进步，Nvidia也不遗余力地更新着他们的Tensor Core。
9.4 显卡性能天梯榜（Expreview 基准）
基准：GeForce RTX 4090（24G）= 100%
|
|
|
|
|
|---|---|---|---|
|
|
GeForce RTX 4090 (24G) | 100.0% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
★数据来源：Expreview GPU Rank（2013-2023年显卡对比），涵盖 NVIDIA、AMD、Intel Arc 三大厂商。
十、课程项目：GitHub openai-quickstart
|
|
|
|---|---|
| 项目名称 |
|
| GitHub |
|
| License |
|
| Stars |
|
| 定位 |
|
| 文档 |
|
★该项目为对 LLM 和 AIGC 应用感兴趣的任何人设计，提供理论基础、开发基础和动手实践示例。
📌 本章核心要点总结
|
|
|
|
|---|---|---|
|
|
Hugging Face 定位 |
|
|
|
四大板块 |
|
|
|
Transformers 库 |
|
|
|
生态工具链 |
|
|
|
大模型横向对比 |
|
|
|
Open LLM 天梯榜 |
|
|
|
Llama 2 获取流程 |
|
|
|
Tensor Core 革命 |
|
|
|
显卡天梯榜 |
|
|
|
架构演进 |
|
★📚 下一章预告：第17章——深入探讨大模型微调训练营的核心技术与实战，敬请期待！
本课程系列文章持续更新中，欢迎关注！🚀
本文整理自《AI 大模型应用开发实战营》第16章，讲师：彭靖田