━━

黄仁勋最近在一场活动上说了一句话，大意是：买GPU算Token，比买Token本身更划算。

这句话信息量极大。我来给你拆解一下，这句话背后藏着什么。

━━

黄仁勋原话解读：Cadence Live 2026的完整语境

先把这个事件说清楚。

2026年3月，Cadence Live大会，黄仁勋作为Keynote嘉宾出席。在和Cadence CEO对谈时，有人问了一个问题："企业在AI上的投入，ROI到底怎么算？"

黄仁勋的回答很长，但核心就三句话：

第一句："如果你现在花$1 Million买GPU，运行你自己的AI推理任务，成本会比持续购买API服务便宜得多。"

第二句："GPU的Token吞吐量（tokens per second per dollar）每年翻倍，但API的价格下降得没那么快。"

第三句："所以，**当你预计AI使用量超过某个临界点，买自己的GPU就是更理性的选择。**"

这三句话，是黄仁勋对AI经济学的一次非常直白的表态。

翻译成人话就是：**别一直租我的Token了，买我的GPU吧。**

但这句话同时也在说另一件事：**Token经济学，存在一个临界点。在临界点之上，自建更划算；在临界点之下，租更划算。** 理解这个临界点，是每个AI决策者的必修课。

━━

Token成本公式：到底怎么算？

要理解黄仁勋在说什么，得先把Token的成本公式搞清楚。

Token成本，有三个核心变量：

**1. 吞吐量（Throughput）—— GPU每秒能生成多少Token**

这是GPU的核心能力。H100的FP16吞吐量是3,958 TFLOPS，但实际AI推理效率取决于模型大小、批处理大小、显存带宽等因素。

对于Llama 3 70B这样的模型，H100的单卡吞吐量大约是：

• 输入处理（Prefill）：约5,000 tokens/秒
• 输出生成（Decode）：约2,000 tokens/秒
• 综合效率：约60~70%（考虑上下文长度变化）

GB200由于有更大的显存带宽和更新的架构，综合效率可以达到80%以上。

**2. 利用率（Utilization）—— 你的GPU有多忙**

这是成本控制的关键。GPU买回来，如果利用率只有20%，那你就是在烧钱。

行业平均水平：

• 云计算环境：30~50%平均利用率
• 企业内部部署：15~40%（取决于业务特性）
• 高度优化的超大规模厂商：70~85%

利用率越高，每个Token分摊的GPU成本越低。

**3. 能效比（Performance per Watt）—— 每瓦电力换来多少Token**

这是2026年新战场。AI能耗问题越来越突出。

H100的TDP（热设计功耗）是700W

H200是700W（同功耗，更大内存）

GB200是1,200W（功耗更大，但性能更强）

算一下Token/瓦/秒：

• H100：约2.9 tokens/瓦/秒（70B模型综合）
• GB200：约6.7 tokens/瓦/秒（70B模型综合）

GB200的能效比是H100的2.3倍。这意味着同样的电费，GB200能产出2.3倍的Token。

三个变量合在一起，每个Token的GPU成本 = GPU总价 ÷ (Token吞吐量 × 利用率 × 有效运行时间) + 电力成本 ÷ Token产出

━━

三代芯片成本对比：H100 vs H200 vs GB200

用具体数字说话。

场景：企业运行Llama 3 70B模型，每天处理1亿Token的AI推理请求。

| 参数 | H100 SXM | H200 SXM | GB200 NVL72 |

|------|----------|----------|-------------|

| GPU价格（2026） | $25,000 | $30,000 | $180,000 |

| FP16算力 | 3,958 TFLOPS | 3,958 TFLOPS | 7,600 TFLOPS |

| 显存 | 80GB HBM3 | 141GB HBM3e | 192GB HBM3e/GDDR7 |

| 功耗（TDP） | 700W | 700W | 1,200W |

| 70B模型吞吐量 | 2,000 tokens/s | 2,400 tokens/s | 5,000 tokens/s |

| 推理效率（%） | 65% | 72% | 85% |

| 每GPU每日Token产出 | 112M | 149M | 367M |

| 电费/天（$0.1/kWh） | $16.8 | $16.8 | $28.8 |

| 单Token GPU成本 | $0.00022 | $0.00020 | $0.00049 |

| 单Token总成本（含电） | $0.00023 | $0.00021 | $0.00052 |

（计算假设：GPU 3年折旧，24小时满载运行，每年1亿Token）

对比API定价：

| 服务商 | 模型 | Input价格/M tokens | Output价格/M tokens | 平均 |

|--------|------|---------------------|---------------------|------|

| OpenAI | GPT-4o | $2.50 | $10.00 | $6.25 |

| Anthropic | Claude 3.5 Sonnet | $3.00 | $15.00 | $9.00 |

| Google | Gemini 2.0 Flash | $0.10 | $0.40 | $0.25 |

| AWS | Bedrock (Titan) | $0.0008 | $0.0032 | $0.002 |

看这个对比：

• 自建H100：$0.00023/Token（综合）
• GPT-4o API：$6.25/Token（Output）
• Claude 3.5 API：$9.00/Token（Output）
• Google Gemini Flash API：$0.25/Token

GPT-4o的Output价格是自建H100的**27,000倍**。这个差距，不是一点半点。

但注意：Google Gemini Flash的$0.25/Token，已经接近自建成本了。这说明，**API市场正在快速压缩成本空间**。

━━

企业级ROI计算器：电商AI客服案例

来一个具体场景，让你感受一下Token经济学在实际业务中的计算。

**场景：中型电商，月处理客户咨询100万次**

每次咨询平均：

• 输入Token：500（用户问题+历史上下文）
• 输出Token：200（AI回答）
• 总计：700 Token/次

每月总Token消耗：100万 × 700 = 7亿Token

**方案A：纯API方案（GPT-4o）**

Input成本：7亿 × 500 / 100万 × $2.50 = $8,750

Output成本：7亿 × 200 / 100万 × $10.00 = $140,000

**月总成本：$148,750**

**方案B：自建H100集群（3台服务器，每台8卡H100，共24卡）**

硬件成本：24 × $25,000 = $600,000

服务器+网络+机房：$200,000

总计：$800,000（3年折旧，每年摊销$267,000，每月$22,000）

电费：24卡 × 700W × 24h × 30天 × $0.1/kWh = $1,209/月

运维人力：$5,000/月（兼职运维工程师）

月总成本：$22,000 + $1,209 + $5,000 = **$28,209/月**

**方案C：混合方案（轻量任务用Google Gemini Flash，复杂任务用GPT-4o）**

假设：70%简单问题用Gemini Flash，30%复杂问题用GPT-4o

- Gemini部分：7亿 × 70% = 4.9亿Token，平均$0.25/Token = $12,250

- GPT-4o部分：7亿 × 30% × 500/100万 × $2.50 = $2,625（Input）

7亿 × 30% × 200/100万 × $10.00 = $42,000（Output）

- GPT-4o部分小计：$44,625

**月总成本：$56,875/月**

**ROI对比（vs 纯API方案）：**

| 方案 | 月成本 | 12个月累计 | vs 纯API节省 |

|------|--------|-----------|-------------|

| 纯API（GPT-4o） | $148,750 | $1,785,000 | — |

| 方案B（自建H100） | $28,209 | $338,508 | **节省81%** |

| 方案C（混合） | $56,875 | $682,500 | 节省62% |

自建方案12个月省下**$1,446,492**。

但前提是：你得有足够的Token量。100万次/月咨询，是个中型电商的规模。如果你的业务量只有10万次/月，自建方案可能就划不来了。

这就是黄仁勋说的"临界点"——在哪里？

粗略公式：**月Token量 > (硬件月摊销 + 电费 + 运维) ÷ (API单Token成本 - 自建单Token成本)**

对于GPT-4o场景，临界点大约在**月均Token消耗 > 1,500万Token**（约等于月均2万次API调用）。

对于Claude场景，临界点更低，大约在**月均Token消耗 > 500万Token**。

━━

超大规模厂商AI Token定价策略：三大云对比

说完企业视角，来看云厂商。

AWS、Azure、Google Cloud，这三家在AI Token定价上，走的是完全不同的策略。

**AWS Bedrock**

定价策略：相对保守，品类多但价格不是最便宜的。

• Titan Text（自研）：$0.0008/1K Input，$0.0032/1K Output
• Claude via Bedrock：和Anthropic官方类似，有小幅溢价
• Llama 3（Meta）：$0.00035/1K Input，$0.00105/1K Output
• Stable Diffusion（图像）：$0.00018/图

核心定位：企业级，稳定，有AWS生态支持，但价格偏高。

**Microsoft Azure OpenAI Service**

定价策略：和OpenAI官方联动，价格体系基本一致，但Azure的企业客户有议价空间。

• GPT-4o：$2.50/1K Input，$10.00/1K Output
• GPT-4 Turbo：$10.00/1K Input，$30.00/1K Output（已降价）
• DALL-E 3：$0.04/图

核心定位：深度集成Microsoft 365 Copilot生态，企业买Microsoft服务时捆绑购买AI能力。

**Google Cloud Vertex AI**

定价策略：最激进，用低价抢市场。

• Gemini 1.5 Flash：$0.10/1K Input，$0.40/1K Output
• Gemini 1.5 Pro：$1.25/1K Input，$5.00/1K Output
• Gemini 2.0 Flash（最新）：$0.075/1K Input，$0.30/1K Output
• Imagen 2.0：$0.020/图

核心定位：低价切入，用Gemini Flash打价格战，同时强调模型的上下文窗口优势（100万Token上下文）。

**三大云厂商定价对比（代表性模型）**

| 服务商 | 模型 | 1M Input成本 | 1M Output成本 |

|--------|------|-------------|-------------|

| AWS Bedrock | Claude 3.5 Sonnet | $3.00 | $15.00 |

| Azure | GPT-4o | $2.50 | $10.00 |

| Google Cloud | Gemini 1.5 Flash | $0.10 | $0.40 |

| AWS Bedrock | Llama 3 70B | $0.35 | $1.05 |

Google Cloud的Gemini Flash，价格是GPT-4o的**1/25**。

这个差距已经大到，企业在做AI选型时，不能只看"哪个模型最强"，还得看"哪个模型最划算"。

对于很多场景，Gemini Flash的100万Token上下文，加上极低的定价，已经足够替代GPT-4o了。只有在真正需要最强推理能力的场景，GPT-4o才值得那个溢价。

这是Google在AI时代的一张牌：用低价换市场份额，用市场换数据，用数据优化模型，形成正向循环。

黄仁勋说的"买GPU比买Token便宜"，这句话对Google同样成立——Google自用的TPU，成本远低于给客户开出的API价格。

━━

黄仁勋的商业逻辑：剃须刀+刀片模式

分析完数字，现在说说商业模式。

黄仁勋的核心逻辑是什么？**让你买GPU，然后你用GPU算Token，顺便继续买我的软件生态。**

这是经典的"剃须刀+刀片"模式。

吉列卖剃须刀很便宜，但刀片很贵。赚的是刀片的钱。

英伟达卖GPU很贵，但GPU计算Token的成本，每年都在指数级下降。英伟达赚的是：

第一层：GPU硬件的钱（明面上的）

第二层：CUDA生态的钱（隐形的）——你买了GPU，就自动进入了CUDA生态，各种工具、库、优化方案都是基于CUDA的

第三层：云服务绑定的钱（未来的）——DGX Cloud等英伟达云服务，让你继续在英伟达的体系里消费

英伟达现在$2.3 trillion市值，靠的不只是卖芯片。靠的是让你"一旦进入英伟达生态，就很难离开"。

具体数字：

- 一台DGX H100服务器：$200,000，内含8块H100 GPU

- DGX Cloud月租：约$37,000/月/节点（包含硬件+软件+运维）

- 但如果你自己买GPU，同样的算力，自建成本大约是DGX Cloud的1/3

英伟达DGX Cloud贵在哪里？贵在"省心"。买了GPU，你还得自己运维、自己优化、自己解决各种bug。DGX Cloud帮你解决这一切——但代价是3倍的月成本。

这是另一种形式的"剃须刀+刀片"：硬件是"刀片"，服务是"剃须刀"。

━━

AI应用定价预测：Token成本下降趋势

Token的API价格，未来会怎么走？

看历史数据：

2023年初，GPT-3.5 Turbo：$0.002/1K Input tokens

2024年初，GPT-3.5 Turbo：$0.0005/1K Input tokens（降价75%）

2024年中，GPT-4o：$5.00/1K Input（比GPT-3.5贵10倍，但能力也强10倍）

2026年，Gemini Flash：$0.075~0.10/1K Input

规律：

1. 同等能力模型，价格每年下降40~60%

2. 更强能力的模型，单Token价格可能更贵，但绝对价值（per Token的产出价值）更高

3. 开源模型（如Llama 3）持续压低API定价下限

预测未来3年：

**2026年末**：Gemini Flash级别模型，$0.02~0.05/1K Input，GPT-4o级别模型，$1.00~2.00/1K Input

**2027年末**：入门级AI API（相当于现在Gemini Flash）：$0.005~0.01/1K Input，企业级主力模型：$0.30~0.80/1K Input

**2028年末**：大多数AI推理成本接近"近乎免费"，竞争转向应用层

这意味着什么？

对于AI应用开发者，Token成本会越来越不成为瓶颈。真正的问题变成：**你能用AI做出什么别人做不出来的产品？**

Token便宜了，但Prompt工程、数据工程、产品设计的价值，会越来越重要。

对于企业AI采购，Token成本会变成一个可以忽略的因素——如果你用AI赚回来的钱是Token成本的100倍，那$0.10/1K和$0.05/1K的差距，根本不重要。

重要的永远是：你的AI应用，在解决什么问题？

━━

创业者启示：选GPU还是选API？决策框架

好了，说了这么多数字和趋势，最后给一个实操框架。

作为创业者/决策者，当你面临"是自己买GPU，还是持续用API"的选择时，这个框架可以帮你做决策。

**第一步：算清楚你的临界点**

公式：

临界点（Token/月）= 固定成本（月均GPU折旧+运维+电费） ÷ 价差（API单Token成本 - 自建单Token成本）

如果你的月均Token消耗 > 临界点，选GPU

如果 < 临界点，继续用API

**第二步：评估你的技术能力**

自建GPU集群，需要：

- 至少1名专职MLOps工程师（月薪$15,000~25,000）

- 运维基础设施（监控、告警、备份）

- 容量规划能力（什么时候扩GPU，什么时候缩）

如果没有这个能力，或者团队还在10人以下，选API更合适——把精力放在产品上。

**第三步：评估你的业务特性**

问自己三个问题：

问题1：我的AI使用量可预测吗？

- 如果用量波动大（旺季多，淡季少），API更灵活

- 如果用量稳定且持续增长，自建更划算

问题2：我对延迟敏感吗？

- 如果延迟<500ms是核心体验（如实时客服），自建GPU可以给你更稳定的延迟

- 如果延迟1~3秒可接受（如文档分析、内容生成），API完全够用

问题3：我需要特定模型能力吗？

- 如果你必须用GPT-4o的某个能力，API是唯一选择

- 如果你的场景可以用Llama 3或Gemini Flash，自建的选择更多

**第四步：混合策略是最优解**

大多数情况下，"All in GPU"或"All in API"都不是最优解。混合策略才是：

- 日常流量：接入最便宜的API（如Gemini Flash），覆盖70~80%的请求

- 高价值流量：用最强模型（如GPT-4o），覆盖20~30%需要强推理的请求

- 超大规模且稳定的基础流量：自建GPU，承担你的核心AI负载

这样，你既享受了API的灵活性和模型多样性，又控制了核心成本。

一个典型混合架构的成本，可能是纯API方案的40~60%，但覆盖了90%以上的业务场景。

━━

阿腾判断

最后说说我对这个Token经济学局势的判断。

黄仁勋说"买GPU比买Token便宜"，这句话对吗？

**对，也不对。**

对，在于他描述的是事实：对于大规模、持续性的AI推理任务，自建GPU的成本确实可以比持续购买API便宜很多。

不对，在于他描述的是"充分条件"而不是"必要条件"。GPU自建，需要资本投入、技术能力、运维体系——这些门槛不是每个企业都能跨越的。

更重要的是：黄仁勋说这句话，是在他卖GPU的时候说的。

你不能指望卖斧头的人告诉你"不如直接用手砍"。

所以我的判断是：**Token经济学没有唯一正确的答案。**

未来3~5年，AI推理的成本会持续下降，但"买还是租"的选择，会变得更复杂——因为模型能力在分化，用例在分化，价格也在分化。

你需要建立的不是"选GPU"或"选API"的二选一思维，而是一套**动态评估和决策框架**——根据你的业务规模、技术能力、成本结构和竞争环境，随时调整你的AI基础设施策略。

这个框架，比任何具体的GPU选型建议都重要。

因为技术在变，市场在变，唯一不变的，是你自己对业务的理解，和你快速响应变化的能力。

**用AI，但不要被AI所困。**

━━

互动时间

你们公司现在用的是API还是自建GPU？成本结构是什么样的？

黄仁勋说的"临界点"，你在实际业务中感受到了吗？

评论区聊聊，说说你踩过的坑、走过的弯路，我挑几条在下期内容里详细拆解。

#英伟达#Token经济学#AI成本#H100#GB200#AI创业#阿腾学AI