本地推理被看轻，常常是因为它看起来不够新。
云上每天换模型，自己桌上的显卡还是去年装的。新不新，不是这场争论的核心。核心是 Token 在哪生产，以及生产一次要向谁付钱。
显卡、内存、硬盘买下来之后，成本已经发生了。写作、剪片、打游戏、训练一个小实验，都在用同一笔折旧。让模型也跑在这上面，增加的是电，是风扇的声音，是磁盘里多出来的模型文件。它和云上「每千 Token 一个价」不是同一种账单。用得越多，单次越接近电费；云上用得越多，账单越接近一条直线往上。
数据也跟着留在原地。代码仓库的上下文、合同草稿、会议录音转写，如果模型就在这台电脑上，请求不必先到公网另一端再回来。断网的午后，已经装好的模型还在。这个差别平时不明显，在不能把材料送出去的那一天会非常明显。
本地的短板同样具体，不该藏着。
环境麻烦。Python、显卡驱动、Ollama、Docker，每一样都能让人在第一晚放弃。单机有上限。4GB 内存的机器不该去拉 30B 的模型，卡片上写着 RTX 4090 的，就不要承诺集显也能流畅跑。模型要自己选。选错了，体验会比云上的旗舰差一截，然后人们得出一个过宽的结论：本地不行。
不行的是「把旗舰云的期待，原样压到任意一台电脑上」。行的是按机器挑模型，把够用的任务留在本地。
算力帮的客户端，把这件事收成一个可以看的首页：先确认本机环境，再决定要不要开始接单。健康分、已安装的运行时、下一步是装文本模型还是准备图像，都摆在同一屏。
本地会赢下日常，不是因为参数更漂亮，而是因为短板可以被产品补上，成本结构却补不上云的那一边。装环境的麻烦，应该由客户端解决；显卡已经在桌上这件事，云厂商解决不了。
下一篇，把两场争论叠回去：闭源对开源，云端对本地，为什么日常市场最后会站到开源加本地。
阅读原文：https://www.1ai1ai.com