自己机器上跑 Agent，已经能看到它开网页、点来点去、把活干完。本地 AI 实践者 0xSero 在家用多块 GPU 跑模型，这场分享里，他把这套流程从头演示了一遍，也讲了怎么用手上已有的算力去赚钱。
他演示的东西都很具体：让 Agent 去抓 AI 模型测试相关的岗位，它找到了 122 个，平均年薪 22 万美元；另一轮里他给了 Agent 一个 B12X 内核的 GitHub 仓库，让它把整个仓库读完，回答为什么这个内核比那个快。他也让 Agent 现场出图，还假设了一个做餐厅菜单模板的场景。他说这就是他讲的赚钱——不是去造一个复杂 App 卖给 VC，而是一步一步把身边的小事自动化。
0xSero 是美国本地 AI 实践者、开源开发者兼播客主，GitHub 公司栏填的是 Sybil Solutions，官网自述在家里用 8 张 3090 跑本地模型，他在 Hugging Face 发布了 40 多个 REAP 剪枝量化模型，也做过浏览器 Agent 扩展 parchi 和 Codex 手机客户端 litter。这场分享从显卡和显存门槛讲起，延伸到多进程地狱、Agent 运行框架的选择、漏洞赏金，以及本地跑 Agent 的成本账。他的主要观点包括：
16G 以上显存就能上手，但 24G 以上才算真的能跑有用的模型。 0xSero 说，任何有 16G 以上显存的机器都能用上；不到 16G 也还能跑点东西，但别指望跑出特别有用的结果。一块 RTX 3090 就挺能用了，因为能跑 Qwen 27B；用 turboderp 的 EXL3 2-bit 量化大概只占 10G，16G 显存也能带完整 KV 缓存。Mac 标着 24G 实际只有 16G 左右，GPU 是标多少用多少。
小模型要配系统提示词短的 Agent 框架，否则上下文全浪费在开场白上。 他本地用小模型时选 pi.dev，理由就是它的系统提示词特别短。24G 显存大概只有 13 万到 16 万 token 的上下文，如果系统提示词就吃掉五六万，剩下的空间根本不够干活。
同时开三十件事很容易，难的是盯住它们，以及别把系统拖垮。 他说 Codex 经常把开发服务器绑到错误端口直接暴露到公网，也不管安全问题；还会创建一大堆 Git 工作树，每建一个可能占几个 G，空间被模型占着，系统就用不了。他说自己需要一个在安全上更可配置的系统，至少用户隔离要做好，也提到 Herder 这类工具手机端支持不错（他自己也说记不太准）。
Agent 的价值在于把不友好的活跑通，这类任务跑六个小时也划算。 他给 Agent 一个 B12X 内核的 GitHub 仓库，让它读完整仓库再回答为什么这个内核更快；也让它去抓模型和硬件的行情数据。判断标准是三条：每个任务的成本、耗多少电、成功完成任务的概率。他说连 Qwen 27B 这种小模型现在都能跑通。
漏洞赏金是本地 Agent 可以合法接的活。 他说可以让模型直接进入允许入侵的目标，判断哪些攻击手法可能可行，然后逐个测试，前提是遵守规则、法律和赏金项目的要求。他说模型在这方面还挺强，小模型也行，这在他看来也是能赚钱的活。
本地数据的结论很直白：大多数人显存不到 24G，苹果芯片和英伟达几乎平分。 他说 local.ai 让用户接入 Hugging Face 数据，他们据此抓取用户登记的硬件，发现注册的三万五千人里差不多一半的人有数据，其中 37% 用苹果芯片、接近 36% 用英伟达，两千五百人用 AMD，一千人用 Intel；8G 到 24G 占了一半。这是他在节目里的自述数据。
这些模型是意志力和学习能力的延伸，它们永远不会嫌你烦。 他演示让 Agent 帮自己想清楚「在美国开公司、拿最好的税率、还要一个 Stripe 账户」该怎么办，做成一份带清单的 wiki。他的说法是这些东西极其有耐心，能一直干，你想问多少问题就问多少问题，所以没理由不用。
赚钱不是造一个复杂 App 卖给 VC，而是把身边小事一件件自动化。 他现场让 Agent 出图做成 logo，又假设了一个做餐厅菜单模板的场景。他的路线是拿这些产出做内容，再让 AI 剪视频、找数据，用手上已有的算力一步步把身边的小事自动化，不断放大自己能完成的工作量。
为什么要在自己机器上跑Agent：从GPU到显存门槛
0xSero：在你自己机器上跑 AI，你能看到它开网页、点来点去、干活，有时候还挺瘆人的。不过你能看出来它一直在干活，还在开新标签页。好，我这幅作品完成了，它找到了 122 个。
0xSero：平均每个岗位是 22 万美元。所以今天我们来了解一下本地 Agent，怎么用手上这台机器跑推理，再用这个推理去做一些能给你带来经济收益的事。我们要做的例子，一个是视频剪辑，还有一些调研工作。这是一个我做的 app，我提它是因为我想秀一下。
0xSero：我家里有 GPU。这些 GPU 我花了不少钱，以后我们打算把它们搬进一个小数据中心。反正是有这些 GPU。你手上任何有 16G 以上显存的机器都能用上；如果不到 16G，也还是能跑点东西，但我不指望你能跑出什么特别有用的结果，不过拿来学习是非常好的。如果你用的是 MacBook，我推荐 LM Studio，我现在打开它，所以装它是有意义的。
一块 RTX 3090 其实就挺能用了，因为你能跑 Qwen 27B 模型。16G 到 30G 显存的朋友，这是你能跑的最好的模型，速度可能会有点慢，但用 turboderp 的 EXL3 2-bit 量化，我记得大概只要 10G，所以你 16G 显存就能跑，还能带完整 KV 缓存。那 Intel Arc B70 是不是更值？Intel Arc B70 显存更大。
0xSero：不，现在价格差不多。Intel Arc B70 有 32G，但速度大概只有 3090 的 60%，不对，大概 70%。你可以用 4-bit 跑 Qwen 27B 模型还带完整上下文，效果比你想的好很多。行，我们说回正题。
0xSero：你会把不用的电脑卖掉吗？我确实卖。不过大部分我都送人了，也有人送过我一些硬件，所以对我来说基本不花钱。其实，我不怎么卖，主要是送人。我觉得如果预算紧，还是值得卖的，比如你有 DDR3 内存，可以卖掉换 DDR4，肯定要再贴点钱，但我觉得值。
0xSero：理想情况是你有 24G 以上。不好意思，你们还听得到我吗？我想说的是，最理想是有 24G 显存。到那个量级你才真的能跑有用的模型。用 Mac 的问题是，就算标着 24G，你也拿不到全部 24G，实际大概只有 16G 左右，因为系统本身要占；而用 GPU 的话，显存是多少你就能用多少，这点非常有用。
我们想做一个小自动化，去抓所有正规网站上跟 AI 模型测试相关的岗位，让它生成一个 HTML 文件列出所有岗位，再帮我搭一个作品集，占位内容也行，或者基于我给你的用户名来做。然后我们要自动去投这些岗位。要做到这点，你可能得想办法拿到这些岗位的邮箱，或者去 LinkedIn 上找到那家公司工作的人。这是一个多阶段的项目，我们是想做演示，所以先做第一部分：把 AI 测试岗位的自动抓取和跟踪做出来。
好，这就成了。基本上，我们有一个跑在本机的模型，你要想办法把它接到一个 Agent 运行框架上。小模型我用 pi.dev，因为它的系统提示词特别短。如果你有 24G 显存，上下文大概也就 13 万到 16 万 token，所以你肯定不想其中五六万 token 光花在系统提示词上。
我也在琢磨怎么摆脱 Mac。这些对我来说都很新，我以前基本没在客户端上用过 Linux，但我觉得现在换是个好主意，因为 macOS 根本不是为这些模型的吞吐量设计的——它们一次改多少文件、会引入什么样的安全问题，都不是它擅长的。同时在你机器上跑二三十个 agent，它真的撑不住。
多进程地狱：怎么盯住同时在跑的三十件事
0xSero：我需要一个在安全上更可配置的系统，至少用户隔离要做好。管这些东西简直是噩梦，挺难的。你是怎么保持整洁的？因为我可以同时做 30 件事，开一堆进程，但之后就很难盯住它们。有一些 app，比如 Herder，你们听说过吗，Herder。
如果我没记错的话，它对手机端的支持不错。有时候 Codex 会把这些开发服务器直接暴露到公网上：它经常这么干，绑到错误的端口，也不管安全问题，这一点你也得注意。另外它还会创建一大堆 Git 工作树，每建一个可能就占几个 G，最多能到好几 G，而这些空间被模型占着，你的系统就用不了。
0xSero：这是一个我做的简单插件。其实插件不是我写的，是 Pi 的 Mario Zechner 写的，我把它 fork 过来加了个桥接，让本地模型或者任何模型都能用——Pi 也好，OpenCode 也好，Codex 也好，反正这些都能让模型控制浏览器，类似 Codex 用 Codex 插件控制浏览器那样。你可以通过插件面板来用，就是右边这个，它现在正被占用，所以我现在打不开；也可以直接用命令行，模型用的就是命令行。
这个项目挺不错的，我觉得非常有用。它现在正在打开这些不同的网站，有哪些呢？Y Combinator、Remote OK、Wellfound、Built In、Indeed 和 LinkedIn。对，它现在干的就是这个。这非常有用，这才是 AI 真正开始有用的地方。你也可以让它去操作你的 LinkedIn，去加别人好友。他们可能会封你号，这是真实风险，我见过有人因为这么干被封，但也许值得折腾一下。
0xSero：点一下把它修好。这取决于它要打开的是哪个模型。我现在没有 DeepSeek 的额度，不然它马上就能修好。
还有，如果你想改系统里的东西，系统大部分是自动更新的。你可以让你的 agent 加个功能，比如我说，你给我做一个，我把你的插件标一下。
0xSero：这是显示这台机器上我所有的模型。就这样，很简单，但它能创建插件、面板和交互界面，然后直接插进操作系统里。所以你可以一边用，它一边自己更新。
你知道客户关系管理是什么吧？就是放你的线索、客户的地方。
0xSero：比如你在找工作，你就得有一份线索名单可以用。我就先写 Sarah，sarah.com。再来一个，随便什么。
0xSero：support@sarah.com。你也可以直接花钱买一个现成的，不必非得自己搭。好，把这个客户关系管理建起来，我们把它导入到所有地方。
让它自己干活：读内核仓库和跑市场调研
0xSero：AI一直在你机器上跑，你会看到它开app、点来点去、干活，有时候还挺瘆人的。我们回到这里，你能看到DeepSeek还在跑。从我们开始到现在大概有30分钟了吧，它还在跑，而且这段时间干了不少活，翻了很多链接。我能看到它一直在跳来跳去。
0xSero：一直在干活，非常好。这就是我建议你想办法去自动化的那类工作。我再举个例子。我想了解一下B12X内核，B12X是一组内核。
0xSero：这些内核是专门给RTX 4600系列优化的。所以我给了Agent一个GitHub仓库，让它把整个仓库读完，然后告诉我，为什么用这个内核会比那个内核快。
我跑的每个模型都配了一份Recipe，也就是一份配置，里面是一个docker容器，加上模型权重，加上这一堆东西。你把这个直接交给模型，它就知道怎么把模型装好、在你机器上跑起来，以及大概能跑到什么速度。
不过也不是所有项目都对Agent友好。像这种就特别友好，因为它本质上就是往系统里灌东西。但我可以让它自动跑起来，去抓数据、去测试、去试，不管我们要做什么。这就是我说的调研。比如我现在在写一篇文章，但我需要真实数据填进去，于是就让它去跑这些东西。
0xSero：现在都在卖什么模型、什么硬件？价格是多少？价格怎么变的？行情怎么走的？我们做过local.ai，用户可以把Hugging Face接进来，我们就去Hugging Face抓他们登记的硬件。结果在local.ai注册的三万五千人里，差不多一半的人有数据，其中37%用苹果芯片，接近36%用英伟达，两千五百人用AMD，一千人用Intel。我们还能看到大家报上来的显存有多少，大多数人不到24G。这看你怎么统计，但8G到24G占了一半。价格数据我们也能看到。
所以你应该能明白我的意思了。这里还有我对Agent运行框架和安全测试做的一些调研。我就是让模型去试着把活干出来。
能赚钱的活：漏洞赏金与本地跑Agent的账
0xSero：搞事情当然都是合法的，允许我入侵的东西，走的是漏洞赏金项目。你可以让模型直接进去，判断哪些攻击手法可能可行，然后逐个测试。只要你遵守规则、法律和赏金项目的要求，这也是能赚钱的活。模型在这方面还挺强，小模型也行。我们回到这边看看，对，它把邮件客户关系管理建好了，而且还在抓招聘岗位。
0xSero：你看，它还在干活。这就是我的意思。这个任务就算跑六个小时也无所谓，经济上依然划算。关键看三点：每个任务的成本是多少，耗多少电，以及成功完成任务的概率有多大。但只要能跑通就行，现在大多数模型都能跑通，连 Qwen 27B 这种小模型都能跑通。所以我建议你在家里试着搭一个这样的项目。
0xSero：如果可能的话，搭点跟你找工作有关的东西，或者帮你改简历，或者每天给你出一份新闻简报。我说的赚钱是什么意思呢？这些模型是你意志力和学习能力的延伸。
比如我在这儿输入：我想创业，我想在美国开公司，我不想花什么钱，但我想拿到最好的税率，自己给自己干活那种，我还想要一个 Stripe 账户，你告诉我怎么搞定。说白了，我完全不知道该怎么办，我想创业赚点钱，电脑我还算懂，你觉得我第一步该干什么？给我做成一个计划，然后在 Brave 里打开，做成一个带清单的 wiki，这样我就知道该做什么了。
这些东西极其有耐心，永远不会嫌你烦。它们能一直干，能一直帮你，你想问多少问题就问多少问题。
0xSero：没理由不用。所以你就直接上。你看，我的图做好了。这些模型生成的图不算最好的，可能有时候会让我惊喜一下，不过也够用了。
把身边的小事自动化：出图、做菜单、找岗位
0xSero：好，我们回来。它刚才没做出来，跑去调研了一圈艺术，然后把资料放这儿了。有点意思。哦不对，是这个，抱歉，这个才是——它把图做出来了，还放上去了。你可以想象，这就是一个 logo：你在做设计，然后你把设计卖出去。不是每个人对艺术的门槛都那么高。比如说，我是做餐厅菜单设计的，我想让你设计一个菜单模板，带二维码、带打赏方式，还有我店铺的介绍，做完之后在 Brave 里打开，确认我能看到。
0xSero：别这样。行吧，没事，又是它吗？行，我得把你踢出去了。
总之，你手头有一堆事可以用 AI 自动化，然后你可以拿这些产出做内容，再让 AI 帮你剪视频，或者帮你找数据。所以你现在看到的这些，在我看来，这就是怎么利用你手上已经有的算力去赚钱。不是去造一个复杂 app 卖给 VC，而是一步一步地
0xSero：一步一步地把身边的小事自动化，不断放大你能完成的工作量。我留五分钟给大家提问，不过我觉得今天差不多了。这里你也能看到第一个问题的结果，就是帮我找岗位那个：它找到了 122 个岗位，平均每个岗位年薪是 22 万美元。
0xSero：对，挺有意思的。我想大家明白我的意思了。谢谢分享，很感谢。好，谢谢大家来，谢谢大家收听，我们下期见。我接下来会在家待一个月，所以我会多花点时间在 Discord 上。谢谢各位，回见。
原视频：How I make Money with AI Agents
https://www.youtube.com/watch?v=G_vzZ07UW8E
中文播客：在小宇宙App搜《播客快译》，或直接访问下面的链接
https://www.xiaoyuzhoufm.com/episode/6acb6438e742e36efcc140be
编译：磊哥Thomas