LlamaFactory 作者郑耀威搞的新东西:PenguinHarness,用 Agent 造 Agent,而且造出来的 Agent 会自己进化,也就是 Harness for RSI,本地化部署。
LlamaFactory 当年是把微调这件事从"论文复现"降到"填个 YAML",PenguinHarness 是把搭 Agent 从"手写编排"降到"说一句话"。
PenguinHarness 主界面:左栏是 Agents / Skills / Models / Costs / 轨迹观测 / 评估中心,输入框右下角挂着 DeepSeek V4 Pro(图源:官方演示)
01三个亮点
1、一句话生成一整个 Agent 应用
一句话生成完整 Agent 应用(脚手架 + 代码 + 说明),demo 那个 RAG 应用只花了 0.2 元 token。
官方给的那句 prompt 长这样:
收集 https://github.com/ericbuess/claude-code-docs 的文档, 做一个化身 Claude Code 配置专家、回答带来源引用的 RAG 问答应用。
出来的成品是个能检索、引用可点击直达原文、还内置示例问题的文档专家。用的模型是 DeepSeek V4 Pro。
2、刻意做小的工具集节省成本
工具少、接口干净 → 对比数据分析准确率第一、成本是 Claude Code 的 1/70。
3、自进化 skill
内置一组 Agent 调优 skill:agent-creation / benchmark-design / agent-evaluation / agent-optimization,Agent 自己跑分自己迭代,每轮自动快照可回滚。
除了这组,开箱还带办公效率(data-analysis、firecrawl)、软件开发(web-design、software-engineering)、AI 应用开发(penguin-sdk、vllm、ollama、llamafactory 等)三组,Agent 也能自己写和优化 skill。
4、模型侧对国产开源模型深度适配
DeepSeek V4、Kimi K3、GLM 5.2、混元 3、Qwen 3.8 Max,也支持 GPT / Gemini / Claude,任何 OpenAI 协议端点都能接。官方说可以接 1000+ 在线与本地模型。
02跑分怎么看:赢的地方和输的地方都得说
官方那张对比图值得完整看一遍,因为它比"准确率第一"这句话复杂:
官方 benchmark:数据分析双赢,编程题准确率落后 Claude Code。脚注写明各自跑自己常配的模型(图源:官方仓库)
数据分析(15 题):PenguinHarness 66.67%、$0.55;Claude Code 53.33%、$38.48;OpenAI Codex 53.33%、$19.41。准确率和成本双赢,$38.48 除以 $0.55 差不多正好 70 倍——"1/70"这个说法对得上。
编程(40 题 × 2 轮):PenguinHarness 71.25%、$3.81;Claude Code 86.25%、$146.97;OpenAI Codex 71.25%、$220.08。准确率明显落后 Claude Code,和 Codex 打平,但成本只有零头。
还有个口径必须说清:图的脚注写明,每个 harness 跑的是自己常配的模型——PenguinHarness 配 DeepSeek V4 Pro,Claude Code 配 Claude Opus 4.8,Codex 配 GPT-5.5。所以这组数字混了模型和 harness 两个变量,不能简单读成"harness 更强"。跑分也是官方自建题库。
03装起来
macOS / Windows / Linux 都有桌面端,双击装完打开就已登录、不用碰终端。命令行也行:
curl -fsSL https://penguin.ooo/install.sh | sh penguin web # 打开 http://127.0.0.1:7364
npm 装需要 Node ≥ 24。桌面端和 CLI 共用 ~/.penguin/data,可以混着用。要注意当前构建暂未签名,macOS 首次打开可能提示"已损坏",官方给了 xattr -rd 的解法;Windows 会被 SmartScreen 拦一次。
04放在这条线上看
国内团队在 Agent harness 这层的活儿,最近确实开始有东西了。
对比之前的 OpenRSI 训练"改进者"模型本身,PenguinHarness 走的更容易上手、走产品化路线——桌面端 + skill 库 + 评估中心,一句话就能用,但跑分自建、口径混了模型与 harness。
仓库 1423 star、141 fork,Apache-2.0,TypeScript 写的,7 月 19 日建仓,还上了 Product Hunt。
项目地址GitHub:https://github.com/Prism-Shadow/penguin-harness官网:https://penguin.ooo/文档:https://penguin.ooo/docs/

