大数跨境

LlamaFactory 作者新作 PenguinHarness:用 Agent 造 Agent,造出来的还会自己进化

LlamaFactory 作者新作 PenguinHarness:用 Agent 造 Agent,造出来的还会自己进化 AIGCLINK
2026-08-18
4
导读:LlamaFactory 作者郑耀威的新项目 PenguinHarness:一句话生成整个 Agent 应用,demo 里那个 RAG 只花 0.2 元 token,还内置自进化 skill。

LlamaFactory 作者郑耀威搞的新东西:PenguinHarness用 Agent 造 Agent,而且造出来的 Agent 会自己进化,也就是 Harness for RSI,本地化部署。

LlamaFactory 当年是把微调这件事从"论文复现"降到"填个 YAML",PenguinHarness 是把搭 Agent 从"手写编排"降到"说一句话"。

PenguinHarness 主界面:左栏是 Agents / Skills / Models / Costs / 轨迹观测 / 评估中心,输入框右下角挂着 DeepSeek V4 Pro(图源:官方演示)

01三个亮点

1、一句话生成一整个 Agent 应用

一句话生成完整 Agent 应用(脚手架 + 代码 + 说明),demo 那个 RAG 应用只花了 0.2 元 token

官方给的那句 prompt 长这样:

收集 https://github.com/ericbuess/claude-code-docs 的文档,
做一个化身 Claude Code 配置专家、回答带来源引用的 RAG 问答应用。

出来的成品是个能检索、引用可点击直达原文、还内置示例问题的文档专家。用的模型是 DeepSeek V4 Pro。

2、刻意做小的工具集节省成本

工具少、接口干净 → 对比数据分析准确率第一、成本是 Claude Code 的 1/70

3、自进化 skill

内置一组 Agent 调优 skill:agent-creation / benchmark-design / agent-evaluation / agent-optimizationAgent 自己跑分自己迭代,每轮自动快照可回滚

除了这组,开箱还带办公效率(data-analysis、firecrawl)、软件开发(web-design、software-engineering)、AI 应用开发(penguin-sdk、vllm、ollama、llamafactory 等)三组,Agent 也能自己写和优化 skill。

4、模型侧对国产开源模型深度适配

DeepSeek V4、Kimi K3、GLM 5.2、混元 3、Qwen 3.8 Max,也支持 GPT / Gemini / Claude,任何 OpenAI 协议端点都能接。官方说可以接 1000+ 在线与本地模型。

02跑分怎么看:赢的地方和输的地方都得说

官方那张对比图值得完整看一遍,因为它比"准确率第一"这句话复杂:

官方 benchmark:数据分析双赢,编程题准确率落后 Claude Code。脚注写明各自跑自己常配的模型(图源:官方仓库)

数据分析(15 题):PenguinHarness 66.67%、$0.55;Claude Code 53.33%、$38.48;OpenAI Codex 53.33%、$19.41。准确率和成本双赢,$38.48 除以 $0.55 差不多正好 70 倍——"1/70"这个说法对得上。

编程(40 题 × 2 轮):PenguinHarness 71.25%、$3.81;Claude Code 86.25%、$146.97;OpenAI Codex 71.25%、$220.08。准确率明显落后 Claude Code,和 Codex 打平,但成本只有零头。

还有个口径必须说清:图的脚注写明,每个 harness 跑的是自己常配的模型——PenguinHarness 配 DeepSeek V4 Pro,Claude Code 配 Claude Opus 4.8,Codex 配 GPT-5.5。所以这组数字混了模型和 harness 两个变量,不能简单读成"harness 更强"。跑分也是官方自建题库。

03装起来

macOS / Windows / Linux 都有桌面端,双击装完打开就已登录、不用碰终端。命令行也行:

curl -fsSL https://penguin.ooo/install.sh | sh
penguin web        # 打开 http://127.0.0.1:7364

npm 装需要 Node ≥ 24。桌面端和 CLI 共用 ~/.penguin/data,可以混着用。要注意当前构建暂未签名,macOS 首次打开可能提示"已损坏",官方给了 xattr -rd 的解法;Windows 会被 SmartScreen 拦一次。

04放在这条线上看

国内团队在 Agent harness 这层的活儿,最近确实开始有东西了。

对比之前的 OpenRSI 训练"改进者"模型本身,PenguinHarness 走的更容易上手、走产品化路线——桌面端 + skill 库 + 评估中心,一句话就能用,但跑分自建、口径混了模型与 harness。

仓库 1423 star、141 fork,Apache-2.0,TypeScript 写的,7 月 19 日建仓,还上了 Product Hunt。

项目地址GitHub:https://github.com/Prism-Shadow/penguin-harness官网:https://penguin.ooo/文档:https://penguin.ooo/docs/

【声明】内容源于网络
0
0
AIGCLINK
AIGCLINK公众号,致力于让每个想拥抱AI的人都能找到适合自己的AI产品
内容 622
粉丝 0
AIGCLINK AIGCLINK公众号,致力于让每个想拥抱AI的人都能找到适合自己的AI产品
总阅读12.8k
粉丝0
内容622