45M参数、14MB大小,这个模型能跑在手机上还能调用工具
一秒破冰
你有没有想过,一个AI模型能小到什么程度?
GPT-4要几百GB,Llama 3最少也要好几个GB。现在有人告诉你:45M个参数,整个模型只有一个14MB的文件,推理只要28MB内存,就能跑在你手机上、手表上、甚至智能家居的芯片上。
不是玩具,是真的能干活:调用工具、控制设备、从文本里提取结构化数据。
这个项目叫 Needle 2,来自 Cactus Compute,今天一天涨了547颗星。
硬核解读
到底有多小?
先建立直觉:
●GPT-4级别模型:几百GB
●Llama 3 8B:约16GB(FP16)
●常见的"小模型"如 Phi-3 mini:约3.8GB
●Needle 2:14MB,单个文件,没有零碎
14MB是什么概念?一张手机照片的大小。一张微信表情包可能都比它大。
但它不是"缩水版",而是一个完整的基础模型,有自己的架构设计、量化方案和推理引擎。
怎么做到这么小的?
核心是三件事叠在一起:
第一,架构本身就是为小模型设计的。
Needle 2 基于他们提出的 Simple Attention Network(SAN),不是一般的 Transformer 魔改,而是从底层重新设计:
●用 Hadamard 变换替代传统 FFN(前馈网络),不需要额外权重参数,靠固定矩阵运算完成
●使用 GQA(分组查询注意力),减少 KV cache 开销
●引入 engram key-value memory,一种基于 n-gram 哈希的外部记忆机制
●multi-lane hyper-connections,多层残差流的门控融合
这些设计让模型在 45M 参数下就能干活,而不是靠"砍参数"硬缩。
第二,CQ2-bit 量化。
他们自研的 Cactus Quants 量化方案,把权重压到 2-bit。什么概念?通常量化到 4-bit 已经算激进,2-bit 几乎是把每个参数用 2 个比特表示。
对比同类小模型:
●FunctionGemma 270M:270M 参数,FP16
●LFM2.5 230M:230M 参数,FP16
●Apple FM:类似量级
Needle 2 比它们小 5 到 70 倍,而且性能"有来有回"(trades wins)。
第三,权重烘焙进引擎。
模型权重不是单独的文件,而是直接烘焙进推理引擎,打包成一个 14MB 的二进制文件。没有"先加载引擎再加载模型"这回事,一个文件就是全部。
能干什么?
三个核心能力:
1. 工具调用(Tool Calling)
你定义 Python 函数,加上装饰器,Needle 就能根据用户意图自动选择调用哪个函数、填什么参数。
import needle
@needle.tool
def get_weather(city: str):
"""Get the current weather for a city."""
return {"city": city, "temp_c": 27, "sky": "clear"}
agent = needle.Needle(tools=[get_weather])
result = agent.run("what's it like in Lagos right now?")
print(result["results"])
模型选工具、填参数、执行函数、拿回结果,一条龙。
2. 结构化数据提取(Extraction)
给它一段非结构化文本,定义你想要的数据结构(Pydantic 模型),它直接输出类型安全的对象:
from pydantic import BaseModel
class Invoice(BaseModel):
vendor: str
total: float
due_date: str
invoice = needle.extract(
"Invoice from Acme Corp, $1,200.00, due 2026-09-01",
Invoice
)
print(invoice.vendor, invoice.total)
发票信息、订单数据、表单字段,都能提取。
3. 设备控制
因为模型足够小、推理足够快,可以直接跑在嵌入式设备上。控制智能家居、操作机器人、管理穿戴设备,都是它的目标场景。
几个值得关注的设计细节
置信度门控(Confidence Gating)
每个回答都带一个校准过的置信度分数。你可以设一个阈值:置信度高就自动执行,低就上报人工处理。这对生产环境非常关键,避免了"AI瞎说但你不知道"的问题。
工具检索(Tool Retrieval)
你可以声明大量工具,模型内置检索头会自动筛选,每轮只渲染 top-5 工具到上下文里。不需要把所有工具描述塞进 prompt。
有界内存(Bounded Memory)
256 token 的滑动窗口,工具定义作为 KV sink 固定住,不管对话跑多长,总内存始终在 28MB 附近。不会聊着聊着内存爆了。
微调也很简单
LoRA 微调,在冻结的基础模型上训练适配器,训练完合并导出,还是一个 .cact 文件,跑在同一个引擎上。
pip install "cactus-needle[gpu]"
needle finetune data.jsonl --epochs 10 --lora-rank 16
needle build checkpoints/needle2.pkl --lora checkpoints/needle_lora.pkl --out my_needle.cact
还支持自动合成训练数据(需要 OpenRouter API key),从工具 schema 生成样本。
实战演示
最快上手,三步:
pip install cactus-needle
cat << 'EOF' > demo.py
import needle
@needle.tool
def calculate(expression: str):
"""Evaluate a math expression and return the result."""
return {"expression": expression, "result": eval(expression)}
@needle.tool
def get_time():
"""Get current time."""
from datetime import datetime
return {"time": datetime.now().isoformat()}
agent = needle.Needle(tools=[calculate, get_time])
result = agent.run("What is 123 * 456? And what time is it now?")
print(result)
from pydantic import BaseModel
class Task(BaseModel):
title: str
priority: str
deadline: str
task = needle.extract(
"Finish the quarterly report by Friday, it's high priority",
Task
)
print(task)
EOF
python demo.py
首次运行会自动从 Hugging Face 下载模型(14MB),之后全部离线运行。
还有一个自带的 Playground:
needle playground
可以在界面上编辑工具、测试对话,甚至直接在 UI 上跑微调。
老司机辣评
优点
●极致的小。14MB 单文件、28MB 内存,真正做到了"AI 即文件"。对于嵌入式、边缘设备、离线场景,这是目前最实用的方案之一。
●架构有创新。不是简单堆量化,而是从架构层面为小模型设计(Hadamard MLP、engram memory),这让它在同参数量下性能更好。
●工程体验好。pip install 一行搞定,装饰器定义工具,Pydantic 做提取,LoRA 微调流程完整。没有复杂的部署链条。
●置信度门控实用。生产环境最担心的"模型瞎说"问题,它从设计层面给了一个解法。
局限性
●256 token 上下文窗口。这是硬限制。复杂的多轮对话、长文档理解,它做不了。它的设计定位就是"短指令、快响应"。
●工具调用能力有上限。45M 参数对比 270M 的 FunctionGemma,在复杂工具编排、多步推理场景下,性能差距是客观存在的。官方说"trades wins",但这是在它擅长的 benchmark 上。
●2-bit 量化的精度损失。CQ2-bit 是他们的自研方案,目前社区验证还不够充分。在对精度敏感的场景(医疗、金融),需要谨慎评估。
●生态还在早期。Cactus Compute 是一家初创公司,社区规模、长期维护、文档完善度都需要观察。
适用场景
●智能家居、穿戴设备上的本地 AI 助手
●离线环境下的工具调用和数据提取
●嵌入式设备的自然语言控制接口
●需要快速原型验证的工具调用场景
●边缘计算场景下的结构化数据处理
不适用场景
●需要长上下文理解的对话系统
●复杂的多步推理和工具编排
●对精度要求极高的关键业务
●需要成熟生态和企业级支持的生产环境
一句话总结
Needle 2 不是要替代 GPT-4,它解决的是另一个问题:怎么让 AI 在极小的设备上、用极少的资源、可靠地完成特定任务。在这个定位上,它目前是最有竞争力的开源方案。
项目地址:https://github.com/cactus-compute/needle

