大数跨境

76.2K+ Star! headroom:AI智能体上下文压缩层,大幅降低Token消耗

76.2K+ Star! headroom:AI智能体上下文压缩层,大幅降低Token消耗 AIGC创想者
2026-10-20
4
导读:headroom简介AI/MLHeadroom 是一个专为 AI 智能体设计的上下文压缩工具。

headroom简介

AI/ML

Headroom 是一个专为 AI 智能体设计的上下文压缩工具。它在提示词、工具输出、日志、RAG 检索结果和对话历史发送给大语言模型之前进行本地压缩,在保持模型回答质量不变的前提下,将 Token 消耗量降低 20% 至 57%。

它解决了 AI 智能体在长会话中因上下文过长导致的成本高昂和窗口溢出问题。所有压缩计算均在本地完成,不上传任何数据,同时支持跨多个主流编程助手共享记忆,并提供可逆的压缩缓存机制,确保模型在需要时能随时获取原始完整内容。

亮点特性

01全格式智能路由压缩

内置 SmartCrusher(处理 JSON)、CodeCompressor(基于 AST 处理代码)和 Kompress-v2-base(处理自然语言),根据内容类型自动选择最优压缩策略

02极低延迟与完全本地化

压缩耗时在 0.21ms 到 1.4ms 之间,不会增加智能体响应延迟;所有计算在本地运行,保障数据隐私安全

03可逆压缩缓存(CCR)

原始内容被缓存在本地,当模型需要完整信息时,可通过 headroom_retrieve 工具按需取回,实现无损压缩

04输出 Token 削减

不仅压缩发送的提示词,还能通过简洁性引导和努力程度路由(Effort routing)减少模型生成的冗余回复,进一步降低高昂的输出成本

05跨智能体记忆与失败学习

支持在多个 AI 编程助手间共享去重上下文,并通过 headroom learn 挖掘失败会话自动生成修正规则

使用场景

场景 1日常使用 Claude Code、Cursor 等编程助手时,通过透明代理自动压缩冗长的代码库搜索结果和终端日志,显著降低 API 调用成本

场景 2构建基于 LangChain 或自定义框架的 RAG 应用时,作为中间件对检索到的文档块进行无损压缩,突破模型上下文窗口限制

场景 3多智能体协作场景中,利用跨智能体共享内存功能,让不同模型(如 Claude、Codex、Gemini)之间高效传递去重后的压缩上下文

使用环境

编程语言
Python 3.13+
运行方式
能访问终端的代理(Codex)

快速上手

安装步骤

●●●
# 推荐方式:使用 uv 安装独立 CLI 环境
uv tool install --python 3.13 "headroom-ai[all]"

# 或者使用 pip 安装 Python 包及 CLI
pip install "headroom-ai[all]"

# TypeScript 项目仅需 SDK
npm install headroom-ai

基本配置与运行

方式一:零代码修改的代理模式(适用于任何 OpenAI 兼容客户端)

●●●
# 启动本地代理
headroom proxy --port 8787

# 检查健康状态并查看节省情况
headroom doctor
headroom dashboard

方式二:一键包装现有编程助手

●●●
# 包装 Claude Code,自动配置路由并启动
headroom wrap claude

# 恢复原始设置
headroom unwrap claude

核心用法示例(Python 内联调用)

●●●
from headroom import compress
from openai import OpenAI

messages = [{"role": "user", "content": "Analyze these results... (此处为超长文本)"}]

# 执行压缩
result = compress(messages, model="gpt-4o")

client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4o", 
    messages=result.messages
)

print(f"节省了 {result.tokens_saved} tokens (压缩率: {result.compression_ratio:.0%})")

替代方案

对比 1Compresr / Token Co.

这类商业方案需要将文本发送到外部托管 API 进行压缩,存在数据隐私风险且不支持本地部署,而 Headroom 完全在本地运行

相关资源

项目地址github.com/headroomlabs-ai/headroom

文档docs.headroomlabs.ai/docs

欢迎关注我,持续获取更多内容,感谢赞&在看~

【声明】内容源于网络
0
0
AIGC创想者
拥抱科技创新,拥抱AI,探索无限可能!
内容 878
粉丝 0
AIGC创想者 拥抱科技创新,拥抱AI,探索无限可能!
总阅读39.4k
粉丝0
内容878