端侧 AI 迎来「高智能」时刻，比肩云端模型

2024年，关于谁能成为苹果中国AI合作伙伴的猜测一度引发市场波动。直至2026年10月底，苹果国行版Apple Intelligence上线，但其功能并未超越传统端侧AI范畴。大模型落地端侧的核心瓶颈在于“内存墙”：高智能需大参数常驻内存，低IO需权重全加载，而移动端内存有限，三者难以兼得。

针对这一行业痛点，无界方舟（Unbounded Ark）通过架构创新与推理优化，提供了新的破题思路。

千亿参数，首次实现端侧可用

今年9月，无界方舟开源Edge0-35B，首次将350亿参数模型适配至手机端内存预算。测试显示，其在适配手机上峰值内存仅约2.5GB，生成速度超37 token/s。该模型通过稀疏激活与按需加载技术，将非活跃权重存于存储介质，仅将必要部分调入内存，打破了以往端侧模型只能是小模型的局限。

Edge0-35B发布后迅速登上Hugging Face趋势榜首位，获得OpenAI、NVIDIA等机构专家关注，并将行业对端侧模型的讨论基准从几十亿参数提升至350亿参数级别。

在此基础上，无界方舟进一步推出Edge0-145B，将端侧模型规模推至1450亿参数。该模型已在Hugging Face开放权重，配套推理引擎在GitHub开源，支持macOS、Windows、Linux系统及苹果M系列芯片、NVIDIA GPU等平台。

*端侧模型规模演进图：无界方舟将端侧模型提升至千亿参数水平且真正可用

Edge0-145B标志着端侧模型智力水平首次比肩云端主流模型，其核心突破包括：

• 内存可控：峰值内存29GB，可在MacBook Pro等个人笔记本运行；
• 响应极速：预填充速度超1100 token/s，首字即时呈现；
• 生成流畅：解码速度超80 token/s，优于人类阅读速度；
• 功耗稳定：典型功耗约120W，持续运行不降频；
• 长程稳定：支持128K–256K上下文，长任务速度无明显衰减。

从“可用”到“好用”的技术路径

解决加载问题仅是第一步，用户体验还取决于响应速度、发热控制及多任务并行能力。无界方舟通过以下四步优化实现高效运行：

1. 架构调整：采用分组共享的稀疏专家结构。同组64个专家共用大矩阵，仅保留差异化参数。总参数量145B，但每次推理实际计算量仅约6.6B，大幅减少权重搬运。

2. 针对性训练：基于新架构及端侧需求进行专项训练。

3. 分层存储与预加载：高频数据驻留显存，其余分布于内存和SSD。系统在计算同时预取后续数据，消除等待空档。

4. 协同调度：CPU与GPU协同工作，结合投机解码技术，分摊计算与读取开销。

从聊天走向复杂任务执行

Edge0-145B在DeepSWE、Terminal-Bench等智能体与编程评测中表现优异，综合水平对标DeepSeek-V4-Flash等云端开源模型，部分指标甚至超越Claude Opus 4.6（Max）。相比百亿参数端侧模型，其在智能体与编程任务上提升显著（Terminal-Bench提升18.5%，DeepSWE提升53.1%）。

*Edge0-145B在智能体与编程评测上领先同级开源模型

*同等智能水平下，Edge0-145B仅需约三分之一内存

Vibe Coding实战：用户可通过自然语言指令，让模型在本地独立完成需求拆解、代码编写、工具调用、报错调试及效果检查的全流程。例如生成科普视频，模型可独立完成任务调研、脚本撰写、素材生成与剪辑，无需云端介入，零Token成本，耗时从一个月缩短至一小时。

3D场景创作：在Blender中，模型可根据文字和参考图搭建场景、调整材质灯光并迭代渲染。以曼哈顿城市建模为例，传统人工成本约8-12万元，周期一个月；Edge0-145B可在1小时内完成，零成本。

游戏世界搭建：模型可自主规划并搭建奇幻RPG中世纪主城，包含城墙、民居、广场等细节，并自行修正穿模等问题。相比云端模型数亿Token消耗及人工数周工作量，端侧部署实现了零成本交付。

硬件开发与PCB设计：模型可协同操作KiCad与虚幻引擎5，完成元器件布局、走线及制造动画生成。核心资产全程本地处理，保障数据合规与商业机密安全。

无界方舟的竞争优势

相较于海外多家仅停留于论文阶段的竞品，无界方舟具备以下落地优势：

1. 完整的产品线：涵盖Audio8语音模型、Decision0决策模型、Edge0端侧大模型及Embedding0向量模型，参数覆盖千万级至千亿级，形成分工协同的智能体系。

2. 全栈研发路线：同步优化模型、推理框架与硬件芯片，确保在不同芯片上高效运行。

3. 广泛的产业适配：已适配高通、恒玄、瑞芯微、英伟达等95%的主流芯片平台，覆盖手机、PC、耳机、机器人等多种形态。截至2026年10月，客户数突破11万家，开源模型下载量超1500万次。

尾声：端云分工的重构

随着端侧智能水平的突破，端云边界正在发生位移：

• 2026年9月前：云端为主，端侧为辅。端侧仅处理简单指令，核心智力在云端。
• 2026年9月后：日常任务端侧化。Edge0-35B使得高频、即时需求在本地完成，如某头部耳机厂商92%的AI交互通过端侧模型实现。
• 2026年11月后：复杂任务端侧化。Edge0-145B的发布推动端侧接管更多高智力任务，迈向“端侧为主，云端为辅”的未来。

端侧智能的提升解决了成本、数据合规及弱网环境下的使用痛点，为用户提供了更多选择。一个以端侧为主、云端为辅的AI新时代或许已指日可待。