·聚焦:人工智能、芯片等行业
欢迎各位客官关注、转发
0.35瓦背后，端侧AI芯片竞争换了赛道
让笔记本运行大模型并非易事，除了芯片跑分，功耗控制才是关键。长城N90 Pro将AI模块空闲功耗降至0.35瓦，通过模型压缩、量化及推理优化，使功耗受限的终端设备具备了运行大模型的基础条件。
Gartner预测，2026年全球AI PC出货量有望达1.43亿台，占PC市场55%。然而，真正的变量在于智能体（Agent）。Agent需理解意图、调用工具、处理多模态数据并进行持续并发推理，这对内存容量、存储带宽、散热及系统调度提出了更高要求。TOPS数值仅是入场券，综合能效才是核心考量。
不同终端场景需求各异：AI PC重续航，家庭设备重噪声，机器人重延迟，边缘服务器重计算密度。同一芯片适配不同终端需进行完全不同的系统开发。若每换一颗芯片便重写软件，硬件优势将难以推广。
为此，大厂纷纷承担软件适配成本。英特尔OpenVINO支持将PyTorch、TensorFlow模型优化部署至自家CPU、GPU和NPU；高通AI Hub提供优化模型及测试工具。10月，后摩智能开源其AI生态软件，涵盖推理框架、模型资源库及开发套件，已适配vLLM、llama.cpp等主流框架，超95%客户基于其ModelZoo开发产品。
硬件追求差异化，开发者却渴望接口统一。端侧市场形态多变，厂商无法押注单一终端，构建通用软件平台成为连接硬件迭代与共性需求的关键。
软件短一寸，芯片死一片
自研芯片项目中，因软件不成熟而失败的数量远超硬件缺陷。特斯拉Dojo训练芯片项目于2025年8月关停；Groq于2025年12月将LPU技术授权给英伟达；Etched的Sohu芯片至2026年年中仍未公开出货。这些项目并非死于流片，而是死于缺乏开发者生态。
相比之下，AWS Trainium2全球部署近100万颗，主要服务于Anthropic模型，其成功关键在于Neuron SDK对原生PyTorch的支持。Anthropic更直接将需求写入Trainium3的性能指标中。
2026年10月，AI芯片厂商呈现出矛盾又统一的竞争策略：一方面投入巨资开发差异化硬件，另一方面努力抹平硬件差异以迎合开发者习惯。
Google正式开源TorchTPU，使TPU成为PyTorch原生调用的计算设备，支持即时执行模式调试及torch.compile编译优化，并推动vLLM、SGLang等工具对接。同日，AWS宣布TorchNeuron进入公开测试，为Trainium2/3提供原生PyTorch后端支持。
芯片制造商主动拥抱共同开发入口，反映出AI开发者的工作习惯已成为芯片商业化的硬性约束。在模型快速迭代背景下，迁移成本可能抵消硬件节省的费用。软件入口的统一与底层优化的分化，正在重塑AI芯片竞争格局。
低精度与MoE，软件创新改写硅片形状
软件对硬件的反向塑造在数字格式上体现得尤为明显。DeepSeek在V3训练中采用UE8M0格式的FP8混合精度方案，并要求硬件原生支持。英伟达Blackwell架构随之原生支持FP4，配合微块缩放设计，确保4位精度下的训练稳定性。
SemiAnalysis数据显示，在B200上运行DeepSeek R1，FP4精度下每百万token推理成本约0.05美元，远低于FP8的0.21美元。软件调度方式的改变，直接提升了硬件的成本效率。
模型架构同样深刻影响硬件设计。MoE架构降低了单Token计算量，但加剧了专家间的数据分发压力，促使英伟达大幅提升NVLink带宽（H100达900GB/s），并催生GB200 NVL72等超节点形态。此外，超长上下文导致的KV Cache膨胀，也将HBM容量与带宽竞赛推向新高。模型架构已成为芯片设计的隐形项目经理。
结尾：软件降低切换成本，商业模式将重新算账
软件优化能显著挖掘硬件潜力。2026年4月，Meta披露KernelEvolve项目，通过自动探索内核实现方式优化异构计算。数据显示，该系统使Andromeda广告模型在英伟达GPU上的推理吞吐量提升超60%，在Meta自研MTIA上的训练任务吞吐量提升超25%。
随着此类工具成熟，软件有望缩小部分芯片间的性能差距。未来竞争可能分化为两类路径：一类依靠规模化软件生态覆盖广泛应用；另一类通过软硬件深度协同，在特定业务负载下获取局部效率优势。
AI芯片供应链的价值重心正转向编译器、算子库、通信软件及推理引擎等中间层。在异构部署环境下，能够理解模型特点并合理分配任务的软件系统，将直接决定基础设施的投资回报。
部分资料参考：Google Cloud Blog《TorchTPU is now open source: Run native PyTorch on TPUs》，PyTorch《Introducing TorchNeuron: Native PyTorch backend for AWS Trainium》，Engineering at Meta《MTIA 300: Meta’s First Training Chip with Built-in NICs and Communication-Offloading Engines》
本公众号所刊发稿件及图片来源于网络，仅用于交流使用，如有侵权请联系回复，我们收到信息后会在24小时内处理。