面对英伟达 GPU 服务器高昂的成本，日本 AI 行业正积极寻求更具性价比的替代方案。
美国基础设施公司 Penguin Solutions 计划于今年第四季度在日本推出"MemoryAI KV 缓存服务器”。该方案通过将大语言模型的短期数据存储在 GPU 外部，使企业无需额外购买昂贵的 GPU 服务器。据测算，这种模式能将每 GB 内存的使用成本大幅降低至新增 GPU 成本的七分之一到三分之一。
与此同时，日本东棉电子与 Tomorrow Net 两家公司正在测试搭载 Rebellions NPU 芯片的 AI 推理服务器，该方案以低功耗为核心优势。业界普遍认为，相较于盲目堆砌 GPU，采用 NPU 和缓存服务器是当下更经济务实的选择。