对人工智能（AI）的需求不断增长，尤其是生成式 AI（即能够生成图像、文本等内容的 AI），正在推动 AI 推理芯片市场的蓬勃发展。推理芯片能够加速 AI 推理过程，即在“训练”阶段基于特定数据集学习后，AI 系统根据所学内容生成输出（如文本、图像、音频）。AI 推理芯片已被用于让 Stable Diffusion 等系统实现更快的生成速度，该系统可将文本提示转化为艺术作品；以及 OpenAI 的 GPT-3，它可将寥寥数行文字扩展为完整的诗歌、文章等。
众多供应商——包括初创企业和成熟企业——正在积极开发并销售 AI 推理芯片的使用权限。有 Hailo、Mythic 和 Flex Logix，仅举几家初创公司为例。而在现有巨头方面，Google 正凭借其张量处理单元（TPUs）争夺主导地位，Amazon 则押注于 Inferentia。尽管竞争激烈，但像 NeuReality 这样的公司并未被吓退，它们占据着 AI 芯片推理市场，并旨在通过提供一套支持其硬件的软件和服务来脱颖而出。
NeuReality 完成 3500 万美元 A 轮融资
在此背景下，NeuReality 今日宣布，在三星风险投资（Samsung Ventures）、Cardumen Capital、Varana Capital、OurCrowd 和 XT Hi-Tech 领投，SK Hynix、Cleveland Avenue、Korean Investment Partners、StoneBridge 和 Glory Ventures 参投的一轮 A 轮融资中筹集了 3500 万美元。联合创始人兼首席执行官 Moshe Tanach 表示，这笔资金将用于在 2023 年初完成 NeuReality 旗舰 AI 推理芯片的设计，并向客户发货。
Tanach 表示：“NeuReality 成立的愿景是构建新一代不受传统 CPU 中心架构束缚的 AI 推理解决方案，以在成本和功耗方面实现最佳效率，同时提供高性能和低延迟。”“大多数能够利用 AI 的公司既没有资金，也没有像 Amazon、Meta 和其他大型 AI 投资公司那样庞大的研发能力。NeuReality 将把 AI 技术带给任何希望轻松且负担得起地部署的人。”
核心团队与产品定位
NeuReality 由 Tzvika Shmueli、Yossi Kasus 和 Tanach 于 2019 年联合创立，他们此前曾分别在 Marvell 和 Intel 担任工程总监。Shmueli 曾任 Mellanox Technologies 后端基础设施副总裁，以及 Habana Labs 高管；Kanus 曾在 Mellanox 担任工程高级总监，并在半导体公司 EZchip 担任集成主管。
从一开始，NeuReality 就致力于将用于云数据中心和“边缘”计算机（即本地运行并主要在离线状态下处理数据的机器）的 AI 硬件推向市场。Tanach 表示，该公司当前一代的产品系列——网络附加处理单元（NAPU）——针对 AI 推理应用进行了优化，包括计算机视觉（例如识别照片中物体的算法）、自然语言处理（文本生成和分类系统）以及推荐引擎（如电商网站上推荐产品的类型）。
NeuReality 的 NAPU 本质上是多种类型处理器的混合体。它可以执行诸如 AI 推理负载均衡、作业调度和队列管理等功能，这些功能传统上由软件完成，但效率未必很高。
NAPU 系列产品与软件生态
NeuReality 的 NR1 是一款基于 FPGA 的 SKU，属于 NAPU 家族，它是一种网络附加的“芯片上的服务器”，内置 AI 推理加速器以及网络化和虚拟化功能。NeuReality 还提供 NR1-M 模块，这是一张包含 NR1 和网络附加推理服务器的 PCIe 卡，以及一个单独的模块——NR1-S——它将多个 NR1-M 与 NR1 配对使用。
在软件方面，NeuReality 提供了一套工具，包括用于云和本地工作负载的软件开发套件、帮助解决运行时问题的部署管理器以及监控仪表板。
Tanach 表示：“支持我们创新硬件方法的‘魔法’是用于 AI 推理的软件以及用于异构计算和自动化编译与部署流程的工具。”“NAPU 技术的首批受益者是企业和云解决方案提供商，他们需要基础设施来支持其聊天机器人、语音机器人、自动转录和情感分析，以及用于文档扫描、缺陷检测等的计算机视觉用例……当世界专注于深度学习处理器改进时，NeuReality 专注于优化围绕它的系统及其上方的软件层，以提供更高的效率和更简单的推理部署流程。”
性能验证与商业化进展
需要注意的是，NeuReality 尚未用实证数据来佐证其部分性能主张。该公司在最近的一篇文章中表示，据估计，与深度学习加速器供应商提供的现有 GPU 和 ASIC 相比，其硬件将在每美元性能方面提升 15 倍，但 NeuReality 尚未发布验证性的基准测试数据。该初创公司也未详细说明其专有网络协议，而此前它曾声称该协议的性能优于现有解决方案。
抛开这些不谈，大规模交付硬件并非易事——尤其是涉及定制 AI 推理芯片时。但 Tanach 认为，NeuReality 已打下必要的基础：它与 AMD 旗下的半导体制造商 Xilinx 合作进行生产，并与 IBM 达成协议，共同研究 NR1 的硬件需求。（IBM 也是 NeuReality 的设计合作伙伴，此前曾表示正在“评估”该初创公司的产品以用于其云服务平台。）Tanach 表示，自 2021 年 5 月以来，NeuReality 一直在向合作伙伴发送原型机。
据 Tanach 介绍，除了 IBM 之外，NeuReality 还与联想、AMD 以及未具名的云解决方案提供商、系统集成商、深度学习加速器供应商和“推理密集型”企业就部署事宜展开合作。然而，Tanach 拒绝透露该公司目前拥有多少客户，也未披露其大致的收入预期。
Tanach 表示：“我们看到疫情拖慢了企业的步伐，并促使众多深度学习供应商之间进行整合。然而，这对我们来说没有任何改变，因为预计从明年年底到 2024 年的某个时间点，推理部署将迎来爆发式增长——而我们的技术正是这一增长的推动者和驱动力。”“NAPU 将为更广泛的技术门槛较低的企业带来 AI 能力。同时，它还将使‘超大规模’用户及新一代数据中心客户能够支持其日益增长的 AI 使用规模。”
三星风险投资（Samsung Ventures）以色列负责人 Ori Kirshner 补充道：“我们看到对更高效率且易于部署的推理解决方案存在巨大且迫切的需求，适用于数据中心和本地部署场景，这也是我们投资 NeuReality 的原因。该公司创新的解耦、数据移动和处理技术改善了计算流程、计算-存储流程以及存内计算——这些都是采用和发展 AI 解决方案的关键因素。”
NeuReality 目前拥有 40 名员工，计划在未来两个财政季度内再招聘 20 人。迄今为止，该公司已筹集了 4800 万美元的风险投资。