大数跨境

Meta押注人工智能,推出定制芯片与超级计算机

Meta押注人工智能,推出定制芯片与超级计算机 海外洞察
2023-05-18
1
导读:Meta希望全世界——尤其是投资者——了解到,它在人工智能及其相关硬件建设上要么全力以赴,要么干脆放弃。

在今早的一场线上活动中,Meta 揭开了其为生成式 AI 等 AI 工作负载开发内部基础设施的努力。此举旨在展示实力,弥补其在采用 AI 友好型硬件方面相对迟缓、导致落后于 Google 和 Microsoft 等竞争对手的短板。

“构建我们自己的 [硬件] 能力使我们在从数据中心设计到训练框架的整个技术栈中拥有控制权,” Meta 基础架构副总裁 Alexis Bjorlin 表示,“这种垂直整合水平对于在大规模上推动 AI 研究边界至关重要。”

过去十年,Meta 斥资数十亿美元招募人才并构建 AI,支撑其应用内的发现引擎、审核过滤器和广告推荐器。但在将雄心勃勃的 AI 研究(尤其是生成式 AI)转化为产品方面,公司一直面临挑战。

2022 年前,Meta 主要依赖 CPU 及一款定制芯片运行 AI 工作负载。由于 CPU 效率较低且定制芯片计划取消,Meta 转而订购了价值数十亿美元的 Nvidia GPU,并对多个数据中心进行了重大重新设计。

为扭转局面,Meta 计划推出一款更具雄心的内部芯片,预计于 2025 年发布,可同时支持 AI 模型的训练与推理。这也是本次演示的核心议题。

自研芯片 MTIA:加速训练与推理

这款新芯片名为“Meta Training and Inference Accelerator”(简称 MTIA),属于用于加速 AI 训练和推理工作负载的“芯片家族”。MTIA 是一种 ASIC(专用集成电路),允许被编程以并行执行多项任务。

Meta 为 AI 工作负载定制设计的 AI 芯片。图片来源: Meta

Bjorlin 指出:“为了在重要工作负载中获得更好的效率和性能,我们需要一个与模型、软件栈和系统硬件协同设计的定制解决方案,这将改善用户体验。”

定制 AI 芯片已成为科技巨头竞争的关键。Google 推出了 TPU 处理器;Amazon 向 AWS 客户提供 Trainium(训练)和 Inferentia(推理)芯片;Microsoft 据报正与 AMD 合作开发名为 Athena 的内部 AI 芯片。

Meta 于 2020 年基于 7nm 工艺打造了第一代 MTIA v1,内存可从 128MB 扩展至 128GB。在 Meta 设计的基准测试中,MTIA 处理“低复杂度”和“中等复杂度”AI 模型比 GPU 更高效。目前,MTIA 重点限于服务推荐工作负载的推理环节,而非训练。

尽管内存和网络领域仍有优化空间,但 Meta 强调,不断优化的 MTIA “大幅”提升了每瓦性能效率,使其能够运行更强大、尖端的 AI 工作负载。

RSC 超级计算机:赋能前沿 AI 研究

短期内,Meta 仍依赖 Research SuperCluster (RSC) 中的 GPU 处理大部分 AI 工作负载。RSC 由 Meta 联合 Penguin Computing、Nvidia 和 Pure Storage 打造,目前已完成第二阶段建设,包含 2,000 套搭载 16,000 块 Nvidia A100 GPU 的系统。

自建超算不仅是为了应对同行压力(如微软、Google 的类似布局),更重要的是允许研究人员使用真实世界数据训练模型,突破了以往仅利用开源数据集的限制。

Meta 用于 AI 研究的超级计算机。图片来源: Meta

Meta 发言人表示:“RSC 旨在推动包括生成式 AI 在内的多领域研究前沿。我们希望提供最先进的基础设施,赋能研究人员开发能从数万亿示例中学习、支持数百种语言、无缝分析多模态内容以及开发 AR 工具的新模型。”

RSC 峰值算力接近 5 exaflops(百亿亿次浮点运算)。虽然部分专家对该指标持保留态度且认为其不及全球顶尖超算,但它已成功用于训练 LLaMA 大语言模型。最大的 LLaMA 模型即在 2,048 个 A100 GPU 上耗时 21 天完成训练。

MSVP 视频处理器:优化流媒体体验

除 MTIA 外,Meta 还透露了首款内部开发的 ASIC 解决方案——Meta 可扩展视频处理器(MSVP),专为满足点播和直播的视频处理需求而设计。

早在 2019 年,Meta 就曾宣布研发视频转码 ASIC。如今,随着 Facebook 用户 50% 的时间用于观看视频,MSVP 成为公司在直播视频领域寻求竞争优势的新举措。

Meta 技术主管 Harikrishna Reddy 和 Yunqing Chen 表示:“为适配全球各类设备,上传视频需转码为多种比特流。MSVP 可编程且可扩展,既能高效支持高质量点播转码,也能满足直播所需的低延迟和快速处理。”

Meta定制的旨在加速视频工作负载(如流媒体和转码)的芯片。图片来源:Meta

Meta 计划将大部分“稳定成熟”的视频处理卸载至 MSVP,仅对高定制化需求保留软件编码。同时,通过智能去噪、超分辨率等预处理和后处理方法持续改进画质。未来,MSVP 还将支持短视频、生成式 AI、AR/VR 及元宇宙内容的高效交付。

战略重心:全力追赶生成式 AI

今日硬件公告的共同主题是:Meta 正拼命加快 AI 发展步伐,特别是生成式 AI。

CEO 扎克伯格已将提升 AI 算力列为首要任务,并成立了顶级生成式 AI 团队。CTO Andrew Bosworth 和首席科学家 Yann LeCun 也均表示,生成式 AI 是投入最多的领域,并将应用于 VR 物品创建等场景。

扎克伯格透露,Meta 正在探索 WhatsApp/Messenger 聊天体验、FB/IG 视觉创作工具以及商业消息 AI 代理。长远来看,这些工具将延伸至元宇宙,帮助用户轻松创建化身、物体和世界。

这一紧迫性源于投资者压力及市场机遇。高盛预测生成式 AI 总可寻址市场或达 1500 亿美元,能使 GDP 提高 7%。目前 Meta 尚无对标 ChatGPT 的产品,且在图像生成领域进展有限。

即便只占据一小部分市场份额,也可能弥补 Reality Labs 部门因 AR 头显、Horizon Worlds 等元宇宙投资造成的巨额亏损。该部门上季度净亏损达 40 亿美元,且预计 2023 年运营亏损将同比扩大。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k