开发大型开源基础大语言模型Llama之一的Meta认为，未来训练模型将需要显著更多的计算能力。
周二在Meta的第二季度财报电话会议上，马克·扎克伯格表示，为了训练Llama 4，公司将需要比训练Llama 3多10倍的算力。但他仍希望Meta建立训练模型的能力，以免落后于竞争对手。
“训练Llama 4所需的计算量可能几乎是训练Llama 3所用量的10倍，而未来的模型将继续超越这一水平，”扎克伯格说。
“很难预测这种趋势在未来几代产品中会如何发展。但在目前阶段，考虑到启动新的推理项目需要很长的前置时间，我宁愿冒着提前建设算力的风险，也不愿等到为时已晚才行动。”
Meta于4月发布了拥有80亿参数的Llama 3。该公司上周发布了一个升级版的模型，名为Llama 3.1 405B，该模型拥有4050亿参数，使其成为Meta最大的开源模型。
Meta的首席财务官Susan Li也表示，公司正在考虑不同的数据中心项目，并建设用于训练未来AI模型的算力。她表示，Meta预计这项投资将使2025年的资本支出增加。
训练大型语言模型可能是一项昂贵的业务。受服务器、数据中心和网络基础设施投资的推动，Meta在2024年第二季度的资本支出同比增长近33%，达到85亿美元，而去年同期为64亿美元。
据The Information报道，OpenAI在模型训练上花费30亿美元，并以折扣价从微软租用服务器额外花费40亿美元。
“随着我们扩展生成式AI训练能力以推进我们的基础模型，我们将继续以提供灵活性的方式构建基础设施，以便我们在不同时期能够灵活使用它。这将使我们能够将训练能力引导至GenAI推理或核心排序和推荐工作，当我们预期这样做会带来更高价值时，”Li在电话会议中表示。
在通话中，Meta还谈及其面向消费者的Meta AI的使用情况，并表示印度是其聊天机器人的最大市场。但李指出，公司并不期望生成式AI产品对收入产生重大贡献。