提供AI推理服务的Groq现已支持用户直接在官网调用领先的大语言模型（LLM）进行查询及执行其他任务。
Groq 如何使用？
上周，该功能悄然上线，支持文本输入与语音查询。语音模式下，Groq利用OpenAI开源的Whisper Large V3模型将语音转写为文本提示词，再输入大语言模型处理。据称，其生成结果比此前服务更快、更智能。
Groq网站默认搭载Meta四月发布的开源大语言模型Llama3-8b-8192。我们之前曾向大家介绍过。此外，该引擎还支持权重更大的Llama3-70b模型，并允许用户在部分Gemma和Mistral模型中进行选择。据公司表示，Groq即将支持更多其他模型。
使用 LPU 而非 GPU
Groq的核心优势在于以更低成本实现比竞品更快的AI任务处理速度。这得益于其自研的语言处理单元（LPU），凭借线性运行特性，在此类任务中性能优于传统GPU。
数据显示，Groq技术仅消耗约三分之一的GPU算力。在AI导致Google碳排放量增加约50%的背景下，Groq的高能效使其成为GPU主导的AI领域中极具吸引力的替代方案。
据首席执行官Jonathan Ross透露，Groq的首席执行官Jonathan Ross表示，大约四个月前开启免费服务的Groq，目前已被超过28.2万名开发者使用。平台提供应用构建控制台，便于OpenAI开发者快速迁移至Groq生态。