OpenAI竞争对手Anthropic推出Message Batches API，支持企业在24小时内异步处理1万条查询。该API以标准调用成本提供高级AI模型服务，输入输出Token均享50%折扣。此举被视为对OpenAI年初推出的Batch API的回应，旨在增强市场竞争力。
价格对比：Claude 3.5 Sonnet vs GPT-4o
在定价方面，GPT-4o（128K上下文窗口）每百万Token输入成本为1.25美元，输出为5美元；而Claude 3.5 Sonnet（200K上下文窗口）输入成本为1.50美元，输出为7.50美元。
多平台支持与规模经济
目前，Message Batches API已通过Anthropic API支持Claude 3.5 Sonnet、Claude 3 Opus及Claude 3 Haiku模型。Google Cloud Vertex AI的支持即将上线，Amazon Bedrock用户现已可访问批量推理功能。折扣定价策略不仅推动了中型企业采用AI，也使此前因成本受限的大规模分析成为可能。
慢速推理的战略价值与行业影响
尽管实时推理备受关注，但“慢速推理”在能力与成本上具备独特优势。对于非即时响应场景，适时处理往往比实时处理更具性价比。这一选项将促使企业平衡实时与批量任务，优化AI工作负载管理。
然而，企业对低成本批处理的依赖可能削弱实时处理降本增效的市场动力，进而导致技术发展停滞。因此，在批量与实时处理能力间建立合理平衡，对AI生态系统的健康发展至关重要。