OpenAI 工程师近期透露，凭借几项新研发的优化技术，他们成功将模型推理成本降低了一半以上。在应用于非登录用户的 ChatGPT 服务时，所需的英伟达 GPU 数量一度骤降至仅数百块，这一效率提升令人瞩目。尽管具体的技术细节尚未公开，但行业推测可能涉及量化压缩、键值缓存、查询批量处理，或利用轻量化模型分担部分请求等主流优化手段。