红帽公司近日推出了一款新的AI推理服务器——Red Hat AI Inference Server,这是其在混合云中推动生成式AI普及的重要进展。这款企业级推理服务器基于高性能的vLLM开源项目,并结合Neural Magic的技术,提升了运行速度、加速器效率和成本优势。该产品的发布体现了红帽致力于实现“在任何云环境中的任何AI加速器上运行任意生成式AI模型”的目标。
红帽公司近日推出了一款新的AI推理服务器——Red Hat AI Inference Server,这是其在混合云中推动生成式AI普及的重要进展。这款企业级推理服务器基于高性能的vLLM开源项目,并结合Neural Magic的技术,提升了运行速度、加速器效率和成本优势。该产品的发布体现了红帽致力于实现“在任何云环境中的任何AI加速器上运行任意生成式AI模型”的目标。