94.4K+ Star！ vllm：高性能大语言模型推理与服务引擎- 大数跨境

首页

94.4K+ Star！ vllm：高性能大语言模型推理与服务引擎

AIGC创想者

2026-10-22

导读：vLLM 是一个专注于大语言模型（LLM）高速推理与在线服务的开源库。

vllm简介

AI/ML

vLLM 是一个专注于大语言模型（LLM）高速推理与在线服务的开源库。它最初由加州大学伯克利分校 Sky Computing Lab 开发，用于解决大模型在实际部署中面临的显存利用率低、并发吞吐量不足以及服务成本高昂等核心痛点。

通过引入 PagedAttention 显存管理技术和连续批处理机制，vLLM 能够在有限的硬件资源下最大化 GPU 利用率，显著提升请求吞吐量。同时，它提供了兼容 OpenAI 格式的服务端接口，让开发者可以极低成本地将各类主流开源大模型部署为高可用的 API 服务。

亮点特性

01PagedAttention 显存管理

借鉴操作系统虚拟内存分页思想，将 KV Cache 分块存储，极大减少显存碎片，使并发吞吐量提升数倍

02连续批处理与分块预填充

动态将新请求插入正在生成的批次中，避免 GPU 计算单元闲置，最大化硬件利用率

03广泛的量化与加速支持

内置 FP8、INT8、AWQ、GPTQ 等多种量化方案，并集成 FlashAttention 等优化算子，显著降低显存占用和推理延迟

04开箱即用的 API 兼容

原生提供 OpenAI 兼容 API 及 Anthropic Messages API 支持，现有业务代码几乎无需修改即可无缝迁移

05强大的分布式与多硬件生态

支持张量并行、流水线并行等分布式策略，且不仅限于 NVIDIA GPU，还广泛适配 AMD、Intel、TPU 及多种国产算力芯片

使用场景

场景 1企业级 AI 应用后端

将 Llama、Qwen 等开源大模型部署为高并发的内部 API 服务，支撑智能客服、代码助手或文档问答系统

场景 2多租户 SaaS 平台

利用多 LoRA 支持特性，在同一个基础模型上动态加载不同客户的微调适配器，大幅降低多租户场景下的 GPU 部署成本

场景 3大规模离线数据处理

使用其 Python 库接口进行批量推理，高效完成海量文本的摘要提取、数据清洗或分类标注任务

使用环境

编程语言	Python (uv 或 pip)

快速上手

安装步骤

推荐使用 uv 或 pip 进行安装：

●●●

# 使用 uv 安装（推荐）
uv pip install vllm

# 下载预编译内核以加快启动速度
vllm download-kernels

启动 API 服务

一行命令即可启动兼容 OpenAI 接口的模型服务：

●●●

vllm serve meta-llama/Meta-Llama-3-8B-Instruct --host 0.0.0.0 --port 8000

Python 离线推理

在代码中直接调用进行批量生成：

●●●

from vllm import LLM, SamplingParams

# 初始化模型
llm = LLM(model="meta-llama/Meta-Llama-3-8B-Instruct")

# 设置采样参数
sampling_params = SamplingParams(temperature=0.7, top_p=0.9, max_tokens=256)

# 执行推理
prompts = ["Hello, my name is", "The capital of France is"]
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    print(output.outputs[0].text)

客户端调用

由于服务端兼容 OpenAI API，可直接使用 OpenAI SDK 进行调用：

●●●

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")
response = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    messages=[{"role": "user", "content": "介绍一下 vLLM"}]
)
print(response.choices[0].message.content)