61.8K+ Star！ litellm：统一调用100+大模型的开源AI网关- 大数跨境

首页

61.8K+ Star！ litellm：统一调用100+大模型的开源AI网关

AIGC创想者

2026-10-23

导读：LiteLLM 是一个开源的 AI 网关项目，用于解决企业在接入多个大语言模型时面临的接口不统一、鉴权方式各异、请求格式不同等碎片化问题。

litellm简介

AI/ML

LiteLLM 是一个开源的 AI 网关项目，用于解决企业在接入多个大语言模型时面临的接口不统一、鉴权方式各异、请求格式不同等碎片化问题。它将 OpenAI、Anthropic、Gemini、Bedrock、Azure 等 100 多家供应商的 API 统一转换为标准的 OpenAI 格式，让开发者无需为每个模型单独适配 SDK。

它提供两种使用形态：作为 Python SDK 直接嵌入代码进行模型调用与路由；或作为独立的代理服务器（Proxy Server）部署，为团队提供集中式的密钥管理、费用追踪、负载均衡和管理面板等企业级能力。

⚠️注意：PyPI 上的 LiteLLM 1.107.0 被植入恶意代码，会窃取SSH密钥、云凭据、CI/CD密钥、各模型供应商密钥等，后门还会定时下载并执行远程代码。使用统一网关管理密钥的用户需要自查版本，若安装过该版本，应隔离主机并轮换相关凭据。

亮点特性

01全面兼容 OpenAI 格式

将 100 多种 LLM 供应商的接口统一转换为 OpenAI 标准格式，实现真正的即插即用

02极低延迟的高性能网关

在 1000 RPS 并发下 P95 延迟仅为 8ms，满足严苛的生产环境要求

03开箱即用的企业级特性

内置虚拟密钥管理、多租户费用追踪、负载均衡、异常回退机制以及可视化管理面板

04支持前沿协议生态

除了常规对话补全，还支持 A2A 智能体协议、MCP 工具桥接以及 Agent Harness 运行框架

05灵活的部署方式

既可作为轻量级 Python 库集成，也可通过 Docker、Terraform 一键部署至 AWS/GCP 等云平台

使用场景

场景 1多模型无缝切换与对比测试

在应用开发阶段，只需更改模型名称参数即可在不同厂商的大模型之间快速切换，无需重写业务代码

场景 2企业级 LLM 成本管控与权限隔离

通过部署代理服务器，为不同部门或项目分配虚拟密钥，实时监控各团队的 Token 消耗和费用支出

场景 3高可用生产环境路由

配置主备模型策略，当首选模型出现超时或宕机时自动降级到备用模型，保障线上服务的稳定性

快速上手

安装 Python SDK

●●●

pip install litellm
# 或使用 uv
uv add litellm

SDK 基本用法

设置环境变量后，使用统一的 completion 函数调用任意模型：

●●●

import os
from litellm import completion

os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["ANTHROPIC_API_KEY"] = "your-anthropic-key"

# 调用 OpenAI
response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])

# 调用 Anthropic，代码结构完全一致
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])

部署 AI 网关 (Proxy Server)

●●●

# 安装并启动代理
uv tool install 'litellm[proxy]'
litellm --model gpt-4o

启动后，任何支持 OpenAI 格式的客户端均可直接指向该网关：

●●●

import openai

client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hello!"}]
)