Skip to content

LiteLLM

LiteLLM 是一個開放原始碼的 LLM 閘道,為 100 多個模型供應商提供統一的 API。透過 LiteLLM 路由 OpenClaw,以獲得集中的成本追蹤、日誌記錄,以及無需變更 OpenClAM 組態即可切換後端的靈活性。

最適用於: 最快建立可運作的 LiteLLM 環境。

  1. 執行入門指南

    Terminal window
    openclaw onboard --auth-choice litellm-api-key

    若要針對遠端 Proxy 進行非互動式設定,請明確傳遞 Proxy URL:

    Terminal window
    openclaw onboard --non-interactive --auth-choice litellm-api-key --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"
Terminal window
export LITELLM_API_KEY="sk-litellm-key"
{
models: {
providers: {
litellm: {
baseUrl: "http://localhost:4000",
apiKey: "${LITELLM_API_KEY}",
api: "openai-completions",
models: [
{
id: "claude-opus-4-6",
name: "Claude Opus 4.6",
reasoning: true,
input: ["text", "image"],
contextWindow: 200000,
maxTokens: 64000,
},
{
id: "gpt-4o",
name: "GPT-4o",
reasoning: false,
input: ["text", "image"],
contextWindow: 128000,
maxTokens: 8192,
},
],
},
},
},
agents: {
defaults: {
model: { primary: "litellm/claude-opus-4-6" },
},
},
}

LiteLLM 也可以透過 OpenAI 相容的 /images/generations/images/edits 路由來支援 image_generate 工具。在 agents.defaults.imageGenerationModel 下設定 LiteLLM 影像 模型:

{
models: {
providers: {
litellm: {
baseUrl: "http://localhost:4000",
apiKey: "${LITELLM_API_KEY}",
},
},
},
agents: {
defaults: {
imageGenerationModel: {
primary: "litellm/gpt-image-2",
timeoutMs: 180_000,
},
},
},
}

諸如 http://localhost:4000 的 Loopback LiteLLM URL 無需全域 私人網路覆寫即可運作。對於 LAN 託管的 Proxy,請設定 models.providers.litellm.request.allowPrivateNetwork: true,因為 API 金鑰 將會傳送到設定的 Proxy 主機。

虛擬金鑰

建立一個專屬於 OpenClaw 並具有花費限制的金鑰:

Terminal window
curl -X POST "http://localhost:4000/key/generate" \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{
"key_alias": "openclaw",
"max_budget": 50.00,
"budget_duration": "monthly"
}'

使用產生的金鑰作為 LITELLM_API_KEY

模型路由

LiteLLM 可以將模型請求路由到不同的後端。在您的 LiteLLM config.yaml 中進行配置:

model_list:
- model_name: claude-opus-4-6
litellm_params:
model: claude-opus-4-6
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: gpt-4o
litellm_params:
model: gpt-4o
api_key: os.environ/OPENAI_API_KEY

OpenClaw 持續請求 claude-opus-4-6 — LiteLLM 處理路由。

檢視使用情況

檢查 LiteLLM 的儀表板或 API:

Terminal window
# Key info
curl "http://localhost:4000/key/info" \
-H "Authorization: Bearer sk-litellm-key"
# Spend logs
curl "http://localhost:4000/spend/logs" \
-H "Authorization: Bearer $LITELLM_MASTER_KEY"
代理行為備註
  • LiteLLM 預設執行在 http://localhost:4000
  • OpenClaw 通過 LiteLLM 的代理樣式 OpenAI 相容 /v1 端點進行連線
  • 原生僅限 OpenAI 的請求調整不適用於透過 LiteLLM 的請求: 無 service_tier,無 Responses store,無提示快取提示,且無 OpenAI 推理相容負載調整
  • 隱藏的 OpenClaw 歸因標頭(originatorversionUser-Agent) 不會在自訂 LiteLLM 基礎 URL 上注入

LiteLLM 文件

官方 LiteLLM 文件和 API 參考資料。

模型選擇

所有提供者、模型參照和容錯移轉行為的概覽。

組態

完整組態參考資料。

模型選擇

如何選擇和設定模型。