vLLM

vLLM 可以透過 OpenAI 相容 的 HTTP API 提供開源（及部分自訂）模型。OpenClaw 可以使用 openai-completions API 連接到 vLLM。

當您選擇使用 VLLM_API_KEY（如果您的伺服器未強制執行驗證，則任何值均可）且未定義明確的 models.providers.vllm 項目時，OpenClaw 也可以從 vLLM 自動探索 可用模型。

快速開始

使用 OpenAI 相容伺服器啟動 vLLM。

您的基礎 URL 應公開 /v1 端點（例如 /v1/models、/v1/chat/completions）。vLLM 通常運行於：

http://127.0.0.1:8000/v1

選擇加入（如果未設定驗證，則任何值均可）：

export VLLM_API_KEY="vllm-local"

選擇一個模型（替換為您的其中一個 vLLM 模型 ID）：

{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}

模型探索（隱性提供者）

當設定了 VLLM_API_KEY（或存在驗證設定檔）且您未定義 models.providers.vllm 時，OpenClaw 將會查詢：

GET http://127.0.0.1:8000/v1/models

……並將傳回的 ID 轉換為模型項目。

如果您明確設定 models.providers.vllm，將會跳過自動探索，且您必須手動定義模型。

明確設定（手動模型）

在以下情況使用明確設定：

vLLM 運行於不同的主機/連接埠。
您想要固定 contextWindow/maxTokens 值。
您的伺服器需要真實的 API 金鑰（或您想要控制標頭）。

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local vLLM Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

疑難排解

檢查伺服器是否可連線：

curl http://127.0.0.1:8000/v1/models

如果請求因驗證錯誤而失敗，請設定符合您伺服器設定的真實 VLLM_API_KEY，或在 models.providers.vllm 下明確設定提供者。