Skip to content

SGLang

SGLang 透過 OpenAI 相容的 HTTP API 提供開放權重模型。OpenClaw 使用 openai-completions 提供者系列連接到 SGLang,並自動探索可用的模型。

屬性
提供者 IDsglang
外掛程式內建,enabledByDefault: true
授權環境變數SGLANG_API_KEY (如果伺服器沒有授權,則為任何非空值)
入門旗標--auth-choice sglang
APIOpenAI 相容 (openai-completions
預設基礎 URLhttp://127.0.0.1:30000/v1
預設模型佔位符sglang/Qwen/Qwen3-8B
串流使用方式是 (supportsStreamingUsage: true
定價標記為外部免費 (modelPricing.external: false

當您使用 SGLANG_API_KEY 選擇加入時,OpenClaw 也會從 SGLang 自動探索 可用的模型。當您同時配置了自訂 SGLang 基礎 URL 時,請在 agents.defaults.models 中使用 sglang/* 以保持探索動態。請參閱下方的 Model discovery (implicit provider)

  1. 啟動 SGLang

    使用與 OpenAI 相容的伺服器啟動 SGLang。您的基礎 URL 應公開 /v1 端點(例如 /v1/models/v1/chat/completions)。SGLang 通常運行於:

    • http://127.0.0.1:30000/v1
  2. 設定 API 金鑰

    如果您的伺服器未設定授權,則任何值均可運作:

    Terminal window
    export SGLANG_API_KEY="sglang-local"
  3. 執行入門或直接設定模型

    Terminal window
    openclaw onboard

    或手動設定模型:

    {
    agents: {
    defaults: {
    model: { primary: "sglang/your-model-id" },
    },
    },
    }

當設定了 SGLANG_API_KEY(或存在驗證設定檔)且您 定義 models.providers.sglang 時,OpenClaw 將會查詢:

  • GET http://127.0.0.1:30000/v1/models

並將傳回的 ID 轉換為模型項目。

在以下情況使用明確設定:

  • SGLang 運行在不同的主機/連接埠上。
  • 您想要固定 contextWindow/maxTokens 值。
  • 您的伺服器需要真實的 API 金鑰(或者您想要控制標頭)。
{
models: {
providers: {
sglang: {
baseUrl: "http://127.0.0.1:30000/v1",
apiKey: "${SGLANG_API_KEY}",
api: "openai-completions",
models: [
{
id: "your-model-id",
name: "Local SGLang Model",
reasoning: false,
input: ["text"],
cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
contextWindow: 128000,
maxTokens: 8192,
},
],
},
},
},
}
Proxy 樣式行為

SGLang 被視為 Proxy 樣式的 OpenAI 相容 /v1 後端,而非 原生 OpenAI 端點。

行為SGLang
僅限 OpenAI 的請求塑形未套用
service_tier、回應 store、提示快取提示未傳送
推理相容酬載塑形未套用
隱藏的歸因標頭 (originatorversionUser-Agent)未在自訂 SGLang 基礎 URL 上注入
疑難排解

伺服器無法連線

確認伺服器正在運行並有回應:

Terminal window
curl http://127.0.0.1:30000/v1/models

驗證錯誤

如果請求因驗證錯誤而失敗,請設定一個符合您伺服器設定的真實 SGLANG_API_KEY,或在 models.providers.sglang 下明確設定供應商。

Model selection

選擇供應商、模型參照和故障轉移行為。

Configuration reference

包含供應商項目的完整組態架構。