跳转到内容

SGLang

SGLang 通过兼容 OpenAI 的 HTTP API 提供开源权重模型。OpenClaw 使用 OpenAIAPIOpenClawopenai-completions 提供商系列连接到 SGLang,并可自动发现可用模型。

属性
提供商 IDsglang
插件内置,enabledByDefault: true
认证环境变量SGLANG_API_KEY (如果服务器没有认证,则为任何非空值)
新手引导标志--auth-choice sglang
API兼容 OpenAI (OpenAIopenai-completions)
默认基础 URLhttp://127.0.0.1:30000/v1
默认模型占位符sglang/Qwen/Qwen3-8B
流式使用是 (supportsStreamingUsage: true)
定价标记为无外部费用 (modelPricing.external: false)

当您选择使用 SGLANG_API_KEY 时,OpenClaw 也会从 SGLang 自动发现可用模型。当您同时配置自定义 SGLang 基础 URL 时,在 agents.defaults.models 中使用 sglang/* 以保持发现过程的动态性。请参阅下方的 Model discovery (implicit 提供商)

  1. 启动 SGLang

    启动具有 OpenAI 兼容服务器的 SGLang。您的基础 URL 应公开 /v1 端点(例如 /v1/models/v1/chat/completions)。SGLang 通常运行在:

    • http://127.0.0.1:30000/v1
  2. API设置 API 密钥

    如果服务器未配置认证,任何值均可:

    Terminal window
    export SGLANG_API_KEY="sglang-local"
  3. 运行新手引导或直接设置模型

    Terminal window
    openclaw onboard

    或手动配置模型:

    {
    agents: {
    defaults: {
    model: { primary: "sglang/your-model-id" },
    },
    },
    }

当设置了 SGLANG_API_KEY(或存在身份验证配置文件)且您没有 定义 models.providers.sglangOpenClaw 时,OpenClaw 将查询:

  • GET http://127.0.0.1:30000/v1/models

并将返回的 ID 转换为模型条目。

在以下情况下使用显式配置:

  • SGLang 运行在不同的主机/端口上。
  • 您想要固定 contextWindow/maxTokens 值。
  • 您的服务器需要真实的 API 密钥(或者您想要控制标头)。
{
models: {
providers: {
sglang: {
baseUrl: "http://127.0.0.1:30000/v1",
apiKey: "${SGLANG_API_KEY}",
api: "openai-completions",
models: [
{
id: "your-model-id",
name: "Local SGLang Model",
reasoning: false,
input: ["text"],
cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
contextWindow: 128000,
maxTokens: 8192,
},
],
},
},
},
}
Proxy-style behavior

SGLang 被视为代理风格的 OpenAI 兼容 /v1 后端,而不是 原生 OpenAI 端点。

行为SGLang
仅限 OpenAI 的请求塑形不适用
service_tier,响应 store,提示缓存提示不发送
推理兼容负载塑形不适用
隐藏的归因头部 (originatorversionUser-Agent)不在自定义 SGLang 基础 URL 上注入
故障排除

无法连接到服务器

验证服务器是否正在运行并响应:

Terminal window
curl http://127.0.0.1:30000/v1/models

身份验证错误

如果请求因身份验证错误而失败,请设置一个与您的服务器配置相匹配的真实 SGLANG_API_KEY,或者在 models.providers.sglang 下显式配置提供商。

模型选择

选择提供商、模型引用和故障转移行为。

配置参考

包含提供商条目的完整配置架构。