ComfyUI

OpenClaw incluye un complemento (plugin) comfy integrado para ejecuciones de ComfyUI basadas en flujos de trabajo. El complemento se basa totalmente en flujos de trabajo, por lo que OpenClaw no intenta mapear controles genéricos de size, aspectRatio, resolution, durationSeconds, ni de estilo TTS en tu gráfico.

Propiedad	Detalle
Proveedor	comfy
Modelos	comfy/workflow
Superficies compartidas	image_generate, video_generate, music_generate
Autenticación	Ninguna para ComfyUI local; COMFY_API_KEY o COMFY_CLOUD_API_KEY para Comfy Cloud
API	ComfyUI /prompt / /history / /view y Comfy Cloud /api/*

Lo que admite

• Generación de imágenes desde un JSON de flujo de trabajo
• Edición de imágenes con 1 imagen de referencia cargada
• Generación de videos desde un JSON de flujo de trabajo
• Generación de videos con 1 imagen de referencia cargada
• Generación de música o audio a través de la herramienta compartida music_generate
• Descarga de salida desde un nodo configurado o todos los nodos de salida coincidentes

Cómo empezar

Elija entre ejecutar ComfyUI en su propia máquina o usar Comfy Cloud.

LocalComfy Cloud

Lo mejor para: ejecutar tu propia instancia de ComfyUI en tu máquina o red local.

1. Iniciar ComfyUI localmente

   Asegúrate de que tu instancia local de ComfyUI se esté ejecutando (por defecto en http://127.0.0.1:8188).

2. Preparar tu JSON de flujo de trabajo

   Exporta o crea un archivo JSON de flujo de trabajo de ComfyUI. Toma nota de los IDs de los nodos para el nodo de entrada del prompt y el nodo de salida del que quieres que OpenClaw lea.

3. Configurar el proveedor

   Establece mode: "local" y señala tu archivo de flujo de trabajo. Aquí tienes un ejemplo mínimo de imagen:

   {
     plugins: {
       entries: {
         comfy: {
           config: {
             mode: "local",
             baseUrl: "http://127.0.0.1:8188",
             image: {
               workflowPath: "./workflows/flux-api.json",
               promptNodeId: "6",
               outputNodeId: "9",
             },
           },
         },
       },
     },
   }

4. Establecer el modelo predeterminado

   Señala OpenClaw al modelo comfy/workflow para la capacidad que configuraste:

   {
     agents: {
       defaults: {
         imageGenerationModel: {
           primary: "comfy/workflow",
         },
       },
     },
   }

5. Verificar

   openclaw models list --provider comfy

Mejor para: ejecutar flujos de trabajo en Comfy Cloud sin administrar recursos de GPU locales.

1. Obtener una clave de API

   Regístrate en comfy.org y genera una clave de API desde el panel de tu cuenta.

2. Establecer la clave de API

   Proporciona tu clave a través de uno de estos métodos:

   # Environment variable (preferred)
   export COMFY_API_KEY="your-key"
   
   # Alternative environment variable
   export COMFY_CLOUD_API_KEY="your-key"
   
   # Or inline in config
   openclaw config set plugins.entries.comfy.config.apiKey "your-key"

3. Preparar tu JSON de flujo de trabajo

   Exporta o crea un archivo JSON de flujo de trabajo de ComfyUI. Anota los IDs de los nodos para el nodo de entrada del prompt y el nodo de salida.

4. Configurar el proveedor

   Establece mode: "cloud" y señala a tu archivo de flujo de trabajo:

   {
     plugins: {
       entries: {
         comfy: {
           config: {
             mode: "cloud",
             image: {
               workflowPath: "./workflows/flux-api.json",
               promptNodeId: "6",
               outputNodeId: "9",
             },
           },
         },
       },
     },
   }

   Tip

   El modo en la nube establece baseUrl por defecto en https://cloud.comfy.org. Solo necesitas establecer baseUrl si usas un punto de conexión en la nube personalizado.

5. Establecer el modelo predeterminado

   {
     agents: {
       defaults: {
         imageGenerationModel: {
           primary: "comfy/workflow",
         },
       },
     },
   }

6. Verificar

   openclaw models list --provider comfy

Configuración

Comfy admite configuraciones de conexión compartidas de nivel superior además de secciones de flujo de trabajo por capacidad (image, video, music):

{
  plugins: {
    entries: {
      comfy: {
        config: {
          mode: "local",
          baseUrl: "http://127.0.0.1:8188",
          image: {
            workflowPath: "./workflows/flux-api.json",
            promptNodeId: "6",
            outputNodeId: "9",
          },
          video: {
            workflowPath: "./workflows/video-api.json",
            promptNodeId: "12",
            outputNodeId: "21",
          },
          music: {
            workflowPath: "./workflows/music-api.json",
            promptNodeId: "3",
            outputNodeId: "18",
          },
        },
      },
    },
  },
}

Claves compartidas

Clave	Tipo	Descripción
mode	"local" o "cloud"	Modo de conexión.
baseUrl	cadena	El valor predeterminado es http://127.0.0.1:8188 para local o https://cloud.comfy.org para la nube.
apiKey	cadena	Clave en línea opcional, alternativa a las variables de entorno COMFY_API_KEY / COMFY_CLOUD_API_KEY.
allowPrivateNetwork	booleano	Permitir una baseUrl privada/LAN en modo en la nube.

Claves por capacidad

Estas claves se aplican dentro de las secciones image, video o music:

Clave	Obligatorio	Predeterminado	Descripción
workflow o workflowPath	Sí	—	Ruta al archivo JSON del flujo de trabajo de ComfyUI.
promptNodeId	Sí	—	ID del nodo que recibe el mensaje de texto.
promptInputName	No	"text"	Nombre de entrada en el nodo de mensaje.
outputNodeId	No	—	ID del nodo del que leer la salida. Si se omite, se utilizan todos los nodos de salida coincidentes.
pollIntervalMs	No	—	Intervalo de sondeo en milisegundos para la finalización del trabajo.
timeoutMs	No	—	Tiempo de espera en milisegundos para la ejecución del flujo de trabajo.

Las secciones image y video también admiten:

Clave	Obligatorio	Predeterminado	Descripción
inputImageNodeId	Sí (cuando se pasa una imagen de referencia)	—	ID del nodo que recibe la imagen de referencia cargada.
inputImageInputName	No	"image"	Nombre de entrada en el nodo de imagen.

Detalles del flujo de trabajo

Flujos de trabajo de imagen

Establezca el modelo de imagen predeterminado en comfy/workflow:

{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Ejemplo de edición con imagen de referencia:

Para habilitar la edición de imágenes con una imagen de referencia cargada, añada inputImageNodeId a su configuración de imagen:

{
  plugins: {
    entries: {
      comfy: {
        config: {
          image: {
            workflowPath: "./workflows/edit-api.json",
            promptNodeId: "6",
            inputImageNodeId: "7",
            inputImageInputName: "image",
            outputNodeId: "9",
          },
        },
      },
    },
  },
}

Flujos de trabajo de video

Establezca el modelo de video predeterminado en comfy/workflow:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Los flujos de trabajo de video de Comfy admiten texto a video e imagen a video a través del gráfico configurado.

Note

OpenClaw no pasa videos de entrada a los flujos de trabajo de Comfy. Solo se admiten mensajes de texto y imágenes de referencia individuales como entradas.

Flujos de trabajo de música

El complemento incluido registra un proveedor de generación de música para salidas de audio o música definidas en el flujo de trabajo, expuesto a través de la herramienta compartida music_generate:

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

Utilice la sección de configuración music para apuntar a su JSON de flujo de trabajo de audio y al nodo de salida.

Compatibilidad con versiones anteriores

La configuración de imagen de nivel superior existente (sin la sección anidada image) todavía funciona:

{
  plugins: {
    entries: {
      comfy: {
        config: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
      },
    },
  },
}

OpenClaw trata esa forma heredada como la configuración del flujo de trabajo de imagen. No necesita migrar inmediatamente, pero se recomiendan las secciones anidadas image / video / music para las nuevas configuraciones.

Tip

Si solo usa generación de imágenes, la configuración plana heredada y la nueva sección anidada image son funcionalmente equivalentes.

Pruebas en vivo

Existe una cobertura en vivo opcional para el complemento incluido:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

La prueba en vivo omite los casos individuales de imagen, video o música a menos que la sección del flujo de trabajo de Comfy correspondiente esté configurada.

Relacionado

Generación de imágenes

Configuración y uso de la herramienta de generación de imágenes.

Generación de videos

Configuración y uso de la herramienta de generación de videos.

Generación de música

Configuración de la herramienta de generación de música y audio.

Directorio de proveedores

Resumen de todos los proveedores y referencias de modelos.

Referencia de configuración

Referencia completa de configuración, incluidos los valores predeterminados del agente.