ComfyUI

OpenClaw est fourni avec un plugin comfy intégré pour les exécutions ComfyUI basées sur des workflows. Le plugin étant entièrement basé sur des workflows, OpenClaw n’essaie pas de mapper des contrôles génériques de type size, aspectRatio, resolution, durationSeconds ou TTS sur votre graphe.

Propriété	Détail
Fournisseur	comfy
Modèles	comfy/workflow
Surfaces partagées	image_generate, video_generate, music_generate
Auth	Aucune pour le ComfyUI local ; COMFY_API_KEY ou COMFY_CLOUD_API_KEY pour Comfy Cloud
API	ComfyUI /prompt / /history / /view et Comfy Cloud /api/*

Ce qu’il prend en charge

• Génération d’images à partir d’un JSON de workflow
• Modification d’images avec 1 image de référence téléchargée
• Génération de vidéos à partir d’un JSON de workflow
• Génération de vidéos avec 1 image de référence téléchargée
• Génération de musique ou d’audio via l’outil music_generate partagé
• Téléchargement de la sortie à partir d’un nœud configuré ou de tous les nœuds de sortie correspondants

Getting started

Choisissez entre exécuter ComfyUI sur votre propre machine ou utiliser Comfy Cloud.

LocalComfy Cloud

Idéal pour : exécuter votre propre instance ComfyUI sur votre machine ou votre réseau local.

1. Démarrer ComfyUI localement

   Assurez-vous que votre instance locale ComfyUI est en cours d’exécution (par défaut sur http://127.0.0.1:8188).

2. Préparer votre JSON de workflow

   Exportez ou créez un fichier JSON de workflow ComfyUI. Notez les ID des nœuds pour le nœud d’entrée de prompt et le nœud de sortie que vous souhaitez qu’OpenClaw lise.

3. Configurer le fournisseur

   Définissez mode: "local" et pointez vers votre fichier de workflow. Voici un exemple minimal d’image :

   {
     plugins: {
       entries: {
         comfy: {
           config: {
             mode: "local",
             baseUrl: "http://127.0.0.1:8188",
             image: {
               workflowPath: "./workflows/flux-api.json",
               promptNodeId: "6",
               outputNodeId: "9",
             },
           },
         },
       },
     },
   }

4. Définir le modèle par défaut

   Pointez OpenClaw vers le modèle comfy/workflow pour la fonctionnalité que vous avez configurée :

   {
     agents: {
       defaults: {
         imageGenerationModel: {
           primary: "comfy/workflow",
         },
       },
     },
   }

5. Vérifier

   openclaw models list --provider comfy

Idéal pour : exécuter des workflows sur Comfy Cloud sans gérer de ressources GPU locales.

1. Obtenir une clé API

   Inscrivez-vous sur comfy.org et générez une clé API à partir de votre tableau de bord de compte.

2. Définir la clé API

   Fournissez votre clé via l’une de ces méthodes :

   # Environment variable (preferred)
   export COMFY_API_KEY="your-key"
   
   # Alternative environment variable
   export COMFY_CLOUD_API_KEY="your-key"
   
   # Or inline in config
   openclaw config set plugins.entries.comfy.config.apiKey "your-key"

3. Préparer votre JSON de workflow

   Exportez ou créez un fichier JSON de workflow ComfyUI. Notez les ID de nœud pour le nœud d’entrée de prompt et le nœud de sortie.

4. Configurer le fournisseur

   Définissez mode: "cloud" et pointez vers votre fichier de workflow :

   {
     plugins: {
       entries: {
         comfy: {
           config: {
             mode: "cloud",
             image: {
               workflowPath: "./workflows/flux-api.json",
               promptNodeId: "6",
               outputNodeId: "9",
             },
           },
         },
       },
     },
   }

   Tip

   Le mode cloud définit baseUrl par défaut à https://cloud.comfy.org. Vous n’avez besoin de définir baseUrl que si vous utilisez un point de terminaison cloud personnalisé.

5. Définir le modèle par défaut

   {
     agents: {
       defaults: {
         imageGenerationModel: {
           primary: "comfy/workflow",
         },
       },
     },
   }

6. Vérifier

   openclaw models list --provider comfy

Configuration

Comfy prend en charge les paramètres de connexion de niveau supérieur partagés ainsi que les sections de workflow par capacité (image, video, music) :

{
  plugins: {
    entries: {
      comfy: {
        config: {
          mode: "local",
          baseUrl: "http://127.0.0.1:8188",
          image: {
            workflowPath: "./workflows/flux-api.json",
            promptNodeId: "6",
            outputNodeId: "9",
          },
          video: {
            workflowPath: "./workflows/video-api.json",
            promptNodeId: "12",
            outputNodeId: "21",
          },
          music: {
            workflowPath: "./workflows/music-api.json",
            promptNodeId: "3",
            outputNodeId: "18",
          },
        },
      },
    },
  },
}

Clés partagées

Clé	Type	Description
mode	"local" ou "cloud"	Mode de connexion.
baseUrl	chaîne	Par défaut à http://127.0.0.1:8188 pour le mode local ou https://cloud.comfy.org pour le cloud.
apiKey	chaîne	Clé en ligne optionnelle, alternative aux variables d’environnement COMFY_API_KEY / COMFY_CLOUD_API_KEY.
allowPrivateNetwork	booléen	Autoriser un baseUrl privé/LAN en mode cloud.

Clés par capacité

Ces clés s’appliquent dans les sections image, video ou music :

Clé	Obligatoire	Par défaut	Description
workflow ou workflowPath	Oui	—	Chemin vers le fichier JSON du workflow ComfyUI.
promptNodeId	Oui	—	ID du nœud qui reçoit le prompt textuel.
promptInputName	Non	"text"	Nom de l’entrée sur le nœud de prompt.
outputNodeId	Non	—	ID du nœud à partir duquel lire la sortie. Si omis, tous les nœuds de sortie correspondants sont utilisés.
pollIntervalMs	Non	—	Intervalle d’interrogation en millisecondes pour la fin de la tâche.
timeoutMs	Non	—	Délai d’attente en millisecondes pour l’exécution du workflow.

Les sections image et video prennent également en charge :

Clé	Obligatoire	Par défaut	Description
inputImageNodeId	Oui (lors du passage d’une image de référence)	—	ID du nœud qui reçoit l’image de référence téléchargée.
inputImageInputName	Non	"image"	Nom de l’entrée sur le nœud d’image.

Détails du workflow

Workflows d'images

Définir le model d’image par défaut sur comfy/workflow :

{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Exemple d’édition avec image de référence :

Pour activer l’édition d’images avec une image de référence téléchargée, ajoutez inputImageNodeId à votre configuration d’image :

{
  plugins: {
    entries: {
      comfy: {
        config: {
          image: {
            workflowPath: "./workflows/edit-api.json",
            promptNodeId: "6",
            inputImageNodeId: "7",
            inputImageInputName: "image",
            outputNodeId: "9",
          },
        },
      },
    },
  },
}

Workflows vidéo

Définir le model vidéo par défaut sur comfy/workflow :

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Les workflows vidéo Comfy prennent en charge le texte-vers-vidéo et l’image-vers-vidéo via le graphe configuré.

Note

OpenClaw ne transmet pas les vidéos d’entrée dans les workflows Comfy. Seuls les prompts textuels et les images de référence uniques sont pris en charge en tant qu’entrées.

Workflows musicaux

Le plugin inclus enregistre un provider de génération musicale pour les sorties audio ou musicales définies par le workflow, accessible via l’outil partagé music_generate :

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

Utilisez la section de configuration music pour pointer vers votre JSON de workflow audio et votre nœud de sortie.

Rétrocompatibilité

La configuration de image de premier niveau existante (sans la section imbriquée image) fonctionne toujours :

{
  plugins: {
    entries: {
      comfy: {
        config: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
      },
    },
  },
}

OpenClaw traite cette forme héritée comme la configuration du workflow d’image. Vous n’avez pas besoin de migrer immédiatement, mais les sections imbriquées image / video / music sont recommandées pour les nouvelles configurations.

Tip

Si vous utilisez uniquement la génération d’images, la configuration plate héritée et la nouvelle section imbriquée image sont fonctionnellement équivalentes.

Tests en direct

Une couverture en direct par opt-in existe pour le plugin inclus :

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Le test en direct ignore les cas individuels d’image, vidéo ou musique, sauf si la section de workflow Comfy correspondante est configurée.

Connexes

Génération d'images

Configuration et utilisation de l’outil de génération d’images.

Génération de vidéos

Configuration et utilisation de l’outil de génération de vidéos.

Génération de musique

Configuration de l’outil de génération de musique et d’audio.

Répertoire des fournisseurs

Aperçu de tous les fournisseurs et des références de modèles.

Référence de configuration

Référence complète de la configuration, y compris les valeurs par défaut des agents.