O que é geração guiada?
A geração básica de texto para imagem (Text-to-Image) cria imagens usando apenas um prompt. No entanto, um prompt sozinho tem limitações quando é necessário um controle estrutural, como “use esta pose”, “use esta composição” ou “use este estilo”.
Geração guiada (Guided Generation) é uma técnica que controla o resultado ao injetar no modelo condições (Conditions) adicionais, como imagens de referência, informações estruturais ou pesos de estilo. No ComfyUI, há três métodos principais:
| Método | Elemento controlado | Node representativo |
|---|---|---|
| ControlNet | Estrutura espacial, layout | ControlNetApplyAdvanced |
| LoRA | Estilo, personagem, conceito | LoraLoader |
| Reference/Redux | Estilo geral, atmosfera | Nodes específicos de cada modelo |
Explicação detalhada dos tipos de guia
ControlNet
ControlNet controla a estrutura da imagem gerada ao injetar no modelo informações estruturais (Structural Condition) extraídas de uma imagem de entrada. É possível gerar uma imagem totalmente diferente enquanto se preservam os contornos, a profundidade ou a pose humana da imagem original.
Tipos de ControlNet
| Tipo | Informação extraída | Finalidade | Node de pré-processamento |
|---|---|---|---|
| Canny | Contornos | Preservar forma/silhueta | Canny |
| Depth | Mapa de profundidade | Preservar perspectiva/disposição espacial | DepthAnything V2 |
| OpenPose | Posições das articulações humanas | Preservar a pose | DWPosePreprocessor |
Principal parâmetro do ControlNet
| Parâmetro | Descrição | Faixa recomendada |
|---|---|---|
| strength | Intensidade do controle. Quanto maior, mais rigorosamente a estrutura é seguida | 0.5 ~ 1.0 |
LoRA — personalização de estilo/personagem
É um modelo treinado em um estilo, personagem ou outro elemento específico.
Principais parâmetros do LoRA
| Parâmetro | Descrição | Faixa recomendada |
|---|---|---|
| strength_model | Nível de influência do LoRA sobre o modelo | 0.6 ~ 1.0 |
| strength_clip | Nível de influência do LoRA sobre o codificador de texto | 0.6 ~ 1.0 |
Reference/Redux — transferência de estilo baseada em imagem de referência
Reference fornece ao modelo a própria imagem de referência para transferir seu estilo, suas cores e sua atmosfera. Se o ControlNet dá a instrução “siga esta forma”, o Reference dá a instrução “crie com esta aparência”.
Flux.1 Redux e outros modelos específicos extraem as características visuais da imagem de referência e as aplicam à geração de uma nova imagem.
Workflows do ControlNet
Workflow de Canny
Canny Controlnet é o tipo mais básico e intuitivo de ControlNet. Ele extrai os contornos da imagem de entrada para controlar a forma da imagem gerada.
Flux.1 Canny
Modelos usados: flux1-dev-fp8 + flux-canny-controlnet-v3.safetensors
Workflow de Depth
Depth ControlNet extrai o mapa de profundidade (Depth Map) da imagem de entrada para controlar a perspectiva e a disposição espacial. Em vez da forma da pessoa, ele é eficaz para preservar “o que está na frente e o que está atrás”.
Flux.1 Depth
Modelos usados: flux1-dev-fp8 + flux-depth-controlnet-v3.safetensors
Workflow de OpenPose
OpenPose ControlNet extrai a pose da pessoa em uma imagem de entrada e é eficaz para gerar outro personagem com a mesma pose.
Flux.1 OpenPose
Modelos usados: flux1-dev-fp8 + FLUX-1-dev-Controlnet-union-Pro.safetensors
Estrutura básica de um workflow com LoRA
LoRA é usado em workflows cuja estrutura básica é esta:
Aplicação de vários LoRAs
Para aplicar vários LoRAs ao mesmo tempo, conecte nodes LoraLoader em sequência:
Workflow de Reference
Flux.1 Dev USO Reference — geração baseada em imagem de referência
Gera novas imagens preservando a consistência do estilo e do tema da imagem de referência.
Exemplos de uso:
- Gerar o mesmo personagem em várias poses e cenários
- Criar uma série consistente de imagens de produto
- Gerar diversas variações do mesmo tema
Qual método escolher?
Recomendações por finalidade
- Preciso preservar os contornos com exatidão → Canny ControlNet
- Quero preservar a perspectiva/disposição espacial → Depth ControlNet
- Quero gerar com um estilo/personagem específico → LoRA
- Quero transferir a atmosfera de uma imagem de referência → Reference
- Preciso preservar uma pose específica → OpenPose ControlNet
Resumo
| Conteúdo aprendido | Ponto principal |
|---|---|
| ControlNet | Controla a estrutura espacial com mapas estruturais (bordas/profundidade/pose). Há três arquiteturas: modelo específico, módulo ControlNet e patch de modelo |
| LoRA | Personaliza estilos/personagens/conceitos com arquivos leves de pesos. Pode ser conectado em cadeia com o LoraLoader |
| Reference | Transfere o estilo/a atmosfera de uma imagem de referência. É mais adequado à transferência de atmosfera do que ao controle estrutural |