03. 가이드 생성 (Guided Generation)

가이드 생성이란?

기본적인 텍스트-이미지 생성(Text-to-Image)은 프롬프트만으로 이미지를 만듭니다. 하지만 “이 포즈로”, “이 구도로”, “이 스타일로” 같은 구조적 제어가 필요한 경우에는 프롬프트만으로는 한계가 있습니다.

**가이드 생성(Guided Generation)**은 참조 이미지, 구조 정보, 스타일 가중치 등 **추가적인 조건(Condition)**을 모델에 주입하여 생성 결과를 제어하는 기법입니다. ComfyUI에서는 크게 세 가지 방식을 사용합니다:

방식	제어 대상	대표 노드
ControlNet	공간 구조, 레이아웃	`ControlNetApplyAdvanced`
LoRA	스타일, 캐릭터, 개념	`LoraLoader`
Reference/Redux	전체 스타일, 분위기	모델별 전용 노드

가이드 유형 상세 설명

ControlNet

ControlNet은 입력 이미지에서 추출한 **구조적인 정보(Structural Condition)**를 모델에 주입하여 생성 이미지의 구조를 제어합니다. 원본 이미지의 윤곽선, 깊이감, 인체 포즈 등을 유지하면서 전혀 다른 이미지를 생성할 수 있습니다.

ControlNet 유형

유형	추출 정보	용도	전처리 노드
Canny	윤곽선	형태/실루엣 유지	`Canny`
Depth	깊이 맵	원근감/공간 배치 유지	`DepthAnything V2`
OpenPose	인체 관절 위치	포즈 유지	`DWPosePreprocessor`

ControlNet 핵심 파라미터

파라미터	설명	권장 범위
strength	제어 강도. 높을수록 구조를 엄격하게 따름	0.5 ~ 1.0

LoRA - 스타일/캐릭터 커스터마이즈

특정 스타일, 캐릭터 등을 학습시킨 모델입니다.

LoRA 핵심 파라미터

파라미터	설명	권장 범위
strength_model	모델에 대한 LoRA 영향도	0.6 ~ 1.0
strength_clip	텍스트 인코더에 대한 LoRA 영향도	0.6 ~ 1.0

Reference/Redux - 참조 이미지 기반 스타일 전이

Reference 방식은 참조 이미지 자체를 모델에 입력하여 스타일, 색감, 분위기를 전이합니다. ControlNet이 “형태를 따라하라”는 명령이라면, Reference는 “이 느낌으로 만들어라”는 명령입니다.

Flux.1 Redux와 같은 전용 모델은 참조 이미지의 시각적 특성을 추출하여 새로운 이미지 생성에 반영합니다.

ControlNet 워크플로우

Canny 워크플로우

Canny Controlnet는 가장 기본적이고 직관적인 ControlNet 유형입니다. 입력 이미지의 윤곽선을 추출하여 생성 이미지의 형태를 제어합니다.

Flux.1 Canny

사용 모델: flux1-dev-fp8 + flux-canny-controlnet-v3.safetensors

Canny 워크플로우

Depth 워크플로우

Depth ControlNet은 입력 이미지의 **깊이 맵(Depth Map)**을 추출하여 원근감과 공간 배치를 제어합니다. 인물의 형태보다는 **“무엇이 앞에 있고 무엇이 뒤에 있는가”**를 유지하는 데 효과적입니다.

Flux.1 Depth

사용 모델: flux1-dev-fp8 + flux-depth-controlnet-v3.safetensors

Depth 워크플로우

OpenPose 워크플로우

OpenPose ControlNet은 입력 이미지 속 인물의 포즈를 추출하여 동일한 포즈의 다른 캐릭터를 생성하는데 효과적입니다.

Flux.1 OpenPose

사용 모델: flux1-dev-fp8 + FLUX-1-dev-Controlnet-union-Pro.safetensors

OpenPose 워크플로우

LoRA 워크플로우 기본 구조

LoRA를 사용하는 워크플로우의 기본 구조는 다음과 같습니다:

LoRA 기본 구조

LoRA 다중 적용

여러 LoRA를 동시에 적용하려면 LoraLoader 노드를 연속적으로 연결합니다:

LoRA 다중 적용

Reference 워크플로우

Flux.1 Dev USO Reference - 참조 이미지 기반 생성

Reference 워크플로우

참조 이미지의 스타일 및 피사체 일관성을 유지하면서 새로운 이미지를 생성합니다.

활용 예시:

같은 캐릭터를 다양한 포즈/배경으로 생성
제품 이미지의 일관된 시리즈 제작
동일 피사체의 다양한 변형 생성

어떤 방식을 선택할까?

목적별 추천

정확한 윤곽선 유지가 필요하다 → Canny ControlNet
원근감/공간 배치를 유지하고 싶다 → Depth ControlNet
특정 스타일/캐릭터로 생성하고 싶다 → LoRA
참조 이미지의 분위기를 전이하고 싶다 → Reference
특정 포즈 유지가 필요하다 → OpenPose ControlNet

요약

학습한 내용	핵심 포인트
ControlNet	구조 맵(엣지/깊이/포즈)으로 공간 구조를 제어. 전용 모델, ControlNet 모듈, 모델 패치 세 가지 아키텍처 존재
LoRA	경량 가중치 파일로 스타일/캐릭터/개념을 커스터마이즈. LoraLoader로 체인 연결 가능
Reference	참조 이미지의 스타일/분위기를 전이. 구조 제어보다 분위기 전이에 적합