ComfyUI OmniGen2 네이티브 워크플로우 예시

ComfyUI OmniGen2 네이티브 워크플로우 예시 - 통합 텍스트 기반 이미지 생성, 이미지 편집 및 다중 이미지 합성 모델

​

OmniGen2 소개

OmniGen2는 약 7B의 총 파라미터(텍스트 모델 3B + 이미지 생성 모델 4B)를 갖춘 강력하고 효율적인 통합 멀티모달 생성 모델입니다. OmniGen v1과 달리, OmniGen2는 완전히 독립된 텍스트 자기회귀 모델과 이미지 확산 모델을 갖춘 혁신적인 이중 경로 트랜스포머 아키텍처를 채택해 파라미터 분리와 특화된 최적화를 달성했습니다.

​

모델 주요 특징

• 시각적 이해: Qwen-VL-2.5 파운데이션 모델의 강력한 이미지 콘텐츠 해석 및 분석 능력을 계승
• 텍스트 기반 이미지 생성: 텍스트 프롬프트로부터 고화질이고 미학적으로 뛰어난 이미지를 생성
• 지시어 기반 이미지 편집: 복잡한 지시어 기반 이미지 수정을 수행하며, 오픈소스 모델 중 최고 수준의 성능 달성
• 맥락 기반 생성: 사람, 참조 객체, 장면 등 다양한 입력을 처리하고 유연하게 조합해 참신하고 일관된 시각적 출력을 생성하는 다재다능한 기능

​

기술적 특징

• 이중 경로 아키텍처: Qwen 2.5 VL (3B) 텍스트 인코더 + 독립적 확산 트랜스포머 (4B) 기반
• Omni-RoPE 위치 인코딩: 다중 이미지 공간 위치 지정 및 개체 식별 지원
• 파라미터 분리 설계: 텍스트 생성이 이미지 품질에 부정적인 영향을 미치는 것을 방지
• 복잡한 텍스트 이해 및 이미지 이해 지원
• 제어 가능한 이미지 생성 및 편집
• 뛰어난 디테일 보존 능력
• 여러 이미지 생성 작업을 지원하는 통합 아키텍처
• 텍스트 생성 기능: 이미지 내 명확한 텍스트 콘텐츠 생성 가능

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

​

OmniGen2 모델 다운로드

본 문서에는 다양한 워크플로우가 포함되어 있으므로, 해당 모델 파일과 설치 위치는 다음과 같습니다. 모델 파일의 다운로드 정보는 각 워크플로우에도 포함되어 있습니다.

확산 모델

• omnigen2_fp16.safetensors

VAE

• ae.safetensors

텍스트 인코더

• qwen_2.5_vl_fp16.safetensors

파일 저장 위치:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── omnigen2_fp16.safetensors
│   ├── 📂 vae/
│   │   └── ae.safetensors
│   └── 📂 text_encoders/
│       └── qwen_2.5_vl_fp16.safetensors

​

ComfyUI OmniGen2 텍스트 기반 이미지 생성 워크플로우

​

OmniGen2: 텍스트 기반 이미지 생성

이중 경로 아키텍처를 갖춘 OmniGen2의 통합 7B 멀티모달 모델을 사용하여 텍스트 프롬프트에서 고품질 이미지를 생성하세요.

Comfy Cloud에서 실행

Comfy Cloud에서 이 워크플로우를 직접 열고 실행하세요.

워크플로우 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “OmniGen2”를 검색하세요.

출력 예시

​

1. 워크플로우 파일 다운로드

​

2. 워크플로우 단계별 완료

이미지에 번호가 표시된 단계를 따라 순서대로 확인하며 해당 워크플로우가 원활히 작동하도록 하세요.

1. 메인 모델 로드: Load Diffusion Model 노드가 omnigen2_fp16.safetensors를 로드하는지 확인하세요.
2. 텍스트 인코더 로드: Load CLIP 노드가 qwen_2.5_vl_fp16.safetensors를 로드하는지 확인하세요.
3. VAE 로드: Load VAE 노드가 ae.safetensors를 로드하는지 확인하세요.
4. 이미지 크기 설정: EmptySD3LatentImage 노드에서 생성할 이미지 크기를 설정하세요(권장 크기 1024x1024).
5. 프롬프트 입력:
   • 첫 번째 CLipTextEncode 노드에 긍정적 프롬프트를 입력하세요(이미지에 나타나길 원하는 콘텐츠).
   • 두 번째 CLipTextEncode 노드에 네거티브 프롬프트를 입력하세요(이미지에 나타나지 않길 원하는 콘텐츠).
6. 생성 시작: Queue Prompt 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 텍스트 기반 이미지 생성을 실행하세요.
7. 결과 확인: 생성이 완료된 후 해당 이미지가 자동으로 ComfyUI/output/ 디렉터리에 저장되며, SaveImage 노드에서 미리보기할 수도 있습니다.

​

ComfyUI OmniGen2 이미지 편집 워크플로우

OmniGen2는 풍부한 이미지 편집 기능을 갖추고 있으며, 이미지에 텍스트 추가도 지원합니다.

​

OmniGen2 이미지 편집

OmniGen2의 고급 이미지 편집 기능과 텍스트 렌더링 지원을 사용하여 자연어 지시로 이미지를 편집하세요.

Comfy Cloud에서 실행

이 워크플로우를 Comfy Cloud에서 직접 열고 실행하세요.

워크플로우 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “OmniGen2 Image Edit”을 검색하세요.

입력 자료

이 파일을 해당하는 LoadImage 노드에 업로드하세요:

image_omnigen2_image_edit_input_image.png

LoadImage 노드 16 · image_omnigen2_image_edit_input_image.png

예시 출력

​

1. 워크플로우 파일 다운로드

​

2. 워크플로우 단계별 완료

1. 메인 모델 로드: Load Diffusion Model 노드가 omnigen2_fp16.safetensors를 로드하는지 확인하세요.
2. 텍스트 인코더 로드: Load CLIP 노드가 qwen_2.5_vl_fp16.safetensors를 로드하는지 확인하세요.
3. VAE 로드: Load VAE 노드가 ae.safetensors를 로드하는지 확인하세요.
4. 이미지 업로드: 제공된 이미지를 Load Image 노드에서 업로드하세요.
5. 입력 프롬프트:
   • 첫 번째 CLipTextEncode 노드에 긍정적 프롬프트를 입력하세요(이미지에 나타나길 원하는 내용).
   • 두 번째 CLipTextEncode 노드에 부정적 프롬프트를 입력하세요(이미지에 나타나지 않길 원하는 내용).
6. 생성 시작: Queue Prompt 버튼을 클릭하거나, 단축키 Ctrl(cmd) + Enter를 사용해 텍스트 기반 이미지 생성을 실행하세요.
7. 결과 확인: 생성이 완료되면 해당 이미지들이 자동으로 ComfyUI/output/ 디렉터리에 저장되며, SaveImage 노드에서 미리보기할 수 있습니다.

​

3. 추가 워크플로우 안내

• 두 번째 이미지 입력을 활성화하려면, 단축키 Ctrl + B를 사용하여 워크플로우에서 분홍색/보라색 상태인 노드의 해당 입력을 활성화할 수 있습니다.
• 크기를 사용자 정의하려면 EmptySD3LatentImage 노드에 연결된 Get image size 노드를 삭제하고 사용자 정의 크기를 입력할 수 있습니다.