Stable Diffusion 란?

Stable Diffusion은 2022년에 공개된 확산 기반의 텍스트-투-이미지 생성 AI로, 텍스트 설명을 조건으로 고해상도 이미지를 생성하고 인페인팅·아웃페인팅·이미지 변환에도 활용되는 오픈 모델 계열이다. 최신 주요 라인업에는 1024×1024 네이티브 해상도와 두 단계 파이프라인을 특징으로 하는 SDXL 1.0과, 확률 흐름 매칭과 디퓨전 트랜스포머(MMDiT)를 결합하고 8억~80억 파라미터 스케일을 갖춘 Stable Diffusion 3가 포함된다.​

개요

초기 세대의 Stable Diffusion은 VAE로 이미지를 잠재공간에 압축하고 U-Net이 노이즈 제거를 수행하며 CLIP ViT-L/14 등 텍스트 인코더로 조건을 주는 잠재 확산 구조를 사용한다. 코드와 가중치가 함께 공개되어 비교적 적은 VRAM을 가진 소비자용 GPU에서도 구동 가능하며, 오프라인·온프레미스 환경에서 자체 워크플로우를 설계할 수 있다.​

주요 버전

SDXL 1.0은 3.5B 파라미터의 베이스와 6.6B 규모의 리파이너를 결합한 두 단계 구성으로, 네이티브 1024×1024, 손·텍스트·공간 배치 등 까다로운 개념에 대한 품질을 크게 개선했다. 또한 더 짧은 프롬프트로도 높은 미적 품질을 내며, 8GB VRAM급 소비자 GPU에서도 효과적으로 동작하도록 설계되었다.​

Stable Diffusion 3(SD3)는 8억~80억 파라미터 스케일의 제품군으로, 디퓨전 트랜스포머 아키텍처와 플로우 매칭을 결합해 다중 주제·이미지 품질·철자 렌더링을 개선한 차세대 모델이다. SD3 Medium은 MMDiT 기반이며 OpenCLIP-ViT/G, CLIP-ViT/L, T5-XXL의 세 텍스트 인코더를 활용해 타이포그래피와 복잡한 프롬프트 이해를 강화했다.​

무엇을 할 수 있나

• 텍스트를 바탕으로 새로운 이미지를 생성하고 시드, 스텝 수, CFG 등 샘플링 파라미터를 조절할 수 있다.​
• 기존 이미지를 프롬프트로 유도해 변환(img2img)하거나 업스케일·세부 묘사를 추가할 수 있다.​
• 인페인팅·아웃페인팅으로 이미지의 특정 영역 수정·캔버스 확장을 수행할 수 있다.​
• ControlNet·depth2img 등 조건 신호를 추가해 구도·형상 보존 등 정밀 제어가 가능하다.​

시작하는 방법

로컬 환경에서는 AUTOMATIC1111 Web UI나 노드 기반의 ComfyUI 등 다양한 오픈소스 인터페이스로 Stable Diffusion을 구동할 수 있다. 클라우드·API는 Stability의 DreamStudio 및 플랫폼을 통해 제공되며, SDXL 1.0은 API와 여러 배포 채널로 이용 가능하다.​

SD3 Medium은 Hugging Face에서 Diffusers 파이프라인으로 제공되어 최신 버전으로 간단히 불러와 추론할 수 있으며, Stability API 플랫폼과 ComfyUI 워크플로우도 지원된다. 엔터프라이즈 사용 전에는 모델 카드 조건 동의가 필요하며, 제공되는 예제 워크플로우로 멀티 프롬프트·업스케일링 등을 빠르게 시도할 수 있다.​

하드웨어 가이드

초기 Stable Diffusion은 최적화 버전 기준 소형 VRAM에서도 구동이 가능하지만, 원활한 사용을 위해 더 많은 VRAM이 권장된다. SDXL 1.0은 8GB VRAM급 소비자 GPU에서도 효과적으로 동작하도록 설계되어 접근성을 높였다.​

라이선스와 이용 정책

SDXL 1.0은 CreativeML OpenRAIL++-M 라이선스로 공개되어 책임 있는 사용 조건 하에 상업적 활용이 가능하다. SD3 Medium은 Stability Community License가 적용되며, 연매출 100만 달러 미만의 개인·조직은 무료로 연구·비상업·상업 사용이 가능하고 그 이상은 엔터프라이즈 라이선스가 요구된다.​

오픈 생태계의 장점

Stable Diffusion은 소스 코드와 모델 가중치가 공개되어 로컬 실행, 플러그인·워크플로우 확장, 파인튜닝 등 자율적 활용이 가능하다는 점이 큰 강점이다. 이 개방성 덕분에 다양한 UI, 컨트롤 확장, 도메인 특화 파인튜닝이 활발히 이루어지고 있다.​