미드저니나 DALL-E에 “노을 지는 바닷가, 유화 스타일”이라고 입력하면 몇 초 만에 멋진 그림이 뚝딱 나오죠. 글자를 어떻게 그림으로 바꾸는 걸까요? 그 비밀은 디퓨전 모델(Diffusion Model)이에요.
원리가 좀 신기한데, 비유로 풀면 누구나 이해할 수 있어요. 오늘 쉽게 설명해볼게요.
디퓨전 = 노이즈에서 그림 떠오르게 하기
‘디퓨전(diffusion)’은 ‘퍼짐’이라는 뜻이에요. 핵심 아이디어는 이거예요. 지직거리는 노이즈(모래폭풍 같은 화면)에서 시작해, 그걸 조금씩 정리해 그림을 만들어내는 거죠.
옛날 TV에서 채널이 안 잡힐 때 나오던 ‘지지직’ 모래폭풍 화면 기억나세요? 디퓨전 모델은 그 모래폭풍에서 시작해서, 한 단계씩 노이즈를 걷어내며 점점 또렷한 그림을 떠오르게 해요.
어떻게 그게 가능해요?
비결은 거꾸로 배우기예요. AI를 훈련할 때 이렇게 해요.
- 1. 멀쩡한 그림에 노이즈를 조금씩 더해 완전히 망가뜨려요 (그림 → 모래폭풍)
- 2. AI에게 이 과정을 거꾸로 되돌리는 법을 가르쳐요 (모래폭풍 → 그림)
- 3. 이걸 수억 장으로 연습하면, AI는 노이즈에서 그림을 복원하는 데 도사가 돼요
그래서 실제로 그림을 만들 땐, 완전한 노이즈에서 시작해 배운 대로 한 단계씩 정리해 새 그림을 ‘복원’하듯 만들어내는 거예요.
그럼 글자는 어떻게 반영되나요?
여기서 우리가 입력한 글(프롬프트)이 방향키 역할을 해요. “바닷가, 유화”라고 하면, AI가 노이즈를 정리해가는 매 단계에서 그 설명에 맞는 방향으로 그림을 다듬어요. 그래서 같은 노이즈에서 시작해도 글에 따라 전혀 다른 그림이 나오는 거죠. (이때 온도처럼 다양성을 조절하는 설정도 함께 작동해요.)
디퓨전 모델의 약점
| 잘하는 것 | 아직 약한 것 |
|---|---|
| 풍경, 분위기, 예술 스타일 | 손가락 개수 (가끔 6개…) |
| 사실적인 질감·색감 | 그림 속 글자 정확히 쓰기 |
요즘 많이 좋아졌지만, 손이나 글자처럼 ‘정확한 규칙’이 필요한 부분은 여전히 실수가 나와요. 노이즈에서 떠올리는 방식이라 그래요.
자주 묻는 질문 (FAQ)
Q. 디퓨전 모델이 기존 그림을 짜깁기하는 건가요?
아니에요. 특정 그림을 오려 붙이는 게 아니라, 배운 패턴으로 노이즈에서 새로 ‘복원’하듯 만들어요. 그래서 매번 다른 그림이 나와요.
Q. LLM(글 쓰는 AI)이랑 같은 건가요?
달라요. LLM은 글을, 디퓨전 모델은 이미지를 만들어요. 작동 원리도 서로 다르고요. 다만 요즘은 둘을 합친 서비스가 많아요.
Q. 영상도 이 방식으로 만드나요?
네, 최근 AI 영상 생성도 디퓨전 원리를 확장한 거예요. 이미지를 여러 장 자연스럽게 이어 만드는 식이에요.
정리
디퓨전 모델은 노이즈에서 시작해 그걸 조금씩 정리하며 그림을 떠오르게 하는 AI예요. 그림을 망가뜨렸다 되돌리는 법을 거꾸로 배운 덕분이죠. 우리가 입력한 글이 그 과정의 방향키가 되고요.
다음번엔 “지식 컷오프 — AI가 최신 정보를 모르는 이유”를 정리해볼게요. AI가 왜 어제 뉴스를 모르는지, 그 한계를 풀어볼게요!