큰 AI는 똑똑하지만 무겁고 비싸요(파라미터 편 참고). 그런데 그 똑똑함을 작은 AI에 옮겨 담을 수 있다면 어떨까요? 그걸 가능하게 하는 게 증류(Distillation)예요.
오늘은 이 증류가 어떻게 큰 AI를 작고 똑똑하게 압축하는지 쉽게 풀어볼게요.
증류란? — 선생이 학생을 가르치기
증류는 큰 모델(선생)이 작은 모델(학생)을 가르치는 방식이에요. 학생 모델이 선생 모델의 답과 판단 방식을 따라 배우면서, 작은 몸집으로도 비슷한 실력을 내게 되는 거죠. ‘진액만 뽑아낸다’는 증류라는 이름이 딱 맞아요.
비유 — 장인의 비법 전수
수십 년 경력의 장인(큰 모델)이 제자(작은 모델)에게 핵심 비법만 콕콕 짚어 전수한다고 생각해보세요. 제자는 장인의 모든 경험을 다 갖진 못해도, 핵심을 물려받아 빠르게 실력을 갖춰요. 증류가 딱 이거예요.
왜 하나요?
- 작고 빠른 모델로 비슷한 성능을 내기 위해
- 스마트폰·저사양 기기에서 돌리기 위해
- 비용과 전기를 아끼기 위해
양자화랑 뭐가 다른가요?
둘 다 모델을 가볍게 하지만 방식이 달라요.
| 방법 | 핵심 |
|---|---|
| 양자화 | 숫자 정밀도를 낮춰 압축 |
| 증류 | 큰 모델의 지식을 작은 모델에 전수 |
양자화가 ‘사진 압축’이라면, 증류는 ‘선생이 학생 가르치기’예요. 둘을 함께 쓰면 더 가벼워지기도 해요.
자주 묻는 질문 (FAQ)
Q. 증류한 작은 모델이 큰 모델만큼 똑똑한가요?
거의 비슷할 때도 있지만, 보통은 살짝 손해를 봐요. 대신 훨씬 빠르고 가벼우니 그만한 가치가 있어요.
Q. 요즘 작은 모델이 똑똑해진 게 이것 덕분인가요?
큰 이유 중 하나예요. 증류 덕분에 작은 모델도 꽤 좋은 성능을 내게 됐어요.
Q. 학생 모델이 선생을 뛰어넘을 수도 있나요?
드물게 특정 작업에선 가능해요. 다만 일반적으론 선생 실력을 목표로 따라가는 구조예요.
정리
증류는 큰 모델(선생)의 지식을 작은 모델(학생)에게 전수해 가볍고 똑똑하게 만드는 기술이에요. 장인이 제자에게 비법을 물려주듯이요. 양자화와 함께 ‘AI 경량화’의 양대 축이에요.
다음번엔 “벤치마크 — AI 성적표 읽는 법”을 정리해볼게요. “이 AI가 몇 점”이라는 그 점수가 뭘 의미하는지, 곧이곧대로 믿어도 되는지 풀어볼게요!