지난 파라미터 편에서 큰 모델은 무겁고 비싸다고 했죠. 그런데 요즘은 그 큰 AI가 노트북이나 스마트폰에서도 돌아가요. 어떻게 된 걸까요? 비결은 양자화(Quantization)예요.
이름은 어렵지만 원리는 ‘사진 압축’만큼 간단해요. 오늘 쉽게 풀어볼게요.
양자화란? — 숫자의 정밀도를 낮추기
AI의 파라미터(손잡이)는 원래 아주 정밀한 소수로 저장돼요. 예를 들어 0.83721946 같은 식이죠. 양자화는 이 정밀한 숫자를 0.84처럼 간단하게 반올림해서 모델을 가볍게 만드는 거예요.
숫자 하나하나는 작은 차이지만, 파라미터가 수백억 개니까 전체 용량이 확 줄어요.
비유 — 고화질 사진 압축
스마트폰으로 찍은 고화질 사진은 용량이 크잖아요. 카톡으로 보낼 때 적당히 압축하면, 화질은 거의 그대로인데 용량은 확 줄죠. 양자화가 딱 이거예요. AI의 ‘화질’을 살짝 낮춰 ‘용량’을 크게 줄이는 거예요.
뭐가 좋아지나요?
| 항목 | 효과 |
|---|---|
| 용량 | 크게 줄어듦 (1/4 이하도 가능) |
| 속도 | 더 빨라짐 |
| 구동 환경 | 노트북·폰에서도 가능 |
| 비용·전기 | 줄어듦 |
단점은 없나요?
있어요. 숫자를 대충 줄이는 거니까 똑똑함이 아주 약간 손해를 봐요. 사진을 너무 세게 압축하면 화질이 깨지듯이요. 하지만 적당한 양자화는 성능 손실이 거의 안 느껴질 정도라, 요즘은 거의 필수 기술로 쓰여요.
비개발자에게 어떤 의미인가요?
덕분에 우리가 인터넷 없이 폰에서 돌아가는 AI, 개인 정보를 밖으로 안 보내고 내 기기 안에서 처리하는 AI를 쓸 수 있게 됐어요. AI가 우리 손안으로 들어온 데에는 양자화의 공이 커요.
자주 묻는 질문 (FAQ)
Q. 양자화하면 답이 많이 나빠지나요?
적당히 하면 거의 차이를 못 느껴요. 너무 심하게 줄이면 품질이 눈에 띄게 떨어지니, 균형이 중요해요.
Q. 제가 직접 양자화를 해야 하나요?
아니요. 이미 양자화된 모델을 골라 쓰면 돼요. 보통 모델 이름에 표시돼 있어요.
Q. 파라미터를 줄이는 거랑 같은 건가요?
달라요. 파라미터 ‘개수’를 줄이는 게 아니라, 각 파라미터를 저장하는 ‘정밀도’를 낮추는 거예요.
정리
양자화는 AI 파라미터의 숫자 정밀도를 낮춰 모델을 가볍게 만드는 기술이에요. 사진 압축처럼 ‘화질’을 살짝 낮춰 ‘용량’을 크게 줄이죠. 덕분에 큰 AI가 폰에서도 돌아가게 됐어요.
다음번엔 “STT·TTS — 음성을 알아듣고 말하는 AI”를 정리해볼게요. AI가 우리 말을 어떻게 글로 받아쓰고, 글을 어떻게 사람 목소리로 읽어주는지 풀어볼게요!