예전 토큰 편에서, AI는 글을 ‘토큰’이라는 조각으로 쪼개서 이해한다고 했죠. 그럼 그 쪼개는 일은 누가 할까요? 바로 토크나이저(Tokenizer)예요.
오늘은 이 토크나이저가 글을 어떻게 자르는지, 그리고 왜 한국어가 영어보다 토큰을 더 많이 먹는지 쉽게 풀어볼게요. 알아두면 AI 비용·속도를 이해하는 데 도움 돼요.
토크나이저란? — 재료를 써는 도마
토크나이저는 우리가 입력한 글을 AI가 소화하기 좋게 잘게 써는 도구예요. 요리로 치면, 재료를 알맞은 크기로 손질하는 도마이자 칼이죠. AI는 통짜 문장을 바로 못 먹어요. 토큰으로 썰어줘야 이해해요.
어떻게 자르나요?
토큰은 꼭 단어 단위가 아니에요. 자주 쓰는 말은 통째로, 드문 말은 더 잘게 쪼개요.
- “apple” → 자주 쓰니까 토큰 1개
- “unbelievable” → “un + believ + able”처럼 조각으로
이렇게 자주 등장하는 덩어리를 효율적으로 다루려고 똑똑하게 잘라요.
한국어가 토큰을 더 많이 먹어요
여기가 한국 사용자에겐 중요해요. 대부분의 AI는 영어 중심으로 만들어져서, 한국어는 잘게 쪼개지는 경향이 있어요. 같은 의미라도 한국어가 영어보다 토큰을 더 많이 쓰는 경우가 많죠.
| 같은 뜻 | 토큰 수(대략) |
|---|---|
| “Hello” | 적음 |
| “안녕하세요” | 더 많음 |
그래서 한국어로 길게 쓰면 영어보다 토큰 한도에 빨리 닿고, 비용도 더 들 수 있어요. (토큰이 곧 비용·길이 제한의 기준이거든요.)
알아두면 좋은 현상
토큰 단위로 자르다 보니 재밌는 일이 생겨요. AI가 가끔 숫자를 이상하게 처리하거나, 띄어쓰기에 민감하게 구는 거예요. 단어가 아니라 조각으로 보기 때문이에요. AI가 글자 수 세기를 의외로 틀리는 것도 이 때문이에요.
자주 묻는 질문 (FAQ)
Q. 토큰이랑 토크나이저는 뭐가 다른가요?
토큰은 잘린 ‘조각’이고, 토크나이저는 그 조각으로 ‘자르는 도구’예요. 결과물과 도구의 차이예요.
Q. 한국어를 쓰면 손해인가요?
토큰을 더 쓰는 건 맞지만, 요즘 모델은 한국어도 잘 처리해요. 비용이 크게 걱정되면 핵심만 간결하게 쓰면 돼요.
Q. 토큰 수를 미리 알 수 있나요?
각 AI 회사가 토큰 계산 도구를 제공해요. 긴 작업 전에 확인하면 비용 예측에 좋아요.
정리
토크나이저는 글을 토큰 조각으로 잘라 AI에게 먹여주는 도구예요. 자주 쓰는 말은 크게, 드문 말은 잘게 자르죠. 한국어는 토큰을 더 많이 쓰는 편이라, 비용·길이를 생각하면 간결하게 쓰는 게 유리해요.
다음번엔 “파라미터(7B·70B) — 모델 크기 숫자의 의미”를 정리해볼게요. AI 이름에 붙는 그 숫자가 뭘 뜻하는지, 클수록 정말 똑똑한지 풀어볼게요!