유료 플랜 결제했는데 “토큰 한도 초과”가 뭐예요?
ChatGPT 유료 플랜 쓰시는 분들, 이런 메시지 본 적 있으시죠?
“You’ve reached your message limit. Please wait until your limit resets.”
돈 냈는데 왜 못 쓰게 막냐 싶으셨을 거예요. 저도 처음에 황당했어요.
이게 다 토큰 때문이에요. 오늘은 토큰이 뭔지, 왜 이게 중요한지 풀어볼게요.
토큰이 뭐냐면
AI가 글을 읽고 쓸 때 사용하는 “글자 단위”예요.
우리가 글을 읽을 때 단어 단위로 읽잖아요. AI는 그보다 조금 더 잘게 쪼개서 읽어요. 이 조각 하나하나가 토큰이에요.
대략 이런 식이에요:
- 영어 단어 1개 = 토큰 1개 정도
- 한글은 영어보다 토큰을 더 많이 씀 (같은 내용이라도 한글이 토큰 2~3배 더 소모)
- 1,000 토큰 = 영어 기준 약 750단어 정도
쉽게 말하면 토큰은 AI가 처리할 수 있는 “연료” 같은 개념이에요.
편의점 영수증으로 이해해보기
편의점에서 물건 살 때 영수증 길이 생각해보세요.
물건 1개 사면 영수증 짧고, 10개 사면 영수증 길죠. AI도 똑같아요.
- 짧은 질문 → 토큰 조금 소모
- 긴 문서 분석 요청 → 토큰 많이 소모
- 긴 대화 이어가기 → 토큰 계속 쌓임
그리고 중요한 게 있어요. AI는 질문할 때 토큰을 쓰고, 답변할 때도 토큰을 써요. 입력 + 출력 합산이에요.
컨텍스트 윈도우가 뭐예요?
토큰 얘기 나오면 항상 같이 나오는 게 컨텍스트 윈도우예요.
이건 AI가 한 번에 기억할 수 있는 토큰의 최대치예요.
사람으로 치면 단기 기억력이에요. 대화를 오래 이어가다 보면 AI가 앞에서 한 말을 잊어버리는 경우 있으시죠? 컨텍스트 윈도우가 꽉 찼기 때문이에요.
AI마다 다른데 대략 이렇게 달라요:
| AI | 컨텍스트 윈도우 | 대략 어느 정도냐면 |
|---|---|---|
| GPT-4o | 128K 토큰 | 책 약 100페이지 분량 |
| Claude | 200K 토큰 | 책 약 150페이지 분량 |
| Gemini 1.5 | 1M 토큰 | 책 약 700페이지 분량 |
숫자가 클수록 긴 문서나 긴 대화를 더 잘 처리해요.
그래서 실무에서 왜 중요한가?
1. 긴 문서 분석할 때
50페이지짜리 계약서를 AI한테 던져줬는데 “너무 길어서 못 읽겠다”고 하면? 컨텍스트 윈도우 초과한 거예요. 이럴 때는 문서를 나눠서 넣거나, 컨텍스트 윈도우가 큰 AI를 써야 해요.
2. 긴 대화 이어갈 때
AI랑 오래 대화하다 보면 앞에서 했던 말을 까먹는 경우가 생겨요. “아까 내가 뭐라고 했지?” 싶으면 새 대화창 열고 다시 맥락 설명해주는 게 나아요.
3. API 비용 계산할 때
개발자가 AI API 쓸 때 토큰당 과금이 돼요. 비개발자도 나중에 자동화 툴 만들 때 이 개념 알고 있으면 비용 예측하는 데 도움이 돼요.
토큰 아끼는 실용 팁
유료 플랜 쓰면서 한도 자꾸 걸리시는 분들한테 도움 될 것 같아요.
- 새 대화창 자주 열기 – 대화가 길어질수록 토큰 소모가 빨라져요. 주제가 바뀌면 새 창 여는 게 낫다
- 불필요한 맥락 줄이기 – AI한테 넘겨주는 문서나 정보는 꼭 필요한 부분만
- 짧고 명확하게 질문하기 – 장황하게 설명하는 것보다 핵심만 딱 전달
- 답변 길이 지정하기 – “3줄로 요약해줘”, “짧게 답해줘” 이렇게 하면 출력 토큰도 아껴짐
한 줄 요약
- 토큰 = AI가 글을 처리하는 단위 (연료 같은 개념)
- 컨텍스트 윈도우 = AI가 한 번에 기억할 수 있는 최대 토큰 수
- 토큰이 많을수록 긴 문서, 긴 대화 처리 가능
다음 글에서는 “파인튜닝 vs RAG, 뭐가 다른가요?” 를 다뤄볼게요. 요즘 기업들이 AI 도입할 때 이 두 가지 방식 중에 고민하는데, 비개발자도 이 차이는 알아두면 회의에서 한마디 할 수 있어요.
궁금한 AI 용어 있으시면 댓글로 남겨주세요!