컨텍스트 윈도우 AI 단기기억
ChatGPT랑 오래 대화하다 보면 이런 경험 있으시죠?
분명히 10분 전에 “나는 마케터야”라고 했는데, 나중에 보면 AI가 그 사실을 까먹고 엉뚱한 답변을 해요.
그리고 가끔 이런 메시지가 뜨기도 하죠. “대화가 너무 길어져서 앞 내용 일부를 기억하지 못할 수 있습니다.”
이게 다 컨텍스트 윈도우 때문이에요.
컨텍스트 윈도우가 뭐냐면
AI가 한 번에 기억할 수 있는 최대 텍스트 양이에요.
사람으로 치면 단기 기억력이에요.
사람도 한 번에 너무 많은 정보를 주면 앞에서 들은 게 흐릿해지잖아요. AI도 똑같아요. 컨텍스트 윈도우라는 한계가 있어서, 그걸 넘어가면 앞 내용을 밀어내기 시작해요.
포스트잇 비유로 이해하기
책상 위에 포스트잇을 붙일 수 있는 공간이 있다고 해보세요.
공간이 100장짜리라면 100장까지는 다 볼 수 있어요. 근데 101번째 포스트잇을 붙이려면 제일 오래된 것부터 떼어내야 해요.
컨텍스트 윈도우가 딱 이 개념이에요. 새 내용이 들어오면 오래된 내용부터 밀려나는 거예요.
AI별로 얼마나 다른가?
| AI | 컨텍스트 윈도우 | 책 몇 권 분량 |
|---|---|---|
| GPT-4o | 128K 토큰 | 약 100페이지 |
| Claude | 200K 토큰 | 약 150페이지 |
| Gemini 1.5 Pro | 1M 토큰 | 약 700페이지 |
숫자가 클수록 더 긴 대화, 더 긴 문서를 처리할 수 있어요.
실무에서 이게 왜 중요한가?
상황 1: 긴 계약서 분석
50페이지짜리 계약서를 AI한테 던져줬는데 “너무 길어서 처리 못하겠다”고 하면 컨텍스트 윈도우 초과한 거예요. 이럴 때는 계약서를 나눠서 넣거나 컨텍스트 윈도우가 큰 AI를 써야 해요.
상황 2: 긴 대화에서 AI가 맥락을 잃을 때
한 시간 넘게 대화하다 보면 처음에 설정한 조건들을 AI가 잊어버려요. 이럴 때는 새 대화창 열고 맥락을 다시 요약해서 붙여넣는 게 나아요.
상황 3: 보고서 작성
긴 회의록이나 자료를 한 번에 요약 요청할 때, 자료가 너무 길면 중간 내용이 빠질 수 있어요. 중요한 문서는 나눠서 처리하는 게 안전해요.
컨텍스트 윈도우 관련 실용 팁
직접 써보면서 도움됐던 것들이에요.
- 대화가 길어지면 새 창 열기 – 주제 바뀔 때마다 새로 시작하는 게 오히려 더 좋은 답변 나와요
- 중요한 조건은 자주 상기시키기 – “아까 말했듯이 나는 마케터야”처럼 다시 언급해주면 좋아요
- 긴 문서는 나눠서 처리 – 한 번에 다 넣으려 하지 말고 섹션별로 나눠서 요청
한 줄 요약
컨텍스트 윈도우 = AI의 단기 기억 한계 크면 클수록 긴 문서, 긴 대화를 더 잘 처리해요.
다음 글에서는 “AI가 왜 가끔 거짓말을 하는가, 할루시네이션” 을 다뤄볼게요. AI 믿다가 낭패 본 경험 있으신 분들한테 꼭 필요한 내용이에요.
궁금한 AI 용어 있으시면 댓글로 남겨주세요!