지난 온도(Temperature) 편에서 잠깐 등장했던 top-p 기억나세요? “온도의 단짝”이라고 했었죠. 둘 다 AI 답의 다양성을 조절하는 설정인데, 작동 방식이 살짝 달라요.
오늘은 이 top-p가 뭔지, 온도랑 뭐가 다른지 쉽게 풀어볼게요. 비개발자는 깊이 몰라도 되지만, 알아두면 AI를 더 잘 다룰 수 있어요.
top-p란? — 후보의 범위를 자르기
AI는 다음 단어를 고를 때 수많은 후보를 확률 순으로 줄 세워요. top-p는 “확률 높은 순으로 합쳐서 ○○%까지만 후보로 삼아라”라고 범위를 잘라주는 설정이에요. (전문 용어로 ‘뉴클리어스 샘플링’이라고 해요.)
- top-p 낮음(예: 0.3) → 확률 최상위 후보만 남김 → 안정적, 뻔함
- top-p 높음(예: 0.95) → 더 많은 후보를 허용 → 다양함
온도랑 뭐가 다른가요? — 뷔페 비유
뷔페로 비유하면 딱 와닿아요.
- 온도는 “얼마나 모험적으로 음식을 고를까”라는 마음가짐이에요. 온도가 높으면 낯선 음식도 과감히 집어요.
- top-p는 “어디까지의 음식 줄을 후보로 둘까”라는 접시에 담을 범위예요. top-p가 낮으면 인기 메뉴 몇 개만 후보가 돼요.
즉 온도는 ‘고르는 태도’, top-p는 ‘고를 후보의 범위’를 정해요. 역할이 다르죠.
| 설정 | 하는 일 |
|---|---|
| 온도(Temperature) | 확률 분포를 데우거나 식혀 모험심 조절 |
| top-p | 후보 목록을 상위 몇 %로 잘라냄 |
그럼 둘 다 만져야 하나요?
아니요. 보통 둘 중 하나만 조절하는 걸 권해요. 둘 다 동시에 세게 바꾸면 결과를 예측하기 어려워져요. 대부분의 서비스는 기본값이 잘 잡혀 있어서, 비개발자라면 그냥 기본값으로 둬도 충분해요.
저도 처음엔 top-p까지 만지려다 결과가 더 이상해진 적 있어요. 결국 온도만 살짝 조절하는 게 가장 편하더라고요.
자주 묻는 질문 (FAQ)
Q. top-k라는 것도 있던데요?
top-k는 “후보를 딱 k개만 남겨라”예요. top-p가 비율(%)로 자르는 거라면 top-k는 개수로 자르는 거예요. 원리는 비슷해요.
Q. 일반 ChatGPT에서 top-p를 바꿀 수 있나요?
일반 화면엔 없어요. API나 플레이그라운드에서만 숫자로 조절할 수 있어요.
Q. 글쓰기엔 어떤 값이 좋아요?
창의적 글이면 top-p를 약간 높게, 정확한 답이면 낮게. 다만 온도 하나만 조절해도 비슷한 효과를 얻어요.
정리
top-p는 AI가 단어를 고를 후보의 범위를 잘라주는 설정이에요. 온도가 ‘고르는 태도’라면 top-p는 ‘후보의 범위’죠. 둘 중 하나만 만지면 되고, 비개발자는 기본값으로 둬도 전혀 문제없어요.
다음번엔 “트랜스포머 — 요즘 AI의 심장”을 정리해볼게요. GPT의 ‘T’가 바로 이건데, 2017년 등장해 AI 혁명을 일으킨 그 구조를 풀어볼게요!