새 AI가 나오면 “MMLU 90점 돌파”, “코딩 벤치마크 1위” 같은 뉴스가 나오죠. 이 점수들이 바로 벤치마크(Benchmark)예요. 한마디로 AI의 성적표죠.
오늘은 이 성적표가 뭘 재는지, 그리고 왜 점수만 믿으면 안 되는지 쉽게 풀어볼게요.
벤치마크란? — AI 실력을 재는 표준 시험
벤치마크는 여러 AI를 같은 문제로 시험 쳐서 점수를 매기는 표준 시험이에요. 사람으로 치면 모의고사 같은 거죠. 같은 시험을 보니 모델끼리 실력을 비교할 수 있어요.
어떤 시험들이 있나요?
| 분야 | 측정 내용 |
|---|---|
| 지식·상식 | 여러 과목 객관식 (예: MMLU) |
| 코딩 | 프로그램 문제 해결 |
| 수학·추론 | 복잡한 계산·논리 |
비유 — 수능 점수
수능 점수가 높으면 공부를 잘한다는 신호지만, 그게 그 사람의 모든 능력을 말해주진 않잖아요. 벤치마크도 똑같아요. 점수가 높으면 똑똑하다는 참고는 되지만, 실제로 내 일에 잘 맞는지는 별개예요.
점수를 곧이곧대로 믿으면 안 되는 이유
- 시험용 공부(과적합): 벤치마크 문제에 맞춰 훈련하면, 시험 점수만 높고 실전은 약할 수 있어요. 일종의 ‘커닝’처럼요.
- 실사용과 차이: 시험 잘 보는 것과 내 업무에 잘 맞는 건 달라요.
- 점수 1~2점 차이는 체감상 의미가 거의 없을 때도 많아요.
비개발자는 어떻게 보면 되나요?
점수는 ‘대략의 참고’로만 보세요. 그리고 가장 확실한 건 직접 써보는 것이에요. 내가 자주 하는 일을 몇 개 시켜보면, 벤치마크 점수보다 훨씬 정확하게 “이 AI가 나한테 맞는지” 알 수 있어요. 파라미터 크기처럼, 숫자가 전부는 아니에요.
자주 묻는 질문 (FAQ)
Q. 벤치마크 1위 AI가 제일 좋은 건가요?
꼭 그렇진 않아요. 분야별로 강점이 다르고, 내 용도에 맞는 게 더 중요해요.
Q. 벤치마크 점수는 믿을 만한가요?
참고는 되지만 맹신은 금물이에요. 특히 마케팅용으로 유리한 점수만 강조하기도 해요.
Q. 어떤 벤치마크를 봐야 하나요?
내 용도와 맞는 걸 보세요. 글쓰기가 목적이면 코딩 점수는 큰 의미가 없어요.
정리
벤치마크는 AI 실력을 재는 표준 시험(성적표)이에요. 모델 비교엔 유용하지만, 시험용 과적합·실사용 차이 때문에 점수만 맹신하면 안 돼요. 가장 확실한 건 직접 써보는 것이에요.
다음번엔 “시드(seed) — 같은 답을 재현하는 열쇠”를 정리해볼게요. 온도편에서 ‘온도 0도 100% 똑같진 않다’고 했었죠? 그럼 같은 결과를 다시 얻으려면 어떻게 하는지 풀어볼게요!