AI는 처음엔 인터넷에 있는 엄청난 양의 글을 그대로 배워요. 그런데 인터넷에는 무례한 글, 틀린 글, 위험한 글도 많잖아요. 그걸 그대로 배운 AI는 사실 꽤 거칠고 엉뚱해요. 그런데 우리가 쓰는 ChatGPT는 정중하고 도움이 되죠. 이 차이를 만든 비결이 바로 RLHF예요.
이름이 어렵지만 개념은 강아지 훈련만큼 직관적이에요. 오늘 쉽게 풀어볼게요.
RLHF, 풀어보면 별거 아니에요
RLHF는 “사람의 피드백으로 AI를 강화 학습시킨다”는 뜻이에요 (Reinforcement Learning from Human Feedback). 쉽게 말해, 사람이 좋은 답에 칭찬을 해주면서 AI를 길들이는 과정이에요.
어떻게 길들이나요?
과정은 이래요.
- 1. 같은 질문에 AI가 답을 여러 개 만들어요
- 2. 사람이 그중 더 좋은 답을 골라줘요 (“이게 더 정중하고 도움돼”)
- 3. AI는 사람이 고른 쪽을 학습해요 (“아, 이렇게 답해야 칭찬받는구나”)
- 4. 이걸 수없이 반복하면, AI가 점점 사람이 좋아하는 방식으로 답하게 돼요
비유 — 강아지 훈련
강아지를 훈련할 때, 잘하면 간식을 주잖아요. 그럼 강아지가 “이 행동을 하면 좋은 일이 생기는구나” 하고 그 행동을 더 해요. RLHF가 딱 이거예요. AI가 좋은 답을 하면 ‘잘했어’ 신호(보상)를 주고, 그 방향으로 행동을 다듬는 거죠.
왜 중요한가요? — ‘정렬(Alignment)’
RLHF의 진짜 목적은 AI를 사람의 가치와 취향에 맞추는 거예요. 이걸 ‘정렬(Alignment)’이라고 불러요. 아무리 똑똑한 AI라도 무례하거나 위험하면 못 쓰잖아요. RLHF 덕분에 AI가 똑똑하면서도 안전하고 도움 되는 비서가 된 거예요.
| RLHF 전 | RLHF 후 |
|---|---|
| 인터넷 글 그대로 (거칠고 들쭉날쭉) | 정중하고 일관되게 도움 |
| 위험한 요청도 그냥 답함 | 위험한 건 정중히 거절 |
한계도 있어요
RLHF는 ‘사람’의 피드백에 기대요. 그래서 그 사람들의 편향이 AI에 그대로 들어갈 수 있어요. 또 너무 ‘칭찬받는 답’에 맞추다 보면, AI가 솔직한 답 대신 듣기 좋은 말만 하려는 경향이 생기기도 해요. 완벽한 방법은 아니라는 거죠.
자주 묻는 질문 (FAQ)
Q. RLHF는 누가 하나요?
AI 회사가 고용한 평가자들이 답을 비교·선택해요. 최근엔 이 과정 일부를 AI가 돕기도 해요.
Q. 할루시네이션도 RLHF로 줄어드나요?
어느 정도 줄지만 완전히 없애진 못해요. 듣기 좋게 지어내는 걸 오히려 부추길 때도 있어서, 별도 대책이 같이 필요해요.
Q. 일반 사용자도 RLHF에 참여하나요?
답변에 ‘좋아요/싫어요’를 누르는 게 일종의 피드백이 돼요. 우리 평가가 AI 개선에 쓰이기도 해요.
정리
RLHF는 사람의 피드백으로 AI를 길들이는 과정이에요. 강아지에게 간식 주듯, 좋은 답에 보상을 주며 AI를 사람 취향에 맞춰가죠. 덕분에 AI가 정중하고 안전해졌지만, 사람의 편향이 들어갈 수 있다는 한계도 있어요.
다음번엔 “디퓨전 모델 — 이미지 생성 AI의 원리”를 정리해볼게요. 미드저니나 DALL-E가 글자를 어떻게 그림으로 바꾸는지, 그 신기한 원리를 풀어볼게요!