회사에서 “우리 회사 전용 AI 만들자”는 말 나올 때 꼭 따라오는 두 단어가 있어요.
“파인튜닝으로 가야 한다”, “아니 RAG가 낫다”.
저도 처음엔 둘 다 “AI 학습시키는 거 아닌가?” 싶었는데, 직접 공부해보니 완전히 다른 방식이더라고요. 오늘은 비개발자도 한 번에 이해할 수 있게 풀어볼게요.
먼저 왜 이게 필요한가?
ChatGPT나 클로드 같은 AI는 인터넷에 있는 방대한 데이터로 학습됐어요. 근데 문제가 있어요.
- 우리 회사 내부 규정을 모름
- 우리 제품 매뉴얼을 모름
- 작년에 바뀐 사내 정책을 모름
그래서 “AI한테 우리 회사 정보를 어떻게 알려주냐”는 고민에서 나온 두 가지 방법이 파인튜닝이랑 RAG예요.
파인튜닝이 뭐냐면
AI를 처음부터 다시 훈련시키는 방법이에요.
요리사 비유로 설명할게요.
이미 요리를 잘하는 셰프가 있어요. 근데 우리 식당은 한식 전문이라 한식만 잘하면 돼요. 그래서 이 셰프한테 몇 달 동안 한식만 집중적으로 훈련시키는 거예요. 훈련이 끝나면 셰프 머릿속에 한식이 완전히 새겨진 상태가 돼요.
이게 파인튜닝이에요. AI 모델 자체를 우리 회사 데이터로 다시 학습시키는 거죠.
장점:
- 학습된 내용을 완전히 내재화함
- 빠르게 답변 가능
단점:
- 비용이 엄청 많이 듦
- 학습 데이터가 바뀌면 또 처음부터 다시 학습
- 전문 개발팀 필요
RAG가 뭐냐면
AI한테 필요할 때마다 자료를 찾아보게 하는 방법이에요.
같은 셰프 비유로 설명할게요.
셰프를 다시 훈련시키는 대신, 주방 한쪽에 한식 레시피 책을 쫙 갖다 놓는 거예요. 손님이 주문하면 셰프가 레시피 책 펼쳐서 확인하고 요리하는 방식이에요.
이게 RAG예요. AI가 답변할 때마다 우리 회사 문서에서 관련 내용을 찾아서 참고하게 하는 거죠.
장점:
- 비용이 훨씬 저렴
- 자료 업데이트가 쉬움 (책 내용만 바꾸면 됨)
- 구축이 상대적으로 빠름
단점:
- 자료가 없으면 답 못 함
- 파인튜닝보다 답변 속도가 살짝 느릴 수 있음
한눈에 비교하면
| 항목 | 파인튜닝 | RAG |
|---|---|---|
| 방식 | AI 자체를 재학습 | 문서 검색 후 답변 |
| 비용 | 매우 높음 | 낮음 |
| 업데이트 | 어려움 | 쉬움 |
| 속도 | 빠름 | 보통 |
| 적합한 경우 | 특정 말투/스타일 학습 | 사내 문서 기반 챗봇 |
실제로 어디에 쓰이나?
파인튜닝 사례:
- 특정 브랜드 말투로만 답하는 고객센터 AI
- 의학 용어만 전문적으로 다루는 의료 AI
- 법률 문서 특화 AI
RAG 사례:
- 회사 내규 질문에 답하는 사내 챗봇
- 제품 매뉴얼 기반 고객 지원 챗봇
- 계약서 검토 보조 AI
비개발자한테 솔직히 말하면
요즘 대부분의 기업 AI 도입은 RAG 방식이에요.
파인튜닝은 비용이 너무 많이 들고, 자료 업데이트할 때마다 또 학습시켜야 해서 번거롭거든요. 반면 RAG는 구글 드라이브에 파일만 올려도 AI가 읽고 답할 수 있는 수준까지 발전했어요.
회의에서 “우리도 AI 챗봇 만들자” 나오면, 십중팔구 RAG 방식으로 가게 될 거예요.
다음 글에서는 “API가 뭐예요?” 를 다뤄볼게요. 요즘 AI 관련 뉴스에서 API라는 단어가 엄청 많이 나오는데, 비개발자도 이건 알아두면 대화가 달라져요.
궁금한 AI 용어 있으시면 댓글로 남겨주세요!