글만 읽던 AI가 이제 사진도 보고 말도 듣는다고요?
얼마 전에 스마트폰으로 식물 사진 찍었더니 AI가 “이거 몬스테라예요, 물은 일주일에 한 번 주세요”라고 알려줬어요.
텍스트로 물어본 게 아니라 사진을 보여줬을 뿐인데 말이죠.
이게 가능한 이유가 바로 멀티모달 AI 덕분이에요. 오늘은 이게 뭔지, 우리 일상에서 어떻게 쓰이고 있는지 풀어볼게요.
멀티모달이 뭐냐면
멀티(Multi) = 여러 개, 모달(Modal) = 방식
그러니까 여러 가지 방식으로 정보를 받아들이는 AI예요.
예전 AI는 텍스트만 읽을 수 있었어요. 글로 물어보면 글로 답하는 방식이었죠.
멀티모달 AI는 달라요.
- 텍스트 읽기 ✅
- 이미지 보기 ✅
- 음성 듣기 ✅
- 영상 분석 ✅
이 모든 걸 동시에 처리할 수 있어요.
사람이랑 비슷해지고 있는 거예요
사람이 정보를 받아들이는 방식 생각해보세요.
눈으로 보고, 귀로 듣고, 읽고, 느끼고. 여러 감각을 동시에 씁니다.
예전 AI는 텍스트만 읽는 장님 같았다면, 멀티모달 AI는 눈도 뜨고 귀도 열린 거예요.
실생활에서 이미 쓰이고 있는 곳
직접 써보면서 “이건 진짜 신기하다” 싶었던 것들이에요.
1. 사진 찍으면 바로 분석
음식 사진 찍어서 “이거 칼로리 얼마야?” 물어보면 대략적인 칼로리 알려줘요. 영수증 사진 찍으면 금액 정리해주고요.
2. 문서 이미지 읽기
계약서나 영수증을 사진으로 찍어서 보내면 내용 요약해줘요. PDF 스캔본도 읽어요.
3. 음성으로 대화
ChatGPT 앱에서 마이크 버튼 누르고 말하면 AI가 음성으로 답해줘요. 운전 중에 손 안 쓰고 AI한테 물어볼 수 있는 거죠.
4. 화면 공유하면서 도움받기
컴퓨터 화면 캡처해서 “이 오류 메시지 뭔 뜻이야?” 보내면 바로 설명해줘요. 저도 자동화 작업하다가 오류 나면 이렇게 많이 써요.
비개발자한테 가장 유용한 활용법
코딩 몰라도 멀티모달 AI 활용하면 이런 게 가능해요.
- 명함 사진 찍어서 연락처 엑셀로 정리
- 회의실 화이트보드 사진 찍으면 텍스트로 변환
- 외국어 메뉴판 사진 찍으면 번역
- 복잡한 차트나 그래프 사진 보내면 내용 설명
앞으로 어디까지 발전할까?
지금도 충분히 놀라운데, 전문가들은 멀티모달이 더 발전하면 이런 게 가능해진다고 해요.
안경에 카메라 달아서 실시간으로 보이는 것들을 AI가 설명해주는 시대. 구글 글래스 같은 게 다시 주목받는 이유가 여기 있어요.
한 줄 요약
멀티모달 AI = 글, 사진, 음성, 영상을 모두 이해하는 AI
다음 글에서는 “컨텍스트 윈도우, AI의 단기 기억력” 을 더 깊게 다뤄볼게요. 토큰 글에서 살짝 언급했는데, 실무에서 정말 중요한 개념이거든요.
궁금한 AI 용어 있으시면 댓글로 남겨주세요!