[정리] 2025년 이후 멀티모달 인공지능의 발전

2025년 상반기 멀티모달 인공지능(Multimodal AI)의 주요 발전 정리

2025년이 시작된 지 벌써 만 4개월이 흘렀습니다. 그동안 인공지능 업계에서는 특히 멀티모달 AI 분야에서 눈에 띄는 기술적 도약들이 있었는데요, 이번 포스팅에서는 2025년 1월부터 5월 사이에 공개된 중요한 모델들과 그 흐름을 간단히 정리해보겠습니다.

 

GPT-4o(Omni) 모델을 이용해 생성한 블로그 포스팅 요약 이미지

생성에 사용한 프롬프트: 
다음 첨부하는 이 블로그글의 전문을 읽고, 내용을 대표할 수 있는 이미지를 하나 생성해줘.
이미지를 생성할 때 가로로 긴 이미지로 생성하고, 텍스트는 꼭 한국어로 생성해줘.

 

---

GPT-4o: OpenAI의 멀티모달 올인원 모델

2025년 5월, OpenAI는 GPT-4o(Omni)를 전격 공개했습니다. 이름의 'o'는 Omni를 뜻하며, 하나의 단일 모델로 텍스트, 음성, 이미지까지 모두 이해하고 생성할 수 있는 구조를 지향합니다.

이전까지는 텍스트-이미지-음성 처리에 각각 특화된 모듈이 따로 존재했는데요, GPT-4o는 이들을 완전히 통합한 하나의 end-to-end 모델로, 진정한 의미의 멀티모달 AI를 구현했다고 볼 수 있습니다. 

이 모델이 등장하며, 한때 지브리 풍 이미지로 스타일을 변환하는게 유행하기도 했습니다.

작성자가 GPT-4o(Omni)를 이용해 스타일을 변환해본 사례

 

특히 이 모델에서 인상적이었던 점은 다음과 같습니다:

• 실시간 음성 대화가 가능하며 반응속도가 200ms 내외로 매우 자연스럽습니다.
• 이미지 내 객체를 지정해 질문하거나, 특정 음성의 감정 상태를 파악하는 작업 등에서 뛰어난 성능을 보입니다.
• GPT-4 수준의 텍스트 성능을 유지하면서도 속도와 비용은 GPT-3.5 수준으로 낮췄다는 점도 주목할 만합니다.

GPT-4o는 현재 ChatGPT 무료 사용자에게도 텍스트 기반 사용이 가능하며, Pro 사용자에게는 음성 및 이미지 기능까지 제공되고 있습니다.

 

728x90

---

Gemini 1.5 Pro: Google DeepMind의 반격

2025년 2월, Google DeepMind에서는 Gemini 1.5 시리즈를 공개했습니다. 특히 Gemini 1.5 Pro는 문서 수천 페이지를 한 번에 처리할 수 있는 초장기 메모리 컨텍스트를 제공하면서 화제를 모았습니다.

• 100만 토큰 이상의 컨텍스트 길이로 수많은 논문, 코드, 대화 기록을 기억하고 문맥에 맞게 대답할 수 있습니다.
• 이미지를 포함한 멀티모달 입력도 지원하며, 자연어/코드/수식 등을 복합적으로 처리하는 데 강점을 보입니다.

Gemini 1.5는 특히 과학적 추론, 논문 해석, 수학적 문제 해결 등 고차원적 멀티모달 추론 태스크에 강한 모델로 평가받고 있습니다.

---

Claude 3: Anthropic의 멀티모달 도전

Anthropic의 Claude 3 시리즈는 2024년 말에 첫 등장했지만, 2025년 초에 멀티모달 능력이 탑재된 모델들이 공개되며 많은 주목을 받았습니다.

Claude 3 Opus 모델은 특히:

• 이미지 내 텍스트 OCR 인식
• 도표 해석, 시각적 수학 문제
• 추상화된 멀티모달 정보 통합

등에서 GPT-4 및 Gemini 모델과의 경쟁 구도를 형성하고 있으며, 보다 신중하고 안전한 응답 설계를 목표로 합니다.

---

Qwen-VL 시리즈: Alibaba의 연구 성과

중국 Alibaba의 Qwen-VL 시리즈는 오픈소스 커뮤니티에서 큰 관심을 받는 모델 중 하나입니다.

• Qwen-VL-Plus는 이미지-텍스트 입력을 통한 상세한 장면 이해와 질문응답 성능이 우수하며,
• 한국어, 중국어, 영어 등 다국어 이미지 QA 태스크에서도 좋은 성능을 보이고 있습니다.
• Qwen 모델의 구조가 간결하고 오픈소스로 제공되어 파인튜닝에 적합하다는 점도 장점입니다.

제가 개인적으로도 관심을 가지고 있는 분야인데요, 최근에는 Qwen-VL-Chat이나 Qwen-VL-Instruct 같은 Instruct-style 모델들도 함께 공개되어 활용도가 높아지고 있습니다.

---

기술 흐름 요약

2025년 상반기의 멀티모달 AI 발전은 다음과 같은 흐름으로 요약할 수 있습니다.

모델명	주요 특징	출시일
GPT-4o	텍스트+음성+이미지 통합, 실시간 대화	2025년 5월
Gemini 1.5 Pro	초장기 컨텍스트, 복합 추론	2025년 2월
Claude 3	멀티모달 이해와 안전성 강조	2025년 1월~4월
Qwen-VL 시리즈	오픈소스, 다국어 멀티모달 QA	지속 업데이트

---

마치며

멀티모달 인공지능은 단순히 텍스트만을 처리하던 기존의 LLM 시대를 넘어, 사람처럼 보고 듣고 말하는 능력을 갖춘 모델로 빠르게 진화하고 있습니다. 이번 글에서는 주요한 네 가지 모델에 대해 다뤄봤지만, 앞으로도 다양한 연구 기관과 기업에서 더 정교하고 경량화된 멀티모달 모델들이 등장할 것으로 기대됩니다. 혹시 위 모델들을 기반으로 한 응용 사례나, 파인튜닝/추론 관련 실습도 다뤄보고 싶으시다면 댓글이나 메시지 남겨주세요. 다음 글에서 다뤄보겠습니다!

감사합니다 🙇