멀티모달 AI

영어	Multimodal AI
분류	AI 아키텍처
입력 유형	텍스트, 이미지, 오디오, 비디오
대표 모델	GPT-4V, Gemini, Claude 3

'''멀티모달'''(Multimodal)은 텍스트, 이미지, 오디오, 비디오 등 여러 유형의 데이터를 동시에 이해하고 처리할 수 있는 AI 시스템을 말합니다. [[youtube:UIZAiXYceBI|멀티모달 AI 설명]] == 개요 == 기존 AI 모델은 텍스트만 처리하거나 이미지만 처리하는 등 단일 모달리티에 특화되어 있었습니다. 멀티모달 AI는 여러 유형의 입력을 통합하여 더 풍부한 이해와 생성이 가능합니다. == 모달리티 유형 == === 입력 모달리티 === * 텍스트: 자연어 질문, 지시 * 이미지: 사진, 그림, 스크린샷 * 오디오: 음성, 음악 * 비디오: 동영상 클립 === 출력 모달리티 === * 텍스트: 설명, 답변 * 이미지: [[DALL-E]], [[Midjourney]] * 오디오: 음성 합성, [[Suno]] * 비디오: Sora, Runway == 대표 모델 == === GPT-4V (Vision) === * [[OpenAI]]의 멀티모달 모델 * 이미지 이해 및 분석 * [[ChatGPT]] Plus에서 사용 가능 === Gemini === * Google의 멀티모달 AI * 텍스트, 이미지, 코드, 비디오 처리 * Gemini Ultra, Pro, Nano 버전 === Claude 3 === * [[Anthropic]]의 비전 모델 * 문서, 차트, 이미지 분석 * Opus, Sonnet, Haiku 버전 === LLaVA === * 오픈소스 비전-언어 모델 * 학술 연구용 * 커뮤니티 발전 활발 == 활용 분야 == === 문서 분석 === * PDF, 스캔 문서 이해 * 차트 및 그래프 해석 * 표 데이터 추출 === 시각적 질의응답 === * 이미지 내용 설명 * 사진 기반 질문 답변 * 시각적 추론 === 접근성 === * 시각 장애인 보조 * 이미지 설명 생성 * 화면 읽기 === 창작 === * 이미지 기반 스토리 생성 * 비주얼 콘텐츠 제작 * 크리에이티브 협업 == 기술적 도전 == * 모달리티 간 정렬 * 크로스 모달 이해 * 계산 비용 증가 * 데이터 수집 어려움 == 관련 문서 == * [[GPT-4]] * [[Gemini]] * [[컴퓨터 비전]] * [[자연어 처리]] [[분류:인공지능]] [[분류:딥러닝]] [[분류:컴퓨터 비전]] [[분류:자연어 처리]]