언어 모델

영어	Language Model (LM)
분류	자연어 처리
주요 유형	LLM, SLM
대표 모델	GPT, BERT, LLaMA

'''언어 모델'''(Language Model)은 자연어의 확률 분포를 학습하여 텍스트를 이해하고 생성하는 AI 모델입니다. [[youtube:5sLYAQS9sWQ|언어 모델이란?]] == 개요 == 언어 모델은 주어진 단어들의 시퀀스에서 다음에 올 단어를 예측하는 확률 모델입니다. 최근에는 수천억 개의 파라미터를 가진 대규모 언어 모델(LLM)이 등장하여 인간 수준의 텍스트 생성이 가능해졌습니다. == 역사 == === 통계적 언어 모델 (1990년대~) === * N-gram 모델 * 확률 기반 접근 * 제한된 컨텍스트 === 신경망 언어 모델 (2010년대) === * RNN, LSTM 기반 * Word2Vec, GloVe 임베딩 * 더 긴 의존성 학습 === 트랜스포머 시대 (2017년~) === * Attention 메커니즘 * [[BERT]], [[GPT]] 등장 * 사전훈련-[[파인튜닝]] 패러다임 === LLM 시대 (2020년~) === * GPT-3, GPT-4 * Claude, Gemini, LLaMA * 창발적 능력 발현 == 주요 모델 아키텍처 == === Encoder-only (BERT 계열) === * 양방향 컨텍스트 이해 * 분류, 추출 작업에 적합 * BERT, RoBERTa, ELECTRA === Decoder-only (GPT 계열) === * 자동회귀 생성 * 텍스트 생성에 최적화 * GPT, LLaMA, Claude === Encoder-Decoder (T5 계열) === * 시퀀스 변환 작업 * 번역, 요약에 적합 * T5, BART, mT5 == 대규모 언어 모델 (LLM) == === 특징 === * 수십억~수조 파라미터 * 대규모 데이터 학습 * 범용적 능력 === 대표 모델 === * [[GPT-4]]: OpenAI * [[Claude]]: Anthropic * [[Gemini]]: Google * LLaMA: Meta == 소규모 언어 모델 (SLM) == * Phi-3: Microsoft * Gemma: Google * 효율적인 실행 * 온디바이스 가능 == 핵심 기술 == === 토큰화 (Tokenization) === * BPE, SentencePiece * 텍스트를 토큰으로 분할 * 어휘 크기 관리 === 임베딩 === * 토큰을 벡터로 변환 * 의미적 관계 표현 * 위치 인코딩 === Attention === * 토큰 간 관계 학습 * 장거리 의존성 처리 * Self-attention, Cross-attention == 활용 분야 == * 대화 시스템 ([[챗봇]]) * 문서 요약 * [[번역기|기계 번역]] * 코드 생성 * 질의응답 == 관련 문서 == * [[자연어 처리]] * [[ChatGPT]] * [[Claude]] * [[트랜스포머]] [[분류:인공지능]] [[분류:자연어 처리]] [[분류:딥러닝]] [[분류:기계학습]]