대규모 언어 모델

영문명	Large Language Model (LLM)
분야	[[인공지능]], [[딥러닝]]
기반 기술	트랜스포머(Transformer)
대표 모델	[[GPT]], [[Claude]], [[Gemini]]

'''대규모 언어 모델'''(Large Language Model, LLM)은 방대한 양의 텍스트 데이터로 훈련된 [[딥러닝]] 모델입니다. 수십억에서 수조 개의 파라미터를 가지며, 자연어 이해와 생성에서 인간 수준의 성능을 보여줍니다. [[youtube:zjkBMFhNj_g|LLM 설명]] == 개요 == 대규모 언어 모델은 2017년 구글이 발표한 트랜스포머(Transformer) 아키텍처를 기반으로 발전했습니다. [[GPT]]-3(2020)와 [[ChatGPT]](2022)의 등장으로 대중화되었습니다. == 주요 특징 == === 스케일링 법칙 === 모델 크기, 데이터 양, 컴퓨팅 파워가 증가할수록 성능이 향상됩니다. === 창발적 능력 === 특정 규모 이상에서 명시적으로 학습하지 않은 능력이 나타납니다. * 문맥 내 학습 (In-context Learning) * 추론 능력 * 코드 생성 === 범용성 === 하나의 모델로 다양한 작업을 수행합니다. == 대표적인 LLM == {| ! 모델 !! 개발사 !! 파라미터 !! 특징 |- | [[GPT]]-4 || [[OpenAI]] || 비공개 || 멀티모달, 가장 널리 사용 |- | [[Claude]] 3 || [[Anthropic]] || 비공개 || 긴 컨텍스트, 안전성 |- | [[Gemini]] Ultra || Google || 비공개 || 멀티모달, 검색 통합 |- | Llama 3 || Meta || 70B || 오픈소스 |- | Mistral || Mistral AI || 7B-8x22B || 효율적 오픈소스 |} == 훈련 방법 == === 사전 훈련 (Pre-training) === 대규모 텍스트 데이터로 다음 토큰 예측 학습. === 미세 조정 (Fine-tuning) === 특정 작업이나 도메인에 맞게 추가 훈련. === RLHF === 인간 피드백 기반 강화학습으로 유용성과 안전성 향상. == 응용 분야 == * '''대화형 AI''': [[ChatGPT]], [[Claude]] * '''코딩 지원''': [[GitHub Copilot]], [[Cursor]] * '''검색''': Perplexity, Bing Chat * '''콘텐츠 생성''': 글쓰기, 번역, 요약 == 한계 == * '''환각(Hallucination)''': 잘못된 정보 생성 * '''컷오프 날짜''': 훈련 데이터 이후 정보 부재 * '''계산 비용''': 높은 추론 비용 == 관련 문서 == * [[ChatGPT]] * [[Claude]] * [[GPT]] * [[인공지능]] * [[딥러닝]] [[분류:인공지능]] [[분류:딥러닝]] [[분류:자연어 처리]]