트랜스포머

영어	Transformer
분류	신경망 아키텍처
발표	2017년 (Google)
핵심 기술	Self-Attention
대표 모델	BERT, GPT, T5

'''트랜스포머'''(Transformer)는 2017년 Google에서 발표한 딥러닝 아키텍처로, 현대 AI의 핵심 기반 기술입니다. [[youtube:4Bdc55j80l8|트랜스포머 설명]] == 개요 == "Attention Is All You Need" 논문에서 소개된 트랜스포머는 Self-Attention 메커니즘을 사용하여 시퀀스 데이터를 병렬로 처리합니다. RNN/LSTM을 대체하며 [[ChatGPT]], [[Claude]], [[DALL-E]] 등 현대 AI 모델의 기반이 됩니다. == 역사 == === 이전 방식의 한계 === * RNN: 순차 처리, 느림 * LSTM: 장기 의존성 한계 * 병렬화 어려움 === 트랜스포머 등장 (2017) === * Google 연구팀 발표 * 기계 번역 성능 돌파 * AI 패러다임 전환 == 핵심 구성요소 == === Self-Attention === * 토큰 간 관계 학습 * 장거리 의존성 처리 * Query, Key, Value 행렬 === Multi-Head Attention === * 여러 관점에서 attention * 다양한 패턴 학습 * 병렬 처리 가능 === Feed-Forward Network === * 비선형 변환 * 각 위치별 독립 처리 * 2층 MLP === Positional Encoding === * 순서 정보 추가 * 사인/코사인 함수 * 위치 임베딩 === Layer Normalization === * 학습 안정화 * 그래디언트 개선 == 아키텍처 유형 == === Encoder-only === * BERT, RoBERTa * 양방향 컨텍스트 * 분류, 추출 작업 === Decoder-only === * GPT, LLaMA, Claude * 자동회귀 생성 * 텍스트 생성 특화 === Encoder-Decoder === * T5, BART * 시퀀스 변환 * 번역, 요약 == 스케일링 법칙 == 모델 크기, 데이터, 컴퓨팅의 확장: * 더 큰 모델 = 더 좋은 성능 * GPT-3: 1,750억 파라미터 * GPT-4: 추정 수조 파라미터 == 응용 분야 == === 자연어 처리 === * [[언어 모델]] (LLM) * [[번역기|기계 번역]] * 질의응답 === 컴퓨터 비전 === * ViT (Vision Transformer) * CLIP * 이미지 생성 === 멀티모달 === * GPT-4V * [[Gemini]] * 텍스트-이미지 == 효율성 개선 == * Flash Attention: 메모리 최적화 * Sparse Attention: 계산량 감소 * Linear Attention: O(n) 복잡도 == 관련 문서 == * [[딥러닝]] * [[신경망]] * [[언어 모델]] * [[GPT-4]] [[분류:인공지능]] [[분류:딥러닝]] [[분류:신경망]]