707d99d.js","832","static/chunks/832-433212fc0faa6b60.js","489","static/chunks/489-a5b84db177ed4a3f.js","430","static/chunks/app/%5Blocale%5D/w/%5Bkeyword%5D/page-7e0f5d54d5ece173.js"],"default"] 20:T794,

트랜스포머

영문명	Transformer
제안	Google (2017)
논문	Attention Is All You Need
분야	[[딥러닝]], 자연어 처리

'''트랜스포머'''(Transformer)는 2017년 구글이 발표한 [[딥러닝]] 아키텍처입니다. 현재 [[GPT]], [[Claude]], [[Gemini]] 등 모든 [[대규모 언어 모델]]의 기반이 되는 핵심 기술입니다. == 개요 == 트랜스포머는 "Attention Is All You Need" 논문에서 처음 소개되었습니다. 기존의 순환 신경망(RNN)과 달리 어텐션 메커니즘만으로 시퀀스를 처리하여, 병렬 처리가 가능하고 더 좋은 성능을 보여줍니다. == 핵심 개념 == === Self-Attention === 시퀀스 내 모든 위치 간의 관계를 계산합니다. * 문맥 파악 * 장거리 의존성 처리 * 병렬 처리 가능 === Multi-Head Attention === 여러 어텐션을 병렬로 수행하여 다양한 관계 학습. === 인코더-디코더 === * '''인코더''': 입력 처리 (BERT) * '''디코더''': 출력 생성 ([[GPT]]) === Positional Encoding === 위치 정보를 임베딩에 추가. == 주요 모델 == {| ! 모델 !! 유형 !! 특징 |- | BERT || 인코더 || 문맥 이해 |- | [[GPT]] || 디코더 || 텍스트 생성 |- | T5 || 인코더-디코더 || 범용 |} == 영향 == * [[ChatGPT]], [[Claude]] 등 LLM의 기반 * 컴퓨터 비전 (ViT) * 음성 인식 * 단백질 구조 예측 (AlphaFold) == 관련 문서 == * [[대규모 언어 모델]] * [[GPT]] * [[딥러