1b:I[72972,["954","static/chunks/d3ac728e-40baee3e883166ed.js","972","static/chunks/972-7e9a0c05126993d6.js","354","static/chunks/354-df4e3e5fc9ca5d4c.js","832","static/chunks/832-433212fc0faa6b60.js","489","static/chunks/489-a5b84db177ed4a3f.js","649","static/chunks/app/%5Blocale%5D/w/%5Bkeyword%5D/history/%5BrevisionId%5D/page-c3cdd8eafa0ec393.js"],""] 1c:I[39489,["954","static/chunks/d3ac728e-40baee3e883166ed.js","972","static/chunks/972-7e9a0c05126993d6.js","354","static/chunks/354-df4e3e5fc9ca5d4c.js","832","static/chunks/832-433212fc0faa6b60.js","489","static/chunks/489-a5b84db177ed4a3f.js","649","static/chunks/app/%5Blocale%5D/w/%5Bkeyword%5D/history/%5BrevisionId%5D/page-c3cdd8eafa0ec393.js"],"default"] 1d:T6b9,

어텐션 메커니즘

영문명	Attention Mechanism
분야	딥러닝
도입	2014년 (Bahdanau et al.)
응용	Transformer, GPT, BERT

어텐션 메커니즘(Attention Mechanism)은 입력의 중요한 부분에 집중하는 딥러닝 기술입니다. [[트랜스포머]]와 [[GPT-4]]의 핵심입니다. [[youtube:yGTUuEx3GkA|어텐션 메커니즘 설명]] == 개요 == 어텐션은 입력 시퀀스에서 현재 출력과 관련 있는 부분에 가중치를 부여합니다. 2017년 트랜스포머 논문 "Attention Is All You Need"로 AI 패러다임이 바뀌었습니다. == 작동 원리 == === Query, Key, Value === * Query (Q): 찾고자 하는 것 * Key (K): 검색 대상 * Value (V): 실제 정보 * Attention = softmax(QK^T/√d) × V === 가중치 계산 === # Query와 Key 유사도 계산 # Softmax로 가중치 정규화 # Value에 가중치 적용 # 가중합으로 출력 생성 == 종류 == === Self-Attention === 같은 시퀀스 내 관계 학습: * 문장 내 단어 관계 * [[BERT]], [[GPT-4]] === Cross-Attention === 서로 다른 시퀀스 간 관계: * 번역 (소스-