트랜스포머 (Transformer)

유형	[[딥러닝]] 아키텍처
최초 발표	2017년 6월
발표 논문	''Attention Is All You Need''
개발 기관	[[구글\|구글 브레인]] / [[구글 리서치]]
주요 저자	아쉬시 바스와니(Ashish Vaswani) 외 7인
핵심 메커니즘	[[셀프 어텐션]](Self-Attention)
주요 응용	[[자연어 처리]], [[컴퓨터 비전]], [[음성 인식]] 등
대표 파생 모델	[[BERT]], [[GPT]], [[비전 트랜스포머\|ViT]]
라이선스	[[아파치 라이선스]] 2.0 (원본 구현)

'''트랜스포머'''(Transformer)는 2017년 [[구글]] 연구진이 발표한 [[딥러닝]] 아키텍처로, '''셀프 어텐션'''(Self-Attention) 메커니즘을 핵심으로 하여 입력 시퀀스의 모든 위치 간 관계를 동시에 계산하는 [[인공 신경망]] 모델이다. 기존의 [순환 신경망]이나 [장단기 메모리]와 달리 순차적 처리를 요구하지 않아 대규모 [[병렬 컴퓨팅|병렬 처리]]가 가능하며, 이로 인해 훈련 효율성이 비약적으로 향상되었다. 트랜스포머는 처음에는 [[기계 번역]] 과제를 위해 설계되었으나, 이후 [자연어 처리]를 넘어 [[컴퓨터 비전]], [[음성 인식]], [[단백질 구조 예측]], [[음악 생성]], [[로봇공학]] 등 거의 모든 [[인공지능]] 분야로 확장되었다. 2020년대에 들어서는 [대규모 언어 모델]의 기반 아키텍처로 자리 잡으며, [[ChatGPT]], [[GPT-4]], [[제미나이 (인공지능)|Gemini]], [[클로드 (인공지능)|Claude]] 등 현대 생성형 AI 시스템의 근간을 이루고 있다. == 개요 == 트랜스포머 모델은 '''인코더-디코더'''(Encoder-Decoder) 구조를 기반으로 하며, 핵심적으로 '''멀티헤드 셀프 어텐션'''(Multi-Head Self-Attention)과 '''위치 인코딩'''(Positional Encoding), '''피드포워드 신경망'''(Feed-Forward Neural Network)으로 구성된다. 이 아키텍처의 가장 혁신적인 점은 [[순환 신경망|RNN]]의 순차적 구조를 완전히 제거하고, 어텐션 메커니즘만으로 시퀀스 내의 장거리 의존성(Long-Range Dependency)을 효과적으로 포착할 수 있다는 것이다. 원래 논문에서 제안된 트랜스포머는 인코더와 디코더 양쪽을 모두 갖추고 있었으나, 이후 파생 모델들은 목적에 따라 한쪽만을 사용하기도 한다. 예를 들어 [[BERT]]는 인코더만을, [[GPT]] 시리즈는 디코더만을 사용한다. 트랜스포머의 등장은 [[인공지능]] 연구의 패러다임을 근본적으로 바꾸었으며, 2020년대 AI 혁명의 기술적 토대로 평가받는다. == 역사 == === 배경: 어텐션 메커니즘의 발전 === 트랜스포머 이전에 [시퀀스 투 시퀀스] 모델은 주로 [[순환 신경망|RNN]] 기반의 인코더-디코더 구조를 사용하였다. 2014년 [[요슈아 벤지오]] 연구팀의 드미트리 바다나우(Dzmitry Bahdanau)가 '''어텐션 메커니즘'''을 처음 제안하여, 디코더가 인코더의 모든 은닉 상태를 참조할 수 있게 하였다. 이 '''바다나우 어텐션'''(Bahdanau Attention)은 기계 번역 성능을 크게 향상시켰다. 2015년에는 미인 투옹 루옹(Minh-Thang Luong)이 보다 효율적인 '''루옹 어텐션'''(Luong Attention)을 제안하였으며, 이후 다양한 어텐션 변형이 연구되었다. 그러나 이 시기의 어텐션은 여전히 RNN 구조 위에 추가되는 보조적인 메커니즘에 불과하였다. === 트랜스포머의 탄생 (2017) === 2017년 6월, 아쉬시 바스와니(Ashish Vaswani), 노암 샤지어(Noam Shazeer), 니키 파르마르(Niki Parmar), 야콥 우스코라이트(Jakob Uszkoreit), 리온 존스(Llion Jones), 아이단 고메즈(Aidan N. Gomez), 우카시 카이저(Łukasz Kaiser), 일리아 포로수힌(Illia Polosukhin) 등 8인의 연구자가 '''「Attention Is All You Need」'''라는 제목의 논문을 [[NIPS]] 2017 학회에 발표하였다. 이 논문은 RNN이나 [[합성곱 신경망|CNN]]을 전혀 사용하지 않고 오직 어텐션 메커니즘만으로 시퀀스 변환 과제를 수행할 수 있음을 보여주었다. 원래 논문에서 트랜스포머는 영어-독일어 및 영어-프랑스어 기계 번역 과제에서 기존 최고 성능(State-of-the-Art)을 뛰어넘는 결과를 달성하였으며, 동시에 훈련 시간을 대폭 단축하였다. 영어-프랑스어 번역에서 '''BLEU 점수 41.0'''을 기록하여, 이전까지의 모든 모델을 능가하였다. === 사전 훈련 모델의 시대 (2018–2019) === 트랜스포머 아키텍처가 발표된 이후, 이를 기반으로 한 대규모 '''사전 훈련 모델'''(Pre-trained Model)이 잇따라 등장하였다. '''2018년 6월''': [[OpenAI]]가 '''[[GPT|GPT-1]]'''을 발표하였다. 트랜스포머 디코더를 기반으로 비지도 사전 훈련 후 미세 조정(Fine-tuning)하는 방식을 제안하였다. '''2018년 10월''': [[구글]]이 '''[[BERT]]'''(Bidirectional Encoder Representations from Transformers)를 발표하였다. 트랜스포머 인코더를 사용하여 양방향 문맥을 학습하며, 11개의 NLP 벤치마크에서 동시에 최고 성능을 달성하였다. '''2019년 2월''': OpenAI가 '''[[GPT-2]]'''를 발표하였다. 15억 개의 매개변수를 가진 대규모 모델로, [[제로샷 학습|제로샷]] 능력을 시연하였다. '''2019년 10월''': 구글이 '''[[T5]]'''(Text-to-Text Transfer Transformer)를 발표하여, 모든 NLP 과제를 텍스트-투-텍스트 형식으로 통합하였다. === 스케일링 법칙과 대규모 모델 (2020–현재) === 2020년 OpenAI의 재러드 카플란(Jared Kaplan) 등이 '''[[스케일링 법칙]]'''(Scaling Laws)을 발표하면서, 모델의 크기·데이터 양·컴퓨팅 자원을 늘릴수록 성능이 예측 가능하게 향상된다는 사실이 밝혀졌다. 이는 거대 트랜스포머 모델 개발 경쟁의 이론적 근거가 되었다. '''2020년 6월''': '''[[GPT-3]]'''가 1,750억 개의 매개변수로 발표되어, [[퓨샷 학습|퓨샷]] 및 제로샷 능력에서 획기적인 성과를 보였다. '''2020년 10월''': [[구글]]이 '''[비전 트랜스포머]'''를 발표하여, 트랜스포머가 [[컴퓨터 비전]] 분야에서도 효과적임을 입증하였다. '''2022년 11월''': [[OpenAI]]가 '''[[ChatGPT]]'''를 출시하여, 트랜스포머 기반 대화형 AI가 전 세계적으로 폭발적인 관심을 받았다. '''2023년 3월''': '''[[GPT-4]]'''가 발표되어, 멀티모달(텍스트와 이미지) 처리 능력을 갖추었다. '''2024–2025년''': [[구글]] [[제미나이 (인공지능)|Gemini]], [[앤스로픽]] [[클로드 (인공지능)|Claude]], [[메타 플랫폼스|Meta]] [[라마 (언어 모델)|LLaMA]] 등 트랜스포머 기반 모델들이 지속적으로 발전하였다. == 아키텍처 == === 전체 구조 === 트랜스포머는 크게 '''인코더'''(Encoder)와 '''디코더'''(Decoder)로 구성된다. 원래 논문에서는 인코더와 디코더가 각각 6개의 동일한 층(layer)을 쌓아올린 구조를 사용하였다. '''인코더''': 입력 시퀀스를 연속적인 표현(representation)으로 변환한다. 각 인코더 층은 멀티헤드 셀프 어텐션과 위치별 피드포워드 네트워크로 구성된다. '''디코더''': 인코더의 출력과 이전까지 생성된 토큰을 참고하여 출력 시퀀스를 자기회귀적(autoregressive)으로 생성한다. 셀프 어텐션 외에 인코더-디코더 어텐션(크로스 어텐션)이 추가된다. 각 하위 층에는 '''잔차 연결'''(Residual Connection)과 '''[[층 정규화]]'''(Layer Normalization)가 적용된다. === 셀프 어텐션 메커니즘 === 셀프 어텐션은 트랜스포머의 핵심이다. 입력 시퀀스의 각 토큰이 다른 모든 토큰과의 관계를 계산하여, 문맥에 따른 표현을 생성한다. 구체적으로는 각 토큰에 대해 '''쿼리'''(Query, Q), '''키'''(Key, K), '''값'''(Value, V) 세 개의 벡터를 생성한 뒤, 다음 공식으로 어텐션을 계산한다. Attention(Q, K, V) = softmax(QK^T / √d_k) V 여기서 ''d_k''는 키 벡터의 차원으로, 내적 값이 지나치게 커지는 것을 방지하기 위한 스케일링 인수이다. 이 방식을 '''스케일드 닷 프로덕트 어텐션'''(Scaled Dot-Product Attention)이라 한다. === 멀티헤드 어텐션 === 단일 어텐션 대신, 여러 개의 '''어텐션 헤드'''(Attention Head)가 병렬로 서로 다른 부분공간(subspace)에서 어텐션을 계산한다. 원래 논문에서는 '''8개의 헤드'''를 사용하여, 모델 차원 512를 8등분한 64차원에서 각각 어텐션을 수행하였다. 이렇게 하면 모델이 다양한 유형의 관계(문법적, 의미적, 위치적 등)를 동시에 학습할 수 있다. MultiHead(Q, K, V) = Concat(head_1, ..., head_h) W^O === 위치 인코딩 === 트랜스포머는 순환 구조가 없으므로, 토큰의 순서 정보를 별도로 제공해야 한다. 원래 논문에서는 '''사인·코사인 함수'''를 이용한 위치 인코딩을 사용하였다. PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model)) 이후 연구에서는 '''학습 가능한 위치 임베딩'''(Learned Positional Embedding), '''상대적 위치 인코딩'''(Relative Positional Encoding), '''[[RoPE]]'''(Rotary Position Embedding) 등 다양한 대안이 제안되었다. === 피드포워드 네트워크 === 각 어텐션 층 다음에는 '''위치별 피드포워드 네트워크'''(Position-wise Feed-Forward Network)가 위치한다. 이는 두 개의 [[선형 변환]]과 그 사이의 [활성화 함수]로 구성된다. FFN(x) = max(0, xW_1 + b_1)W_2 + b_2 원래 논문에서 내부 차원은 2,048로 설정되었다. === 마스킹 === 디코더에서는 '''마스크드 셀프 어텐션'''(Masked Self-Attention)을 사용하여, 미래 시점의 토큰을 참조하지 못하도록 한다. 이는 자기회귀적 생성의 인과적(causal) 특성을 보장하기 위해 필수적이다. 어텐션 행렬에서 미래 위치에 해당하는 값을 음의 무한대(−∞)로 설정하여 [[소프트맥스]] 이후 0이 되도록 처리한다. == 주요 변형 모델 == === 인코더 전용 모델 === '''[[BERT]]''' (2018): 마스크드 언어 모델링(MLM)과 다음 문장 예측(NSP)을 통해 양방향 문맥을 학습한다. 문장 분류, 질의응답, [[개체명 인식]] 등에 강점을 보인다. '''[[RoBERTa]]''' (2019): BERT의 훈련 방법을 최적화하여 성능을 향상시켰다. '''[[ALBERT]]''' (2019): 매개변수 공유를 통해 모델 크기를 줄이면서도 성능을 유지하였다. '''[[ELECTRA]]''' (2020): 생성-판별 방식으로 보다 효율적인 사전 훈련을 수행한다. '''[[DeBERTa]]''' (2020): 분리된 어텐션(Disentangled Attention)으로 BERT를 개선하였다. === 디코더 전용 모델 === '''[[GPT]] 시리즈''' (2018–2024): 자기회귀적 언어 모델링을 통해 텍스트를 생성한다. GPT-3(1,750억 매개변수)와 GPT-4는 범용 AI 시스템의 가능성을 보여주었다. '''[[라마 (언어 모델)|LLaMA]]''' (2023–2024): [[메타 플랫폼스|Meta]]가 개발한 오픈소스 대규모 언어 모델이다. '''[[클로드 (인공지능)|Claude]]''' (2023–현재): [[앤스로픽]]이 개발한 안전 중심 대규모 언어 모델이다. '''[[미스트랄 AI|Mistral]]''' (2023–현재): 효율적인 소규모 모델에서 출발하여 경쟁력 있는 성능을 보여주었다. === 인코더-디코더 모델 === '''[[T5]]''' (2019): 모든 NLP 과제를 통합된 텍스트-투-텍스트 프레임워크로 처리한다. '''[[BART]]''' (2019): 노이즈 제거 자기부호화기 방식으로 사전 훈련한다. '''[[mBART]]''' (2020): 다국어 기계 번역을 위한 모델이다. === 비전 트랜스포머 === '''[[비전 트랜스포머|ViT]]''' (2020): 이미지를 패치로 분할하여 트랜스포머에 입력, [[이미지 분류]]에서 [[합성곱 신경망|CNN]]에 필적하는 성능을 달성하였다. '''[[DeiT]]''' (2020): 데이터 효율적인 비전 트랜스포머 훈련법을 제안하였다. '''[[Swin Transformer]]''' (2021): 윈도우 기반 계층적 어텐션으로 고해상도 이미지를 효율적으로 처리한다. '''[[DINO]]''' (2021): 자기지도학습 방식의 비전 트랜스포머이다. === 멀티모달 트랜스포머 === '''[[DALL-E]]''' (2021): 텍스트에서 이미지를 생성하는 트랜스포머이다. '''[[CLIP]]''' (2021): 텍스트와 이미지를 동일한 임베딩 공간에서 학습한다. '''[[GPT-4|GPT-4V]]''' (2023): 텍스트와 이미지를 동시에 처리하는 멀티모달 모델이다. == 기술적 혁신과 후속 연구 == === 효율적 어텐션 === 표준 셀프 어텐션의 시간·공간 복잡도는 시퀀스 길이 ''n''에 대해 '''O(n²)'''이다. 이를 개선하기 위한 다양한 연구가 진행되었다. '''[[스파스 어텐션]]'''(Sparse Attention): 전체가 아닌 일부 토큰 간에만 어텐션을 계산한다. '''Longformer'''(2020), '''BigBird'''(2020) 등이 대표적이다. '''[[리니어 어텐션]]'''(Linear Attention): 커널 근사를 통해 어텐션 복잡도를 O(n)으로 줄인다. '''Performer'''(2020)가 대표적이다. '''[[플래시 어텐션]]'''(FlashAttention): 트라이 다오(Tri Dao)가 2022년 발표한 것으로, IO 인식(IO-aware) 알고리즘으로 GPU 메모리 계층을 최적화하여 정확한 어텐션을 가속하였다. 실질적으로 가장 널리 사용되는 최적화 기법이다. === 대안 아키텍처 === 트랜스포머의 O(n²) 어텐션 비용에 대한 대안으로 다양한 아키텍처가 제안되었다. '''[[Mamba]]''' (2023): [[상태 공간 모델]](State Space Model, SSM)을 기반으로 선형 시간 복잡도를 달성하며, 긴 시퀀스 처리에서 트랜스포머에 필적하는 성능을 보였다. '''[[RWKV]]''' (2023): RNN과 트랜스포머의 장점을 결합한 아키텍처이다. '''[[하이에나]]'''(Hyena, 2023): 합성곱 기반의 장거리 의존성 모델링을 수행한다. 다만 2025년 현재까지 이들 대안 아키텍처가 대규모에서 트랜스포머를 완전히 대체하지는 못하고 있으며, Mamba와 트랜스포머를 혼합한 하이브리드 구조(예: '''Jamba''')가 주목받고 있다. === 훈련 기법의 발전 === '''[[혼합 정밀도 훈련]]'''(Mixed Precision Training): FP16 또는 BF16을 활용하여 메모리와 연산을 절약한다. '''[[모델 병렬화]]'''(Model Parallelism): 거대 모델을 여러 GPU에 분산하여 훈련한다. 텐서 병렬(Tensor Parallelism), 파이프라인 병렬(Pipeline Parallelism), 데이터 병렬(Data Parallelism) 등이 사용된다. '''[[전문가 혼합 모델|MoE]]'''(Mixture of Experts): 모델 매개변수의 일부만 활성화하여 효율적으로 모델 용량을 늘린다. '''[[Switch Transformer]]'''(2021)와 '''Mixtral'''(2023)이 대표적이다. '''[[RLHF]]'''(인간 피드백 기반 강화학습): 사람의 선호도 데이터를 활용하여 모델 출력을 정렬(Alignment)한다. [[ChatGPT]]의 성공에 핵심적으로 기여하였다. == 응용 분야 == === 자연어 처리 === 트랜스포머는 [[기계 번역]], [[텍스트 요약]], [[질의응답]], [[감성 분석]], [[개체명 인식]], [[텍스트 생성]] 등 사실상 모든 NLP 과제에서 지배적인 아키텍처이다. [[구글 번역]]은 2017년 이후 트랜스포머 기반 시스템으로 전환하였으며, [[구글 검색]]에서도 2019년부터 BERT를 활용하고 있다. === 컴퓨터 비전 === [[비전 트랜스포머|ViT]]의 성공 이후, [[이미지 분류]], [[객체 검출]], [[의미론적 분할]], [[이미지 생성]] 등에서 트랜스포머가 광범위하게 사용되고 있다. [[스테이블 디퓨전|Stable Diffusion]]과 같은 [[확산 모델]]에서도 트랜스포머 기반의 U-Net이 핵심 구성 요소로 사용된다. === 음성 및 오디오 === [[OpenAI]]의 '''[[위스퍼 (음성 인식)|Whisper]]'''는 트랜스포머 기반의 범용 [[음성 인식]] 모델이며, 음성 합성([[TTS]])에서도 트랜스포머가 핵심적으로 활용된다. === 과학 연구 === [[딥마인드]]의 '''[[알파폴드|AlphaFold 2]]'''(2020)는 트랜스포머 구조를 활용하여 [[단백질 구조 예측]] 문제를 사실상 해결하였으며, 이는 [[생물학]]과 [[의약 개발]] 분야에 혁명적 영향을 미쳤다. 이외에도 [[기상 예측]], [[재료 과학]], [[약물 발견]] 등에 활용되고 있다. === 코드 생성 및 소프트웨어 개발 === 트랜스포머 기반 모델은 [[코드 생성]], [[코드 리뷰]], [[버그 수정]] 등 [[소프트웨어 공학]] 분야에서도 활발히 활용된다. [[GitHub Copilot]], [[Cursor]], [[Claude Code]] 등이 대표적인 예이다. === 로봇공학 및 의사결정 === '''디시전 트랜스포머'''(Decision Transformer, 2021)는 [[강화학습]] 과제를 시퀀스 모델링 문제로 변환하여 해결하는 접근법을 제안하였으며, [[로봇공학]]에서의 정책 학습에도 트랜스포머가 적용되고 있다. == 영향 및 의의 == === 학술적 영향 === 「Attention Is All You Need」 논문은 2025년 기준 약 '''15만 회 이상'''의 인용 수를 기록하며 역사상 가장 많이 인용된 [[인공지능]] 논문 중 하나가 되었다. 트랜스포머의 등장은 NLP 분야에서 '''사전 훈련-미세 조정 패러다임'''을 확립하였으며, 이후 [[컴퓨터 비전]], [[로봇공학]] 등 다른 분야에서도 유사한 접근법이 채택되었다. === 산업적 영향 === 트랜스포머 기반 모델은 검색 엔진, 고객 서비스, 콘텐츠 생성, 코딩 보조, 의료 진단 지원 등 다양한 산업에서 상업적으로 활용되고 있다. [[OpenAI]], [[구글]], [[앤스로픽]], [[메타 플랫폼스|Meta]], [[마이크로소프트]] 등 주요 기술 기업들은 트랜스포머 기반 AI 개발에 수십억 달러를 투자하고 있다. === 사회적 영향 === 2022년 [[ChatGPT]]의 출시는 일반 대중에게 AI의 가능성을 직접 체험하게 하였으며, 교육, 창작, 업무 방식 등에 광범위한 영향을 미쳤다. 동시에 [[AI 윤리]], [[인공지능 규제]], [[일자리 대체]], [[허위 정보]] 생성 등에 대한 사회적 논의를 촉발하였다. == 논란 및 비평 == === 계산 비용과 환경 문제 === 대규모 트랜스포머 모델의 훈련에는 막대한 양의 [[전력]]과 [[GPU]] 자원이 필요하다. 2019년 매사추세츠 대학교 애머스트의 연구에 따르면, 대규모 트랜스포머 모델 하나를 훈련하는 데 배출되는 [[탄소]]는 자동차 5대의 평생 배출량에 맞먹는 것으로 추정되었다. 이후 모델의 규모가 기하급수적으로 커지면서, AI 훈련의 [[환경 영향]]에 대한 우려도 커지고 있다. === 데이터 편향과 공정성 === 트랜스포머 모델은 대규모 인터넷 텍스트 데이터로 훈련되기 때문에, 데이터에 내재된 [[편향]](성별, 인종, 문화적 편향 등)을 그대로 학습할 수 있다. 2021년 에밀리 벤더(Emily Bender) 등이 발표한 '''「확률론적 앵무새의 위험에 대하여」'''(On the Dangers of Stochastic Parrots) 논문은 이러한 위험을 경고하며 학계에서 큰 논쟁을 불러일으켰다. === 환각 문제 === 트랜스포머 기반 [[대규모 언어 모델]]은 사실과 다른 정보를 마치 사실인 것처럼 생성하는 '''[[환각 (인공지능)|환각]]'''(Hallucination) 현상을 보인다. 이는 법률, 의료, 학술 등 정확성이 중요한 분야에서의 활용에 심각한 제약을 가한다. === 저작권 문제 === 대규모 트랜스포머 모델의 훈련 데이터에 [[저작권]]이 있는 텍스트, 이미지, 코드 등이 포함되어 있어, 이에 대한 법적 분쟁이 진행 중이다. [[뉴욕 타임스]] 대 [[OpenAI]] 소송 등이 대표적인 사례이다. === 안전성과 오용 === 강력한 텍스트 생성 능력은 [[허위 정보]], [[스팸]], [[피싱]], [[딥페이크]] 텍스트 등의 악의적 사용 가능성을 높인다. 이에 대한 대응으로 [[AI 안전성]] 연구와 [[인공지능 규제]] 논의가 활발히 진행되고 있다. === 해석 가능성 === 트랜스포머 모델은 수십억 개 이상의 매개변수를 가진 [[블랙박스]] 모델로, 의사결정 과정을 이해하기 어렵다. '''[[기계적 해석 가능성]]'''(Mechanistic Interpretability) 연구가 이 문제를 해결하기 위해 진행되고 있으며, [[앤스로픽]] 등의 기관이 이 분야에 주력하고 있다. == 주요 인물 == '''아쉬시 바스와니'''(Ashish Vaswani): 트랜스포머 논문의 제1저자. 이후 Adept AI를 공동 창업하였다. '''노암 샤지어'''(Noam Shazeer): 구글에서 트랜스포머 개발에 참여한 후, Character.AI를 공동 창업하였다. 이후 구글에 복귀하였다. '''야콥 우스코라이트'''(Jakob Uszkoreit): 논문 공동 저자. 생명공학 스타트업 Inceptive를 창업하였다. '''아이단 고메즈'''(Aidan Gomez): 논문 공동 저자. [[코히어|Cohere]]를 공동 창업하여 기업용 LLM을 개발하고 있다. '''일리아 포로수힌'''(Illia Polosukhin): 논문 공동 저자. [[블록체인]] 프로젝트 [[NEAR 프로토콜]]을 공동 창업하였다. '''리온 존스'''(Llion Jones): 논문 공동 저자. 이후 사쿠라 AI(Sakana AI)를 공동 창업하였다. == 관련 문서 == [[인공 신경망]] [[딥러닝]] [[자연어 처리]] [[셀프 어텐션]] [[순환 신경망]] [[장단기 메모리]] [[합성곱 신경망]] [[대규모 언어 모델]] [[BERT]] [[GPT]] [[비전 트랜스포머]] [[기계 번역]] [[전이 학습]] [[스케일링 법칙]] [[AI 안전성]] [[인공지능의 역사]] == 외부 링크 == [https://arxiv.org/abs/1706.03762 Attention Is All You Need - 원본 논문 (arXiv)] [https://github.com/tensorflow/tensor2tensor Tensor2Tensor - 구글의 원래 구현 (GitHub)] [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer - Jay Alammar의 시각적 해설] [https://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer - 하버드 NLP] [https://paperswithcode.com/method/transformer Papers With Code - Transformer] [[분류:기계학습]] [[분류:딥러닝]] [[분류:자연어 처리]] [[분류:인공 신경망]] [[분류:2017년 도입]]