GPT-2

개발사	[[OpenAI]]
공개일	2019년 2월 14일
전체 공개일	2019년 11월 5일
유형	[[대규모 언어 모델]] (LLM)
아키텍처	[[트랜스포머]] (디코더 전용)
매개변수 수	15억 개 (최대 모델)
훈련 데이터	WebText (약 800만 웹 문서)
프로그래밍 언어	[[파이썬 (프로그래밍 언어)\|Python]] ([[텐서플로우\|TensorFlow]])
라이선스	MIT 라이선스 (최종 공개 시)
선행 모델	[[GPT-1]]
후속 모델	[[GPT-3]]

== 개요 == '''GPT-2'''('''Generative Pre-trained Transformer 2''')는 미국의 [[인공지능]] 연구 기관 [[OpenAI]]가 2019년에 개발하여 공개한 [[대규모 언어 모델]]이다. [[트랜스포머]] 아키텍처의 디코더 부분만을 활용한 자기회귀(autoregressive) 언어 모델로, 주어진 텍스트 앞부분을 바탕으로 다음에 올 단어를 예측하는 방식으로 작동한다. 최대 15억 개의 매개변수를 보유하며, '''WebText'''라 명명된 약 800만 개의 웹 문서 데이터셋으로 훈련되었다. GPT-2는 발표 당시 텍스트 생성 품질이 매우 높아 학계와 대중 모두에게 큰 주목을 받았다. 특히 OpenAI가 악용 가능성을 이유로 전체 모델의 공개를 수개월간 보류한 결정은 [[인공지능 윤리]]와 연구 공개 정책에 관한 광범위한 논쟁을 촉발하였다. GPT-2는 이후 등장한 [[GPT-3]], [[GPT-4]] 등 초대규모 언어 모델의 직접적인 선구자로서, 현대 [[생성형 인공지능]] 시대를 여는 데 핵심적인 역할을 하였다. == 역사 == === 배경: GPT-1과 트랜스포머 아키텍처 === GPT-2의 개발은 [[트랜스포머]] 아키텍처의 등장과 밀접하게 연관되어 있다. 2017년 [[구글]]의 연구팀이 발표한 논문 '''''Attention Is All You Need'''''에서 처음 소개된 트랜스포머는 기존의 [순환 신경망]이나 [장단기 메모리] 모델이 가진 순차적 처리의 한계를 극복하고, '''셀프 어텐션'''(self-attention) 메커니즘을 통해 병렬 처리와 장거리 의존성 학습을 가능하게 하였다. 2018년 6월, OpenAI는 이 트랜스포머 아키텍처를 기반으로 한 최초의 GPT 모델인 '''[[GPT-1]]'''을 발표하였다. GPT-1은 약 1억 1,700만 개의 매개변수를 가졌으며, '비지도 사전 훈련(unsupervised pre-training) 후 지도 미세 조정(supervised fine-tuning)'이라는 2단계 학습 전략의 효과를 입증하였다. 이 접근법은 대량의 비정제 텍스트 데이터로 언어의 일반적 구조를 먼저 학습한 뒤, 특정 과제에 맞는 소량의 레이블링된 데이터로 모델을 조정하는 방식이었다. === GPT-2의 개발과 발표 === GPT-1의 성공에 기반하여, OpenAI 연구팀은 모델의 규모를 대폭 확대하고 훈련 데이터의 양과 질을 개선하는 방향으로 후속 연구를 진행하였다. 2019년 2월 14일, OpenAI는 '''GPT-2'''를 공식 발표하면서 연구 논문 '''''Language Models are Unsupervised Multitask Learners'''''를 공개하였다. 이 논문의 핵심 저자는 '''앨릭 래드포드'''(Alec Radford), '''제프리 우'''(Jeffrey Wu), '''레완더 차일드'''(Rewon Child), '''데이비드 루언'''(David Luan), '''다리오 아모데이'''(Dario Amodei), '''일리야 수츠케버'''(Ilya Sutskever) 등이었다. 논문의 제목이 시사하듯, GPT-2 연구의 핵심 주장은 충분히 큰 언어 모델이 별도의 미세 조정 없이도 다양한 [[자연어 처리]] 과제를 수행할 수 있다는 것이었다. 이는 모델이 사전 훈련 과정에서 텍스트의 맥락으로부터 암묵적으로 여러 과제를 학습한다는 가설에 기반하였으며, 이후 '''제로샷 학습'''(zero-shot learning) 및 '''퓨샷 학습'''(few-shot learning) 패러다임의 초기 형태로 볼 수 있다. === 단계적 공개 과정 === GPT-2의 발표에서 가장 논란이 된 부분은 모델의 단계적 공개 전략이었다. OpenAI는 2019년 2월 최초 발표 시 15억 매개변수의 전체 모델 대신 '''1억 2,400만 매개변수'''의 소형 모델만을 공개하였다. OpenAI는 이 결정의 근거로 전체 모델이 가짜 뉴스 생성, 스팸, 사기 등에 악용될 우려가 있음을 제시하였다. 이후 공개는 다음과 같은 단계로 진행되었다: '''2019년 2월''': 1억 2,400만 매개변수 모델 공개 '''2019년 5월''': 3억 5,500만 매개변수 모델 공개 '''2019년 8월''': 7억 7,400만 매개변수 모델 공개 '''2019년 11월 5일''': 15억 매개변수 전체 모델 공개 각 단계에서 OpenAI는 악용 사례를 모니터링하고 파트너 기관들과 협력하여 위험성을 평가하였다고 밝혔다. 최종적으로 전체 모델이 공개될 때까지 약 9개월이 소요되었으며, 이 기간 동안 대규모 악용 사례가 확인되지 않았다는 점이 전체 공개의 근거로 제시되었다. == 기술적 특성 == === 아키텍처 === GPT-2는 [[트랜스포머]]의 '''디코더 전용'''(decoder-only) 변형을 사용한다. 원래 트랜스포머 아키텍처는 인코더와 디코더의 두 부분으로 구성되지만, GPT 계열은 디코더 부분만을 사용하여 자기회귀적 텍스트 생성에 특화되었다. GPT-2의 주요 아키텍처 특성은 다음과 같다: '''레이어 수''': 48개의 트랜스포머 블록 (최대 모델 기준) '''은닉 차원'''(hidden dimension): 1,600 '''어텐션 헤드 수''': 25개 '''컨텍스트 윈도우''': 1,024 토큰 '''어휘 크기''': 50,257개 토큰 (BPE 기반) '''총 매개변수 수''': 약 15억 개 GPT-1과 비교하여 GPT-2는 몇 가지 구조적 개선을 포함하였다. '''레이어 정규화'''(layer normalization)의 위치가 각 하위 블록의 입력 쪽으로 이동하였으며(pre-normalization), 마지막 셀프 어텐션 블록 이후에 추가적인 레이어 정규화가 삽입되었다. 잔차 연결(residual connection)의 가중치를 레이어 깊이에 따라 스케일링하는 초기화 방식도 도입되었다. === 모델 변형 === GPT-2는 네 가지 크기의 변형으로 제공되었다: {| class="wikitable" |- ! 모델명 !! 레이어 수 !! 은닉 차원 !! 매개변수 수 GPT-2 Small - GPT-2 Medium - GPT-2 Large - GPT-2 XL } === 토큰화 === GPT-2는 '''바이트 페어 인코딩'''(Byte Pair Encoding, [[BPE]])을 토큰화 방식으로 채택하였다. 기존의 단어 수준 또는 문자 수준 토큰화와 달리, BPE는 바이트 시퀀스를 기반으로 하위 단어(subword) 단위를 학습하여 [어휘 외 단어] 문제를 효과적으로 해결하였다. GPT-2의 BPE 어휘에는 50,257개의 토큰이 포함되어 있으며, 이는 유니코드의 UTF-8 인코딩을 기반으로 구축되어 사실상 모든 언어의 텍스트를 처리할 수 있었다. === 훈련 데이터: WebText === GPT-2의 훈련에는 '''WebText'''라고 명명된 자체 수집 데이터셋이 사용되었다. WebText는 소셜 뉴스 사이트 [레딧]에서 최소 3개 이상의 '''카르마'''(karma, 추천수)를 받은 외부 링크들의 대상 웹 페이지를 스크래핑하여 구축되었다. 이 접근법은 인간의 집단적 큐레이션을 활용하여 일정 수준 이상의 품질과 관심도를 가진 콘텐츠를 선별하려는 의도였다. WebText 데이터셋의 주요 특성은 다음과 같다: '''총 문서 수''': 약 800만 개 '''총 텍스트 양''': 약 40GB (텍스트 기준) '''수집 기간''': 2018년 12월까지 '''제외 대상''': [[위키백과]] 문서 (벤치마크 오염 방지 목적) OpenAI는 WebText 데이터셋 자체를 공개하지 않았으나, 이후 오픈소스 커뮤니티에서 유사한 방법론으로 구축된 '''OpenWebText''' 데이터셋이 공개되어 재현 연구에 활용되었다. == 성능 및 벤치마크 == === 언어 모델링 성능 === GPT-2는 발표 당시 여러 언어 모델링 벤치마크에서 당시 최고 성능(state-of-the-art)을 기록하였다. 특히 별도의 미세 조정 없이 '''제로샷''' 설정에서 달성한 성과라는 점이 주목할 만하다. '''[[펜 트리뱅크]](Penn Treebank)''': 퍼플렉시티 35.76 (당시 최고 기록) '''WikiText-2''': 퍼플렉시티 18.34 '''LAMBADA''': 정확도 63.24% (제로샷) '''Children's Book Test (CBT)''': 명사 범주 93.3% (제로샷) 이러한 결과는 대규모 비지도 사전 훈련만으로도 언어에 대한 깊은 이해가 가능함을 보여주었다. === 다중 과제 수행 능력 === GPT-2의 핵심적 기여 중 하나는 하나의 모델이 별도의 과제별 훈련 없이 다양한 [[자연어 처리]] 과제를 수행할 수 있음을 보인 것이다. 독해, 요약, 번역, 질의응답 등의 과제에서 제로샷으로 유의미한 성능을 보였으며, 이는 이후 '''범용 언어 모델'''의 가능성을 시사하였다. 다만 대부분의 과제에서 과제별로 미세 조정된 전문 모델에는 미치지 못하는 성능을 보였으며, 이 격차는 후속 모델인 [[GPT-3]]에서 크게 좁혀지게 된다. === 텍스트 생성 품질 === GPT-2가 대중적으로 가장 큰 주목을 받은 것은 텍스트 생성 품질이었다. OpenAI는 발표 당시 GPT-2가 생성한 여러 텍스트 샘플을 공개하였는데, 그중에는 유니콘의 발견에 관한 가상 뉴스 기사 등이 포함되어 있었다. 이 샘플들은 상당한 수준의 일관성, 문체적 자연스러움, 그리고 주제에 대한 표면적 지식을 보여주어 언론과 대중의 큰 관심을 받았다. == 스케일링 법칙과의 관계 == GPT-2의 개발은 이후 체계적으로 연구되는 '''[[스케일링 법칙]]'''(scaling laws)의 초기 경험적 증거를 제공하였다. GPT-1에서 GPT-2로의 전환에서 관찰된 핵심 패턴은 모델의 매개변수 수, 훈련 데이터의 양, 그리고 연산량(compute)을 함께 늘렸을 때 성능이 예측 가능한 방식으로 향상된다는 것이었다. GPT-1의 1억 1,700만 매개변수에서 GPT-2의 15억 매개변수로의 약 13배 확대는 단순한 양적 증가가 아닌, 질적으로 새로운 능력의 출현을 동반하였다. 이러한 관찰은 OpenAI 내부에서 더 큰 모델을 개발하려는 동기를 강화하였으며, 궁극적으로 1,750억 매개변수의 [[GPT-3]] 개발로 이어졌다. 2020년 OpenAI의 '''카플란 등'''(Kaplan et al.)이 발표한 스케일링 법칙 논문은 이러한 경험적 관찰을 수학적으로 정식화한 것이었다. == 영향 및 의의 == === 학술적 영향 === GPT-2는 [[자연어 처리]] 분야의 연구 방향에 중대한 영향을 미쳤다. 첫째, '''비지도 사전 훈련의 효과'''를 대규모로 입증함으로써, 이후 연구자들이 더욱 큰 모델과 데이터셋을 탐구하는 계기를 마련하였다. 둘째, '''제로샷 및 퓨샷 학습'''의 가능성을 처음으로 실질적으로 보여줌으로써, 과제별 미세 조정 중심의 기존 패러다임에 도전하였다. 셋째, '''생성 모델의 품질'''이 실용적 수준에 도달할 수 있음을 보여주어, 이후 [[ChatGPT]]로 이어지는 대화형 AI 시스템의 기반을 놓았다. === 산업적 영향 === GPT-2의 발표는 [[자연어 처리]] 기술의 상업적 잠재력에 대한 산업계의 관심을 크게 높였다. 텍스트 생성, 자동 요약, 코드 생성 등 다양한 응용 분야에서 대규모 언어 모델의 활용 가능성이 구체적으로 인식되기 시작하였다. 이는 이후 [[구글]]의 [[BERT]], [[T5]], 메타의 [[LLaMA]] 등 경쟁 모델의 개발을 촉진하고, 궁극적으로 생성형 AI 산업의 급격한 성장으로 이어졌다. === 오픈소스 생태계 === GPT-2의 최종적인 전체 공개는 오픈소스 [[인공지능]] 연구 생태계에 상당한 기여를 하였다. 모델 가중치와 코드가 공개됨에 따라, 전 세계 연구자와 개발자들이 GPT-2를 다양한 목적으로 활용, 개량, 재훈련할 수 있게 되었다. [[허깅 페이스]](Hugging Face)의 '''Transformers''' 라이브러리에 통합됨으로써 접근성이 더욱 높아졌으며, GPT-2는 언어 모델 연구의 표준적인 베이스라인 모델 중 하나로 자리 잡았다. 교육적 측면에서도 GPT-2는 중요한 역할을 하였다. 비교적 작은 모델 크기(특히 Small 변형)로 인해 일반 하드웨어에서도 실행 가능하였으며, 이는 대학교 강의, 튜토리얼, 워크숍 등에서 트랜스포머 기반 언어 모델의 원리를 교육하는 데 널리 활용되었다. === AI 안전 담론에 대한 기여 === GPT-2의 단계적 공개 결정은 [[인공지능 안전]](AI safety)과 책임 있는 공개(responsible disclosure)에 관한 논의를 본격화한 계기로 평가된다. 이전까지 학술 연구에서는 연구 결과의 완전한 공개가 원칙이었으나, GPT-2를 계기로 잠재적 위험이 큰 AI 시스템의 공개 방식에 대한 논의가 시작되었다. 이 논의는 이후 [[GPT-3]], [[DALL-E]], [[GPT-4]] 등의 공개 전략에도 영향을 미쳤으며, 광범위하게는 AI 거버넌스와 규제 논의의 한 축을 형성하였다. == 논란 및 비평 == === 공개 보류 결정에 대한 비판 === GPT-2의 단계적 공개 결정은 상당한 비판을 받았다. 비판의 주요 논점은 다음과 같다: '''과장 논란''': 일부 연구자들은 GPT-2의 위험성이 과장되었다고 주장하였다. 텍스트 생성 품질이 인상적이기는 하나, 사실적 오류가 빈번하고 긴 텍스트에서 일관성이 떨어지는 등의 한계가 분명하여, 악용의 실질적 위험이 OpenAI의 주장만큼 크지 않다는 것이었다. '''마케팅 의혹''': 공개 보류 결정이 순수한 안전 우려가 아닌 미디어 관심을 극대화하기 위한 마케팅 전략이었다는 의혹이 제기되었다. 실제로 이 결정은 GPT-2에 대한 언론 보도를 크게 증가시키는 효과가 있었다. '''재현성 저해''': 학술 커뮤니티에서는 모델과 데이터의 비공개가 연구의 재현성과 검증 가능성을 저해한다는 우려가 표명되었다. === 기술적 한계 === GPT-2는 인상적인 성과에도 불구하고 여러 기술적 한계를 가지고 있었다: '''사실적 정확성 부족''': 그럴듯하지만 사실과 다른 내용을 자주 생성하는 '''[[환각 (인공지능)|환각]]'''(hallucination) 현상이 두드러졌다. '''장거리 일관성''': 긴 텍스트를 생성할 때 주제나 논리적 일관성이 크게 저하되었다. 1,024 토큰이라는 제한된 컨텍스트 윈도우가 이 문제의 주요 원인이었다. '''반복 생성''': 같은 문구나 문장 구조를 반복적으로 생성하는 경향이 있었으며, 이는 디코딩 전략의 조정(예: top-k 샘플링, nucleus 샘플링)으로 부분적으로 완화될 수 있었다. '''편향성''': 웹 텍스트로 훈련된 특성상, 인종, 성별, 종교 등에 관한 사회적 편향이 모델의 출력에 반영되는 문제가 있었다. '''제어 어려움''': 생성되는 텍스트의 주제, 스타일, 내용을 정밀하게 제어하기 어려웠으며, 이는 이후 '''[[RLHF]]'''(인간 피드백 기반 강화 학습) 등의 정렬(alignment) 기법으로 개선되었다. === 악용 우려 === GPT-2의 텍스트 생성 능력은 다양한 악용 시나리오에 대한 우려를 낳았다: '''가짜 뉴스 및 허위 정보 생성''': 그럴듯한 뉴스 기사를 자동으로 대량 생성할 수 있는 가능성 '''스팸 및 피싱''': 개인화된 스팸 메시지나 피싱 이메일의 자동 생성 '''학술적 부정행위''': 에세이, 리포트 등의 자동 생성을 통한 학술적 부정 '''소셜 미디어 조작''': 자동화된 봇을 통한 여론 조작 다만, 실제로 GPT-2의 악용 사례가 대규모로 확인되지는 않았으며, 이는 당시 기술의 한계와 더불어 텍스트 생성이 공격 벡터로서 갖는 실용적 제약을 반영하는 것으로 분석되었다. == 후속 발전 == === GPT-3로의 발전 === GPT-2에서 얻은 경험과 통찰은 2020년 6월에 발표된 '''[[GPT-3]]'''의 개발에 직접적으로 반영되었다. GPT-3는 1,750억 개의 매개변수로 GPT-2 대비 약 116배 확대되었으며, 퓨샷 학습에서 혁신적인 성능을 보여주었다. GPT-2에서 관찰된 스케일링 경향이 GPT-3에서 극적으로 확인됨에 따라, 대규모 언어 모델 연구의 주된 방향이 모델 규모의 확대로 설정되었다. === 파생 모델과 변형 === GPT-2의 공개 이후 다수의 파생 모델과 변형이 개발되었다. '''DistilGPT-2'''는 [[지식 증류]](knowledge distillation) 기법을 적용하여 GPT-2의 성능을 상당 부분 유지하면서 모델 크기를 줄인 경량화 모델이다. 또한 다양한 언어, 도메인, 스타일에 대해 GPT-2를 미세 조정한 수많은 커뮤니티 모델이 [[허깅 페이스]] 모델 허브 등을 통해 공유되었다. === 텍스트 탐지 도구 === GPT-2의 발표와 함께 AI가 생성한 텍스트를 탐지하는 도구에 대한 관심도 높아졌다. OpenAI 자체적으로도 GPT-2 생성 텍스트를 탐지하기 위한 도구를 개발하여 공개하였으나, 탐지의 정확성에는 한계가 있었다. 이 문제는 이후 [[ChatGPT]]의 등장과 함께 더욱 중요한 과제로 부상하게 된다. == 기술적 유산 == GPT-2는 현대 [[자연어 처리]]와 [[생성형 인공지능]] 분야에 여러 중요한 기술적 유산을 남겼다: '''디코더 전용 트랜스포머의 효과 입증''': 텍스트 생성 과제에서 디코더 전용 아키텍처의 우수성을 실증하여, 이후 대부분의 대규모 언어 모델이 이 방식을 채택하게 되었다. '''BPE 토큰화의 표준화''': GPT-2에서 채택된 바이트 수준 BPE 토큰화 방식은 이후 여러 모델에서 표준적으로 사용되었다. '''WebText 방법론''': 웹 크롤링과 소셜 미디어 기반 필터링을 결합한 데이터 수집 방법론은 이후 대규모 훈련 데이터셋 구축의 참조 모델이 되었다. '''사전 훈련-미세 조정 패러다임 강화''': 비지도 사전 훈련의 효과를 입증함으로써 이 접근법의 채택을 가속화하였다. == 관련 문서 == [[트랜스포머]] [[OpenAI]] [[GPT-1]] [[GPT-3]] [[GPT-4]] [[ChatGPT]] [[대규모 언어 모델]] [[자연어 처리]] [[인공지능]] [[BERT]] [[인공지능 안전]] [[생성형 인공지능]] [[스케일링 법칙]] [[허깅 페이스]] [[환각 (인공지능)]] == 외부 링크 == [https://openai.com/research/better-language-models OpenAI GPT-2 공식 발표 페이지] [https://github.com/openai/gpt-2 GPT-2 GitHub 저장소] [https://huggingface.co/gpt2 Hugging Face GPT-2 모델 페이지] [https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf GPT-2 논문 원문 (PDF)] [[분류:인공지능]] [[분류:자연어 처리]] [[분류:OpenAI]] [[분류:대규모 언어 모델]] [[분류:2019년 소프트웨어]]