GPT-3

개발사	[[OpenAI]]
공개일	2020년 6월 11일 (논문 공개) 2020년 6월 (베타 API)
유형	[[대규모 언어 모델]] (LLM)
아키텍처	[[트랜스포머 (기계 학습)\|트랜스포머]] (디코더 전용)
매개변수 수	1,750억 개 (175B)
훈련 데이터	약 4,990억 토큰
선행 모델	[[GPT-2]]
후속 모델	[[GPT-3.5]], [[GPT-4]]
라이선스	독점 (API 접근 방식)
프로그래밍 언어	[[Python]]

== 개요 == '''GPT-3'''('''Generative Pre-trained Transformer 3''')는 [[OpenAI]]가 개발한 [[자기회귀 모델|자기회귀]] [[대규모 언어 모델]]로, 2020년 6월에 공개되었다. GPT-3는 1,750억 개의 매개변수를 보유하고 있으며, 공개 당시 역대 가장 큰 규모의 [[인공 신경망]] 모델 중 하나였다. [[트랜스포머 (기계 학습)|트랜스포머]] 아키텍처의 디코더 부분만을 활용하는 구조로 설계되었으며, 대규모 텍스트 데이터를 기반으로 사전 훈련(pre-training)을 거쳐 다양한 [[자연어 처리]] 과제를 수행할 수 있다. GPT-3의 핵심적인 혁신은 '''퓨샷 학습'''(few-shot learning) 능력에 있다. 기존의 [[기계 학습]] 모델이 특정 과제를 수행하기 위해 대량의 레이블링된 데이터로 미세 조정(fine-tuning)을 거쳐야 했던 것과 달리, GPT-3는 소수의 예시만으로도 새로운 과제를 수행할 수 있었다. 이는 [[인공지능]] 분야에서 범용 언어 모델의 가능성을 보여준 중요한 이정표로 평가된다. OpenAI는 GPT-3를 직접 공개하지 않고 [[API]](Application Programming Interface)를 통해 상업적으로 제공하는 방식을 택했으며, 이는 대규모 언어 모델의 상업화 모델에 중요한 선례를 남겼다. GPT-3는 이후 [[ChatGPT]]의 기반이 된 [[GPT-3.5]]로 발전하였고, 궁극적으로 [[GPT-4]]의 개발로 이어지는 계보의 핵심 모델이다. == 역사 == === 배경과 선행 연구 === GPT-3의 역사는 [[구글]]의 연구팀이 2017년에 발표한 논문 "[[Attention Is All You Need]]"에서 시작된다. 이 논문에서 제안된 '''트랜스포머''' 아키텍처는 기존의 [순환 신경망]이나 [장단기 메모리] 구조를 대체하며, [[자연어 처리]] 분야에 혁명적 변화를 가져왔다. 트랜스포머의 핵심인 '''[[셀프 어텐션]]'''(self-attention) 메커니즘은 입력 시퀀스의 모든 위치 간의 관계를 병렬적으로 계산할 수 있게 하여, 훈련 효율성과 성능을 크게 향상시켰다. OpenAI는 2018년 6월에 '''[[GPT|GPT-1]]'''을 발표하며 트랜스포머 기반 언어 모델의 가능성을 탐색하기 시작했다. GPT-1은 약 1억 1,700만 개의 매개변수를 가졌으며, 비지도 사전 훈련 후 지도 미세 조정이라는 2단계 접근법을 사용했다. 이어서 2019년 2월에 발표된 '''[[GPT-2]]'''는 15억 개의 매개변수로 규모를 대폭 확대했으며, 제로샷(zero-shot) 학습 능력을 최초로 시연했다. OpenAI는 GPT-2가 악용될 가능성을 우려하여 단계적으로 모델을 공개하는 전략을 취했는데, 이는 AI 안전성에 대한 논의를 촉발시켰다. === 개발 과정 === GPT-3의 개발은 OpenAI 내부에서 언어 모델의 규모를 극적으로 확대하면 어떤 결과가 나타나는지 탐구하려는 목적에서 추진되었다. 이른바 '''스케일링 법칙'''(scaling laws)에 대한 연구가 중요한 이론적 기반이 되었다. OpenAI의 연구자들인 '''재러드 카플란'''(Jared Kaplan) 등은 모델의 성능이 매개변수 수, 훈련 데이터 크기, 그리고 컴퓨팅 자원에 따라 예측 가능한 '''멱법칙'''(power law) 관계로 향상된다는 것을 발견했다. GPT-3의 훈련에는 [[마이크로소프트]]가 구축한 대규모 [[슈퍼컴퓨터]]가 활용되었다. 마이크로소프트는 2019년 7월에 OpenAI에 10억 달러를 투자하며 전략적 파트너십을 맺었으며, [[마이크로소프트 애저|Azure]] 클라우드 인프라를 통해 GPT-3의 훈련에 필요한 대규모 컴퓨팅 자원을 제공했다. 훈련에 사용된 컴퓨팅 비용은 약 460만 달러로 추정되며, 수천 개의 [[GPU]]가 수주에 걸쳐 가동되었다. === 논문 발표와 공개 === 2020년 5월 28일, OpenAI는 "'''Language Models are Few-Shot Learners'''"라는 제목의 논문을 [[아카이브 (사이트)|arXiv]]에 사전 공개했다. 이 논문의 주요 저자로는 '''톰 브라운'''(Tom B. Brown), '''벤자민 만'''(Benjamin Mann), '''닉 라이더'''(Nick Ryder), '''멜라니 서벨'''(Melanie Subbiah) 등이 이름을 올렸으며, 총 31명의 연구자가 참여했다. 논문은 GPT-3의 아키텍처, 훈련 방법론, 그리고 다양한 벤치마크에서의 성능을 상세히 기술했다. 2020년 6월부터 OpenAI는 제한된 베타 프로그램을 통해 GPT-3 API를 외부 개발자들에게 제공하기 시작했다. 초기에는 대기자 명단을 통해 접근을 관리했으며, 점진적으로 접근 범위를 확대했다. 2021년 11월에는 API가 일반에 공개되어 누구나 가입 후 사용할 수 있게 되었다. === 후속 발전 === GPT-3 공개 이후, OpenAI는 지속적으로 모델을 개선했다. 2022년 1월에는 '''InstructGPT'''를 발표하여 [인간 피드백 기반 강화 학습]을 통해 GPT-3의 명령어 수행 능력을 향상시켰다. 같은 해에는 '''GPT-3.5''' 시리즈를 출시했으며, 이를 기반으로 2022년 11월 30일에 [[ChatGPT]]를 공개하여 전 세계적으로 [[생성형 인공지능]] 열풍을 촉발시켰다. == 기술적 구조 == === 아키텍처 === GPT-3는 [[트랜스포머 (기계 학습)|트랜스포머]] 아키텍처의 '''디코더 전용'''(decoder-only) 구조를 사용한다. 원래 트랜스포머는 인코더와 디코더로 구성되지만, GPT 계열은 디코더 부분만을 활용하여 자기회귀적으로 텍스트를 생성한다. 이는 주어진 토큰 시퀀스의 다음 토큰을 예측하는 방식으로 동작한다. GPT-3의 가장 큰 모델('''davinci''')은 다음과 같은 구조적 특징을 갖는다: '''매개변수 수''': 1,750억 개 (175 billion) '''레이어 수''': 96개의 트랜스포머 블록 '''어텐션 헤드 수''': 레이어당 96개 '''임베딩 차원''': 12,288 '''컨텍스트 윈도우''': 2,048 토큰 '''어휘 크기''': 50,257개의 [바이트 페어 인코딩] 토큰 OpenAI는 GPT-3를 다양한 크기의 모델로 제공했다. '''Ada'''(3억 5천만 매개변수), '''Babbage'''(13억 매개변수), '''Curie'''(67억 매개변수), '''Davinci'''(1,750억 매개변수) 등 네 가지 크기 변형이 있었으며, 이들은 각각 다른 성능과 비용 특성을 보였다. === 훈련 데이터 === GPT-3의 훈련에는 약 '''4,990억 토큰'''에 달하는 대규모 텍스트 데이터가 사용되었다. 훈련 데이터의 구성은 다음과 같다: '''Common Crawl''' (필터링된 버전): 전체 훈련 데이터의 약 60%, 4,100억 토큰 '''WebText2''': OpenAI가 자체적으로 구축한 웹 텍스트 데이터셋, 약 190억 토큰 '''Books1 및 Books2''': 두 개의 인터넷 기반 도서 코퍼스, 합계 약 670억 토큰 '''[[위키백과|영문 위키백과]]''': 약 30억 토큰 Common Crawl 데이터는 원본 그대로 사용된 것이 아니라, 품질 필터링 과정을 거쳤다. OpenAI는 고품질 참조 코퍼스와의 유사성을 기반으로 Common Crawl 문서의 품질을 평가하는 분류기를 훈련하여 저품질 데이터를 걸러냈다. 또한 [문서 중복 제거] 기법을 적용하여 훈련 데이터의 중복을 줄였다. === 퓨샷 학습 === GPT-3의 가장 주목할 만한 능력은 '''퓨샷 학습'''(few-shot learning)이다. 이는 모델의 가중치를 갱신하지 않고, 입력 프롬프트에 소수의 예시를 제공하는 것만으로 새로운 과제를 수행할 수 있는 능력을 의미한다. GPT-3 논문에서는 세 가지 학습 설정을 구분하여 평가했다: '''제로샷'''(zero-shot): 과제에 대한 자연어 설명만 제공하고 예시를 주지 않는 경우 '''원샷'''(one-shot): 하나의 예시만 제공하는 경우 '''퓨샷'''(few-shot): 소수(보통 10~100개)의 예시를 제공하는 경우 이러한 '''인컨텍스트 학습'''(in-context learning) 능력은 모델 규모가 커질수록 현저하게 향상되었다. 작은 모델에서는 퓨샷 학습의 효과가 제한적이었지만, 1,750억 매개변수 규모에서는 많은 벤치마크에서 미세 조정된 기존 최첨단 모델에 필적하는 성능을 보였다. === 훈련 과정 === GPT-3는 표준적인 '''언어 모델링''' 목적 함수, 즉 다음 토큰 예측(next token prediction)을 사용하여 훈련되었다. 훈련 과정에서의 주요 기술적 세부사항은 다음과 같다: '''최적화 알고리즘''': [[Adam (최적화)|Adam]] 옵티마이저 사용 '''배치 크기''': 훈련 초기에는 작은 배치에서 시작하여 점진적으로 최대 320만 토큰까지 증가 '''학습률''': 코사인 스케줄링 적용 '''정밀도''': [[혼합 정밀도 훈련]](mixed precision training) 사용 전체 훈련에 소요된 컴퓨팅 자원은 약 '''3.14 × 10²³ FLOPS'''로 추정된다. 이는 당시 기준으로 단일 모델 훈련에 투입된 컴퓨팅 자원 중 최대 규모에 해당했다. == 성능 및 벤치마크 == === 자연어 처리 벤치마크 === GPT-3는 논문 발표 당시 다양한 [[자연어 처리]] 벤치마크에서 인상적인 성능을 보였다. 특히 퓨샷 설정에서 기존의 미세 조정된 모델들과 경쟁력 있는 결과를 달성했다: '''[[LAMBADA]]''' 데이터셋: 제로샷 설정에서 76.2%의 정확도를 달성하여, 기존 최고 성능(68.0%)을 큰 폭으로 초과 '''TriviaQA''': 퓨샷 설정에서 71.2%의 정확도로, 미세 조정된 [[T5 (모델)|T5-11B]] 모델의 성능에 근접 '''SuperGLUE''' 벤치마크: 퓨샷 설정에서 일부 과제에서 미세 조정 기반 SOTA에 근접하는 성능 '''번역''' 과제: 영어-프랑스어 번역에서 퓨샷 설정으로 비지도 [[신경 기계 번역]] 모델에 필적하는 [[BLEU]] 점수 달성 === 생성 능력 === GPT-3의 텍스트 생성 능력은 학계와 일반 대중 모두에게 큰 반향을 일으켰다. 초기 베타 테스터들은 GPT-3가 다음과 같은 과제를 수행할 수 있음을 시연했다: 뉴스 기사, 에세이, 시, 소설 등 다양한 장르의 창작 글쓰기 [[프로그래밍 언어]] 코드 생성 ([[SQL]] 쿼리, [[Python]], [[JavaScript]] 등) 자연어 질의를 코드로 변환 텍스트 요약 및 번역 대화형 챗봇 구현 스프레드시트 함수 및 수식 생성 특히 '''가디언'''(The Guardian) 지에 GPT-3가 작성한 에세이가 실린 것은 언어 모델의 생성 능력에 대한 대중적 관심을 크게 높인 사건이었다. === 한계점 === 뛰어난 성능에도 불구하고, GPT-3는 여러 벤치마크에서 명확한 한계를 보였다: '''자연어 추론'''(NLI): ANLI 데이터셋 등에서 인간 수준에 크게 미치지 못하는 성능 '''상식 추론''': 물리적 상식이나 인과관계 추론을 요구하는 과제에서 약한 성능 '''수학적 추론''': 복잡한 산술 연산이나 수학 문제에서 제한적 성능 '''사실성''': 사실과 다른 정보를 자신 있게 생성하는 '''[[환각 (인공지능)|환각]]'''(hallucination) 문제 == 응용 분야 == === 상업적 활용 === GPT-3 API가 공개된 이후, 다양한 산업 분야에서 활용이 이루어졌다: '''콘텐츠 생성''': 마케팅 카피, 블로그 글, 소셜 미디어 게시물 자동 생성 '''고객 서비스''': [[챗봇]] 및 자동 응답 시스템 구축 '''소프트웨어 개발''': 코드 자동 완성 및 생성 도구 (예: [[GitHub Copilot]]의 초기 버전) '''교육''': 개인화된 학습 콘텐츠 생성 및 질의응답 '''의료''': 의료 문서 요약 및 초안 작성 보조 대표적인 초기 활용 사례로는 '''Jasper'''(구 Jarvis)와 같은 AI 글쓰기 도구, '''Copy.ai''' 같은 마케팅 카피 생성기가 있다. 이러한 서비스들은 GPT-3 API를 기반으로 구축되어 수백만 명의 사용자를 확보했다. === 연구 활용 === 학술 연구 분야에서도 GPT-3는 광범위하게 활용되었다. [[프롬프트 엔지니어링]], 인컨텍스트 학습의 메커니즘 분석, 대규모 언어 모델의 편향성 연구, 그리고 AI 안전성 연구 등에서 GPT-3는 중요한 연구 대상이자 도구로 활용되었다. GPT-3에 관한 원 논문은 발표 이후 수천 회 이상 인용되며 [[자연어 처리]] 분야에서 가장 영향력 있는 논문 중 하나로 자리매김했다. == 영향 및 의의 == === AI 산업에 대한 영향 === GPT-3는 [[인공지능]] 산업의 지형을 근본적으로 변화시켰다. 첫째, 모델의 '''규모'''(scale)가 성능의 핵심 동인이라는 인식을 강화하여, 이른바 '''대규모 언어 모델 경쟁'''(LLM race)을 촉발시켰다. [[구글]]의 '''[[PaLM]]''', [[메타 (기업)|메타]]의 '''[[LLaMA]]''', [[앤스로픽]]의 '''[[Claude (AI)|Claude]]''' 등 주요 기술 기업들과 스타트업들이 앞다투어 대규모 언어 모델 개발에 나서게 된 직접적 계기가 되었다. 둘째, GPT-3의 API 기반 상업화 모델은 '''AI as a Service'''(AIaaS) 패러다임을 확립했다. 모델 자체를 공개하지 않고 API를 통해 접근을 제공하는 방식은 이후 대부분의 상업적 언어 모델이 채택한 사업 모델이 되었다. 셋째, GPT-3는 [[프롬프트 엔지니어링]]이라는 새로운 분야의 탄생에 기여했다. 모델의 성능을 극대화하기 위해 입력 프롬프트를 체계적으로 설계하는 기법이 발전하면서, 이는 하나의 독립적인 기술 영역으로 자리 잡았다. === 사회적 영향 === GPT-3는 [[인공지능]]에 대한 대중적 인식을 크게 변화시킨 모델이기도 하다. 2020년 베타 출시 이후, GPT-3의 텍스트 생성 능력을 시연하는 수많은 사례가 소셜 미디어와 언론을 통해 확산되면서, AI가 창작, 글쓰기, 프로그래밍 등 전통적으로 인간 고유의 영역으로 여겨지던 분야에서도 활용될 수 있다는 인식이 퍼졌다. 이는 동시에 [[인공지능과 일자리|AI로 인한 일자리 변화]]에 대한 우려를 증폭시키기도 했다. 콘텐츠 작성, 번역, 기초적 프로그래밍 등의 업무가 자동화될 가능성이 현실적으로 다가오면서, 노동 시장에 대한 AI의 영향에 관한 논의가 활발해졌다. === 학술적 의의 === GPT-3 논문은 [[기계 학습]] 분야에서 여러 중요한 학술적 질문을 제기했다. 인컨텍스트 학습이 어떤 메커니즘으로 작동하는지, 모델 규모의 확대가 언제까지 성능 향상을 가져올 수 있는지, 그리고 대규모 언어 모델이 진정한 '''언어 이해'''를 수행하는 것인지 아니면 정교한 '''패턴 매칭'''에 불과한 것인지에 대한 논쟁이 촉발되었다. == 논란 및 비평 == === 편향성 문제 === GPT-3는 훈련 데이터에 내재된 다양한 '''편향성'''(bias)을 반영한다는 비판을 받았다. OpenAI 스스로도 논문에서 이 문제를 인정하며, GPT-3가 성별, 인종, 종교 등과 관련된 편향된 텍스트를 생성할 수 있음을 보고했다. 구체적으로: '''성별 편향''': 특정 직업을 성별과 연관짓는 경향 '''인종 편향''': 특정 인종이나 민족에 대한 부정적 연관어 생성 '''종교 편향''': 특정 종교, 특히 [[이슬람교]]와 관련하여 부정적 맥락을 생성하는 빈도가 상대적으로 높은 것으로 관찰 이러한 편향성 문제는 [[AI 윤리]] 분야에서 대규모 언어 모델의 공정성과 안전성에 대한 중요한 논의를 촉발시켰다. === 환경 영향 === GPT-3의 훈련에 소요된 막대한 에너지 소비는 환경적 측면에서 비판의 대상이 되었다. [[매사추세츠 대학교 애머스트]]의 연구자들이 발표한 연구에 따르면, 대규모 [[인공 신경망]] 모델의 훈련 과정에서 발생하는 [[탄소 발자국]]은 상당한 수준이다. GPT-3의 훈련에 사용된 에너지는 수백 메가와트시에 달하는 것으로 추정되며, 이는 AI 개발의 환경적 지속 가능성에 대한 논의를 촉진했다. === 악용 가능성 === GPT-3의 고품질 텍스트 생성 능력은 다음과 같은 악용 시나리오에 대한 우려를 불러일으켰다: '''허위 정보 생성''': 가짜 뉴스, 조작된 리뷰, 피싱 이메일 등의 자동 대량 생산 '''학술 부정행위''': 에세이, 보고서 등의 학술 과제물 자동 생성 '''[[소셜 엔지니어링]]''': 개인화된 사기성 메시지 자동 생성 '''[[스팸]]''' 및 '''봇''' 운영: 소셜 미디어에서의 여론 조작 OpenAI는 이러한 위험을 인식하고, API 사용 정책을 통해 악용을 방지하려 했으나, 완전한 통제는 어려운 것이 현실이다. === 접근성과 공개성 논쟁 === GPT-3를 오픈소스로 공개하지 않고 유료 API로만 제공한 OpenAI의 결정은 상당한 비판을 받았다. 원래 '''개방적 AI 연구'''를 표방하며 설립된 OpenAI가 점차 폐쇄적인 방향으로 전환한 것에 대해, 학계와 오픈소스 커뮤니티로부터 비판의 목소리가 높아졌다. 이에 대해 OpenAI는 모델의 악용 가능성을 관리하고, 개발 비용을 회수하기 위한 불가피한 선택이라고 설명했다. 이러한 논쟁은 이후 메타의 [[LLaMA]] 모델 공개, [[엘루서 AI|EleutherAI]]의 '''GPT-Neo''' 및 '''GPT-J''' 개발 등 오픈소스 대규모 언어 모델 운동을 자극하는 계기가 되었다. === 지적 재산권 문제 === GPT-3의 훈련에 사용된 데이터의 [[저작권]] 문제도 지속적으로 제기되었다. 수십억 개의 웹 페이지와 도서에서 수집된 훈련 데이터에 저작권이 있는 콘텐츠가 다수 포함되어 있으며, 이러한 데이터의 사용이 [[공정 이용]]에 해당하는지에 대한 법적 논쟁이 이어졌다. 이 문제는 이후 [[생성형 인공지능]]과 저작권 간의 관계를 둘러싼 보다 광범위한 법적, 윤리적 논의로 확대되었다. == GPT-3 이후의 발전 == === GPT-3.5와 ChatGPT === OpenAI는 GPT-3를 기반으로 '''GPT-3.5''' 시리즈를 개발했다. GPT-3.5는 GPT-3에 코드 데이터 훈련과 [인간 피드백 기반 강화 학습] 등의 기법을 추가 적용한 모델이다. 2022년 11월 30일, GPT-3.5를 기반으로 한 대화형 AI인 '''[[ChatGPT]]'''가 출시되었으며, 출시 5일 만에 100만 명, 2개월 만에 1억 명의 사용자를 확보하는 기록적인 성장을 이루었다. === GPT-4와 그 이후 === 2023년 3월에는 '''[[GPT-4]]'''가 공개되었다. GPT-4는 텍스트와 이미지를 모두 입력으로 받을 수 있는 '''멀티모달''' 모델로, GPT-3 대비 크게 향상된 추론 능력, 사실성, 그리고 안전성을 보여주었다. GPT-4의 정확한 매개변수 수는 공개되지 않았으나, GPT-3보다 훨씬 큰 규모인 것으로 추정된다. === 경쟁 모델의 등장 === GPT-3의 성공은 전 세계적으로 대규모 언어 모델 개발 경쟁을 촉발시켰다: '''[[구글]]''': [[PaLM]], [[PaLM 2]], [[Gemini (AI)|Gemini]] '''[[앤스로픽]]''': [[Claude (AI)|Claude]] 시리즈 '''[[메타 (기업)|메타]]''': [[LLaMA]] 시리즈 (오픈소스) '''오픈소스 커뮤니티''': [[EleutherAI]]의 GPT-Neo, GPT-J, 그리고 [[Mistral AI]]의 모델들 == 관련 문서 == [[인공지능]] [[대규모 언어 모델]] [[자연어 처리]] [[트랜스포머 (기계 학습)]] [[OpenAI]] [[GPT-2]] [[GPT-4]] [[ChatGPT]] [[BERT (언어 모델)]] [[기계 학습]] [[딥러닝]] [[인간 피드백 기반 강화 학습]] [[프롬프트 엔지니어링]] [[AI 윤리]] [[생성형 인공지능]] == 외부 링크 == [https://arxiv.org/abs/2005.14165 "Language Models are Few-Shot Learners" - GPT-3 원본 논문 (arXiv)] [https://openai.com/api/ OpenAI API 공식 페이지] [https://openai.com/ OpenAI 공식 웹사이트] [[분류:인공지능]] [[분류:자연어 처리]] [[분류:OpenAI]] [[분류:대규모 언어 모델]] [[분류:2020년 소프트웨어]]