BERT

영어	Bidirectional Encoder Representations from Transformers
개발사	Google
발표	2018년 10월
유형	언어 모델
아키텍처	Transformer Encoder

'''BERT'''(Bidirectional Encoder Representations from Transformers)는 Google에서 개발한 사전훈련 [[언어 모델]]로, [[자연어 처리]] 분야에 혁명을 일으켰습니다. [[youtube:xI0HHN5XKDo|BERT 설명]] == 개요 == BERT는 2018년 Google에서 발표한 [[트랜스포머]] 기반 언어 모델입니다. 양방향으로 문맥을 이해하는 것이 특징이며, 다양한 NLP 작업에서 최고 성능을 달성했습니다. 현대 언어 모델의 기반이 되는 중요한 연구입니다. == 핵심 특징 == === 양방향 인코딩 === * 좌우 문맥 동시 고려 * 기존 모델 한계 극복 * 더 나은 문맥 이해 === 사전훈련-파인튜닝 === * 대규모 데이터 사전훈련 * 특정 작업 [[파인튜닝]] * [[전이학습]] 활용 === Masked Language Model === * 단어 일부를 마스킹 * 마스킹된 단어 예측 * 양방향 학습 가능 == 학습 방법 == === MLM (Masked LM) === * 15% 토큰 마스킹 * [MASK] 토큰 예측 * 문맥 이해 학습 === NSP (Next Sentence Prediction) === * 두 문장 관계 예측 * 문장 간 관계 학습 * 질의응답에 유용 == 모델 버전 == {| ! 모델 !! 레이어 !! 파라미터 |- | BERT-Base || 12 || 110M |- | BERT-Large || 24 || 340M |} == BERT 변형 == === RoBERTa === * Facebook/Meta 개발 * 더 많은 데이터, 더 긴 학습 * NSP 제거 === ALBERT === * 파라미터 공유 * 메모리 효율적 * 가벼운 버전 === DistilBERT === * 지식 증류 * 60% 크기 * 97% 성능 유지 === KoBERT === * 한국어 BERT * SKT 개발 * 한국어 특화 == 활용 분야 == === 분류 === * 감정 분석 * 스팸 탐지 * 주제 분류 === 개체명 인식 (NER) === * 인물, 장소, 조직 * 정보 추출 * 지식 그래프 === 질의응답 === * SQuAD 벤치마크 * 문서 기반 QA * 검색 시스템 === 문장 유사도 === * 의미적 유사도 * 중복 탐지 * 검색 랭킹 == BERT vs GPT == {| ! 항목 !! BERT !! GPT |- | 방향 || 양방향 || 단방향 |- | 아키텍처 || Encoder || Decoder |- | 강점 || 이해 작업 || 생성 작업 |} == 관련 문서 == * [[트랜스포머]] * [[자연어 처리]] * [[GPT-4]] * [[언어 모델]] [[분류:인공지능]] [[분류:자연어 처리]] [[분류:딥러닝]] [[분류:Google]]