전이학습

영어	Transfer Learning
분류	기계학습 기법
목적	지식 재사용
관련 개념	사전훈련, 파인튜닝

'''전이학습'''(Transfer Learning)은 한 작업에서 학습한 지식을 다른 관련 작업에 적용하는 기계학습 기법입니다. [[youtube:yofjFQddwHE|전이학습 설명]] == 개요 == 전이학습은 대규모 데이터로 사전 훈련된 모델의 지식을 새로운 작업에 활용합니다. 이를 통해 적은 데이터와 컴퓨팅 자원으로도 좋은 성능을 얻을 수 있습니다. == 작동 원리 == === 사전 훈련 (Pre-training) === * 대규모 데이터셋으로 학습 * 일반적인 특징/패턴 학습 * ImageNet, 웹 텍스트 등 === 전이 (Transfer) === * 학습된 가중치 재사용 * 새로운 작업에 적용 * 특징 추출기로 활용 === 적응 (Adaptation) === * [[파인튜닝]]: 가중치 조정 * 특징 추출: 가중치 고정 * 하이브리드 접근 == 전이학습 유형 == === 도메인 적응 === * 소스 도메인 -> 타겟 도메인 * 데이터 분포 차이 극복 * 예: 사진 -> 스케치 === 작업 전이 === * 유사한 작업 간 전이 * 예: 감정 분석 -> 리뷰 분류 === 언어 간 전이 === * 한 언어 -> 다른 언어 * 다국어 모델 활용 * 저자원 언어 지원 == 적용 분야 == === 컴퓨터 비전 === * ImageNet 사전훈련 모델 * ResNet, VGG, EfficientNet * 이미지 분류, 객체 탐지 === 자연어 처리 === * [[BERT]], [[GPT]] 사전훈련 * 문서 분류, 질의응답 * 감정 분석, 요약 === 음성 처리 === * Wav2Vec, Whisper * 음성 인식 * 화자 인식 == 장점 == * 학습 시간 단축 * 적은 데이터로 학습 * 성능 향상 * 컴퓨팅 비용 절감 == 한계 == * 도메인 차이가 크면 효과 감소 * 부정적 전이 가능성 * 편향 전이 우려 == 대표 모델 == === 비전 === * ResNet-50 (ImageNet) * CLIP (이미지-텍스트) * ViT (Vision Transformer) === 언어 === * BERT, RoBERTa * GPT 시리즈 * T5, mT5 == 관련 문서 == * [[파인튜닝]] * [[딥러닝]] * [[언어 모델]] * [[컴퓨터 비전]] [[분류:인공지능]] [[분류:기계학습]] [[분류:딥러닝]]