CLIP

정식 명칭	Contrastive Language–Image Pre-training
개발사	[[OpenAI]]
공개일	2021년 1월
논문 발표	2021년 2월 (ICML 2021)
유형	[[멀티모달]] 시각-언어 모델
학습 데이터	WIT (WebImageText), 약 4억 쌍
아키텍처	[[비전 트랜스포머\|ViT]] / [[ResNet]] + [[트랜스포머]]
라이선스	MIT License
프로그래밍 언어	[[Python]], [[PyTorch]]
공식 저장소	[https://github.com/openai/CLIP GitHub - openai/CLIP]

'''CLIP'''('''C'''ontrastive '''L'''anguage–'''I'''mage '''P'''re-training)은 [[OpenAI]]가 2021년 1월에 공개한 [[멀티모달]] [[인공지능]] 모델이다. 자연어 텍스트와 이미지를 동일한 [[임베딩]] 공간에 매핑하여, 텍스트 설명만으로 이미지를 분류하거나 검색할 수 있는 '''제로샷 학습'''(zero-shot learning) 능력을 갖추고 있다. CLIP은 인터넷에서 수집한 약 4억 개의 이미지-텍스트 쌍을 [[대조 학습]](contrastive learning) 방식으로 학습하여, 특정 데이터셋에 대한 별도의 [미세 조정] 없이도 다양한 시각적 과제를 수행할 수 있다. 이 모델은 이후 [[DALL-E]], [[Stable Diffusion]], [[Midjourney]] 등 [[이미지 생성 모델]]의 핵심 구성 요소로 활용되며, [[컴퓨터 비전]]과 [[자연어 처리]] 분야에 지대한 영향을 미쳤다. == 개요 == CLIP은 시각적 정보와 언어적 정보를 통합적으로 이해하는 멀티모달 모델로, 기존의 [[컴퓨터 비전]] 접근법과 근본적으로 다른 패러다임을 제시하였다. 전통적인 이미지 분류 모델은 [[ImageNet]]과 같은 특정 데이터셋에서 사전에 정의된 범주(예: "고양이", "자동차" 등)에 대해 학습되었으나, CLIP은 자연어 텍스트를 활용하여 '''개방형 어휘'''(open vocabulary) 방식으로 시각적 개념을 학습한다. 모델의 핵심 원리는 비교적 단순하다. 하나의 이미지 인코더와 하나의 텍스트 인코더가 각각 이미지와 텍스트를 고차원 벡터로 변환하고, 올바르게 짝지어진 이미지-텍스트 쌍의 벡터 간 [[코사인 유사도]]를 최대화하면서, 잘못 짝지어진 쌍의 유사도를 최소화하는 방식으로 학습된다. 이러한 대조 학습 방식 덕분에 CLIP은 학습 과정에서 직접 본 적 없는 새로운 시각적 개념에 대해서도 텍스트 설명을 통해 인식이 가능하다. CLIP의 가장 혁신적인 특징은 '''제로샷 전이'''(zero-shot transfer) 능력이다. 예를 들어, "a photo of a cat"이라는 텍스트와 이미지의 유사도를 비교함으로써, 고양이 이미지를 별도의 학습 없이 분류할 수 있다. OpenAI의 실험 결과에 따르면, CLIP은 [[ImageNet]] 분류 과제에서 별도의 학습 데이터 없이도 기존에 ImageNet 전체 학습 데이터로 훈련된 [[ResNet-50]]과 유사한 수준의 정확도를 달성하였다. == 역사 == === 배경과 선행 연구 === CLIP의 등장 이전에도 시각과 언어를 결합하려는 연구는 꾸준히 진행되어 왔다. 2013년 구글의 연구진이 발표한 [[Word2Vec]]은 단어를 벡터 공간에 매핑하는 기술을 대중화하였고, 이후 이미지에도 유사한 접근법을 적용하려는 시도가 이어졌다. 2015년에는 앤드레아 프롬(Andrea Frome) 등이 제안한 '''DeViSE'''(Deep Visual-Semantic Embeddings) 모델이 이미지와 단어를 동일한 임베딩 공간에 배치하는 방법을 선보였다. 2018년부터 2020년 사이에 [[BERT]], [[GPT-2]], [[GPT-3]] 등 대규모 [[언어 모델]]이 등장하면서, 대량의 인터넷 데이터를 활용한 자기 지도 학습(self-supervised learning)의 효과가 입증되었다. 특히 GPT 시리즈가 보여준 제로샷 및 [[퓨샷 학습]](few-shot learning) 능력은, 시각 분야에서도 유사한 접근이 가능할 것이라는 기대를 높였다. 한편, 2020년에 발표된 [[비전 트랜스포머]](Vision Transformer, ViT)는 기존 [합성곱 신경망] 중심의 컴퓨터 비전 패러다임에 변화를 가져왔으며, 이는 CLIP의 이미지 인코더 설계에 직접적인 영향을 주었다. === 개발과 공개 === CLIP은 OpenAI 연구진인 알렉 래드포드(Alec Radford), 종 우 김(Jong Wook Kim), 크리스 할라시(Chris Hallacy), 아디트야 라메쉬(Aditya Ramesh), 가브리엘 고(Gabriel Goh), 산디니 아가르왈(Sandhini Agarwal), 기리시 사스트리(Girish Sastry), 아만다 아스켈(Amanda Askell), 파멜라 미슈킨(Pamela Mishkin), 잭 클라크(Jack Clark), 그래첸 크루거(Gretchen Krueger), 일리야 수츠케버(Ilya Sutskever) 등에 의해 개발되었다. 2021년 1월 5일, OpenAI는 블로그 포스트를 통해 CLIP과 [[DALL-E]]를 동시에 공개하였다. 이후 2021년 2월, CLIP에 대한 상세 논문 '''"Learning Transferable Visual Models From Natural Language Supervision"'''이 발표되었으며, 같은 해 [[ICML]](International Conference on Machine Learning) 2021에서 공식 발표되었다. OpenAI는 모델의 가중치와 코드를 MIT 라이선스 하에 오픈소스로 공개하여, 연구 커뮤니티가 자유롭게 활용하고 발전시킬 수 있도록 하였다. === 후속 발전 === CLIP 공개 이후 수많은 후속 연구와 변형 모델이 등장하였다. 2022년 [[LAION]]은 CLIP을 활용하여 50억 개 이상의 이미지-텍스트 쌍으로 구성된 '''LAION-5B''' 데이터셋을 구축하였다. 같은 해 OpenAI는 CLIP의 개선 버전인 '''OpenCLIP''' 프로젝트를 지원하였고, 커뮤니티 주도의 오픈소스 CLIP 변형 모델들이 다수 개발되었다. 2023년에는 메타(Meta)의 '''SigLIP''', 구글의 '''CoCa''' 등 CLIP의 아이디어를 확장한 모델들이 발표되었으며, 마이크로소프트의 '''Florence''', 세일즈포스의 '''BLIP-2''' 등에서도 CLIP 기반 아키텍처가 핵심적으로 활용되었다. == 기술적 구조 == === 아키텍처 === CLIP은 크게 두 가지 주요 구성 요소로 이루어진다. '''이미지 인코더'''(Image Encoder)는 입력 이미지를 고차원 벡터(임베딩)로 변환하는 역할을 한다. OpenAI는 두 가지 아키텍처를 실험하였다. 첫째는 수정된 [[ResNet]] 계열(ResNet-50, ResNet-101 등)이고, 둘째는 [비전 트랜스포머] 계열(ViT-B/32, ViT-B/16, ViT-L/14 등)이다. 실험 결과 ViT 기반 인코더가 동일한 계산 비용 대비 더 우수한 성능을 보였으며, 가장 큰 모델인 ViT-L/14@336px가 최고 성능을 달성하였다. '''텍스트 인코더'''(Text Encoder)는 [[트랜스포머]] 아키텍처를 기반으로 한 언어 모델로, GPT-2의 구조를 변형하여 사용한다. 텍스트를 [[BPE]](Byte Pair Encoding) 토크나이저로 토큰화한 뒤, 최대 76개의 토큰을 처리하며, 마지막 [EOS] 토큰의 출력 벡터를 텍스트의 임베딩으로 사용한다. 두 인코더의 출력 벡터는 각각 선형 투영(linear projection)을 통해 동일한 차원의 공유 임베딩 공간으로 매핑된다. 이 공간에서 이미지와 텍스트의 유사도는 [[코사인 유사도]]로 측정된다. === 학습 방법 === CLIP의 학습은 '''대조 학습'''(contrastive learning)에 기반한다. 하나의 미니배치(mini-batch)에 N개의 이미지-텍스트 쌍이 있을 때, N개의 올바른 쌍과 N²-N개의 잘못된 쌍이 형성된다. 모델은 올바른 쌍의 코사인 유사도를 최대화하고 잘못된 쌍의 유사도를 최소화하도록 학습된다. 이때 사용되는 손실 함수는 이미지→텍스트 방향과 텍스트→이미지 방향의 [[교차 엔트로피]] 손실의 대칭적 합이다. 학습에는 온도 파라미터(temperature parameter) τ가 도입되어 유사도 분포의 날카로움을 조절하며, 이 파라미터는 학습 과정에서 함께 최적화된다. 대규모 배치 크기(최대 32,768)가 대조 학습의 효과를 극대화하는 데 중요한 역할을 한다. === 학습 데이터 === CLIP의 학습에는 '''WIT'''(WebImageText)라 명명된 대규모 데이터셋이 사용되었다. 이 데이터셋은 인터넷에서 수집한 약 '''4억 개'''의 이미지-텍스트 쌍으로 구성된다. OpenAI는 약 50만 개의 검색어(query)를 사용하여 인터넷의 다양한 출처에서 데이터를 수집하였으며, 각 검색어당 최대 2만 개의 이미지-텍스트 쌍을 포함하여 클래스 균형을 유지하고자 하였다. WIT 데이터셋은 공개되지 않았으나, 이후 커뮤니티에서는 [[LAION-400M]], [[LAION-5B]] 등의 대규모 오픈 데이터셋을 구축하여 CLIP 모델의 재현과 확장에 활용하였다. === 제로샷 분류 === CLIP을 이용한 제로샷 이미지 분류는 다음과 같은 절차로 수행된다. 분류하고자 하는 범주(클래스) 이름을 "A photo of a {class name}" 형태의 텍스트 프롬프트로 변환한다. 각 프롬프트를 텍스트 인코더에 통과시켜 텍스트 임베딩을 생성한다. 입력 이미지를 이미지 인코더에 통과시켜 이미지 임베딩을 생성한다. 이미지 임베딩과 각 텍스트 임베딩 간의 코사인 유사도를 계산한다. 가장 높은 유사도를 가진 텍스트에 해당하는 클래스를 예측 결과로 출력한다. 이때 텍스트 프롬프트의 설계('''프롬프트 엔지니어링''')가 분류 성능에 큰 영향을 미치며, OpenAI는 80개의 서로 다른 프롬프트 템플릿을 앙상블(ensemble)하여 성능을 향상시키는 기법을 제안하였다. == 성능 == === 제로샷 분류 성능 === CLIP은 27개 이상의 이미지 분류 벤치마크에서 평가되었다. 가장 주목할 만한 결과는 [[ImageNet]] 데이터셋에서의 성능으로, CLIP ViT-L/14@336px 모델은 제로샷 조건에서 '''76.2%'''의 Top-1 정확도를 달성하였다. 이는 ImageNet의 128만 장 학습 이미지로 지도 학습된 ResNet-50(76.1%)과 거의 동등한 수준이다. OCR 관련 벤치마크(SVHN, MNIST 등)와 위성 사진 분류(EuroSAT), 의료 영상 등 특수 도메인에서는 상대적으로 낮은 성능을 보였으나, 일반적인 물체 인식, 장면 인식, 행동 인식 등에서는 기존 지도 학습 모델에 필적하거나 능가하는 성능을 보여주었다. === 분포 이동에 대한 강건성 === CLIP의 또 다른 중요한 강점은 '''분포 이동'''(distribution shift)에 대한 높은 강건성이다. ImageNet의 변형 데이터셋인 ImageNet-V2, ImageNet-R, ImageNet-Sketch, ImageNet-A, ObjectNet 등에서 CLIP은 기존 ImageNet 학습 모델들보다 훨씬 작은 성능 하락을 보였다. 이는 CLIP이 특정 데이터셋의 편향에 과적합되지 않고, 보다 일반적인 시각적 개념을 학습했음을 시사한다. === 선형 프로브 성능 === CLIP의 이미지 인코더 위에 간단한 선형 분류기를 추가하여 학습하는 '''선형 프로브'''(linear probe) 평가에서, CLIP은 27개 벤치마크 중 21개에서 당시 최고 성능의 모델들을 능가하였다. 이는 CLIP의 시각적 표현(visual representation)이 매우 풍부하고 범용적임을 보여준다. == 주요 응용 분야 == === 이미지 생성 모델 === CLIP은 [[텍스트-이미지 생성]] 분야에서 핵심적인 역할을 수행한다. [[DALL-E 2]]는 CLIP의 이미지 임베딩을 사용하여 텍스트 조건부 이미지 생성을 수행하며, [[Stable Diffusion]]은 학습 과정과 추론 과정에서 CLIP 텍스트 인코더를 조건 입력으로 활용한다. [[Midjourney]], [[Imagen]] 등 다른 주요 이미지 생성 모델에서도 CLIP 또는 CLIP에서 영감을 받은 아키텍처가 사용된다. === 이미지 검색 및 검색 엔진 === CLIP의 임베딩 공간을 활용하면 텍스트 쿼리로 이미지를 검색하거나, 이미지를 이용해 유사한 이미지를 검색하는 시스템을 구축할 수 있다. [[Unsplash]], [[Pinterest]] 등의 플랫폼에서 유사한 기술이 검색 기능 개선에 활용되고 있으며, 학술 분야에서는 대규모 이미지 아카이브의 의미론적 검색에 CLIP 기반 시스템이 적용되고 있다. === 비디오 이해 === CLIP의 프레임워크는 비디오 이해 분야로도 확장되었다. '''VideoCLIP''', '''CLIP4Clip''', '''X-CLIP''' 등의 모델은 CLIP의 이미지-텍스트 정렬 능력을 비디오-텍스트 정렬로 확장하여, 비디오 검색, 비디오 분류, 비디오 질의응답 등의 과제에 활용되고 있다. === 로보틱스 === [[로보틱스]] 분야에서 CLIP은 로봇이 자연어 지시를 이해하고 시각적 환경을 해석하는 데 활용된다. OpenAI의 연구에서는 CLIP을 활용하여 로봇이 "빨간 블록을 파란 그릇에 넣어라"와 같은 자연어 명령을 수행하는 것이 시연되었다. === 콘텐츠 모더레이션 === CLIP의 제로샷 분류 능력은 [[콘텐츠 모더레이션]]에도 활용된다. 부적절하거나 유해한 이미지를 텍스트 설명을 통해 감지하는 시스템에 CLIP이 적용되며, OpenAI의 [[DALL-E]] 시리즈에서도 생성된 이미지의 안전성 필터링에 CLIP 기반 분류기가 사용된다. == 파생 모델 및 변형 == === OpenCLIP === '''OpenCLIP'''은 LAION 연구 그룹이 주도하는 오픈소스 프로젝트로, CLIP의 학습 코드를 재현하고 다양한 데이터셋 및 모델 크기에서의 학습을 가능하게 하였다. OpenCLIP을 통해 LAION-2B, DataComp 등의 데이터셋으로 학습된 다양한 규모의 CLIP 변형 모델이 공개되었으며, 일부 모델은 원본 CLIP보다 높은 성능을 달성하였다. === SigLIP === [[구글]]이 2023년에 발표한 '''SigLIP'''(Sigmoid Loss for Language Image Pre-Training)은 CLIP의 소프트맥스 기반 대조 손실을 시그모이드 기반 손실로 대체하여, 더 작은 배치 크기에서도 효율적인 학습을 가능하게 하였다. SigLIP은 다수의 벤치마크에서 CLIP을 능가하는 성능을 보여주었다. === ALIGN === [[구글]]이 개발한 '''ALIGN'''(A Large-scale ImaGe and Noisy-text embedding)은 CLIP과 유사한 대조 학습 방식을 사용하나, 18억 개의 노이즈가 포함된 이미지-텍스트 쌍을 별도의 정제 과정 없이 학습에 활용하여, 데이터 규모의 확장이 데이터 품질의 한계를 보완할 수 있음을 보여주었다. === EVA-CLIP === [베이징 인공지능 연구원]이 개발한 '''EVA-CLIP'''은 마스크 이미지 모델링(Masked Image Modeling) 기법으로 사전 학습된 EVA 비전 인코더를 CLIP 프레임워크에 통합하여, 더 효율적인 학습과 높은 성능을 달성하였다. == 영향 및 의의 == === 컴퓨터 비전 패러다임의 전환 === CLIP은 컴퓨터 비전 분야에 근본적인 패러다임 전환을 가져왔다. 기존에는 특정 과제를 위해 수동으로 레이블링된 데이터셋으로 모델을 학습시키는 '''폐쇄형 어휘'''(closed vocabulary) 접근이 지배적이었으나, CLIP 이후 자연어를 시각적 감독 신호로 활용하는 '''개방형 어휘'''(open vocabulary) 접근이 주류로 부상하였다. 이는 [[객체 탐지]](object detection), [[시맨틱 세그멘테이션]](semantic segmentation), [[이미지 캡셔닝]] 등 거의 모든 컴퓨터 비전 하위 분야에 영향을 미쳤다. === 파운데이션 모델 개념의 확립 === CLIP은 [[파운데이션 모델]](foundation model) 개념을 시각 분야에서 실현한 선구적 사례로 평가된다. 하나의 사전 학습된 모델이 다양한 하위 과제에 적용될 수 있다는 파운데이션 모델의 핵심 아이디어를 CLIP이 컴퓨터 비전 영역에서 성공적으로 입증하였다. === 생성형 AI 혁명의 기반 === 2022년부터 시작된 [[생성형 AI]] 혁명에서 CLIP은 핵심 인프라로 기능하였다. [[Stable Diffusion]], [[DALL-E 2]], [[Midjourney]] 등 주요 이미지 생성 모델이 CLIP 또는 그 변형을 핵심 구성 요소로 채택함으로써, CLIP은 텍스트-이미지 생성 기술의 기술적 기반이 되었다. === 학술적 영향 === CLIP 논문은 발표 이후 극히 높은 인용 횟수를 기록하고 있다. 2024년 기준 [[구글 스칼라]](Google Scholar)에서 약 20,000회 이상의 인용을 기록하며, 인공지능 분야에서 가장 영향력 있는 논문 중 하나로 자리매김하였다. CLIP의 아이디어는 시각-언어 모델(VLM), 멀티모달 대형 언어 모델(MLLM) 등 후속 연구 방향의 형성에 결정적인 역할을 하였다. == 논란 및 비평 == === 편향 문제 === CLIP은 인터넷에서 수집된 대규모 데이터로 학습되었기 때문에, 데이터에 내재된 사회적 편향을 그대로 학습할 수 있다는 비판이 제기되었다. OpenAI 자체 연구에서도 CLIP이 인종, 성별, 나이 등에 관한 편향을 보일 수 있음이 확인되었다. 예를 들어, 특정 인종의 사람이 포함된 이미지가 범죄 관련 텍스트와 더 높은 유사도를 보이는 문제가 보고되었다. OpenAI는 이러한 편향 문제를 인정하면서도, CLIP을 얼굴 인식이나 감시 목적으로 사용하지 말 것을 권고하는 모델 카드를 함께 공개하였다. === 학습 데이터의 비공개 === CLIP의 학습에 사용된 WIT 데이터셋이 공개되지 않은 점은 연구의 재현성(reproducibility)과 투명성 측면에서 비판을 받았다. 학습 데이터의 구체적인 구성, 수집 방법, 포함된 콘텐츠에 대한 상세 정보가 부족하여 독립적인 검증이 어렵다는 지적이 있었다. 이에 대한 대응으로 커뮤니티에서 LAION-400M, LAION-5B 등의 오픈 데이터셋이 구축되었으나, 이후 LAION-5B에서도 아동 성착취물(CSAM)을 포함한 부적절한 콘텐츠가 발견되어 데이터셋이 일시적으로 비공개 전환되는 사건이 발생하였다. === 특수 도메인에서의 한계 === CLIP은 일반적인 시각적 개념에 대해서는 우수한 성능을 보이나, 의료 영상, 위성 사진, 산업 검사 이미지 등 특수 도메인에서는 성능이 크게 하락하는 것으로 보고되었다. 이는 학습 데이터가 주로 인터넷의 일반적인 이미지로 구성되어 있어, 특수 도메인의 시각적 패턴이 충분히 포함되지 않았기 때문이다. === 적대적 공격에 대한 취약성 === CLIP이 [[적대적 예제]](adversarial example)에 취약하다는 연구 결과도 발표되었다. '''타이포그래피 공격'''(typographic attack)이 대표적인 예로, 이미지 위에 특정 텍스트를 겹쳐 놓으면 CLIP이 이미지의 실제 내용이 아닌 텍스트의 의미를 우선시하여 잘못된 분류를 할 수 있다. 예를 들어, 사과 이미지 위에 "iPod"이라는 텍스트를 배치하면 CLIP이 해당 이미지를 iPod으로 분류하는 현상이 관찰되었다. === 저작권 문제 === CLIP의 학습 데이터에 저작권이 있는 이미지가 대량으로 포함되어 있을 가능성이 높다는 점에서 [[저작권]] 관련 논의도 진행되고 있다. 이는 CLIP뿐만 아니라 대규모 인터넷 데이터를 활용하는 모든 AI 모델에 공통적으로 적용되는 문제이며, 법적·윤리적 논의가 지속되고 있다. == 기술적 세부 사항 == === 학습 하이퍼파라미터 === CLIP의 가장 큰 모델(ViT-L/14)은 '''32 에포크'''(epoch) 동안 학습되었으며, [[Adam]] 옵티마이저의 변형인 '''분리된 가중치 감쇠'''(decoupled weight decay)를 사용하였다. 학습률은 워밍업(warmup) 후 코사인 스케줄링을 따르며, 혼합 정밀도(mixed precision) 학습이 적용되었다. 전체 학습에는 수백 개의 [[GPU]]가 수 주에 걸쳐 사용된 것으로 추정된다. === 모델 크기 === CLIP은 다양한 크기의 모델 변형을 제공한다. 가장 작은 ResNet-50 기반 모델부터 가장 큰 ViT-L/14@336px 모델까지, 이미지 인코더의 파라미터 수는 약 3,800만 개에서 약 3억 개에 이르며, 텍스트 인코더는 약 6,300만 개의 파라미터를 갖는다. == 관련 문서 == [[OpenAI]] [[DALL-E]] [[Stable Diffusion]] [[비전 트랜스포머]] [[대조 학습]] [[멀티모달 학습]] [[트랜스포머 (기계학습)]] [[제로샷 학습]] [[ImageNet]] [[자연어 처리]] [[컴퓨터 비전]] [[파운데이션 모델]] [[생성형 인공지능]] [[임베딩]] [[코사인 유사도]] == 외부 링크 == [https://openai.com/research/clip OpenAI CLIP 공식 페이지] [https://github.com/openai/CLIP CLIP GitHub 저장소] [https://arxiv.org/abs/2103.00020 CLIP 논문 (arXiv)] [https://github.com/mlfoundations/open_clip OpenCLIP 프로젝트] [https://laion.ai/ LAION 공식 사이트] [[분류:인공지능]] [[분류:컴퓨터 비전]] [[분류:자연어 처리]] [[분류:OpenAI]] [[분류:딥러닝 모델]]