AlexNet

유형	[[합성곱 신경망]] (CNN)
개발자	[[알렉스 크리제프스키]], [[일리아 서츠키버]], [[제프리 힌턴]]
소속	[[토론토 대학교]]
발표 연도	2012년
대회	[[ILSVRC\|ImageNet 대규모 시각 인식 대회]] 2012
Top-5 오류율	15.3%
계층 수	8개 (합성곱 5개 + 완전연결 3개)
파라미터 수	약 6,000만 개
학습 하드웨어	[[NVIDIA]] [[GTX 580]] GPU 2개
논문	"ImageNet Classification with Deep Convolutional Neural Networks"

== 개요 == '''AlexNet'''은 2012년 [[알렉스 크리제프스키]](Alex Krizhevsky), [[일리아 서츠키버]](Ilya Sutskever), [[제프리 힌턴]](Geoffrey Hinton)이 설계한 [[합성곱 신경망]](Convolutional Neural Network, CNN) 아키텍처이다. 이 모델은 2012년 [[ILSVRC]](ImageNet Large Scale Visual Recognition Challenge)에서 Top-5 오류율 15.3%를 기록하며 우승을 차지했으며, 2위와의 격차가 10% 포인트 이상으로 압도적인 성능 차이를 보여주었다. AlexNet의 등장은 [[딥러닝]] 혁명의 기폭제로 평가되며, [[컴퓨터 비전]] 분야뿐만 아니라 [[인공지능]] 연구 전반에 걸쳐 패러다임 전환을 이끈 역사적 전환점으로 간주된다. AlexNet이라는 이름은 주요 설계자인 알렉스 크리제프스키의 이름에서 유래하였다. 이 모델은 기존의 전통적인 [[컴퓨터 비전]] 기법들이 수작업으로 설계한 [[특징 추출]](feature extraction) 방법에 의존했던 것과 달리, 대규모 데이터셋과 [[GPU]] 가속 연산을 활용하여 심층 신경망을 학습시킴으로써 이미지 분류 문제에서 비약적인 성능 향상을 달성하였다. 이 성과는 학계와 산업계 모두에 깊은 인상을 남겼으며, 이후 [[딥러닝]]이 [[인공지능]]의 주류 방법론으로 자리 잡는 데 결정적인 역할을 하였다. == 역사 == === 배경: 딥러닝 이전의 컴퓨터 비전 === AlexNet이 등장하기 이전, [[컴퓨터 비전]] 분야에서는 주로 수작업으로 설계한 특징 기술자(feature descriptor)를 사용하여 이미지를 분석하였다. 대표적인 방법으로는 [[SIFT]](Scale-Invariant Feature Transform), [[HOG]](Histogram of Oriented Gradients), [[SURF]](Speeded Up Robust Features) 등이 있었다. 이러한 전통적 접근법은 특정 도메인에서는 좋은 성능을 보였으나, 수천 개 이상의 범주를 구분해야 하는 대규모 이미지 분류 문제에서는 한계가 명확했다. [[신경망]] 자체는 1980년대부터 연구되어 왔으며, 특히 [[얀 르쿤]](Yann LeCun)이 1989년에 제안한 [[LeNet]]은 [[합성곱 신경망]]의 초기 형태로서 [[손글씨 인식]] 등에 성공적으로 적용되었다. 그러나 1990년대 후반부터 2000년대 중반까지 신경망 연구는 이른바 '[[AI 겨울]]'의 연장선상에서 주류 학계의 관심을 크게 받지 못했다. [서포트 벡터 머신]이나 [[랜덤 포레스트]] 등 전통적인 [[기계 학습]] 방법들이 더 선호되었다. === 제프리 힌턴 연구실과 딥러닝의 부활 === [[제프리 힌턴]]은 오랫동안 [[심층 신경망]]의 가능성을 옹호해온 핵심 연구자 중 한 명이었다. 2006년, 힌턴은 [[심층 신뢰 네트워크]](Deep Belief Network)에 관한 논문을 발표하며 심층 네트워크의 사전 학습(pretraining) 기법을 제안하였고, 이는 딥러닝 연구의 부활을 알리는 신호탄이 되었다. 이후 힌턴의 연구실은 [[토론토 대학교]]를 중심으로 딥러닝 연구의 세계적 거점 역할을 하였다. 알렉스 크리제프스키는 힌턴의 지도하에 박사 과정을 수행하던 대학원생이었으며, 일리아 서츠키버 역시 힌턴의 제자이자 공동 연구자였다. 이 세 사람은 대규모 이미지 데이터셋을 활용한 심층 합성곱 신경망의 학습이라는 도전적인 프로젝트에 착수하였다. === ImageNet과 ILSVRC 대회 === [[ImageNet]]은 [[페이페이 리]](Fei-Fei Li)가 주도하여 구축한 대규모 이미지 데이터베이스로, 약 1,400만 장의 레이블이 부여된 이미지를 포함하고 있다. 2010년부터 시작된 '''ILSVRC'''(ImageNet Large Scale Visual Recognition Challenge)는 약 1,000개의 카테고리에 걸쳐 120만 장의 학습 이미지, 5만 장의 검증 이미지, 15만 장의 테스트 이미지를 사용하여 이미지 분류 성능을 겨루는 연례 대회였다. 2010년과 2011년 대회에서는 전통적인 특징 추출 기반 방법들이 우세했으며, Top-5 오류율은 각각 28.2%와 25.7% 수준이었다. 이러한 상황에서 2012년에 등장한 AlexNet은 이전 최고 성적을 10% 포인트 이상 앞지르며 충격적인 결과를 기록하였다. === 2012년 ILSVRC에서의 승리 === 2012년 ILSVRC에서 AlexNet은 Top-5 오류율 '''15.3%'''를 기록하며 우승을 차지하였다. 2위를 기록한 도쿄 대학교 팀의 오류율이 26.2%였던 것과 비교하면, 약 '''10.9% 포인트'''의 압도적인 성능 차이를 보인 것이다. 이 결과는 학계에 큰 충격을 주었으며, 심층 신경망이 컴퓨터 비전 문제에서 전통적 방법론을 압도할 수 있음을 실증적으로 보여주었다. 이 연구 결과는 2012년 [[NIPS]](현재 [[NeurIPS]]) 학회에서 "'''ImageNet Classification with Deep Convolutional Neural Networks'''"라는 제목의 논문으로 발표되었다. 이 논문은 이후 [[딥러닝]] 분야에서 가장 많이 인용된 논문 중 하나로 자리매김하며, 2024년 기준 약 15만 회 이상의 피인용 횟수를 기록하고 있다. == 아키텍처 == === 전체 구조 === AlexNet은 총 '''8개의 학습 가능한 계층'''으로 구성되어 있다. 이 중 처음 5개 계층은 [[합성곱 계층]](convolutional layer)이고, 나머지 3개 계층은 [[완전연결 계층]](fully connected layer)이다. 최종 출력은 1,000개 클래스에 대한 확률 분포를 생성하는 [소프트맥스] 계층이다. 입력 이미지의 크기는 224×224×3(일부 문헌에서는 227×227×3으로 표기)이다. 전체 네트워크의 파라미터 수는 약 '''6,000만 개'''에 달하며, 이는 당시 기준으로 매우 대규모의 모델이었다. === 계층별 상세 구조 === ==== 합성곱 계층 ==== '''제1 합성곱 계층''': 96개의 11×11×3 크기 필터를 사용하며, 스트라이드(stride)는 4이다. 입력 이미지로부터 저수준 특징(에지, 색상 패턴 등)을 추출한다. '''제2 합성곱 계층''': 256개의 5×5×48 크기 필터를 사용한다. 제1 계층의 출력에 대해 더 복잡한 패턴을 학습한다. '''제3 합성곱 계층''': 384개의 3×3×256 크기 필터를 사용한다. '''제4 합성곱 계층''': 384개의 3×3×192 크기 필터를 사용한다. '''제5 합성곱 계층''': 256개의 3×3×192 크기 필터를 사용한다. 제1, 제2, 제5 합성곱 계층 뒤에는 [[맥스 풀링]](max pooling) 계층이 위치한다. 풀링 윈도우 크기는 3×3이며, 스트라이드는 2이다. 이 풀링은 오버래핑(overlapping) 풀링으로, 전통적인 비오버래핑 풀링에 비해 약간의 성능 향상에 기여한 것으로 보고되었다. ==== 완전연결 계층 ==== '''제6 완전연결 계층''': 4,096개의 뉴런으로 구성된다. '''제7 완전연결 계층''': 4,096개의 뉴런으로 구성된다. '''제8 완전연결 계층(출력)''': 1,000개의 뉴런으로 구성되며, 소프트맥스 함수를 통해 최종 분류 결과를 출력한다. === 핵심 혁신 기술 === ==== ReLU 활성화 함수 ==== AlexNet은 기존에 널리 사용되던 [[시그모이드 함수]]나 [[하이퍼볼릭 탄젠트]] 함수 대신 '''[[ReLU]]'''(Rectified Linear Unit) 활성화 함수를 채택하였다. ReLU 함수는 ''f(x) = max(0, x)''로 정의되며, 양수 입력에 대해 선형적으로 동작하고 음수 입력에 대해서는 0을 출력한다. ReLU의 가장 큰 장점은 학습 속도의 향상이었다. 논문에서는 ReLU를 사용한 네트워크가 동일한 오류율에 도달하는 데 tanh 활성화 함수를 사용한 네트워크에 비해 약 '''6배 빠르게''' 수렴한다고 보고하였다. 이는 ReLU가 [[기울기 소실 문제]](vanishing gradient problem)를 완화하기 때문이며, 심층 네트워크의 학습을 실용적으로 가능하게 만든 핵심 요소 중 하나였다. ==== GPU 병렬 학습 ==== AlexNet은 '''2개의 [[NVIDIA]] [[GTX 580]] GPU'''를 사용하여 병렬 학습을 수행하였다. 당시 GTX 580은 3GB의 [[VRAM]]을 탑재하고 있었으며, 이는 전체 네트워크를 단일 GPU에 적재하기에는 부족한 용량이었다. 이에 따라 크리제프스키는 네트워크를 두 개의 GPU에 분산시키는 '''모델 병렬 처리'''(model parallelism) 전략을 도입하였다. 각 GPU는 합성곱 계층의 필터 맵 절반씩을 담당하였으며, 특정 계층에서만 GPU 간 통신이 이루어지도록 설계되었다. 이러한 GPU 활용은 딥러닝 학습에서 GPU의 잠재력을 실증적으로 보여준 선구적 사례로, 이후 GPU 기반 딥러닝 학습이 표준으로 자리 잡는 데 큰 영향을 미쳤다. 전체 학습 시간은 약 '''5~6일'''이 소요되었다. ==== 드롭아웃 ==== AlexNet은 [과적합] 방지를 위해 '''[[드롭아웃]]'''(Dropout) 기법을 채택하였다. 드롭아웃은 학습 과정에서 뉴런의 일부를 무작위로 비활성화시키는 정규화 기법으로, 제6, 제7 완전연결 계층에 0.5의 드롭아웃 비율이 적용되었다. 이는 네트워크가 특정 뉴런 조합에 과도하게 의존하는 것을 방지하고, 보다 강건한 특징 표현을 학습하도록 유도하였다. 드롭아웃은 [[제프리 힌턴]] 연구실에서 별도로 개발된 기법으로, AlexNet에서의 성공적인 적용은 이 기법의 유효성을 대규모 실험에서 입증한 것이기도 했다. ==== 로컬 응답 정규화 ==== AlexNet은 '''로컬 응답 정규화'''(Local Response Normalization, LRN) 기법을 사용하였다. LRN은 인접한 특징 맵의 활성화 값을 기반으로 현재 뉴런의 출력을 정규화하는 기법으로, 생물학적 신경계의 '''측면 억제'''(lateral inhibition) 현상에서 영감을 받았다. 논문에서는 LRN이 Top-1 오류율을 약 1.4%, Top-5 오류율을 약 1.2% 감소시켰다고 보고하였다. 다만, 이후 연구에서 LRN의 효과에 대한 의문이 제기되었으며, 후속 아키텍처인 [[VGGNet]] 등에서는 LRN이 생략되거나 [[배치 정규화]](Batch Normalization) 등의 대안적 기법으로 대체되었다. ==== 데이터 증강 ==== 학습 데이터의 양을 인위적으로 늘리기 위해 두 가지 '''[[데이터 증강]]'''(data augmentation) 기법이 사용되었다. '''이미지 변환 및 수평 반전''': 256×256 크기의 원본 이미지에서 224×224 크기의 패치를 무작위로 잘라내고, 수평으로 반전시키는 기법이다. 이를 통해 하나의 이미지에서 다수의 학습 샘플을 생성할 수 있었다. '''PCA 기반 색상 변형''': 학습 이미지의 RGB 채널에 대해 [주성분 분석]을 수행하고, 주성분 방향으로 무작위 변형을 가하는 기법이다. 이를 통해 조명 변화에 대한 강건성을 높였으며, Top-1 오류율을 1% 이상 감소시킨 것으로 보고되었다. == 학습 세부 사항 == === 최적화 설정 === AlexNet은 [[확률적 경사 하강법]](Stochastic Gradient Descent, SGD)을 기반으로 학습되었으며, 주요 하이퍼파라미터는 다음과 같다. '''배치 크기''': 128 '''모멘텀''': 0.9 '''가중치 감쇠'''(weight decay): 0.0005 '''초기 학습률''': 0.01 (검증 오류율이 개선되지 않을 때 10분의 1로 감소) 논문에서는 가중치 감쇠가 단순한 정규화 역할을 넘어서 모델의 학습 오류 자체를 줄이는 데에도 기여한다고 언급하였다. 가중치 초기화에는 평균 0, 표준편차 0.01의 [[정규 분포]]를 사용하였으며, 제2, 제4, 제5 합성곱 계층과 완전연결 계층의 편향(bias)은 1로 초기화하여 ReLU의 초기 학습 단계를 가속화하였다. === 학습 데이터 === 학습에는 [[ImageNet]]의 ILSVRC 2012 서브셋이 사용되었다. 약 '''120만 장'''의 학습 이미지, '''5만 장'''의 검증 이미지, '''15만 장'''의 테스트 이미지가 포함되어 있었으며, 각 이미지는 1,000개의 카테고리 중 하나에 속했다. 입력 전처리 과정에서 이미지는 256×256 크기로 리사이즈된 후, 픽셀 평균 값을 빼는 정규화가 적용되었다. == 성능 == === ILSVRC 2012 결과 === AlexNet의 ILSVRC 2012 공식 결과는 다음과 같다. '''Top-1 오류율''': 37.5% '''Top-5 오류율''': 15.3% (단일 모델 기준 18.2%) 앙상블 기법을 통해 복수의 모델 예측을 결합한 결과 15.3%의 오류율이 달성되었다. 2위 참가팀(ISCAS)의 Top-5 오류율이 26.2%였으므로, AlexNet은 약 '''41%'''의 상대적 오류율 감소를 달성한 셈이다. === 이전 대회 결과와의 비교 === '''ILSVRC 2010 우승''': Top-5 오류율 28.2% (전통적 방법) '''ILSVRC 2011 우승''': Top-5 오류율 25.7% (전통적 방법) '''ILSVRC 2012 우승(AlexNet)''': Top-5 오류율 15.3% (딥러닝) 이러한 비교는 딥러닝 기반 접근법이 전통적인 컴퓨터 비전 기법에 비해 질적으로 다른 수준의 성능을 제공할 수 있음을 극적으로 보여주었다. == 영향 및 의의 == === 딥러닝 혁명의 시발점 === AlexNet의 성공은 [[딥러닝]] 연구에 대한 학계와 산업계의 관심을 폭발적으로 증가시켰다. 2012년 이전에는 소수의 연구 그룹만이 심층 신경망 연구에 종사하고 있었으나, AlexNet 이후 전 세계적으로 딥러닝 연구가 급속히 확산되었다. 이 시점을 기점으로 [[ILSVRC]] 대회의 상위 참가팀 대부분이 [[합성곱 신경망]] 기반 방법을 채택하게 되었다. === 후속 아키텍처에 대한 영향 === AlexNet의 성공에 자극받아 수많은 개선된 CNN 아키텍처가 연달아 발표되었다. '''[[ZFNet]]''' (2013): [[매튜 자일러]](Matthew Zeiler)와 [[롭 퍼거스]](Rob Fergus)가 개발하였으며, ILSVRC 2013 우승을 차지하였다. AlexNet의 구조를 기반으로 하이퍼파라미터를 조정하고 시각화 기법을 통해 네트워크의 동작을 분석하였다. '''[[VGGNet]]''' (2014): [[옥스퍼드 대학교]]의 [[시몬얀]](Karen Simonyan)과 [[지서만]](Andrew Zisserman)이 제안한 모델로, 3×3 크기의 작은 필터를 사용하여 네트워크의 깊이를 16~19개 계층으로 확장하였다. '''[[GoogLeNet]]''' (인셉션, 2014): [[구글]]이 개발한 모델로, 인셉션 모듈이라는 혁신적 구조를 도입하여 ILSVRC 2014 우승을 차지하였다. '''[[ResNet]]''' (2015): [[마이크로소프트 리서치]]의 [[카이밍 허]](Kaiming He) 등이 제안한 모델로, [[잔차 연결]](skip connection)을 도입하여 152개 계층의 초심층 네트워크 학습을 가능하게 하였다. ILSVRC 2015에서 Top-5 오류율 3.57%를 달성하며 인간 수준의 성능을 넘어섰다. === GPU 컴퓨팅의 부상 === AlexNet이 GPU를 사용하여 대규모 신경망 학습에 성공한 것은 [[NVIDIA]]를 비롯한 GPU 제조업체의 사업 전략에 막대한 영향을 미쳤다. NVIDIA는 이후 딥러닝 전용 하드웨어와 소프트웨어 생태계(예: [[CUDA]], [[cuDNN]], [[텐서 코어]])를 적극적으로 개발하기 시작하였으며, GPU는 딥러닝 학습의 사실상 표준 하드웨어로 자리 잡았다. AlexNet은 AI 반도체 산업의 폭발적 성장을 촉발한 기술적 계기로 평가된다. === 전이 학습의 보편화 === AlexNet의 사전 학습된 가중치가 공개되면서 '''[[전이 학습]]'''(transfer learning)이 보편화되는 계기가 마련되었다. AlexNet의 초기 합성곱 계층들이 학습한 범용적 시각 특징(에지, 텍스처, 패턴 등)은 다른 시각 인식 과제에도 유용하게 활용될 수 있었다. 이를 통해 적은 양의 데이터로도 높은 성능의 시각 인식 모델을 구축할 수 있게 되었으며, [[의료 영상]] 분석, [[자율 주행]], [[로봇 비전]] 등 다양한 응용 분야로의 확산이 가속화되었다. === 산업적 영향 === AlexNet의 성공 이후, [[구글]], [[페이스북]](현 [[메타]]), [[마이크로소프트]], [[바이두]] 등 주요 기술 기업들은 딥러닝 연구에 대규모 투자를 시작하였다. 특히 논문의 저자 세 명은 모두 산업계로 이동하였다. '''제프리 힌턴''': 2013년부터 [[구글 브레인]]에 합류하여 연구를 계속하였다. '''일리아 서츠키버''': [[OpenAI]]의 공동 창립자 겸 수석 과학자로 활동하였으며, 이후 2024년에 Safe Superintelligence Inc.(SSI)를 설립하였다. '''알렉스 크리제프스키''': 구글에 합류한 후, 이후 독립적인 연구 활동을 이어갔다. == 논란 및 비평 == === 기술적 한계 === AlexNet은 당시로서는 혁신적이었으나, 아키텍처 설계 측면에서 여러 한계점이 지적되어 왔다. '''큰 필터 크기''': 제1 합성곱 계층에서 사용된 11×11 필터는 이후 연구에서 비효율적인 것으로 밝혀졌다. [[VGGNet]] 등의 후속 연구에서는 3×3 크기의 작은 필터를 여러 겹 쌓는 것이 동일한 수용 영역(receptive field)을 확보하면서도 더 적은 파라미터로 더 좋은 성능을 달성할 수 있음이 입증되었다. '''LRN의 효과 의문''': 로컬 응답 정규화의 실질적 효과에 대해서는 후속 연구에서 의문이 제기되었으며, 이를 제거해도 성능에 큰 영향이 없다는 결과가 보고되었다. '''높은 파라미터 수''': 약 6,000만 개의 파라미터 중 대부분이 완전연결 계층에 집중되어 있어 메모리 비효율성의 문제가 있었다. 이후의 아키텍처들은 [[글로벌 평균 풀링]](Global Average Pooling) 등을 도입하여 완전연결 계층의 파라미터 수를 대폭 줄이는 방향으로 발전하였다. === 재현성 문제 === AlexNet 논문은 아키텍처와 학습 세부 사항을 비교적 상세하게 기술하고 있으나, 일부 구현 세부 사항에 대해서는 모호한 부분이 있어 정확한 재현이 어려웠다는 보고가 있다. 특히 입력 이미지 크기(224×224 vs 227×227)에 대한 혼란이 있었으며, 이는 후속 구현체들 사이에서 불일치를 야기하였다. === 데이터 편향 === [[ImageNet]] 데이터셋 자체에 내재된 편향 문제는 AlexNet을 포함한 모든 ImageNet 기반 모델에 영향을 미친다. ImageNet의 이미지들이 주로 서구권의 시각적 맥락을 반영하고 있으며, 일부 카테고리에서 문화적, 지리적 편향이 존재한다는 비판이 제기되어 왔다. === 에너지 소비와 환경 문제 === GPU 기반의 대규모 신경망 학습은 상당한 전력을 소비하며, AlexNet은 이러한 에너지 집약적 학습 패러다임의 시작점으로서 비판적 시각에서 언급되기도 한다. 물론 현대의 대규모 [[언어 모델]]이나 [[생성형 AI]] 모델에 비하면 AlexNet의 에너지 소비는 미미한 수준이지만, GPU 기반 딥러닝 학습의 환경적 영향에 대한 논의의 출발점으로서의 의미가 있다. == 유산과 현재적 의미 == AlexNet이 발표된 지 10년 이상이 지난 현재, 이 모델은 실용적 목적으로는 거의 사용되지 않는다. 현대의 모델들은 AlexNet에 비해 훨씬 뛰어난 성능을 보여주며, [[ResNet]], [[EfficientNet]], [Vision Transformer] 등이 실질적인 표준 모델로 사용되고 있다. 그러나 AlexNet은 교육적 목적에서 여전히 중요한 의미를 지닌다. 딥러닝 입문 과정에서 CNN의 기본 원리를 설명하기 위한 사례로 널리 활용되고 있으며, [[합성곱 신경망]]의 작동 방식을 이해하는 데 있어 적절한 복잡도를 갖춘 모델로 평가받고 있다. 2018년, 힌턴, 르쿤, [[요슈아 벤지오]]는 딥러닝에 대한 공헌으로 '''[[튜링상]]'''을 수상하였다. AlexNet은 이 수상의 근거가 된 핵심 성과 중 하나로 언급되었다. == 관련 문서 == [[합성곱 신경망]] [[딥러닝]] [[ImageNet]] [[ReLU]] [[드롭아웃]] [[VGGNet]] [[GoogLeNet]] [[ResNet]] [[LeNet]] [[전이 학습]] [[제프리 힌턴]] [[일리아 서츠키버]] [[GPU 컴퓨팅]] [[ILSVRC]] [[배치 정규화]] [[Vision Transformer]] [[컴퓨터 비전]] == 외부 링크 == [https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html 원본 논문 - "ImageNet Classification with Deep Convolutional Neural Networks" (NeurIPS)] [https://image-net.org/ ImageNet 공식 웹사이트] [https://developer.nvidia.com/deep-learning NVIDIA 딥러닝 개발자 페이지] [[분류:인공 신경망]] [[분류:딥러닝]] [[분류:컴퓨터 비전]] [[분류:기계 학습]] [[분류:2012년 과학]]