AI 연구 히스토리 (1950s - 2020s)

AI 발전의 3요소:

• 1) 알고리즘(혁신적 모델(Transformer 등) 방법론 개발 등), 2) 컴퓨팅 자원(GPU/TPU가 대표적), 3) 데이터(대규모, 양질의 데이터)

 

---

1. AI 연구의 시작 (1950~1970년대 초)

- 1950: 앨런 튜링, AI의 시작

• 앨런 튜링:
  • 논문 "Computing Machinery and Intelligence"에서 튜링 테스트를 제안하며, "기계가 인간처럼 사고할 수 있는가?"라는 질문을 던짐.
  • 이는 인공지능의 철학적, 이론적 기반을 마련함.

- 1956: 심볼릭 AI 개념 

• 다트머스 학회:
  • "Artificial Intelligence"라는 용어가 처음 등장.
  • 초기 연구는 규칙 기반 시스템(심볼릭 AI)을 통해 문제를 해결하려 함.
  • 성공 사례:
    • Logic Theorist: 수학 정리를 증명하는 프로그램.
    • ELIZA: 간단한 대화형 챗봇.

- 초기 AI 연구의 한계

• XOR 문제와 퍼셉트론(1969):
  • 단층 퍼셉트론(Perceptron)은 XOR 문제(선형적으로 분리되지 않는 데이터)를 해결하지 못함.
  • 마빈 민스키와 시모어 페퍼트는 저서 *"Perceptrons"*에서 이 한계를 지적.
  • 선형 모델의 한계가 AI에 대한 관심 감소로 이어짐.

---

2. 첫 번째 AI 겨울 (1970년대~1980년대 초)

- 주요 쇠퇴 요인

• 규칙 기반 시스템의 확장성 부족:
  • 현실 세계의 복잡한 문제를 해결하지 못함.
• 정부 지원 축소:
  • DARPA와 같은 주요 연구 자금이 축소되며 연구가 침체.
• 컴퓨팅 자원 부족:
  • 당시 하드웨어 성능은 심볼릭 AI나 뉴럴 네트워크 학습에 부족.

---

3. 두 번째 부흥기 (1980년대 중반~1990년대 초)

- 1986: 역전파 알고리즘과 뉴럴 네트워크의 부활

• 제프리 힌튼이 역전파 알고리즘(Backpropagation)을 통해 다층 퍼셉트론(MLP)의 학습을 가능케 함.
• XOR 문제와 같은 비선형 문제 해결이 가능해짐.

---

4. 두 번째 AI 겨울 (1990년대~2000년대 초)

- 주요 쇠퇴 요인

• 역전파의 한계:
  • 딥러닝이 깊은 네트워크에서 학습이 어려운 기울기 소멸 문제(vanishing gradient)를 겪음.
• 제5세대 컴퓨터 프로젝트 실패:
  • 일본이 주도한 AI 프로젝트가 미미한 성과로 끝남.
• 산업적 응용 사례 부족:
  • 상업적으로 유의미한 AI 응용 사례가 감소하며 관심이 줄어듦.

---

5. 세 번째 부흥기: 딥러닝 시대 (2010년대 이후)

- 2012: AlexNet의 등장과 딥러닝의 부활

• AlexNet:
  • 제프리 힌튼과 제자들이 개발한 CNN 기반 모델로, 이미지넷 대회에서 압도적 성과.
  • GPU를 활용한 대규모 데이터 학습으로 딥러닝의 가능성을 입증.

- 2014: GAN(Generative Adversarial Network)

• GAN:
  • 적대적 학습(adversarial learning) 방식.
  • 생성기(Generator)와 판별기(Discriminator)가 경쟁하며 학습, 특히 이미지 생성에 탁월한 성과.
• 응용:
  • 현실적인 이미지, 비디오, 텍스트 생성.
  • 이미지 생성 AI의 기초로 자리 잡음.

- 2017: Transformer의 탄생

• 구글 발표:
  • 논문 "Attention is All You Need"에서 Transformer 구조를 소개.
  • Self-Attention 메커니즘을 활용, 순차 처리 없이 병렬 처리 가능.
• 응용:
  • 자연어 처리(NLP)뿐만 아니라 이미지, 시계열 데이터 등 다양한 분야에서 활용.

---

- 2018 이후: NLP 혁신 - BERT와 GPT

BERT (2018, Google)

• 구조: 양방향 트랜스포머(Bidirectional Transformer).
• 문맥을 양방향으로 이해하여 NLP 성능 향상.
• 구글의 검색 알고리즘에 적용되며 상업적 성공을 거둠.

GPT (2018~현재, OpenAI)

• 구조: 단방향 트랜스포머(Unidirectional Transformer).
• 2020년 발표된 GPT-3는 1750억 개의 매개변수를 가진 초대형 언어 모델(LLM)로, AI 하이프를 촉발.
• 현재 LLM의 기반:
  • GPT 모델은 ChatGPT와 같은 대화형 AI, 생성 AI의 핵심 기술.

---

- 2020~2021: CLIP와 Diffusion 모델

CLIP (2021, OpenAI)

• 구조:
  • 언어와 이미지를 결합하여 학습하는 Contrastive Language-Image Pre-training 기법.
  • DALL-E와 같은 이미지 생성 모델의 기반 기술.
• 응용:
  • GPT-3를 기반으로 멀티모달 AI(텍스트-이미지 연결)의 가능성을 보여줌.

Diffusion 모델

• 2020년대에 등장:
  • GAN의 한계를 극복하며 이미지 생성에서 뛰어난 성능.
• 잠재 확산 모델(Latent Diffusion Model, LDM):
  • 2021년 말 발표. 스테이블 디퓨전(Stable Diffusion)과 같은 상용 이미지 생성 서비스의 기반 기술.

---

6. 현재의 AI 연구 현황

- LLM

• ChatGPT (OpenAI, 2022 ~):
  • OpenAI의 GPT-3.5를 기반으로 한 대화형 AI.
  • GPT-4로 확장되며 인간과의 상호작용 능력에서 새로운 기준을 설정.
• LLama (Meta, 2023 ~):
  • 메타의 대형 언어 모델로, 연구와 실용적인 AI 개발의 중심.
• Gemini (Google, 2024 ~):
  • 구글의 멀티모달 AI. 텍스트, 이미지, 비디오를 통합 처리하는 기술을 선보임.