한글 번역 | 2024: The State of Generative AI in the Enterprise

Menlo Ventures에서 발표한 2024 생성형 AI 시장 리포트! 
GenAI 시장의 전반적인 현황을 파악하기에 매우 좋은 자료인듯👍🏻
 

2024: The State of Generative AI in the Enterprise - Menlo Ventures

 
 

---

 

From Pilots to Production

2024년은 생성형 AI가 기업에서 핵심적인 필수 요소로 자리 잡은 해입니다. 숫자가 이를 뒷받침합니다. AI 지출은 올해 138억 달러로 급증했으며, 이는 2023년 23억 달러 대비 6배 이상 증가한 수치입니다. 이는 기업들이 실험 단계를 넘어 실행 단계로 전환하고, AI를 비즈니스 전략의 중심에 배치하고 있다는 명확한 신호입니다.
 
이러한 지출 급증은 조직적인 낙관적 전망의 결과입니다. 의사결정권자의 72%는 가까운 미래에 생성형 AI 도구의 채택이 더욱 확대될 것으로 예상하고 있습니다. 이 자신감은 단순한 추측이 아닙니다. 생성형 AI 도구는 이미 프로그래머부터 의료 제공자에 이르기까지 전문가들의 일상 업무에 깊이 뿌리내리고 있습니다.
 
긍정적인 전망과 투자 증가에도 불구하고, 많은 의사결정권자들은 여전히 자신들의 비즈니스에서 무엇이 효과가 있고 효과가 없는지를 탐구 중입니다. 설문 응답자의 3분의 1 이상이 생성형 AI를 조직 전체에 어떻게 구현할지에 대한 명확한 비전을 가지고 있지 않다고 답했습니다. 이는 방향 없이 투자하고 있다는 것을 의미하지는 않으며, 단지 대규모 변혁의 초기 단계에 있다는 것을 보여줍니다. 기업 리더들은 생성형 AI가 조직에 미칠 깊은 영향을 이제 막 이해하기 시작한 것입니다.
 
작년의 2023년 보고서는 생성형 AI의 초기 실험 단계에 초점을 맞췄습니다. 이번 2024년 보고서는 600명의 미국 기업 리더로부터 얻은 통찰력을 추가로 반영하며, 조직들이 파일럿 단계에서 본격적인 실행으로 전환하는 과정에서 나타나는 트렌드를 조명합니다.
 
 

Generative AI Spending: 기업의 예산 증가 시그널

 
오늘날 기업의 생성형 AI 투자 중 60%는 혁신 예산에서 나오며, 이는 생성형 AI 채택의 초기 단계임을 나타냅니다. 하지만 40%의 지출이 더 영구적인 예산에서 나오며, 이 중 58%는 기존 할당에서 재편성된 것입니다. 이는 기업들이 AI 전환에 대한 의지를 점점 더 강하게 보여주고 있음을 의미합니다.
 

 
메시지는 분명합니다. 생성형 AI는 점차 미래 기술이 아닌 기본적인 비즈니스 도구가 되고 있습니다.
 
파운데이션 모델에 대한 투자가 여전히 기업의 생성형 AI 지출의 대부분을 차지하고 있지만, 애플리케이션 계층이 더 빠르게 성장하고 있으며, 이는 인프라 수준에서의 디자인 패턴이 통합된 덕분입니다. 기업들은 이 도구를 활용하여 다양한 산업의 워크플로우를 최적화하고 있으며, 이는 보다 광범위한 혁신의 길을 열고 있습니다.
 
다음 섹션에서는 기업 생성형 AI 채택의 두 가지 중요한 측면을 탐구합니다:

1. 첫 번째로 두각을 나타내고 스타트업을 위한 신흥 시장이 열리고 있는 애플리케이션 계층,
2. 그리고 LLM 경쟁이 경쟁 환경을 재편하고 특정 인프라 패턴이 널리 채택되고 있는 현대 AI 스택입니다.

 
 

애플리케이션 집중 탐구: 애플리케이션 레이어 is heating up

2024년에는 대부분의 활동이 애플리케이션 계층에서 발생했습니다. 많은 아키텍처 디자인 패턴이 확립됨에 따라, 애플리케이션 계층 기업들은 LLM의 역량을 다양한 도메인에 활용하여 새로운 효율성과 기능을 구현하고 있습니다. 기업 구매자들은 이 순간을 놓치지 않고 있으며, 2024년 생성형 AI 애플리케이션에 46억 달러를 투자했습니다. 이는 작년 6억 달러 대비 거의 8배 증가한 수치입니다.
 
기업들은 단지 더 많은 비용을 지출하는 것에 그치지 않고, 더 큰 생각을 하고 있습니다. 평균적으로 조직들은 이 변혁적인 기술에 대해 10가지 잠재적 사용 사례를 확인했으며, 이는 폭넓고 야심 찬 목표를 나타냅니다. 이 중 거의 4분의 1(24%)은 단기 구현을 위해 우선순위에 놓여 있으며, 이는 실용적인 배포를 향한 강력한 모멘텀을 보여줍니다.
 
이는 단지 시작일 뿐입니다. 대부분의 기업은 여전히 채택 초기 단계에 있으며, 몇 가지 사용 사례만이 실행 중이고, 3분의 1(33%)은 여전히 프로토타입 단계에 머물러 있습니다.
 
 

기업 내부: 가장 가치 있는 사용 사례 순위

 
계속되는 실험에도 불구하고, 명확한 채택 트렌드는 이미 생산성 향상이나 운영 효율성을 통해 가시적인 ROI를 제공하는 몇 가지 사용 사례로 귀결됩니다:

• 코드 코파일럿: 51%의 채택률로 선두를 달리고 있으며, 개발자들이 AI의 초기 주요 사용자입니다. GitHub Copilot의 연간 3억 달러 수익률은 이 흐름을 검증하며, Codeium 및 Cursor와 같은 신흥 도구들도 빠르게 성장하고 있습니다.
• 지원 챗봇: 31%의 기업 채택률을 보이며, 내부 직원과 외부 고객 모두에게 신뢰할 수 있는 24/7 지식 기반 지원을 제공합니다.
• 엔터프라이즈 검색 및 데이터 변환: 각각 28%와 27%의 채택률로, 데이터 사일로에 숨겨진 귀중한 지식을 해제하려는 강한 의지를 반영합니다.
• 회의 요약: 24%의 채택률로, 노트 작성 및 주요 내용을 자동화하여 시간 절약과 생산성 증대를 실현합니다.

 

에이전트와 자동화: AI가 주도하는 변화

현재의 구현 패턴은 완전한 자동화보다는 인간의 워크플로우를 증강하는 데 중점을 두고 있습니다. 그러나 점점 더 자율적인 솔루션으로의 전환이 이루어지고 있습니다. 초기 사례로는 금융 백오피스 워크플로우를 관리하는 Forge와 Sema4, 시장 출시 도구를 제공하는 Clay와 같은 AI 기반 에이전트가 있습니다. 이러한 도구는 기존의 인간 중심 부문을 혁신하며, "소프트웨어로서의 서비스(Services-as-Software)" 시대로 나아가고 있습니다. 여기서 AI 기반 솔루션은 전통적인 서비스 제공자의 기능을 제공하면서도 전적으로 소프트웨어로 작동합니다.
 
 

Build vs. Buy? A Case-by-Case Approach 

기업들이 AI 솔루션을 구축할지 구매할지를 결정할 때, 거의 반반의 선택 비율을 보입니다. 솔루션의 47%는 자체적으로 개발되며, 53%는 공급업체로부터 조달됩니다. 이는 2023년 80%의 기업이 타사 생성형 AI 소프트웨어에 의존했던 것과는 대조적으로, 기업들이 자체 AI 도구를 개발할 수 있는 자신감과 역량이 증가하고 있음을 보여줍니다.
 
 

장기 전략: 빠른 결과보다 가치를 우선하는 AI 채택

 
생성형 AI 애플리케이션을 선택할 때, 기업들은 ROI(투자 대비 수익)와 산업별 맞춤화를 가장 중요한 요소로 꼽습니다. 놀랍게도 가격은 주요 우려 사항이 아니며, 조사된 기업 리더 중 단 1%만이 가격을 우려 사항으로 언급했습니다.
 
구매자들은 장기적인 관점에서 도구를 선택합니다. ROI를 제공하고(30%), 업무의 고유한 맥락을 이해(26%)하는 도구를 더 선호하며, 단순히 저렴한 도구(1%)는 우선순위에서 밀립니다.
 
하지만 기업들은 ROI와 맞춤화를 검토하면서도 구현에 필요한 중요한 요소를 간과할 수 있습니다. 종종 조직들은 기술 통합, 지속적인 지원, 확장성의 중요성을 충분히 고려하지 못한 채 도구를 선택하고, 이는 실행 단계에서 문제를 야기합니다. 예를 들어, 초기 파일럿이 실패하는 주요 원인은 구현 비용(26%), 데이터 프라이버시 문제(21%), 기대에 미치지 못하는 ROI(18%), 기술적 문제(15%) 등입니다. 이러한 잠재적 함정을 계획 및 선택 단계에서 미리 해결하면 성공 가능성을 높일 수 있습니다.

 

---

기존 기업 vs. 스타트업: 혁신의 균열
 
작년에는 기존 기업들이 생성형 AI 시장을 주도하며, 기존 제품에 AI 기능을 추가하는 "추가(bolt-on)" 전략을 사용했습니다. 그러나 올해의 데이터는 스타트업의 영향력이 증가하고 있음을 보여줍니다.
 
64%의 고객이 여전히 신뢰와 즉시 사용 가능한 기능 때문에 기존 공급업체를 선호하지만, 기존 기업 솔루션에 대한 불만족이 증가하고 있습니다. 의사결정자의 18%는 기존 제품에 실망을 표했으며, 40%는 현재 솔루션이 실제 요구를 충족시키지 못한다고 느낍니다. 이는 혁신적인 스타트업이 시장에서 입지를 다질 기회를 제공합니다.

---

부서별 전환
 
2024년 생성형 AI 도입의 특징은 단순히 규모가 아니라 범위에 있습니다. 올해 생성형 AI 예산은 모든 부서에 분산되었습니다.

• IT(22%), 제품 및 엔지니어링(19%), 데이터 과학(8%)이 가장 큰 비중을 차지.
• 지원(9%), 영업(8%), 마케팅(7%)과 같은 고객 대면 부서 및 HR(7%), 재무(7%)와 같은 백오피스 팀에도 예산 분배.
• 디자인(6%), 법률(3%) 같은 소규모 부서에도 AI 지출이 이루어짐.

 

---

Vertical AI 애플리케이션의 부상
 
초기 생성형 AI 애플리케이션은 텍스트 및 이미지 생성과 같은 범용적인 솔루션이었지만, 2024년에는 LLM의 새로운 역량이 특정 산업의 전문 워크플로우에 적용되며, 더 많은 수직적 애플리케이션이 주목받고 있습니다.

• 헬스케어: 5억 달러 투자, AI 기반 의료 기록 작성, 환자 데이터 관리 도구 증가.
• 법률: 3억 5천만 달러 투자, 계약 검토, 소송 준비와 같은 작업 자동화.
• 금융 서비스: 1억 달러 투자, 회계 및 데이터 추출을 개선하는 솔루션 활성화.
• 미디어/엔터테인먼트: 이미지 및 동영상 생성 도구가 크리에이터와 전문가들 사이에서 널리 사용.

 
 

---

인프라 및 현대 AI 스택 집중 탐구
 
2024년 현대 AI 스택은 안정화 단계에 접어들며, 대부분의 생산 AI 시스템의 런타임 아키텍처를 구성하는 핵심 빌딩 블록을 중심으로 기업들이 통합되고 있습니다.

• LLM 트렌드: OpenAI의 점유율은 감소(50% → 34%), 대신 Anthropic이 24%로 성장.
• 디자인 패턴: RAG(검색 증강 생성)가 51% 채택률로 주요 설계 패턴으로 부상.
• 벡터 데이터베이스, 데이터 ETL, 파이프라인 솔루션이 RAG를 지원하며 AI를 최적화.

 
인프라 및 현대 AI 스택 집중 탐구
 
1년간의 빠른 진화를 거친 후, 현대 AI 스택은 2024년에 안정화되었으며, 대부분의 생산 AI 시스템의 런타임 아키텍처를 구성하는 핵심 빌딩 블록에 대해 기업들이 합의를 이루었습니다.
 
 
Menlo Ventures의 현대 AI 스택 시장 지도
 
파운데이션 모델이 여전히 지배적입니다. LLM(대형 언어 모델) 계층은 65억 달러의 기업 투자를 차지합니다.
그러나 시행착오를 통해 기업들은 단발성 데모가 아닌, 생산 환경에서 신뢰할 수 있는 성능을 발휘할 수 있는 복잡한 AI 아키텍처를 구축하기 위해 데이터 스캐폴딩(data scaffolding)과 통합(integration)의 중요성을 점점 더 이해하고 있습니다.

---

LLM 트렌드: OpenAI 점유율 감소, Anthropic 상승
 
기업들은 단일 공급자에 의존하기보다는 실용적인 다중 모델 전략(multi-model approach)을 채택했습니다. 우리의 연구에 따르면, 조직들은 일반적으로 AI 스택에서 3개 이상의 기초 모델을 배치하며, 사용 사례나 결과에 따라 서로 다른 모델을 활용합니다.
 
이 전략은 오픈소스 대 폐쇄형 소스 논쟁으로도 확장됩니다. 산업 내 뜨거운 논쟁에도 불구하고, 선호도는 안정적으로 유지되었습니다.
 
폐쇄형 솔루션은 81%의 시장 점유율로 대다수를 차지하고 있으며, Meta의 Llama 3가 주도하는 오픈소스 대안은 19%로 유지되며 2023년 대비 단 1%p 감소했습니다.
 
폐쇄형 모델 중에서 OpenAI의 초기 선점 이점은 다소 감소했으며, 기업 시장 점유율은 50%에서 34%로 하락했습니다. 주요 수혜자는 Anthropic으로, 12%에서 24%로 기업 내 존재감을 두 배로 늘렸습니다. 이는 일부 기업들이 GPT-4에서 Claude 3.5 Sonnet으로 전환하면서 발생한 결과로, Claude 3.5 Sonnet이 새로운 최첨단 모델로 자리 잡았습니다.
 
새로운 LLM으로 전환할 때, 조직들이 가장 흔히 언급하는 이유는 보안 및 안전(46%), 가격(44%), 성능(42%), 그리고 확장된 기능(41%)입니다.
 

 
파운데이션 모델 환경은 계속해서 빠르게 진화하고 있습니다. 2024년 10월 22일 출시된 Anthropic의 Claude 3.5 Sonnet은 획기적인 기능(예: 컴퓨터 사용 능력)을 포함하고 있어, 추가적인 시장 점유율 증가 가능성이 높습니다.

---

디자인 패턴 트렌드: RAG(검색 증강 생성) 부상, 미세 조정 드뭄, 에이전트 아키텍처 돌파
 
효율적이고 확장 가능한 AI 시스템을 구축하기 위한 표준화된 아키텍처인 엔터프라이즈 AI 디자인 패턴은 빠르게 진화하고 있습니다.

• RAG(검색 증강 생성)는 31%에서 51%로 채택률이 급증하며, 현재 가장 널리 사용되는 설계 방식으로 자리 잡았습니다.
• 미세 조정(fine-tuning)은 특히 주요 애플리케이션 제공업체들 사이에서 자주 언급되지만, 놀랍게도 실제로는 드물게 사용됩니다. 생산 모델의 단 9%만이 미세 조정을 통해 구축되었습니다.

올해의 가장 큰 돌파구는?: 에이전트 아키텍처(agentic architectures)가 처음으로 등장했으며, 이미 구현 사례의 12%를 차지하고 있습니다.

 

---

벡터 데이터베이스, ETL, 데이터 파이프라인: RAG의 기초

RAG를 활용하려면 기업들은 관련 쿼리 지식을 효율적으로 저장하고 접근할 수 있어야 합니다.

• 기존 데이터베이스:
  • Postgres(15%)와 MongoDB(14%) 같은 전통적인 데이터베이스가 여전히 일반적입니다.
• AI 전용 솔루션:
  • Pinecone과 같은 AI 네이티브 벡터 데이터베이스는 이미 18%의 시장 점유율을 확보했습니다.

 
유사한 변화가 데이터 ETL(추출-변환-적재) 및 준비 단계에서도 나타나고 있습니다.

• 전통적인 ETL 플랫폼(예: Azure Document Intelligence)은 deployments의 28%를 기록하고 있습니다.
• 그러나 Unstructured와 같은 비정형 데이터(PDF, HTML 등)를 처리하기 위해 설계된 전문 도구는 16%의 시장 점유율을 차지하며 독자적인 입지를 구축하고 있습니다.

스택 전반에 걸쳐, 현대 AI의 요구를 충족하기 위해 목적에 맞게 설계된 기술에 대한 수요가 증가하고 있습니다.

---

우리의 예측
 
2024년은 2023년의 과대 광고(hype)가 실제 구현으로 전환된 변혁과 진화의 해였습니다.

오늘 공유한 데이터와 투자자로서 관찰한 트렌드를 바탕으로 다음 세 가지를 예측합니다:

1. 에이전트가 다음 변혁을 주도할 것
   • 에이전트 기반 자동화가 AI 변혁의 다음 물결을 이끌며, 콘텐츠 생성과 지식 검색에 초점을 맞춘 현재 시스템을 넘어 복잡한 다단계 작업을 처리할 것입니다.
   • Clay와 Forge 같은 플랫폼은 고급 에이전트가 $4000억 소프트웨어 시장을 뒤흔들고, $10조 미국 서비스 경제에 영향을 미칠 가능성을 보여줍니다.
   • 이는 에이전트 인증, 도구 통합 플랫폼, AI 브라우저 프레임워크, AI 생성 코드 전용 런타임과 같은 새로운 인프라를 요구할 것입니다.
2. 스타트업이 기존 기업을 무너뜨릴 것
   • 올해 ChatGPT가 Chegg와 Stack Overflow에 가한 충격은 경종을 울렸습니다.
   • Chegg는 시장 가치의 85%를 잃었고, Stack Overflow의 웹 트래픽은 절반으로 감소했습니다.
   • 다른 카테고리도 변화에 직면하고 있습니다.
   • Cognizant 같은 IT 아웃소싱 기업과 UiPath 같은 기존 자동화 업체는 AI 네이티브 도전자들에 대비해야 합니다.
   • 시간이 지나면 Salesforce와 Autodesk 같은 소프트웨어 대기업들도 도전에 직면할 것입니다.
3. AI 인재 부족은 더욱 심화될 것
   • 우리는 엄청난 인재 부족의 문턱에 서 있습니다.
   • AI 시스템이 확산되고 정교해지면서 기술 산업은 심각한 부족에 직면하게 될 것입니다.
   • 이는 단순히 데이터 과학자의 부족이 아니라, 고급 AI 역량과 도메인 전문 지식을 융합할 수 있는 전문가의 부족을 의미합니다.
   • 현재의 인재 풀은 이미 위험할 정도로 낮은 상태입니다.
   • 경쟁이 심화되며, AI 숙련 기업 아키텍트의 급여가 현재보다 2~3배 상승하는 것이 일반적이 될 것입니다.
   • 교육 프로그램과 AI 센터에 대한 투자에도 불구하고, 이러한 격차는 계속 확대될 가능성이 큽니다.