엔비디아가 기업용 AI 시장의 거물로 서기까지

게임 칩 제조업체인 엔비디아가 10년 전 데이터센터 인공 지능(AI)으로 전략적 전환을 계획한다고 발표했을 때 많은 의문이 제기되었다. 엔터프라이즈급 풀 스택 제품을 구축할 수 있을 것인가? AI 시장이 존재하기는 하는가?

그러나 10년이 지난 지금에 와서는 엔터프라이즈 및 하이퍼스케일 데이터센터 모두를 위한 최고의 AI 플랫폼 제공업체로서 엔비디아에게 도전할 수 있는 기업이 과연 존재할지가 의문이다.

엔비디아는 영리한 인수, 내부 하드웨어/소프트웨어 개발, 전략적 제휴를 통해 작년 말 챗GPT 출시로 촉발된 생성형 AI 열풍을 완벽하게 활용할 입지를 구축했다. 업계 전반의 칩 부족 현상이나 경쟁사 Arm에 대한 400억 달러 규모의 인수 제안이 무산된 것도 엔비디아의 경이로운 성장에 눈에 띄는 영향을 미치지는 못했다.
 

엔비디아의 설립자 겸 CEO 젠슨 황은 최근 실적 발표에서 “새로운 컴퓨팅 시대가 시작되었다. 전 세계 기업이 범용 컴퓨팅에서 가속 컴퓨팅 및 생성형 AI로 전환하고 있는 중이다. 멜라녹스 네트워킹 및 스위치 기술로 연결되고 CUDA AI 소프트웨어 스택을 실행하는 엔비디아 GPU는 생성형 AI의 컴퓨팅 인프라를 구성한다”라고 밝혔다.

수치가 뒷받침한다. 엔비디아의 2분기 매출은 67억 달러에서 135억 달러로 증가하여 전년 동기 대비 매출이 2배로 증가했다. 순이익은 6억 5,600만 달러에서 61억 달러로 늘었으며, 1년 전보다 854%, 전 분기보다 202% 증가한 수치이다. 마진은 70%에 달했는데, 엔비디아가 엔터프라이즈와 하이퍼스케일러에게 수요가 많은 GPU에 대해 프리미엄을 부과할 수 있었기 때문이다.

데이터센터 매출은 103억 달러(한 분기 만에 141% 증가)를 기록했으며, 현재 전체 매출의 76%를 차지하고 있다. 엔비디아는 추세상 다음 분기 말까지 총 매출에서 시스코를 넘어설 것으로 보인다. 주가는 주당 490달러 범위에서 거래되고 있다. 또한 IDC에 따르면 AI 시스템의 구성 요소인 엔터프라이즈 GPU에서 약 90%의 시장 점유율을 차지하고 있다.

업계 애널리스트의 전망도 낙관적이다. 도이치뱅크의 로스 세이모어는 “하드웨어와 잠재적으로 소프트웨어에서 AI의 성장에 따른 혜택을 누릴 수 있는 유일한 기업은 엔비디아라고 계속 여겨지고 있다”라고 말한다. 시티의 아티프 말릭은 “AI 가속기 시장이 빠른 속도로 성장할 것이며, 엔비디아는 AMD에 비해 AI 성능에서 상당한 우위를 점할 것”이라고 예측했다.

코웬 앤 코의 매튜 램제이는 2024년 엔비디아의 매출이 460억 달러, 2025년에는 650억 달러에 달할 것으로 내다본다. 램지는 “상향 조정은 전적으로 데이터센터 부문에 집중되어 있다”라고 말하며, “수치가 엄청나다는 것은 알고 있지만, 이 정도 규모의 매출 성장을 뒷받침할 수요와 공급이 충분히 많다고 생각한다”라고 덧붙인다.

옴디아의 수석 애널리스트인 알렉산더 해로웰은 “강력한 신경망 가속기 칩을 보유한 회사는 많지만, 엔비디아의 소프트웨어 에코시스템을 보유한 회사는 단 하나뿐”이라고 말했다. 해로웰은 핵심 기술을 중심으로 강력한 개발자 커뮤니티를 구축할 수 있는 엔비디아의 능력은 애플이 아이폰을 통해 이룬 것과는 달리 뚜렷한 이점을 제공한다고 덧붙였다. 해로웰은 “‘개발자, 개발자, 개발자’라는 것이 모든 디지털 분야에서 항상 승리하는 전략이었다. 한 번 일어난 일을 되돌리기는 매우 어렵다”라고 말했다.
 

엔비디아 생태계

황은 엔비디아가 기존 업체로부터 시장 점유율을 빼앗으려는 것이 아니라, 기업이 기존 CPU 기반 데이터센터에 AI 기능을 추가하는 과정에서 선도적인 역할을 하기를 원한다고 밝혔다. 이러한 전략은 업계의 거물급 기업을 소외시키는 대신 파트너십과 제휴라는 그물망을 구축하는 데 성공했기 때문에 효과가 있는 것으로 보인다.

데이터를 사내에 보관하고 자체 AI 기능을 구축하고 싶은가? 엔비디아는 델과 협력하여 기업의 특정 사용 사례에 맞게 델 서버, 스토리지 및 사전 구성된 설계와 엔비디아의 GPU, 네트워킹, 소프트웨어 및 니모(NeMo) 대규모 언어 모델(LLM) 프레임워크를 통합하는 완벽한 온프레미스 생성형 AI 패키지를 제공하고 있다.

클라우드의 확장성과 빠른 시작 및 실행 속도를 활용하고 싶다면, 현재 오라클 클라우드에서 실행 중이며 곧 마이크로소프트 애저 및 구글 클라우드에서 사용할 수 있을 것으로 예상되는 엔비디아의 DGX 클라우드 서비스를 통해 해결할 수 있다. DGX 클라우드는 기업이 하이퍼스케일러 환경 내에서 엔비디아 기술을 사용하여 생성형 AI 모델을 만들 수 있도록 지원하는 완전한 하드웨어 및 소프트웨어 패키지다.

민감한 데이터를 퍼블릭 클라우드로 전송하는 것과 관련된 보안 위험을 우려하는 조직에 대해서 엔비디아는 VM웨어 프라이빗 AI 파운데이션이라는 제품을 출시했다. VM웨어와 협력하여 기업이 온프레미스, 코로케이션 시설 또는 프라이빗 클라우드에서 바로 실행할 수 있는 완전 통합형이며 즉시 사용가능한 생성형 AI 플랫폼이다.

AI 기반 비즈니스 애플리케이션으로 스택을 확장하기 위해 엔비디아는 서비스나우 및 액센츄어와 협력하여 서비스나우 엔터프라이즈 자동화 플랫폼 및 엔진, 엔비디아 AI 슈퍼컴퓨팅 및 소프트웨어, 액센츄어 컨설팅 및 배포 서비스를 결합하여 기업이 맞춤화 생성형 AI 대규모 언어 모델 및 애플리케이션을 구축할 수 있도록 지원하는 AI 라이트하우스를 개발하고 있다.

개발자 측면에서는 자체의 강력한 개발자 커뮤니티 외에도, 엔비디아는 오픈 소스 AI 개발자 커뮤니티인 허깅 페이스(Hugging Face)와 제휴하여 대규모 언어 모델을 구축하는 허깅 페이스 개발자에게 DGX 클라우드에 대한 액세스 권한을 부여했다. 개발자는 엔비디아의 슈퍼컴퓨팅 인프라에서 고급 AI 모델을 훈련하고 튜닝할 수 있다.

디지털 트윈 및 로봇 공학 같은 산업 애플리케이션은 어떨까? 엔비디아는 실시간 3D 그래픽 협업 플랫폼인 옴니버스를 개발했다. 무어 인사이트의 CEO 패트릭 무어헤드는 “마이크로소프트 애저 클라우드에서 엔비디아의 옴니버스를 사용할 수 있게 된 것은 엔비디아는 물론 디지털 트윈 기술의 이점을 활용하고자 하는 엔터프라이즈 비즈니스에 큰 진전이다”라고 말했다.

무어헤드는 “엔비디아가 옴니버스를 통해 하고 있는 일을 할 수 있는 회사는 거의 없다. 그 중심에는 하드웨어의 강력한 이점을 바탕으로 놀라운 AI 기반 소프트웨어 플랫폼을 구현하는 엔비디아가 있다. 따라서 옴니버스는 빠르게 진화하는 기술 환경에서 운영을 간소화하고 계속 앞서 나가려는 기업에 매우 유용한 도구”라고 말했다.
스마트 자동차? 점점 더 소프트웨어 중심이 되어가는 자동차 산업도 엔비디아의 레이더망에 포착되었다. 이 회사는 OEM을 위한 자동차 시스템 온 칩(또는 칩렛)을 개발하기 위해 미디어텍과 협력하고 있다.
 

GPU라는 전장 

엔비디아는 경쟁사인 AMD와 인텔을 훨씬 앞서는 압도적인 GPU 시장 점유율을 보유하고 있으며, 더욱 강력한 칩을 정기적으로 출시하여 제품 포트폴리오를 지속적으로 업데이트하고 있다. 최근 분기에는 복잡한 AI 및 고성능 컴퓨팅 워크로드를 위한 GH2000 그레이스 호퍼 슈퍼칩과 가장 컴퓨팅 집약적인 애플리케이션을 가속화하도록 설계된 범용 데이터센터 프로세서인 L40S GPU를 발표했다.

하지만 AMD도 가만히 있지만은 않았다. 새로운 인스팅트 MI300X 칩으로 엔비디아에 도전장을 내밀고 있으며, 여러 개의 MI300X 칩을 젠4 CPU 칩과 결합하여 강력한 AI 가속기를 구축하고 있다. 6월 샌프란시스코에서 열린 행사에서 AMD CEO 리사 수는 “생성형 AI, 대규모 언어 모델은 환경을 변화시켰다. 교육이든 추론이든 더 많은 컴퓨팅에 대한 필요성이 기하급수적으로 증가하고 있다”라고 말했다.

수 박사는 “경쟁 제품과 비교했을 때 MI300X는 2.4배 더 많은 메모리와 1.6배 더 많은 메모리 대역폭을 제공하며, 추가 메모리 용량 덕분에 더 큰 모델을 메모리에서 직접 실행할 수 있기 때문에 실제로 대형 언어 모델에 유리하다”라고 말했다.

하지만 새로운 AMD 칩은 2024년에야 대량으로 출시될 예정이다. 그리고 인텔의 경우는 계속 지연되고 있다. 지난 3월, 인텔은 리알토 브리지 세대의 GPU를 취소하고 팔콘 쇼어 GPU 아키텍처를 2025년으로 연기한다고 발표했다.

무디스 인베스터스 서비스의 수석 부사장인 라지 조시는 “AMD가 2024년 초에 새로운 AI 가속기를 대량으로 출하하기 전까지는 엔비디아의 고성능 GPU에 대한 의미 있는 경쟁은 없다”라고 말한다.

브라이어 캐피털의 CEO 짐 브라이어는 “3년을 기준으로 볼 때 엔비디아는 막을 수 없는 존재이며, GPU 분야에서 1년 반 정도 앞서 있다”라고 말하면서 개인적으로 엔비디아에게 가장 큰 도전 업체는 AMD나 인텔이 아니라 구글이라고 본다고 덧붙였다.

브라이어는 구글이 출발은 더뎠지만 창업자 세르게이 브린과 래리 페이지가 은퇴에서 구글 본사로 돌아와 제미니라는 회사의 AI 프로젝트에 참여하고 있다고 말한다.

구글은 검색 엔진의 관점에서 AI에 접근하고 있으며, 챗GPT를 엣지 브라우저에 통합한 마이크로소프트의 도전에 맞서 크롬의 지배력을 유지하기 위해 노력하고 있다. (마이크로소프트/오픈AI 챗GPT 기술은 엔비디아 칩에서 실행된다.)

구글은 또한 엔비디아 GPU를 사용하지만 머신러닝과 AI를 위해 설계된 애플리케이션별 ASIC인 자체 TPU(텐서 처리 유닛)를 개발했다. 그리고 구글이 TPU의 생산량을 늘리고 자체 PaLM 2 대규모 언어 모델을 기반으로 풀스택 생성형 AI 제품을 구축할 가능성도 충분히 있다.

마찬가지로 아마존은 자체 GPU를 개발하고 있다. 2015년에 아마존은 이스라엘의 칩 설계 스타트업 안나푸르나 랩을 3억 5,000만 달러에 인수했으며, (대규모 언어 모델의 컴퓨팅 집약적 훈련을 처리하도록 설계된) 트레이니움과 (최종 사용자가 LLM에 쿼리할 때 AI 방정식의 추론 부분을 위해 설계된) 인퍼런시아 등 2가지 유형의 GPU를 개발했다.

아마존의 CEO 앤디 재시는 AWS가 자체적으로 트레이니움과 인퍼런시아를 사용하고 있지만, 고객들에게도 더 비용 효율적인 가속기를 제공하고 있다고 말한다. 재시는 “트레이니움으로 학습된 AI 모델이 유사한 GPU 시스템보다 최대 140% 더 빠르며, 최대 70% 더 저렴한 비용으로 학습된다”라고 덧붙인다.

아마존은 여전히 대부분의 AI 칩을 엔비디아로부터 구매하고 있기 때문에 아마존이 엔비디아의 칩 시장 점유율에서 얼마나 많은 부분을 차지할 수 있을지는 확실하지 않다. 하지만 구글이나 AWS를 과소평가해서는 안 된다. 이들은 기술력과 풍부한 자금력을 갖추고 있으며, 각각 대규모 언어 모델, 자체 마켓플레이스 및 개발자 커뮤니티, 그리고 물론 AI 애플리케이션의 수요를 처리할 수 있는 데이터센터를 보유하고 있다.

하지만 엔비디아에 직접 도전하기로 결정한다면 큰 도전에 직면하게 될 것이다. 번스타인 리서치의 수석 애널리스트 스테이시 라스곤은 “엔비디아 칩은 지난 15년 동안 다른 누구도 갖지 못한 거대한 소프트웨어 생태계를 구축해 왔다”라고 지적했다.
 

조심해야 할 함정

블랙베리를 사용해 본 사람이라면 누구나 알 수 있듯이 지배적인 기술이나 지배적인 기술 제공업체는 존재하지 않는다. 경쟁업체가 엔비디아의 시장 점유율을 빼앗을 수 있는 몇 가지 요인이 있다.

오늘날 엔비디아는 거의 유일한 업체이기 때문에 칩에 상당한 가격 인상을 실시할 수 있으며, 단일 GPU 가격이 4만 달러에 달하기도 한다. AMD와 인텔이 힘을 합치면 의심할 여지없이 더 저렴한 대안을 제공할 것이다.

또한 기업은 항상 공급업체 종속을 우려하기 때문에 시간이 지남에 따라 두 번째 GPU 공급업체를 추가할 가능성이 높다. 이러한 요인으로 인해 시장 점유율을 빼앗길 수도 있지만, 최소한 엔비디아가 가격을 낮추도록 유도하여 매출과 수익에 압박을 가할 것이다.

엔비디아가 직면할 수 있는 다른 잠재적 함정은 지나치게 사세를 확장하거나, 실행에 실패하거나, 지나치게 오만해지거나, 고객과의 소통을 잃는 등 스스로 성공의 희생자가 되는 것이다. 이런 일이 일어나고 있다고 말할 수는 없지만, 회사가 자해적 상처를 입은 것은 이번이 처음은 아닐 것이다.

엔비디아의 핵심 강점은 CEO의 꾸준한 리더십이다. 업계 행사에서 자주 연사로 나서는 황은 카리스마 있는 존재감을 보여준다. 60세의 나이로 아직 은퇴 연령에 가까워지지는 않았지만, 어떤 이유로든 물러나기로 결정하면 리더십 공백이 발생할 수 있다.

생성형 AI의 또 다른 측면으로 주목받고 있는 것은 전력 소비이다. 해로웰은 “엔비디아는 세계 최초로 1킬로와트 이상의 전력을 소비하는 칩을 생산한다는 차별성을 가지고 있다. AI 시대는 우리가 가장 에너지를 절약할 수 있는 시기에 극도로 낭비가 심한 전력을 제공하고 있다”라고 말했다.

대기업의 기술 리더는 생성형 AI에 흥미를 느낄 수 있지만, CFO는 흥미롭기는 하지만 명확한 ROI를 보여주지 못하는 것에 막대한 비용을 지출하고 많은 에너지를 소모하는 것에 대해 다른 관점을 가질 수 있다고 포레스터의 애널리스트 글렌 오도넬은 지적한다.

마지막으로, 모든 기술 발전이 결국 다음 큰 기술에 의해 도약한다는 점이 잘 알려져 있다. 해로웰은 대규모 언어 모델보다 더 효율적인 AI 수행 방법을 개발하는 근본적인 AI 연구에서 엔비디아의 선두 자리를 위협하는 방해요소가 나올 수 있다고 말한다. 또한 테슬라, 애플, 구글, IBM, 메타 같은 기업에서 대체 프로세서 아키텍처가 등장할 수도 있다.

하지만 단기적으로는 엔비디아가 지배할 것이다. 오도넬은 엔비디아가 칩을 만들고 생태계를 조성하고 마인드 점유율 싸움에서 승리하는 등 게임 계획을 체계적인 방법으로 실행해 왔다고 말했다. 또한 “이 거물급 기업을 막을 방법은 없다. 엔비디아의 지배는 한동안 계속될 것”이라고 단언했다.
editor@itworld.co.kr