Offcanvas

AI / CIOK 인터뷰 / 비즈니스|경제 / 서버

인터뷰 | 인텔코리아 나승주 상무가 말하는 ‘엔터프라이즈 AI의 미래와 최신 제온 프로세서의 의의’

2024.05.31 Brian Cheon  |  CIO KR
거대 클라우드 기업들이 이미 돈을 쏟아붓고 있다. 여타 다수의 IT 서비스 기업들도 다른 의미의 골드러시라는 표현이 어울릴 정도로 지출하고 있다. 바로 AI, 특히 생성형 AI를 위한 서버나 장비에 대해서다. 가트너에 따르면 올해 전 세계 데이터센터 시스템에 대한 지출 규모는 10%에 이르는 성장이 예상되며, 이 중 대부분은 생성형 AI로 인해 발생할 전망이다.

가트너는 “생성형 AI와 관련해 스토리, 계획, 실행의 주기가 나타나고 있다. 2023년에 기업들은 생성형 AI에 대한 관심을 표명했고 2024년에는 대부분의 기업이 준비를 시작했다. 이 주기보다 한 발 앞서 나가야 하는 수많은 기술 제공업체들은 이미 실행 단계에 있다”라고 밝혔다.

AI가 전 세계 IT 지출을 견인하고 있다는 데에는 시장조사기관 사이에서 이견이 없다. IDC 또한 초대형 LLM 훈련 및 추론에 필요한 서버와 스토리지 인프라가 전체 AI 인프라 시장에서 차지하는 비중이 점점 더 커지고 있다고 분석한다. 이 시장조사기관은 생성형 AI용 서버와 스토리지 등 전 세계 AI 하드웨어 시장이 2021년 188억 달러에서 2026년 418억 달러로 2.2배 이상 성장할 것이며, 이로 인해 전체 서버와 스토리지 인프라 시장의 20%를 점유할 것으로 전망했다.

현재 달아오른 이 시장을 지배하는 존재는 단연 엔비디아다. 미국의 투자 매체 모틀리 풀에 따르면, 어느덧 시가총액 측면에서 마이크로소프트와 애플만을 위에 둘 정도로 성장한 이 기업은 AI GPU 시장의 약 90%, 전체 AI 칩 시장의 80%를 차지하는 것으로 추정된다.
 
인텔코리아 나승주 상무
그러나 앞으로는 어떨까? 특히 ‘인텔’이라는 반도체 분야 전통의 강호가 이 거대한 시장에 진심으로 개입한다면 어떤 일까지 가능할까? 전통적인 서버, 데스크톱은 물론 엣지, AI 가속기, 네트워크를 가로지르는 이 회사의 ‘AI Everywhere’ 비전은 무엇인지, 그 중에서도 최신 제온 프로세서는 어떤 의미를 가지는지, 엔터프라이즈 AI 분야의 미래는 어떠할지에 대해 인텔코리아 나승주 상무로부터 이야기를 들어봤다.

“거대 모델 훈련은 엔터프라이즈 AI의 일부일 뿐”
“AI를 위한 칩은 GPU라는 인식이 일반적입니다. 물론 직접 데이터를 활용해 거대한 모델을 훈련하려 한다면 아직은 GPU가 주된 해법입니다. 하지만 현재 엔터프라이즈 AI를 전체적으로 살펴보면 60% 이상의 작업이 CPU 기반에서 구동됩니다. AI 기능을 내재한 각종 엔터프라이즈 애플리케이션을 비롯해 각종 데이터 관련 작업, 추론 작업 등이 범용 서버에서 대부분 동작하고 있습니다."

나승주 상무는 챗GPT로 촉발된 파운데이션 모델의 관심, 정지 영상 및 동영상 분야의 생성형 AI 서비스로 인해 GPU에 대한 관심과 수요가 급증했지만, 오늘날 엔터프라이즈 AI의 전체 양상은 다르다며 이야기를 시작했다.
 
엔터프라이즈 AI의 미래는 ‘기업 데이터’와 외부의 ‘AI 모델’이라는 두 개의 구분된 세계를 묶어내는 데 있다. “엔터프라이즈 AI의 미래는 하이브리드 AI”이라고 나승주 상무는 강조했다.

“인텔의 최신 제온 칩은 추론 작업을 수행하는데 충분한 성능을 지녔습니다. 챗GPT와 같은 생성형 AI의 경우 1초에 10개 단어 이상을 보여줄 수 있어야 사용자 경험이 답답하지 않습니다. 하나의 단어를 100ms 내에 추론해야 하는 겁니다. 라마2 13B 모델에서 추론하는 경우 5세대 제온은 싱글 노드에서도 75ms미만에 수행할 수 있습니다.”

단 정확도 등을 높이기 위해 라마2 70B 모델을 구동하는 경우에는 249ms까지 느려진다. 이 때에는 제온 프로세서를 4노드로 구성함으로써 87ms를 달성할 수 있다는 설명이다. 4노드로 구성할지라도 여전히 GPU 기반 시스템과 비교해 월등히 저렴하며, 기업이 사용하고 관리해 온 일반 서버이기에 관리성과 범용성이 우수한 것은 말할 나위도 없다고 그는 덧붙였다.

나승주 상무에 따르면 최신 제온 프로세서의 이러한 가치는 빠르게 변화하고 있는 '엔터프라이즈 AI' 동향과 맞물릴 때 그 의미를 십분 이해할 수 있다. 그는 하이퍼스케일러의 데이터센터에 기반한 대규모 언어 모델로부터 기업의 서버, PC, 모바일, 여타 엣지에 이르는 온디바이스 AI로의 비중이 확대되고, 확대될 수밖에 없는 동향에 주목하라고 주문했다.

“기업용 AI를 단계별로 재정의 할 필요가 있습니다. 현재는 AI PC와 각종 AI를 도구로 사용하여 생산성을 높이고 있는 AI 코파일럿의 시대로 정의할 수 있습니다. 다음 단계는 AI 에이전트의 시대입니다. AI가 사용자의 행동을 예측하고 데이터를 분석하고 간단한 업무까지 처리하는 단계입니다. AI가 개인 비서의 역할을 합니다. 이때부터 기업들은 도메인 특화 모델을 개발하기 시작하여 에이전트가 자동으로 동작하고 도메인 전반의 작업과정을 다룰 수 있도록 프로그램할 것입니다"

그는 이후 ‘AI 기능의 시대’가 열린다고 전망했다. 에이전트들이 다른 에이전트와 함께 동작해 복잡한 부서 단위의 업무를 처리하게 된다. 각 사용자가 자신의 지시대로 일하는 팀을 가지는 것과 비슷하다. 전 세계 데이터의 대부분이 사실상 각 기업에 속해 있는 가운데, 기업들이 자체 데이터를 십분 활용할 수 있는 시대가 열리는 것이라고 그는 설명했다.

“이 단계에서부터 기업은 데이터를 외부로 이동하지 않고 직접 튜닝한 모델로 내부에서 활용해 비즈니스 경쟁력을 차별화할 수 있게 됩니다. 이를 위한 엣지 AI 아키텍처에서는 데이터센터까지의 이동으로 인한 레이턴시 문제도 최소화할 수 있으며, 데이터 보안 문제도 함께 해결할 수 있습니다. 엔터프라이즈 AI의 미래는 하이브리드 AI입니다.”

즉 향후 엔터프라이즈 AI가 혁신하는 공간은 온프레미스, 온디바이스, 엣지라는 설명이다. 그리고 제온 프로세서가 엔터프라이즈 AI에 중요한 의미를 지니는 이유가 여기에 있다고 그는 강조했다.

“지금까지는 기업 데이터와 AI 모델이 두 개의 구분된 세계에 나뉘어 있었습니다. 공용 데이터로 학습하고 GPU와 같은 가속기로 훈련된 AI 모델이 존재하는 외부의 세계와 데이터 로컬리티가 중요하고 신뢰할 수 있고 예측가능해야 하는 기업 내부의 데이터 세계가 별도로 존재했습니다. 기업용 AI의 미래는 이 두 세계를 묶어내는 것에 있다고 할 수 있습니다.”
 
엔터프라이즈 AI의 미래는 ‘기업 데이터’와 외부의 ‘AI 모델’이라는 두 개의 구분된 세계를 묶어내는 데 있다. “엔터프라이즈 AI의 미래는 하이브리드 AI”이라고 나승주 상무는 강조했다.

나승주 상무에 따르면 발 빠른 기업들은 이미 이러한 작업을 시작하고 있다. 흔히 볼 수 있는 챗봇만 할지라도 기업 데이터로 튜닝된 LLM에 기반해서 동작하는 경우가 어느덧 흔하며, ERP나 CRM 등과 같은 엔터프라이즈 애플리케이션에서도 기업 데이터와 기초 모델을 결합해 사용하곤 한다고 그는 전했다.

“요즘 각광받고 있는 파인 튜닝, RAG (검색 증강 생성) 등이 모두 기업 내부 데이터의 보안을 유지하면서 기업 내부 데이터를 활용하고자 하는 기술들입니다. 인텔의 최신 제온 프로세서는 두 세계를 나눠서 보지 않고 하나로 같이 보려는 요구를 해결할 수 있도록 개발된 제품입니다.”

“기업들의 반응 이미 뜨겁다, 그러나…”
나승주 상무는 이 밖에도 제온 프로세서에 주목할 만한 이유가 다수 존재한다고 강조했다. 인텔이 취한 개방형 생태계와 이로 인한 종속성 문제 해소 및 확장성, 안정적이고 신뢰할 수 있는 소프트웨어 등이다. 엣지 기기에서 가우디 AI 가속기에 이르는 AI 반도체 라인업을 엔드투엔드로 구성하는 하드웨어 인프라 생태계 또한 빼놓을 수 없다. 그리고 저렴한 구축 및 관리 비용과 다양한 용도로 활용할 수 있는 범용성도 감안해야 한다고 그는 덧붙였다.

“최근 실감하는 부분은 기업들이 보내주는 응원입니다. 기존 GPU 시장의 경우 별다른 경쟁 압박이 없다 보니 공급자 중심의 구도가 형성됐습니다. 그래서인지 제온을 비롯한 인텔의 AI 솔루션에 대해 기업 IT 담당자분들이 응원의 말을 전하곤 합니다. 특히 저렴한 가격과 개방성, 확장성을 반기는 목소리가 큽니다.”

구체적으로 어떤 기업들로부터 문의를 받고 있느냐는 질문에 나승주 상무는 ‘국내의 거의 모든 대기업’이라고 답했다. 적어도 종전 GPU에 대응하는 솔루션은 무엇인지, 비용 절감은 얼마나 기대할 수 있는지 등에 대해서는 모두 관심을 보인다는 이야기다.

“다행히 인텔의 AI 가속기인 가우디가 빠르게 업데이트되면서 경쟁사 GPU에 대응하는 딥러닝 특화 제품도 확보됐습니다. 그렇지만 개인적으로 가우디와 함께 제온 프로세서의 잠재 시장에 대한 기대가 큽니다. 훨씬 더 넓은 시장이 열릴 것이라고 기대합니다. 엔터프라이즈 AI 전체를 보면 그럴 수밖에 없다고 봅니다.”

나승주 상무는 결국 기업들이 외부 정보만이 아닌 내부 데이터를 활용하는 생성형 AI 모델을 사용하려 할 것이며, 가우디와 함께 제온 프로세서가 바로 데이터센터, 클라우드, 엣지 기기를 가로질러 생성형 AI 모델을 훈련, 튜닝, 추론할 수 있도록 지원하는 주인공으로써 활약할 것이라고 전망했다.

“아쉽게도 아직 문의의 대부분은 준비된 데이터를 얼마나 빨리 훈련하는지, 그와 관련된 비용은 얼마인지에 초점이 맞춰져 있습니다. 모델 훈련 성능과 비용을 주로 따지는 겁니다. 그러나 제온은 데이터를 수집하고 준비하고, 모델을 구축하고 배포하고 활용하는 전체 과정에서 고유의 가치를 제시합니다. 데이터 이동 없이 곧바로 훈련하고 모델을 튜닝하고 추론까지 한 곳에서 수행하는 겁니다. 저는 조만간 엔터프라이즈 AI 전체의 과정을 중시하는 시각이 자리잡을 것으로 봅니다.”

실제로 최근 쏟아진 인텔 제온 6 및 가우디 3, 엔비디아의 신형 블랙웰 칩 등에 대한 소식은 이들 AI 칩의 성능에 좀 더 주목하게 만들었던 것이 사실이다. 그러나 AI 또한 기업에게는 본질적으로 직원, 고객을 대상으로 하는 서비스일 뿐이며 기술이나 성능 중심적 관점을 넘어 전체 비즈니스 관점이 필요하다는 그의 주문에 동의할 수 있었다. 마지막으로 엔비디아가 장악하고 있는 오늘날의 AI 칩 시장에서 도전자라는 낯선 위치의 인텔이 존재감을 확보할 자신이 있는지 물어봤다.

“자신감 이상입니다. 무조건 그렇게 될 수밖에 없다고 확신합니다. 고객 기업들이 원하기 때문입니다. 현재로서는 소수의 기업만 도입했고 몇몇 기업이 테스트를 진행하고 있는 단계지만, 조만간 강력한 대체제로서 또는 고유한 해법으로서 검토하고 도입하는 순간이 빠르게 올 것이라고 예상합니다.” ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.