AMD, 엔비디아 견제 나선다··· AI 가속기 '인스팅트 GPU' 공식 출시

AMD이 AI 시장에서 존재감을 보다 넓힐 예정이다. 생성형 AI를 위한 GPU를 본격 출시하며 엔비디아와의 격차를 줄이겠다는 것이다. 이를 위한 첫 출시 제품은 AMD 인스팅트(Instinct) MI300X가 탑재된 델 파워엣지(Dell PowerEdge) XE9680이다.
 

AMD는 자사 가속기를 탑재한 슈퍼컴퓨터를 직접 운영하고 있음에도 불구하고 GPU 가속 HPC 시장에서 엔비디아에 이어 2위에 머물러 있었다. 하지만 인스팅트 MI300X 데이터센터 GPU를 출시하면서 선두 자리를 노릴 준비를 하고 있다. 

AMD CEO 리사 수는 AI 혁명을 30년 전 시작된 인터넷 혁명과 비교했다. 리사 수는 “AI의 특별한 점은 채택 속도가 훨씬 더 빠르다는 것이다. 지금까지 많은 일이 일어났지만 아직 AI 시대의 초입에 불과하다”라며 “AI는 결국 우리 삶의 모든 측면에 영향을 미칠 것”이라고 설명했다. 

AMD는 올해 초 CES에서 인스팅트 MI300 제품군을 처음 소개했다. 12월 7일 미국에서 열린 어드밴싱 AI(Advancing AI) 행사에서 CPU-GPU 하이브리드 칩인 인스팅트 MI300A와 함께 인스팅트 MI300X를 공식 출시하며 HPC 가속기 시장에 합류하며 엔비디아에 도전장을 내밀었다.

AMD는 새로운 가속기 출시를 위해 외부 기업과 적극 협력했다. 델 테크놀로지스, 휴렛팩커드 엔터프라이즈(HPE), 레노버, 슈퍼마이크로(Supermicro)를 비롯한 여러 OEM이 MI300X 가속기 카드가 탑재된 서버를 출시하겠다고 밝혔다. 또한 HPE, 슈퍼마이크로, 기가바이트(Gigabyte), 아토스(Atos) 자회사인 에비덴(Eviden)은 내년에 MI300A 카드와 함께 출시할 예정이다.

클라우드 영역에서 MI300X는 향후 출시될 마이크로소프트 애저(Microsoft Azure)의 가상머신 인스턴스와 오라클 클라우드 인프라스트럭쳐(Oracle Cloud Infrastructure)의 베어메탈 인스턴스를 구동하는 데 사용된다. 또한, 얼라인드(Aligned), 애크론 에너지(Akron Energy), 시라스케일(Cirrascale), 크루소(Crusoe), 덴브 데이터웍스(Denvr Dataworks) 등 소규모 클라우드 서비스 제공업체도 MI300X를 지원할 것이라고 밝혔다.

AMD는 또한 엔비디아의 CUDA 프로그래밍 언어의 대안으로 홍보하고 있는 ROCm 6 GPU 프로그래밍 플랫폼에 대한 업데이트도 발표했다. 이 업데이트에는 새로운 데이터 유형, 고급 그래프 및 커널 최적화, 최적화된 라이브러리 및 고급 주의 알고리즘에 대한 지원과 함께 특히 대규모 언어 모델과 같은 생성형 AI에 대한 최적화 기능이 포함됐다.

AMD 인스팅트 MI300X GPU
AMD는 엔비디아와 마찬가지로 상업용 GPU 기술을 데이터센터 작업에 맞게 일부 수정하여 용도를 변경했다. 인스팅트 MI300X는 CDNA 3 아키텍처 및 RDNA GPU 아키텍처를 기반으로 한다.

두 가지 다른 인스팅트 카드는 공략하려는 시장이 서로 다르다. MI300X는 메타의 라마2(Llama2) 및 블룸(Bloom)과 같은 대규모 언어 모델에 대한 훈련 및 추론 실행을 목표로 하며, MI300A는 일반 HPC 및 AI 워크로드에 중점을 둔다.

AMD CEO 리사 수는 MI300X의 장점을 경쟁 제품과 비교하며 강조했다. 수에 따르면, MI300X은 음료수 컵받침 정도의 크기로, 프로세서 기준으로 보면 엄청난 크기이며, 192GB의 HBM3 고대역폭 메모리(엔비디아 H100 카드의 2.4배 용량)를 탑재하고 있다. 메모리 대역폭은 5.3TB/s로, H100의 3.3TB/s보다 60% 더 크다. 또한 전력 소모량도 750W로 H100의 700W보다 더 높다.

또한 수는 HPC 성능 측면에서, AMD는 MI300X가 FP32 배정밀도 행렬 연산에서 최대 163.4 테라플롭스, FP64 벡터 연산에서 81.7 테라플롭스를 기록할 수 있으며, 이는 모두 H100보다 2.4배 빠르다고 밝혔다.

FP32라고도 하는 단정밀도 부동 소수점 연산의 경우 MI300X는 행렬 및 벡터 연산 모두에서 163.4 테라플롭스를 기록할 수 있다. 이 칩의 벡터 성능은 H100보다 2.4배 더 뛰어나다고 AMD는 표현했다. 

AMD MI300A APU
AMD는 인스팅트 MI300A를 “세계 최초의 HPC 및 AI용 데이터 센터 APU”라고 소개했다. APU는 CPU 코어와 GPU 코어를 동일한 다이에 결합한 단일 칩을 일컫는 용어다. AMD는 2008년부터 이러한 유형의 제품을 PC용 데스크톱 프로세서로 제공해 왔지만, 서버용 제품은 이번이 처음이다.

MI300A는 AMD의 EPYC 서버 프로세서와 동일한 Zen 4 코어를 사용한다. 이 코어는 최신 GPU 아키텍처에 기반한 GPU 코어와 결합되어 128GB의 HBM3 메모리를 공유했다. 이 칩의 메모리 대역폭은 5.3TB/s로 MI300X와 동일하지만, 로우엔드에서 소비하는 전력은 550W로 MI300X보다 훨씬 적다.

FP32의 경우, MI300A는 행렬 및 벡터 연산 모두에서 122.6테라플롭스를 달성할 수 있으며, 이는 MI300X보다 약간 낮은 수치다.

MI300A의 GPU 성능은 MI300X보다 약간 떨어지지만 전력 효율성이 이를 만회한다. AMD 데이터 센터 솔루션 사업부 부사장 겸 총괄 매니저인 포레스트 노로드는 “MI300A는 경쟁 제품보다 와트당 HPC 성능이 두 배나 높다. 따라서 고객은 전체 시설 전력 예산에 더 많은 노드를 맞출 수 있고, 지속 가능성 목표를 더 잘 지원할 수 있다”라고 설명했다. 

노로드는 “두 번째 장점은 CPU와 GPU 간의 전력 관리를 최적화할 수 있다는 점이다. 즉, 워크로드의 필요에 따라 한 프로세서에서 다른 프로세서로 전력을 동적으로 전환하여 애플리케이션 성능을 최적화할 수 있다”라고 설명했다. 

AMD 인스팅트 MI300X가 탑재된 델 파워엣지 XE9680
주류 OEM이 인스팅트를 채택하겠다고 밝혔지만 현재 제품을 출시하는 곳은 델뿐이다. 델은 MI300X를 사용하는 새로운 파워엣지 서버를 특징으로 하는 생성형 AI 솔루션 포트폴리오를 확장한다고 발표했다.

AMD에 따르면, 인스팅트 MI300X가 탑재된 파워엣지 XE9680은 맞춤형 LLM 작업을 원하는 기업을 위한 고성능 기능을 제공한다. 이 서버에는 8개의 MI300X GPU, GPU당 192GB의 5.3TB/s 고대역폭 메모리(HBM3)가 탑재되어 있어 서버당 총 1.5TB의 일관된 HBM3 용량과 21페타플롭스 이상의 FP16 성능을 제공한다.

새로운 서버와 함께 델은 생성형 AI를 보다 쉽게 구축할 수 있도록 지원하는 ‘델 생성형 AI 솔루션’도 발표했다. 내년에 출시될 AMD AI 프레임워크가 탑재된 일명 ‘생성형 AI를 위한 델과 AMD의 검증 설계(Dell Validated Design for Generative AI with AMD)’를 중심으로 델의 생성형 AI 솔루션 생태계를 확장하겠다는 것이다. 여기에 오픈 소스 LLM도 포함될 예정이다.

마이크로소프트, 메타, 오라클과 협력하는 AMD
AMD는 OEM 기업 외에 빅테크와의 협력도 늘릴 계획이다. 일단 마이크로소프트는 AI 워크로드에 최적화된 새로운 애저 ND MI300x v5 가상 머신(VM) 시리즈를 구동하기 위해 AMD 인스팅트 MI300X 가속기를 도입하겠다고 밝혔다. 

메타는 AI 추론 워크로드를 구동하기 위해 자사의 데이터 센터에 ROCm 6과 함께 AMD 인스팅트 MI300X 가속기를 추가하고 있으며, AMD가 라마2 모델 제품군에서 수행한 ROCm 6 최적화를 설명했다.

오라클은 AMD 인스팅트 MI300X 가속기를 탑재한 OCI 베어 메탈 컴퓨팅 솔루션을 제공하겠다는 계획과 함께 곧 출시될 생성형 AI 서비스에 AMD 인스팅트 MI300X 가속기를 지원하겠다고 밝혔다. 
ciokr@idg.co.kr