Offcanvas

AI

오라클, 엔비디아와 전세계 ‘소버린 AI’ 제공 위한 협력 발표

2024.03.20 편집부  |  CIO KR
오라클이 엔비디아와 협력 관계를 한층 확장, 전 세계 고객들을 대상으로 소버린(sovereign) AI 솔루션을 제공하는 내용의 계획을 발표했다. 이번 협력을 통해 오라클의 분산형 클라우드와 AI 인프라스트럭처, 생성형 AI 서비스는 엔비디아의 가속 컴퓨팅 및 생성형 AI 소프트웨어와 결합해 각국 정부 및 기업의 AI 팩토리(AI factories) 배포를 지원한다.

양사의 AI 팩토리는 광범위한 운영 통제 기능을 통해 클라우드 서비스를 국가 또는 기업 조직의 안전한 자체 지역 내 로컬 환경에서 운영하고, 이를 통해 경제 성장을 촉진하고 다각화하기 위한 주권 목표를 지원한다.
 

OCI 전용 리전(OCI Dedicated Region)과 오라클 알로이(Oracle Alloy), 오라클 EU 소버린 클라우드(Oracle EU Sovereign Cloud), 오라클 정부 클라우드(Oracle Government Cloud) 등에 배포 가능한 오라클의 기업용 AI 서비스는 엔비디아의 풀스택 AI 플랫폼과 결합돼 데이터의 운영과 위치 및 보안에 대한 제어력을 강화해 고객의 디지털 주권을 지원하는 AI 솔루션을 제공한다.

양사의 통합 오퍼링은 유연한 운영 통제 기능을 바탕으로 퍼블릭 클라우드를 통하거나 특정한 위치의 고객사 데이터센터에 직접 배포할 수 있다. 오라클은 고객이 원하는 모든 장소에서 로컬 방식으로 AI 서비스 및 자사의 완전한 클라우드 서비스를 제공할 수 있는 유일한 하이퍼스케일러라고 업체 측은 설명했다. OCI는 배포 유형과 관계없이 동일한 서비스 및 가격 정책을 일관되게 제공해 클라우드 서비스 이용을 보다 간단하게 계획하고 이전 및 관리할 수 있도록 한다.

오라클의 클라우드 서비스는 엔비디아 가속 컴퓨팅 인프라와 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise) 소프트웨어 플랫폼 등 다양한 엔비디아 스택을 활용하고 있다. 엔비디아 텐서RT(NVIDIA TensorRT), 엔비디아 텐서RT-LLM(NVIDIA TensorRT-LLM), 엔비디아 트리톤 추론 서버(NVIDIA Triton Inference Server) 등 엔비디아 추론 소프트웨어를 기반으로 구축돼 최근 발표된 엔비디아 NIM 추론 마이크로서비스(NVIDIA NIM inference microservices)도 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼에 포함된다.

오라클은 이번 GTC에서 발표된 최신 엔비디아 그레이스 블랙웰(NVIDIA Grace Blackwell) 컴퓨팅 플랫폼을 자사의 OCI 슈퍼클러스터 및 OCI 컴퓨트 서비스 전반에 도입함으로써 지속적으로 증가하는 고객의 AI 모델에 대한 요구사항에 대응해 나갈 계획이다. OCI 슈퍼클러스터는 새로운 OCI 컴퓨트 베어 메탈 인스턴스와 초저지연(ultra-low-latency) RDMA 네트워킹, 고성능 스토리지를 통해 훨씬 더 빠른 속도를 제공할 전망이다. OCI 컴퓨트에는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩(NVIDIA GB200 Grace Blackwell Superchip)과 엔비디아 블랙웰 B200 텐서 코어 GPU(NVIDIA Blackwell B200 Tensor Core GPU)가 모두 탑재된다.

전 세대 GPU 대비 최대 30배 빠른 실시간 대규모 언어 모델(LLM) 추론, 25배 낮은 TCO, 25배 적은 에너지 소모량 등을 제공하는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩은 AI 학습, 데이터 처리, 엔지니어링 설계 및 시뮬레이션 등의 작업 성능을 대폭 강화해 준다. 엔비디아 블랙웰 B200 텐서 코어 GPU는 가장 높은 성능이 요구되는 AI, 데이터 분석, 고성능 컴퓨팅(HPC) 워크로드를 처리하기 위해 설계됐다.

또한 검색 증강 생성(RAG) 추론 배포를 위한 엔비디아 네모 리트리버(NVIDIA NeMo Retriever)를 비롯한 엔비디아 NIM 및 쿠다-X(CUDA-X) 마이크로서비스는 OCI 고객이 자체 데이터를 사용해 생성형 AI 코파일럿 및 기타 생산성 도구에 더 많은 인사이트를 제공하는 동시에, 해당 도구들의 정확성을 향상시키는 작업에도 도움이 될 것으로 보인다.

점점 더 복잡해지는 AI 모델에 대한 고객의 수요 증가에 부응하기 위해 오라클과 엔비디아는 OCI 상에서 구동되는 엔비디아 DGX 클라우드 서비스에 엔비디아 그레이스 블랙웰 슈퍼칩을 추가할 예정이다. 고객들은 LLM의 매개변수가 조 단위에 달하게 된 현 시점에 보다 에너지 효율적인 학습 및 추론을 지원하기 위해 양사가 함께 설계한 슈퍼컴퓨팅 서비스인 엔비디아 DGX 클라우드를 통해 새로운 GB200 NVL72 기반 인스턴스에 액세스할 수 있다.

DGX 클라우드 클러스터의 전체 구성에는 2만개 이상의 GB200 가속기와 엔비디아 CX8 인피니밴드(NVIDIA CX8 InfiniBand) 네트워킹이 포함돼 탁월한 확장성 및 성능을 갖춘 클라우드 인프라를 제공할 예정이다. 해당 클러스터는 5세대 NV링크(NVLink)가 탑재된 72개의 블랙웰 GPU NVL 72와 36개 그레이스 CPU로 구성된다.

오라클의 사프라 카츠 CEO는 “오라클은 엔비디아와의 지속적인 협력 관계와 클라우드 리전을 로컬 차원에서 신속히 배포할 수 있는 독보적인 역량을 통해 전 세계에서 보안에 대한 타협과 우려 없이 AI를 활용할 수 있도록 보장할 것”이라고 말했다.

엔비디아의 젠슨 황 설립자 겸 CEO는 “엔비디아의 가속 컴퓨팅 및 생성형 AI 서비스와 결합된 오라클의 통합 클라우드 애플리케이션 및 인프라 서비스는 각 국가 및 지역이 데이터 주권을 바탕으로 스스로 미래를 직접 설계할 수 있는 유연성과 보안을 제공한다”라고 밝혔다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.