Offcanvas

AI / 개발자 / 머신러닝|딥러닝 / 서버 / 클라우드

오라클, 클라우드 서비스에 ‘엔비디아 H100 텐서 코어 GPU’ 지원

2023.09.25 Paul Krill  |  InfoWorld
오라클이 자사 클라우드 서비스에 엔비디아 H100 GPU가 탑재된 베어메탈 인스턴스를 지원한다. 생성형AI 수요를 대응하기 위한 전략이다. H100와 별개로 올해 말에는 엔비디아 L40S GPU도 출시한다는 계획도 공개했다.
 
ⓒ 오라클

오라클이 생성형 AI 애플리케이션 및 대규모 언어 모델(Large Language Model, LLM)에 대한 수요에 대응하기 위해  ‘오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure, OCI) 컴퓨트(Compute) 인스턴스에서 엔비디아 H100 텐서 코어 GPU를 지원하겠다고 밝혔다. H100 외에도 엔비디아 L40S GPU도 OCI에서 출시될 예정이다.

앞으로 OCI 컴퓨트는 엔비디아 H100 GPU로 구동되는 베어 메탈 인스턴스를 제공한다. 해당 베어메탈 인스턴스는 AI를 위한 엔비디아 호퍼 아키텍처를 기반으로 하기 때문에 높은 성능이 필요한 AI 및 고성능 컴퓨팅 애플리케이션 개발에 유용하다. 엔비디아 H100 자체가 LLM 모델 트레이닝을 비롯한 리소스 집약적인 컴퓨팅 작업을 위한 GPU다. 

오라클은 “엔비디아 H100 GPU를 사용하는 조직은 엔비디아 A100 텐서 코어 GPU를 사용하는 조직에 비해 AI 추론 성능이 최대 30배 향상되고 AI 트레이닝이 4배 향상된다”라고 설명했다. BM.GPU H100.8 OCI 컴퓨트에는 각각 80GB의 HBM2 GPU 메모리를 갖춘 8개의 엔비디아 H100 GPU가 포함된다. 

엔비디아 L40S GPU를 지원하는 OCI 컴퓨트 베어메탈 인스턴스는 올해 말 프리뷰 형태로 공개되고, 2024년에 공식 버전이 출시될 예정이다. 엔비디아 L40S GPU는 그래픽, AI, 게임을 위한 엔비디아 에이다 러브레이스 아키텍처를 기반으로 만들어졌다. 또한 데이터센터를 위한 범용 GPU로 적합해 LLM 추론 및 트레이닝, 비주얼 컴퓨팅 및 비디오 애플리케이션을 위한 멀티 워크로드를 지원한다. 
ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.