Offcanvas

AI / 개발자 / 데이터센터 / 머신러닝|딥러닝 / 애플리케이션

엔비디아, 기업용 생성형 AI 마이크로서비스 공개

2024.03.19 Jon Gold  |  CIO
엔비디아가 개발자의 AI 개발 및 배포를 돕는 마이크로서비스를 엔비디아 AI 엔터프라이즈 5.0에서 새롭게 추가했다.
 
ⓒ 엔비디아

엔비디아는 자체 연례 컨퍼런스인 GTC(GPU Technology Conference)에서 생성형 AI 특화 마이크로서비스를 출시한다고 18일 발표했다.

엔터프라이즈 AI 소프트웨어 플랫폼 5.0에서 이용할 수 있는 마이크로서비스는 빠른 앱 개발 속도와 대규모 앱 배포를 지원한다. 또한 다운로드 가능한 소프트웨어 컨테이너 형식으로 제공된다.

이번에 공개된 주요 마이크로서비스에는 NIM 추론 마이크로서비스와 쿠다-X 마이크로서비스가 있다. NIM 마이크로 서비스는 AI 모델 배포를 표준화하기 위한 트리톤 추론 서버와 대규모 언어 모델을 최적화하고 정의하는 데 도움이 되는 텐서RT-LLM이 포함되어 있어 기업이 C++나 CUDA를 사용하지 않고도 LLM을 쉽게 실험할 수 있다.

또한 NIM 추론 마이크로서비스는 아마존 세이지메이커, 구글 쿠버네티스 엔진, 마이크로소프트 애저 AI를 통해서도 접근할 수 있으며 딥셋, 랭체인, 라마인덱스와 같은 AI 프레임워크와도 통합할 수 있다. 엔비디아는 “NIM 추론 마이크로서비스로 개발자는 배포 시간을 몇 주에서 몇 분으로 단축할 수 있다”라고 설명했다.

쿠다-X 마이크로서비스는 데이터 준비와 모델 훈련에 더 중점을 두고 있으며, 생성형 AI 앱을 숫자 정보, 텍스트, 이미지 등 비즈니스 데이터에 연결할 수 있는 도구를 지원한다. 또한 맞춤형 음성 및 번역 AI에 특화된 엔비디아 리바(Riva), 라우팅 최적화를 위한 엔비디아 cuOpt, 고해상도 기후 및 날씨 시뮬레이션을 위한 엔비디아 어스-2(Earth-2) 등의 쿠다-X 마이크로서비스를 사용할 수 있다.

엔비디아는 “마이크로서비스를 풀스택 컴퓨팅 플랫폼의 새로운 계층으로 모델 개발자와 플랫폼 제공업체 및 기업을 연결하고 클라우드, 데이터센터, 워크스테이션 및 PC에서 맞춤형 AI 모델을 실행할 수 있는 표준화된 경로를 제공한다”라고 밝혔다.

엔비디아는 엔비디아 AI 엔터프라이즈 5.0에 더 많은 통합 기능을 추가할 예정이다. 박스(Box), 클라우데라(Cloudera), 코히시티(Cohesity), 데이터스택스(Datastax) 등에서 호스팅되는 비즈니스 데이터는 AI 엔터프라이즈 5.0 버전을 통해 AI 애플리케이션에서 사용할 수 있다. 엔비디아 기술을 탑재한 하드웨어는 델, HPE, 레노버 등 주요 벤더가 만드는 서버와 PC에서 볼 수 있다.

개발자는 현재 무료로 엔비디아의 AI 엔터프라이즈 5.0을 사용해 볼 수 있다. 엔터프라이즈 라이선스는 GPU당 연간 4,500달러 또는 클라우드에서 시간당 GPU당 1달러에 구매할 수 있다.
ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.