5일 전

엔비디아, 클라우드부터 엣지까지 대화형 AI 구축 지원하는 ‘텐서RT 8’ 출시

편집부 | CIO KR
엔비디아가 8세대 AI 소프트웨어 ‘텐서RT(TensorRT) 8’을 출시했다.

텐서RT 8은 언어 쿼리에 대한 추론 시간을 절반으로 줄여 개발자들이 고성능 검색 엔진, 광고 추천 플랫폼, 챗봇을 개발하도록 돕고, 이를 클라우드부터 엣지에서 제공하도록 지원한다고 업체 측은 설명했다.

회사에 따르면 텐서RT 8의 최적화 기능은 언어 애플리케이션을 위한 기록적인 속도를 제공해, 전세계적으로 가장 널리 사용되는 트랜스포머 기반 모델 중 하나인 BERT-라지(BERT-Large) 모델의 추론을 1.2밀리세컨드(ms) 만에 완료한다.

과거에는 기업들이 모델 크기를 줄이게 되면 결과의 정확성이 크게 떨어졌다. 텐서RT 8을 통해 이제 기업들은 모델 크기는 두 배 또는 세 배로 늘리면서 정확도를 상당히 개선할 수 있게 됐다고 회사 측은 전했다.

엔비디아 개발자 프로그램 담당 그레그 에스테스 부사장은 “AI 모델은 기하급수적으로 점점 더 복잡해지고 있으며, AI를 사용하는 실시간 애플리케이션에 대한 수요는 전 세계적으로 급증하고 있다”라며, “최신 버전의 텐서RT는 기업들이 그들 고객에게 이전에는 불가능했던 수준의 품질과 응답성을 갖춘 대화형 AI 애플리케이션을 제공하도록 돕는 새로운 기능을 지원한다”라고 말했다. 

지난 5년 간 헬스케어, 자동차, 금융, 소매를 포함한 다양한 분야에 걸친 2만 7,500여 기업의 35만 이상의 개발자가 텐서RT를 250만 번 가까이 다운로드했다고 업체 측은 밝혔다. 텐서RT 애플리케이션은 하이퍼스케일 데이터센터, 임베디드 혹은 오토모티브 제품 플랫폼에서 활용할 수 있다.

텐서RT 8은 트랜스포머 최적화 외에도 두 가지 주요 기능을 통해 AI 추론에 대한 혁신을 구현한다. 희소성(Sparsity)은 효율성을 높이는 엔비디아 암페어(Ampere) 아키텍처 GPU의 새로운 성능 기술로, 개발자가 컴퓨팅 작업을 줄여 신경망을 가속화할 수 있도록 지원한다.

또한 양자화 인식(quantization aware) 훈련 기능을 통해 개발자는 훈련된 모델을 사용해 정확도를 유지하면서 INT8 정밀도로 추론을 실행할 수 있는데, 이는 텐서 코어 상의 효율적인 추론을 위해 컴퓨팅 및 스토리지 오버헤드를 크게 줄여준다.

텐서RT 8은 현재 이용 가능하며, 엔비디아 개발자 프로그램(NVIDIA Developer program) 회원에게 무료로 제공된다. 최신 버전의 플러그인, 파서, 샘플도 텐서RT 깃허브(GitHub) 레파지토리(repository)에서 오픈소스로 이용할 수 있다. ciokr@idg.co.kr



5일 전

엔비디아, 클라우드부터 엣지까지 대화형 AI 구축 지원하는 ‘텐서RT 8’ 출시

편집부 | CIO KR
엔비디아가 8세대 AI 소프트웨어 ‘텐서RT(TensorRT) 8’을 출시했다.

텐서RT 8은 언어 쿼리에 대한 추론 시간을 절반으로 줄여 개발자들이 고성능 검색 엔진, 광고 추천 플랫폼, 챗봇을 개발하도록 돕고, 이를 클라우드부터 엣지에서 제공하도록 지원한다고 업체 측은 설명했다.

회사에 따르면 텐서RT 8의 최적화 기능은 언어 애플리케이션을 위한 기록적인 속도를 제공해, 전세계적으로 가장 널리 사용되는 트랜스포머 기반 모델 중 하나인 BERT-라지(BERT-Large) 모델의 추론을 1.2밀리세컨드(ms) 만에 완료한다.

과거에는 기업들이 모델 크기를 줄이게 되면 결과의 정확성이 크게 떨어졌다. 텐서RT 8을 통해 이제 기업들은 모델 크기는 두 배 또는 세 배로 늘리면서 정확도를 상당히 개선할 수 있게 됐다고 회사 측은 전했다.

엔비디아 개발자 프로그램 담당 그레그 에스테스 부사장은 “AI 모델은 기하급수적으로 점점 더 복잡해지고 있으며, AI를 사용하는 실시간 애플리케이션에 대한 수요는 전 세계적으로 급증하고 있다”라며, “최신 버전의 텐서RT는 기업들이 그들 고객에게 이전에는 불가능했던 수준의 품질과 응답성을 갖춘 대화형 AI 애플리케이션을 제공하도록 돕는 새로운 기능을 지원한다”라고 말했다. 

지난 5년 간 헬스케어, 자동차, 금융, 소매를 포함한 다양한 분야에 걸친 2만 7,500여 기업의 35만 이상의 개발자가 텐서RT를 250만 번 가까이 다운로드했다고 업체 측은 밝혔다. 텐서RT 애플리케이션은 하이퍼스케일 데이터센터, 임베디드 혹은 오토모티브 제품 플랫폼에서 활용할 수 있다.

텐서RT 8은 트랜스포머 최적화 외에도 두 가지 주요 기능을 통해 AI 추론에 대한 혁신을 구현한다. 희소성(Sparsity)은 효율성을 높이는 엔비디아 암페어(Ampere) 아키텍처 GPU의 새로운 성능 기술로, 개발자가 컴퓨팅 작업을 줄여 신경망을 가속화할 수 있도록 지원한다.

또한 양자화 인식(quantization aware) 훈련 기능을 통해 개발자는 훈련된 모델을 사용해 정확도를 유지하면서 INT8 정밀도로 추론을 실행할 수 있는데, 이는 텐서 코어 상의 효율적인 추론을 위해 컴퓨팅 및 스토리지 오버헤드를 크게 줄여준다.

텐서RT 8은 현재 이용 가능하며, 엔비디아 개발자 프로그램(NVIDIA Developer program) 회원에게 무료로 제공된다. 최신 버전의 플러그인, 파서, 샘플도 텐서RT 깃허브(GitHub) 레파지토리(repository)에서 오픈소스로 이용할 수 있다. ciokr@idg.co.kr

X