Offcanvas

AI / 머신러닝|딥러닝 / 서버

“10배 빠르고 에너지 소비는 절반”··· 구글 TPU v4 탑재한 AI용 슈퍼컴 성능 소개

2023.04.06 Jon Gold  |  CIO KR
신형 텐서 칩에 기반한 신형 AI 슈퍼컴퓨터의 성능과 에너지 효율성이 광 회로 스위칭 기술과 아키텍처 덕분에 기록적인 수준이라고 구글이 강조했다.

회사는 새 백서를 통해 신형 TPU v4 모델에 기반한 머신러닝 훈련용 슈퍼컴퓨터가 범용 프로세서 시스템과 비교해 향상된 성능과 우수한 에너지 효율성을 제공한다고 전했다. 구글의 AI 슈퍼컴퓨팅 시스템의 기본 구성 요소인 텐서 프로세싱 유닛(TPU)는 본질적으로 ASIC이다. AI 교육 시스템에서 사용되는 범용 CPU 및 GPU와 달리 AI 기능이 하드웨어 수준에 포함돼 있다. 

백서는 광학 회로 전환을 통해 4,000개 이상의 TPU를 연결함으로써 이전 모델보다 10배에 이르는 빠른 속도를 달성하면서 에너지 소비량을 절반 이하로 줄일 수 있었는 지에 대해 상세히 소개하고 있다. 

AI 성능과 가격 측면의 이정표 기대
구글의 설명에 따르면 핵심은 광학 회로 스위칭(구글이 자체 설계한 스위치에 의해 수행됨)이 시스템의 상호 연결 토폴로지를 동적으로 변경하는 방식에 있다. 다른 HPC 영역에서 일반적으로 사용되는 인피니밴드(Infiniband) 등과 비교할 때 더 저렴하고 빠르며 에너지 효율성을 구현한다고 백서는 설명했다. 

백서는 “TPU v4의 두 가지 아키텍처 관련 기능이 비용을 낮추면서도 장점을 극대화한다”라며, “스파스코어(SparseCore, 데이터 흐름 프로세서)가 (딥러닝) 모델의 임베딩을 5배에서 7배까지 가속화할 수 있다. TPU v4 슈퍼컴퓨터의 128TiB 물리적 메모리 어디에나 배치할 수 있는 데이터 흐름 코어 아키텍처를 제공해서다”라고 기술했다. 

IDC의 피터 루튼 리서치 부사장은 이와 같은 개선이 대부분 하드웨어 특성으로 인해 나타난다고 말했다. 그는 “ASIC은 매우 성능이 뛰어나고 에너지 효율적이다. 네트워크 토폴로지를 동적으로 구성할 수 있는 광 회로 스위치에 연결하면 매우 빠른 시스템을 구현할 수 있다”라고 말했다.

그는 이어 백서의 시스템이 현재는 구글 내부 용도로만 활용되지만, 향후 머신러닝 분야에 확산될 가능성을 지닌다고 덧붙였다. 그는 “일종의 모범 사례를 제공한다는 점에서 의미가 있다. GPU의 대안일 수 있다는 점에서 눈길을 끌기에 충분하다”라고 말했다. 

루튼은 그러나 TPU v4의 성능을 엔비디아 A100 GPU와 비교한 구글의 논리를 일부 지적했다. 엔비디아가 이미 더 빠른 H100 프로세서를 출시했다는 것이다. 그는 “구글이 이전 세대의 GPU와 비교한 셈이다. 하지만 이 또한 그리 중요한 사항은 아니다. 구글이 내부 AI 모델 개발에 사용하기 때문이다”라고 말했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.