Offcanvas

AI / ESG|CSR|CSM

AI가 화력발전소 3개 전력 소비··· "생성형 AI 발전할수록 전력 소비량 증가 심화"

2023.08.07 Jürgen Hill  |  COMPUTERWOCHE
생성형 AI를 사용하는 데 엄청난 양의 전력이 필요하다는 것은 잘 알려져 있다. 하지만 정확히 얼마만큼의 전력을 사용할까? 미국 데이터센터 운영업체 TRG 데이터센터가 구글의 월평균 검색 쿼리를 기준으로 가장 인기 있는 7가지 AI 프로그램의 전력 사용량을 분석했다.
 
ⓒ Getty Images Bank

TRG의 분석에 따르면, 챗GPT가 약 1,600만 건의 검색 횟수를 기록하며 가장 인기 있는 AI 봇으로 선정됐고, 빙 AI(670만)와 AI 카피라이터 재스퍼(Jasper, 35만)가 그 뒤를 이었다. 구글 바드는 월 약 20만 건으로 4위를 차지했으며, 챗소닉(Chatsonic, 16만 건), 소크라틱(Socratic(11만 건), 유챗(YouChat, 2만 건)이 뒤를 이었다.

AI 모델의 월별 에너지 소비량과 각 AI 모델의 학습 프로세스와 관련된 에너지 소비량을 계산하기 위해 TRG 데이터센터는 모델 아키텍처, 하드웨어 사양, 학습 단계, 추론 단계 및 성능 효율을 고려했다.

이 계산에 따르면 마이크로소프트 빙 검색의 AI가 가장 많은 7,200MWh의 전력을 소비하는 것으로 나타났다. 이런 전력 소비를 감당하려면, 석탄화력발전소 2개가 필요할 정도이다. 연료에 따라 다르지만, 이 정도 규모의 화력발전소는 연간 1,867만~2,208만 톤의 이산화탄소를 배출한다.

TRG가 전력 소비량 계산에 사용한 가정은 다음과 같다.
 
  • 마이크로소프 빙은 오픈AI GPT-4를 사용한다. LLM은 GPT-3와 동일한 아키텍처이지만, 100조 개의 매개변수를 사용해 GPT-3보다 5.8배 더 많다.
  • GPT-4의 매개변수가 5.8배 더 많으면 계산하는 데 GPT-3보다 5.8배 더 많은 성능이 소요되므로, GPT-3에 필요한 성능에 5.8을 곱했다. 계산은 5.8×3,640페타플롭/일, 즉 총 2만 1,000페타플롭/일이 된다.
  • 오픈AI가 슈퍼컴퓨터에서 0.014페타플롭/s의 동일한 엔비디아 GPU V100을 사용하는 경우, 학습을 완료하는 데 약 150일이 소요된다.
  • GPT-4의 훈련 시간은 약 5~6개월이 소요된다.
  • V100 GPU의 전력 소비는 약 250와트로 가정했다.
  • 1만 대의 V100 GPU를 150일 동안 최대 전력으로 실행하면 7,200MWh의 에너지가 소비된다.

챗GPT 또는 GPT-3의 경우, TRG는 1만 대의 엔비디아 V100 GPU가 장착된 슈퍼컴퓨터로 계산했다. 매개변수 수가 적기 때문에 훈련 시간은 26일이었으며, 1,248MWh의 전력을 소비한다.
 
ⓒ Computerwoche

구글 바드의 전력 소비는 312MWh로 현저하게 낮은데, 이유는 다음과 같다.
 
  • 구글 바드는 구글의 자체 TPUv4 칩을 사용한다. 이 칩은 엔비디아 V100보다 약 2배 빠르면서 전력 소비량은 절반에 불과하다.
  • 바드는 1,370억 개의 매개 변수를 가지고 있으며, 이는 GPT-3와 거의 같다.
  • GPT-3가 훈련을 위한 계산을 완료하는 데 26일이 걸렸다면, TPUv4는 13일이 소요된다.
  • 구글 바드의 전력 소비량은 312MWh이다.

구글의 소크라틱은 AI 챗봇 중에서 전력 소비를 줄이는 대표적인 사례이다. 교육 분야를 겨냥한 이 챗봇은 50~300MWh를 소비하는 것으로 알려져 있다. 소크라테스는 자체 자연어 모델을 사용하는데, 전력 소비 측면에서는 가장 효율적이지만, 기능 측면에서는 제한적이라는 평가를 받고 있다.

유챗과 재스퍼의 전력 소비량을 계산할 때는 각각 ChatGPT-3과 3.5를 사용한다는 사실을 고려했다. 반면, 라이트소닉의 챗소닉은 GPT-4를 기본 기술로 사용한다. 

현재 전 세계적으로 수십만 개의 AI 챗봇이 사용되고 있으며, 사용 가능한 챗봇의 수는 앞으로도 계속 늘어날 것이다. 채팅 어시스턴트가 탑재된 디바이스의 수가 곧 전 세계적으로 80억 대에 이를 것이란 전망도 있다. 그리고 이런 AI의 확대는 전 세계 전력 소비와 CO2 배출량에 상당한 영향을 미칠 것으로 보인다.
editor@itworld.co.kr
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.