Offcanvas
챗GPT를 하루 운영하는 데 필요한 컴퓨팅 하드웨어 비용
70만
달러
자료 제목 :
LLM 모델을 이용한 검색 서비스 운영 비용 추정
The Inference Cost Of Search Disruption – Large Language Model Cost Analysis
자료 출처 :
Semianalysis
원본자료 다운로드
발행 날짜 :
2023년 02월 09일

AI / 서버 / 신기술|미래

GPU 비용 부담 완화책?··· “마이크로소프트 AI 연구 전용 칩 개발 중” 더인포메이션

2023.04.19 이지현  |  CIO KR
마이크로소프트가 AI 개발용 칩을 개발하고 있다고 IT 전문미디어 더인포메이션이 18일 보도했다. 
 
ⓒ Getty Images Bank / 마이크로소프트 로고

마이크로소프트는 2019년부터 아테나(Athena)라는 프로젝트명으로 자체 칩 개발을 진행하고 있으며, 이와 관련된 업무를 맡은 직원은 약 300명인 것으로 알려져 있다. 더인포메이션은 아테나 프로젝트에 관여하고 있는 익명의 취재원의 말을 빌려 마이크로소프트와 오픈AI 직원이 마이크로소프트의 새 칩에 GPT-4 같은 대형 언어 모델이 잘 작동하고 있는지 테스트하고 있다고 설명했다. 동시에 마이크로소프트는 자체 칩 공급 역량을 길러 타사 칩 구매에 드는 시간과 비용을 절약할 수 있기를 기대하고 있다고 덧붙였다. 

현재 AI 연구에 쓰는 칩 상당수가 엔비디아의 제품이며, 이를 대체할 제품은 찾기 어려운 상황이다. IT전문 컨설팅 기업 트렌드포스(Trendforce) 추정에 따르면 2020년에 GPT 모델이 훈련 데이터를 처리하는 데 필요한 GPU 수는 약 2만 개였으며, 향후 챗GPT 같은 GPT 모델을 상용화하는 데 필요한 GPU 개수는 (엔비디아 A100 제품 기준) 최소 3만 개다. 

분석 업체인 세미애널리시스(Semianalysis)는 챗GPT 운영 과정에서 드는 컴퓨팅 하드웨어 비용은 하루에 약 70만 달러(약 9억 원)이며 쿼리값 하나를 처리하는데 0.36센트가 필요할 것이라고 추측했다. 딜런 파텔 세미애널리시스 최고 애널리스트는 “챗GPT 운영 비용의 대부분은 값비싼 서버를 기반으로 하며 아테나가 좋은 성과를 낸다면 엔비디아 제품과 비교했을 때 칩당 비용을 3분 1 까지 줄일 수 있을 것”이라고 밝혔다. 

자체 칩 개발에 투자하는 기업은 마이크로소프트뿐만 아니다. AI 연구에 GPU가 점점 더 중요해지자 구글, 메타 아마존 등도 자체적인 칩 개발에 뛰어들고 있다. 마이크로소프트의 경우 엔비디아와 지난 11월 파트너십을 맺어 AI 슈퍼컴퓨터를 같이 개발하겠다고 밝히기도 했다

더인포메이션와 인터뷰한 익명의 소식통은 “아테나 프로젝트는 엔비디아와 관계에서 민감한 문제가 될 수 있지만, 마이크로소프트는 자체 칩이 엔비디아 칩을 모두 대체할 것이라고 보고 있지 않다”라며 “아테나 기술 개발이 성공적으로 이뤄진 경우, 향후 엔비디아와의 협상에서 유리할 수 있을 것”이라고 예측했다. 

마이크로소프트와 엔비디아는 이번 사항에 대한 구체적인 입장을 밝히지 않았다. 
jihyun_lee@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.