오픈 AI와 마이크로소프트가 자체 칩을 만들려는 이유

생성형 AI에 대한 수요가 증가함에 따라 마이크로소프트와 구글, AWS와 같은 클라우드 서비스 업체와 오픈AI와 같은 LLM 업체 모두 AI 워크로드를 위한 자체 칩 개발을 추진하고 있다.
 

특히 오픈AI와 마이크로소프트 같은 일부 업체는 칩 부족으로 생성형 AI 워크로드를 처리하기 위한 자체 맞춤형 칩을 개발하고자 한다는 추측성 보도가 한동안 여러 매체의 헤드라인을 장식했다. 오픈AI는 칩 설계 전문 업체를 인수할 것이라는 소문이 돌고 있으며, 마이크로소프트는 코드명 아테나(Athena)라는 맞춤형 칩을 생산하기 위해 AMD와 협력하고 있는 것으로 알려졌다.

구글과 AWS는 이미 텐서 프로세싱 유닛(TPU), 트레이니움 및 인페렌시아 칩 등 AI 워크로드를 위한 자체 칩을 개발했다.

이들 기업이 자체 칩 개발에 나선 진짜 이유는 무엇일까? 업계 전문가들에 따르면, 원인은 생성형 AI 쿼리를 처리하는 비용과 현재 사용할 수 있는 칩, 그리고 GPU의 효율성에 있다. 현재 AI 칩 시장을 장악하고 있는 것은 엔비디아의 A100 및 H100 GPU이다. 

IDC의 리서치 매니저인 니나 터너는 "GPU는 생성형 AI 워크로드에 가장 효율적인 프로세서가 아니며, 맞춤형 칩이 GPU의 한계를 극복하는 데 도움이 될 수 있다"라고 말했다. 테크인사이트의 부회장인 댄 허치슨은 GPU는 범용 디바이스인데, 우연히 AI의 필수 연산에 매우 효율적인 것일 뿐이라고 지적했다. 허치슨은 "GPU는 운영 비용이 매우 비싸다. 이들 업체는 비용 문제를 해결하기 위해 워크로드에 최적화된 프로세서 아키텍처를 찾고 있다고 본다”고 덧붙였다.

터너에 따르면 맞춤형 실리콘을 사용하면 마이크로소프트나 오픈AI는 전력 소비를 줄이고 컴퓨팅 상호 연결이나 메모리 액세스를 개선해 쿼리 비용을 낮출 수 있다. 세미애널리시스(SemiAnalysis)의 보고서에 따르면, 오픈AI는 하루에 약 69만 4,444달러, 즉 쿼리당 36센트를 챗GPT를 운영하는 데 지출하고 있다.

터너는 "AI 워크로드를 GPU만 처리할 수 있는 것은 아니다"라고 지적했다. GPU가 병렬 처리에 적합하긴 하지만, 이러한 AI 기반 작업에 더 적합한 다른 아키텍처와 가속기가 있다는 설명이다. 또한 맞춤형 실리콘은 칩에 대한 액세스를 제어하고 쿼리 속도를 개선하기 위해 특별히 LLM을 위한 요소를 설계할 수 있다.
 

쉽지 않은 자체 AI 칩 개발

일부 애널리스트는 맞춤형 실리콘을 설계하려는 움직임을 애플의 자체 칩 생산 전략에 비유하기도 한다. 포레스터의 리서치 디렉터인 글렌 오도넬은 애플이 자사 디바이스의 성능을 개선하기 위해 범용 프로세서에서 맞춤형 실리콘으로 전환한 것처럼, 생성형 AI 서비스 업체도 칩 아키텍처를 전문화하려는 것으로 보고 있다. 

오도넬은 "현재 엔비디아의 GPU가 큰 인기를 끌고 있지만, 이 역시 범용 디바이스이다. 정말 놀라운 성능을 내고 싶다면 이미지 처리나 전문화된 생성형 AI 같은 특정 기능에 최적화된 칩이 필요하다”며, 맞춤형 칩이 해답이 될 수 있다고 덧붙였다.

그러나 전문가들은 맞춤형 칩을 개발하는 것이 어떤 업체에도 쉬운 일이 아니라고 지적한다. 가트너의 애널리스트 가우라브 굽타는 "높은 투자, 긴 설계 및 개발 수명주기, 복잡한 공급망 문제, 인재 부족, 투자를 정당화할 수 있는 충분한 물량, 전체 프로세스에 대한 이해 부족 등 여러 가지 문제가 맞춤형 칩 개발에 걸림돌이 되고 있다"고 설명했다. 

오도넬은 이제 막 개발에 착수한 업체라면 최소 2년에서 2년 반이 걸릴 수 있다며, 칩 설계 인력 부족이 지연의 주요 요인이라고 덧붙였다.

오도넬의 지적은 대형 IT 업체가 자체 맞춤형 칩을 개발하기 위해 스타트업을 인수하거나 해당 분야의 전문성을 갖춘 업체와 파트너십을 맺은 사례가 뒷받침한다. AWS는 2015년에 이스라엘의 스타트업 안나푸르나 랩(Annapurna Labs)를 인수했으며, 구글은 브로드컴과 협력 관계를 맺었다.
 

칩 공급부족보다 더 큰 문제

오픈AI는 AI 워크로드를 지원하는 맞춤형 칩을 만들기 위해 스타트업을 인수할 계획인 것으로 알려졌는데, 전문가들은 오픈AI의 이런 움직임이 칩 부족 때문이라고 보지는 않는다. 그보다는 마이크로소프트가 앱에 AI 기능을 계속 추가하고 자사 생성형 AI 서비스에 고객을 확대하고 있기 때문에 LLM 워크로드를 지원하기 위한 것이라고 본다.

옴디아(Omdia)의 애널리스트 알렉산더 해로웰은 "분명한 점은 아무도 제공하지 않는 요구 사항이 있다는 것이며, AWS나 구글에 종속되지 않으면서도 대형 GPU나 최고급 사파이어 래피즈 CPU보다 구매 비용과 실행 비용이 저렴한 추론 부분이 될 수 있다”고 말했다. 해로웰은 GPT-4가 더 이상 확장될 가능성이 낮으며 오히려 개선이 필요하다는 CEO 샘 알트먼의 발언을 근거로 제시했는데, LLM을 확장하려면 추론보다 더 많은 컴퓨팅 성능이 필요하기 때문이다.

일부 애널리스트는 대형 칩 설계업체를 인수하는 것이 오픈AI에 적합하지 않다는 우려도 제기한다. 칩을 설계하고 생산 준비를 마치는 데 약 1억 달러가 소요되기 때문이다. 

해로웰은 "오픈AI는 시장에서 자금을 조달할 수 있지만, 올해 초 마이크로소프와의 거래로 회사 가치의 절반에 해당하는 옵션을 100억 달러에 매각했다. 특히 이 중 일부는 현금이 아닌 애저 클라우드 크레딧으로 받았다. 현금을 굴리는 회사의 움직임이 아니다”라고 설명했다. 

터너는 AI 액셀러레이터를 보유한 스타트업을 인수하는 방안이 경제적으로 더 바람직하다고 지적했다. 잠재적 인수 대상으로는 그로크(Groq), 에스페란토 테크놀로지스(Esperanto Technologies), 텐스토렌트(Tenstorrent), 뉴리얼리티(Neureality) 등을 거론된다. 해로웰은 오픈AI가 엔비디아 GPU를 버리고 클라우드에서 온프레미스로 전환한다면, 삼바노바(SambaNova)도 가능한 인수 대상이 될 수 있다고 덧붙였다.
editor@itworld.co.kr