Offcanvas

AI / 비즈니스|경제 / 오픈소스

기고 | ‘AI가 나아가 길’의 모범 사례는 쿠버네티스다

2024.06.11 Scott McCarty  |  InfoWorld
쿠버네티스 오픈소스 프로젝트는 AI 프로젝트를 개발, 관리, 자금 지원 및 지원하는 방법에 대한 모범사례가 될 수 있다.

‘변곡점’은 자주 남용되는 용어다. 그러나 현재의 인공지능에는 확실히 어울리는 용어이기도 하다. AI를 개발함에 있어 기술 제공업체와 이들의 고객 기업들은 두 가지 길 중 하나를 선택할 수 있다. 독점 기술(proprietary) 또는 오픈소스라는 길이다. 

두 경로 모두 나름의 존재 이유를 가진다. 하지만 AI의 위상이 그 어느 때보다 높아진 오늘날, 생산적이고 경제적으로 실현 가능하며 안전한 AI의 제품화와 소비를 위해서 오픈소스에 좀더 주목할 필요가 있다. 특히 쿠버네티스 프로젝트가 바로 AI 프로젝트, 대규모 언어 모델(LLM), 학습 패러다임 등을 개발, 관리, 자금 지원 및 지원하는 방식에 대한 청사진일 수 있다고 필자는 주장한다.

쿠버네티스는 수많은 회사, 비영리 재단, 독립적인 개인 기여자들이 참여한 오픈소스 성공 사례다. 시장의 요구를 효과적으로 충족시킨 컨테이너 오케스트레이션 솔루션이기 때문만은 아니다. 이 맥락에서 더 중요한 것은 쿠버네티스가 기술 개발 역사상 가장 잘 작동하는 커뮤니티로 손꼽히기에 손색이 없다는 점이다.

CNCF 보고서에 따르면 2016년 쿠버네티스가 클라우드 네이티브 컴퓨팅 재단(CNCF)에 합류한 이후 수천 개의 조직과 수만 명의 개인이 이 프로젝트에 기여했다. 영리 기업, 비영리 재단, 대학, 정부, 그리고 독립적인 기여자 등을 망라해서였다.

혁신의 비용 분담
재무와 제품 개발에서는 가치 창출(value creation)과 가치 포착(value captur)이라는 관점에서 바라보는 것이 일반적이다. 일단 쿠버네티스 프로젝트는 그 자체로 시장에서 엄청난 가치를 창출했다. 

나아가 생각해 보면, 쿠버네티스 프로젝트는 프로젝트에 참여한 모든 사람에게도 가치를 창출했다. 개인, 기업, 비영리 단체, 정부 등 기여자는 프로젝트에 대한 목소리를 낼 수 있을 뿐만 아니라 기술 및 커뮤니티와 연결되어 있다는 자부심도 얻을 수 있었다. 또 3~4년 동안 쿠버네티스 프로젝트에 기여하면 어디든 취업할 수 있었다. 마치 마치 골드만삭스나 구글에서 근무한 것과 같았다.

기업 입장에서도 이익이 있었다. 개발자, 품질 엔지니어, 문서 작성자, 프로그램 관리자 등에게 쿠버네티스 작업과 관련해 투자한 모든 비용은, 코드 기반을 자체적으로 개발하는 것과 비교할 때 비교할 수 없을 정도로 효과적이었다.

독점 기업이라면 제품 판매로 2억 달러의 수익을 얻기 위해 R&D에 1억 달러를 투자할 수 있을 것이다. 하지만 오픈소스 기업이라면 다른 조직이 나머지 8,000만 달러를 투자하는 동안 2,000만 달러만 투자해도 여전히 2억 달러의 수익을 얻을 수 있다. 

이러한 비즈니스 모델은 AI에서 더욱 중요해질 수 있다. AI와 관련된 비용이 천문학적이라는 점을 감안하면 특히 그렇다. 앞으로 AI가 대중화되고 LLM이 커질수록 비용은 더 높아질 터다. AI 모델을 개발하고 유지하는 인력부터 이를 실행하는 데 필요한 컴퓨팅 성능에 이르는 전반적인 비용을 모두 감안할 필요도 있다. 기초 모델에 수십억 달러를 지출하는 것은 규모로 확장할 수 있는 기업은 극소수에 불과하다. 

벤처 캐피탈이 더 이상 파운데이션 모델 판매에 기반한 신규 비즈니스에 투자하지 않으려 한다는 것은 스타트업 분야의 상식이다. 한 이유는 경쟁이 너무 심하기 때문이고(예를 들어 메타와 미스트랄은 파운데이션 모델을 무료로 제공하고 있다), 다른 이유는 이러한 파운데이션 모델 위에 솔루션을 구축함으로써 더 나은 투자 수익을 얻을 수 있을 것으로 관측되기 때문이다.

재무적 이유에 더해 역량 이슈도 있다. 쿠버네티스 프로젝트에 참여하는 이들의 규모가 임계값을 넘어서면 코드가 기대에 부합하고 품질 벤치마크를 충족할 것으로 기대할 수 있다. 많은 사람의 손길로 인해 역량 부담이 덜해지며, 아이디어와 전문성, 면밀성은 오히려 향상된다. 

이러한 중요한 개발자 집단의 참여가 없는 AI 프로젝트는 지속 가능하지 않으며 품질이나 속도가 떨어질 것이다. 결과적으로 컨테이너 오케스트레이션 영역에서와 같은 통합 움직임이 AI 영역에서 나타날 수 있다. (아파치메모스와 도커 스웜이 쿠버네티스와 경쟁할 수 없었음을 떠올릴 수 있겠다.) 

AI와 관련해 참여자 임계값이 중요한 다른 이유는 잠재적인 위험성이다. 참여자가 적을수록(그리고 참여자가 오픈 소스 원칙에 부합하지 않을수록) 편견과 확인되지 않은 오류가 발생할 가능성이 커진다. 오류로 인한 충격은 앞으로 더욱 커져만 갈 것이다.

낙관적으로 본다면, 오픈소스 모델에 따라 AI에 기여하는 주체가 큰 경우 수조 개의 매개변수도 불가능하지 않을 터다. 오픈소스 원칙에 따라 이러한 모델(7B, 70B, 1T 매개변수)은 규모에 따라 다양한 사물에 사용될 수 있으며, 투명하게 학습될 것이다. 다양한 사람들로부터 훌륭하고 기발한 아이디어와 검토를 받아 훈련할 수도 있다.

킬러 가치 제안
오픈소스 AI는 낮은 비용, 다수로부터 비롯되는 훌륭한 아이디어, 누구에게나 원하는 용도로 사용될 수 있다는 점 등에서 매우 매력적인 가치 제안이다. 거의 모든 사람이 현재보다 더 적은 비용으로 더 짧은 시간에 LLM을 개선할 수 있도록 하는 업스트림 인스트럭트랩(InstructLab) 프로젝트가 이미 이를 추구하고 있다.

또한 AI 공급망 조각도 이야기할 수 있다. 공급망은 결국 위험 감소에 관한 것이다. 모든 것을 비밀리에 수행하는 한 공급업체에 맡기고 싶은가? 아니면 오픈 소스 커뮤니티에 공개하고 수많은 기업, 비영리 단체, 정부, 개인 기여자들이 함께 협력하여 작업을 보여주고 점검하는 것을 믿고 맡기고 싶은가? 어느 쪽이 덜 불안할 것인지는 명확하다.

인공지능 영역에 강력한 모범이 될 수 있는 오픈소스 프로젝트가 쿠버네티스 뿐인 것은 아니다. 하지만 비교적 짧은 쿠버네티스의 역사를 보면 프로젝트의 성공 요인과 이를 사용하는 제품 회사, 서비스 회사, 비영리 단체, 정부 및 기타 조직에 어떤 영향을 주었는지 명확하게 이해할 수 있다.

사람들이 건전하고 안전한 방식으로 프로젝트를 사용하고 미세 조정할 수 있도록 많은 기여자가 참여하는 오픈소스 환경이야말로 신뢰할 수 있는 AI의 현실적인 미래로 가는 유일한 길이라고 주장한다. 오픈소스 AI는 사기업을 의심의 눈초리로 바라보는 현실주의자들을 만족시킬 수 있는 해법을 제시한다. 

* Scott McCarty는 레드햇의 RHEL 서버 부문 선임 최고 제품 관리자다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.