생성형 AI 도입으로 복잡해진 인프라 비용 계산법··· CIO가 전하는 클라우드 운영 관리 팁

IT 리더는 경험, 모범 사례, 관리 도구로 클라우드 시대 필요한 전략을 고도화하고 있다. 하지만 이제 클라우드 관리 비용 방식을 재검토해야 한다. 생성형 AI라는 새로운 기술 등장으로 클라우드 비용 계산법이 달라질 수 있기 때문이다. 
 

클라우드 비용은 IT 리더의 주요 관심사다. 특히 새로운 혁신 프로젝트를 시작하려면 예산 확보를 고려하여 클라우드 비용 재검토해야 한다. 

확실히 엔터프라이즈 클라우드 예산은 계속 증가하고 있다. 파운드리가 진행한 클라우드 컴퓨팅 연구 2023에 따르면 IT 의사 결정권자는 전체 기술 예산의 31%를 클라우드 컴퓨팅에 사용될 것이며, 3분의 2는 향후 12개월 이내에 클라우드 예산이 증가할 것으로 예상한다고 답했다.

그러나 클라우드 전략을 최대한 활용하려는 IT 리더에게 클라우드 비용은 핵심 과제다. 실제로 같은 조사에서 응답자 중 약 3분의 1(35%)이 비용을 클라우드 발전의 가장 큰 장애물로 꼽았다. 데이터 프라이버시 및 보안 문제(31%), 클라우드 보안 및 클라우드 전문 지식 부족(24%)도 주요 우려 사항으로 꼽혔다.

IDC의 애널리스트 데이브 맥카시(Dave McCarthy)는 “클라우드 비용은 줄곧 CIO의 핵심 관심사”라며 “풍부한 도구, 관리형 서비스, 플랫폼은 CIO에게 클라우드 비용에 대한 가시성을 제공한다. 가시성 확보로 비용을 절감할 수 있다”라고 설명했다. 이는 맥카시 외에도 업계 전문가, IT 리더가 공통적으로 조언하는 내용이다.

맥카시는 “핀옵스 관행의 확산과 클라우드 최적화를 돕는 자동화 소프트웨어의 성숙으로 인해 기업은 비용이 어디에서 주로 소비되는지 더 잘 이해할 수 있게 되었다”라며 밝혔다. 최근에는 클라우드 지출을 최적화하기 위해 재무와 클라우드 운영을 혼합하는 방식도 늘고 있다. 맥카시는 “하지만 클라우드 환경이 성장하고 복잡해짐에 따라 해결할 과제도 늘고 있다”라고 설명했다. 

오늘날 많은 CIO가 클라우드 비용 문제를 보다 능숙하게 해결해야 한다고 보고 있다. 동시에 생성형 AI 같은 새로운 기술로 클라우드 비용이 기하급수적으로 증가할 것으로 CIO들은 예측하고 있다. 

악마는 ‘디테일’에 있다
이름을 밝히기를 거부한 한 CIO는 CIO가 비용을 절감하기 위해 연마하고 있는 핵심 기술 중 하나는 클라우드 공급업체와 협상하는 능력이라고 표현했다.

해당 CIO는 “결국 요금 체계를 더 잘 이해해야 비용 협상을 더 잘할 수 있다. 실제로 나도 클라우드를 잘 활용하고 나니 컴퓨팅과 스토리지를 더 잘 관리할 수 있게 되었다”라고 밝혔다. 또한 그는 “공급업체는 라이선스나 용량에 대한 비용을 절감하는 대신 더 많은 지침과 도구를 제공하고 있다”라며 “시간이 지나자 사람들은 사용량에 따른 스토리지 요구 사항을 더 잘 이해하게 되었고 데이터 추출로 인한 추가 비용을 막을 수 있었다”라고 설명했다. 

레이저피시(Laserfiche)의 CIO 겸 기업 전략 담당 수석 부사장인 토마스 펠프스는 클라우드 계약에는 일반적으로 IT 리더와 구매 책임자가 알아야 할 몇 가지 '문제'가 포함되어 있다며, 계약 전에 사용 약관을 검토하는 것이 중요하다고 강조했다.

예를 들어, 펠프스는 갱신 시 할인이 적용되지 않는 경우가 많으며 가격 인상에 대한 상한선이 없다는 점을 지적했다. 여기에 서비스 수준을 다운그레이드하면 사전에 논의했던 할인 혜택이 사라질 수 있다. 보안 비용은 엔터프라이즈급 요금제로 업그레이드해야 하는 별도의 항목인 경우가 많아 결국 고객에게 20~30%의 추가 비용이 발생할 수 있다고 펠프스는 설명했다. 

또한 CIO는 제품 조합과 자동 갱신의 단점을 잘못 이해하는 함정에 빠질 수 있다. 펠프스는 “나는 종종 공급업체에 제품 견적을 보여 달라고 요청한다. 그리고 마이크로서비스 및 컨테이너화가 포함된 애플리케이션의 비용과 각 제품 SKU 또는 라인 항목이 무엇인지 설명해 달라고 요청한다”라고 설명했다. 여기에 “대부분의 클라우드 계약에는 자동 갱신 조항이 있어 갱신 시 가격 협상에서 영향력이 줄어든다. 나는 모든 계약에서 자동 갱신 조항을 삭제한다”라고 덧붙였다.

다른 CIO는 워크로드는 퍼블릭 클라우드에서 실행하고 더 큰 워크로드는 프라이빗 클라우드에서 실행하는 하이브리드 접근 방식을 취하여 클라우드 비용을 관리한다.

가령 시에나(Ciena)의 CIO인 크레이그 윌리엄스(Craig Williams)는 “어떤 비즈니스 모델에 속해 있는지에 클라우드 도입 환경으로 다르게 생각해야 한다. 데이터 센터를 운영하거나 연구 개발 부서가 많은 기업이라면 직접 운영하는 것이 더 저렴할 수 있다”라며 시에나의 경우 예외적인 입장일 수 있다고 설명했다. 그는 “우리는 기업 환경을 클라우드로 옮겼고, 연구 개발 조직은 네트워크 및 컴퓨팅 부하가 많은 대규모 연구소이기 때문에 내부 데이터 센터 리소스를 활용하도록 남겨두었다. 두 가지 모두의 경제성을 지속적으로 검토하고 있다”라고 설명했다. 

성공을 위한 벤더와의 파트너십
모든 CIO가 클라우드 경제성에 대해 잘 알고 있는 것은 아니다. 적어도 클라우드 배포의 예비 단계에서는 혼자서 하지 않는 것이 최선이라는 사실을 깨닫고 있는 CIO도 많다.

예를 들어, 이미지 및 사진 제공업체인 포토그라(Photogra)는 관리형 서비스 제공업체인 앱턴(Aptum)의 도움을 받아 미국 데이터 센터에서 마이크로소프트 애저 및 기타 클라우드 서비스로 데이터 인프라 마이그레이션을 계획하는 데 1년을 보냈다.

포토그라의 사장인 마이클 바로우(Michael Barlow)는 하드웨어와 서버의 끝없는 교체 주기에서 벗어나기 위해 클라우드로 이전하고 싶었지만, 이미지를 저장하거나 비싼 애저 비용을 대체할 클라우드를 우선 찾아야 했다. 결과적으로 관련 스토리지 요구 사항을 충족하는 클라우드 제공업체인 와사비(Wasabi)를 선택했다.

바로우는 “2021년 포토그라는 클라우드로 이전하여 서버에 재투자할 필요 없이 확장하고 성장할 수 있는 기능과 유연성을 얻고자 했다”라며 “포토그라의 데이터베이스와 기업 데이터는 애저에서 실행되지만 회사의 광범위한 스토리지 요구 사항을 맞추다 보면 클라우드가 제 역할을 못 할 수 있다고 보았다”라고 설명했다. 

데이터 분석 회사인 알레이션(Alation)의 CTO 주나이드 사이예드(Junaid Saiyed)는 자체적으로 클라우드로 마이그레이션하려는 기업은 경험이 부족하여 비용과 시간을 너무 많이 소비할 수 있다고 설명했다. 자체 호스팅 클라우드 솔루션을 채택하는 조직은 클라우드의 컴퓨팅, 자동화 및 재무 전략을 최적화하는 방법을 모르는 경우가 많다고 덧붙였다.

사이예드는 “관리형 클라우드 제품을 선택하면 조직은 비즈니스 가치를 제공하고 채택을 촉진하는 데 집중할 수 있다”라며 “자체 호스팅 인프라는 구축하는 시간이 오래 걸리고 전문 지식이 필요하며 상당한 비용이 발생한다”라고 설명했다. 

클라우드를 제대로 운행하기 위해 IT 인재를 고용하고 비용을 관리해야 하는 것도 많은 CIO가 직면하는 또 다른 문제다.

베리스크(Verisk)의 라이프 솔루션 담당 이사 토마스 F. 파뮬라(Thomas F. Famularo)는 “AWS 같은 클라우드 솔루션 업체에 지불하는 금액 보다 기업 입장에서 오히려 인건비가 문제일 수 있다”라며 “한 달에 2만 달러 이상을 지불하는 엔지니어가 3명이나 필요할 수 있다”라고 설명했다. 

사용량 관리에 주의하자
클라우드 경험이 쌓이면서 IT 리더들은 전략을 효과적으로 구현하며 운영 비용을 절감하고 있다. 예를 들어, 올스테이트(Allstate)의 EVP 겸 CIO인 줄피 지반지(Zulfi Jeevanjee)는 필요하지 않을 때 CPU 사용량을 적절히 차단할 수 있도록 ‘매우 부지런히’ 노력했다고 말했다. 이를 위해 클라우드 제공업체와 계약을 체결할 때 협상할 수 있는 여지를 마련했다. 

지반지는 “우리가 마음에 들지 않는 방향으로 추세가 바뀌기 시작하면, 우리가 설정한 매개변수 내에서 비용을 유지할 수 있도록 협상할 수 있도록 계약 내용을 미리 조정했다”라며 “올스테이트는 이런 조항을 협상하기 위해 특정 수준 이상의 서비스 이용을 약속해야 했다”라고 언급했다.

시에나의 윌리엄스의 경우 갱신 시에도 더 나은 혜택을 누릴 수 있도록 만들었다. 윌리엄스는 “회사 자체의 사용량을 더 예측 가능하게 관리할 수 있기 때문에 계약 갱신 시점에 더 현명한 의사 결정 및 협상을 할 수 있었다”라고 말했다.

생성형 AI, 클라우드 비용 증가 요인이 되다
이미 클라우드를 비용 측면에서 안정적으로 운영한 IT 리더라도 앞으로는 생성형 AI 시대를 준비해 여러 요소를 재검토해야 한다. 

HR 관리 서비스를 제공하는 ADP는 클라우드 분야에서 노련한 베테랑이다. ADP는 약 10년 전 클라우드 전환 프로젝트를 시작했다. 기술적으로 주로 AWS 기반의 하이브리드 멀티클라우드 아키텍처를 이용했으며, 비용을 절감하기 위해 다양한 도구, 관리형 서비스, 거버넌스 절차를 구현했다.

ADP의 제품 개발 담당 수석 부사장인 비풀 나그라스(Vipul Nagrath)는 “클라우드 기술의 투명성은 매우 높다”라며 클라우드 비용 구조에 대해 설명했다.

8년간 ADP의 CIO로 근무했던 나그라스는 AWS 람다(Lambda)의 서버리스 컴퓨팅과 AWS 그래비톤(Graviton) 프로세서를 도입하면서 ADP의 클라우드 비용을 상당히 절감할 수 있었다고 설명했다. 또한 관리 계획을 따로 세워 모든 ADP 내 IT 관리자가 클라우드 사용량에 대한 일일 보고서와 예측 보고서를 받아 클라우드 지출을 파악할 수 있도록 도왔다.

그러나 업계 전문가들은 생성형 AI가 상당한 전력을 소모하고 스토리지 용량을 소비하면서 관련 비용이 크게 증가할 것으로 예상하고 있다. ADP는 이미 그런 상황에 처해있다. 

나그라스는 “6개월 전이나 1년 전만 해도 상상하지 못했던 생성형 AI 실험이 현재 진행되고 있다. 그러다 보니 관련 비용이 급증했다. 다행인 건 적어도 그 원인을 알고 있다는 것이다"라고 “AI와 같은 새로운 애플리케이션으로 인해 클라우드 비용 관리는 IT 임원에게 영원한 과제가 될 것”이라고 설명했다.

한편, 지출을 억제하려는 CIO의 노력이 결합되어 클라우드 매출 성장이 다소 둔화될 수 있지만 공급업체는 크게 타격을 입지 않을 것으로 보인다. 클라우드 3대 벤더인 AWS, 마이크로소프트, 구글은 여전히 클라우드 소프트웨어를 엄청나게 판매하고 있다. 다만 그 발전 속도가 조금 느려졌을 뿐이다. IDC 분석에 따르면 2023년 퍼블릭 클라우드 서비스에 대한 전 세계 지출은 전년 대비 22.2% 증가할 것으로 예상되며, 이는 2022년에 기록한 27.6% 성장률보다 감소한 수치다.

IDC는 2023년에 퍼블릭 클라우드 서비스에 대한 전 세계 지출이 총 6,560억 달러에 달할 것으로 예상하며, 이는 2022년에 지출된 5,370억 달러에 비해 ‘상당한 증가’를 보일 것으로 전망했다. IDC 애널리스트 릭 빌라르스(Rick Villars) “과거처럼 극적인 성장은 아닐지라도 모든 클라우드 공급업체가 올해 매출 성장을 기록했을 것이라고 확신한다”라고 설명했다. 

그리고 생산형 AI가 본격적으로 조직에서 활용됨으로써 CIO는 완전히 새로운 비용 문제를 해결해야 할 것이다. 한 가지 확실한 것은 비용이 감소하지 않을 것이라는 점이다. 비용이 얼마나 높아질지에 대해서도 향후 논의가 심화될 수 있다. 

ADP의 나그라스는 “생성형 AI의 궁극적인 비용이 얼마인지 알기에는 경험이 부족한 상태”라고 설명했다.
ciokr@idg.co.kr