AI, ‘데이터센터 관리’에 도전하다

데이터센터의 워크로드가 급격히 증가하고 있는 가운데 AI에 주목하는 기업들이 늘고 있다. AI를 이용하면 IT팀의 관리 부담 경감과 효율성 향상, 비용 감축이 가능할 것이라는 기대에서다.

AI는 워크로드를 적절한 인프라로 실시간 이동시키는 과정을 자동화할 수 있다. 데이터센터는 물론, 온프레미스와 클라우드, 엣지 환경으로 구성된 하이브리드 클라우드 환경 모두가 대상이다. AI가 워크로드 관리를 혁신하는 미래의 데이터센터는 현재와 크게 다른 모습을 하고 있을 것이다. 예상할 수 있는 모습 중 하나는 서로 연결된 작은 엣지 데이터센터들로 구성된 데이터센터다. 이를 원격 관리자가 모두 관리하게 된다.

비즈니스와 기술 트렌드 분석에 초점을 맞추고 있는 조직인 인포시스 놀리지 인스터튜트(Infosys Knowledge Institute)의 책임자인 제프 카바노흐에 따르면, 더 치열해지고 있는 경쟁, 인플레이션, 팬데믹이 촉발한 예산 삭감 등 여러 요인들 때문에 많은 조직이 데이터센터 운영 비용을 줄일 방법을 찾고 있다. 

그는 “AI와 자동화는 워크로드 관리에 유용한 도구라는 것이 입증됐다. 직원들을 판에 박힌 작업에서 해방시키고, 대신 실제 사람이 요구되는 업무에 집중할 수 있도록 해준다”라고 말했다.

대부분의 데이터센터 관리자들이 이미 여러 유형의 도구들을 사용, 워크로드 관리 최적화를 시도하고 있다. 그러나 KPMG의 컨설턴트 겸 디렉터인 숀 케니는 AI에 기반하지 않은 이런 도구들은 선행적이기보다 반응적인 경향이 있다고 지적했다. 

그는 “데이터센터의 문제에 대응한다. 그러나 문제 행동을 줄이는 판단을 하기 위해 데이터를 수집하지는 않는다”라고 말했다.

UIC(University of Illinois, Chicago)의 생물의학 및 의료 정보 과학 임상 조교수인 산케트 샤 또한 AI가 미래에 발생할 니즈에 대해 예측하고자 하는 데이터센터 관리자들에게 도움을 줄 수 있을 것으로 판단하고 있다. 

그는 “AI를 활용해 더 효율적인 방식으로 용량과 성능을 할당, 조직이 더욱 유연해질 수 있다. 특정 프로세스를 자동화하고, 필요한 장소로 성능을 보내면 데이터 니즈가 급격히 변화하는 사람들의 비용을 낮출 수 있다”라고 말했다.

데이터센터 관리에 AI 기술을 활용하는 개념은 새로운 개념은 아니다. 2014년을 예로 들면, 구글은 영국 소재 AI 전문 기업인 딥마인드(DeepMind)를 인수하면서 몇몇 장소에서 데이터센터 시설 장비 관리 역량을 강화하는 데 이 회사의 기술을 이용할 계획이라고 밝혔었다. 

현재 AI 워크로드 관리 시장은 크게 확대가 되었다. D랩스(DLabs), 디지테이트(digitate), 레드우드 소프트웨어(Redwood Software), 타이달 소프트웨어(Tidal Software) 등 여러 스타트업이 참여하고 있다. 시스코(Cisco), IBM,VM웨어(VMware) 같은 대기업들도 이 시장에 진입하기 시작했다.

대부분의 AI 분야가 그렇듯, 워크로드 관리 기술도 급격히 발전하고 있다. 워싱턴 대학교 정보대학원(The Information School of the University of Washington)의 빌 호위 조교수는 “선택지가 많다. 나름의 한계들이 있지만 이를 경감할 방법들이 항상 있다. 올바른 방법을 선택하고 솔루션을 고안하는 것이 다른 AI 활용 사례와 비교했을 때 특별히 더 까다롭지는 않다”라고 말했다.
 

‘니즈’를 충족
대부분 데이터센터 관리자에게 최우선순위는 피크 수요가 발생할 때 운영을 최적화하는 것이다. 그러나 아무리 신중하게 계획하고 준비해도, 수요 ‘굴곡(피크 앤 밸리)’은 이들의 통제권 밖인 경우가 많다. 

캡제미니 북미(Capgemini North America)의 AI 엔지니어링 담당 VP인 구담 벨리파는 “AI가 고유하게 개선과 향상을 가져올 수 있는 분야는 워크로드 패턴을 파악해 이런 수요를 데이터센터 용량과 맞추는 영역이다”라고 설명했다.

AI를 이용해 관리하면 데이터센터 팀이 서버 관리, 보안 설정, 컴퓨팅 및 메모리, 스토리지 최적화, 로드 밸런싱, 전력 및 냉각 분배 같이 반복적인 작업들에 소비하는 시간을 없앨 수 있다. 에이비아이 리서치(ABI Research)의 리안 제이 수 수석 애널리스트는 “AI로 이 모든 워크로드를 자동화하거나 강화할 수 있다”라고 강조했다.

IT 관리 소프트웨어 개발사인 매니저엔진(ManageEngine)의 AI 및 ML 제품 디렉터인 람프라카쉬 라마무시는 AI가 개별 머신에서 수집한 데이터를 분석, 모니터링하는 파라미터에서 이상한 부분을 포착하는 데 도움을 줄 수 있다고 말했다. 

그는 “이를 통해 고장이나 중단을 훨씬 더 일찍 예측할 수 있게 된다. 데이터센터 관리 팀은 다운타임을 줄이고, 클러스터를 양호한 상태로 가동해 운영할 수 있다. AI는 온도와 전압을 더 효과적으로 관리하도록 도움을 줄 수 있다. 이를 통해 운영 비용과 탄소 발자국을 줄일 수 있다”라고 설명했다.

그에 따르면 워크로드 관리 도구에 있어 설명가능성이 중요하다. 라마무시는 “데이터센터 워크로드 관리 분야는 다른 분야보다 더 자주 AI 시스템이 내린 결정을 팀이 협력해 수행한다”라며, 따라서 AI 모델의 결정을 해석할 수 있어야 한다고 강조했다. 그래야 IT팀이 더 효과적으로 모델이 내린 결정의 의도를 이해하고, 여기에 맞춰 행동할 수 있다는 것이다. 

그는 “AI는 기껏해야 80~85%만 정확할 수 있다. 사람으로 구성된 팀이 AI 모델의 결정을 올바르게 해석해 합리적인 결정을 내릴 수 있어야 한다”라고 설명했다. 특히 AI 모델이 산출된 결정에 신뢰도 점수를 함께 제시할 수 있다면, 워크로드를 효과적으로 관리하는 데 유용할 것이다.

AI 및 ML 개발사인 탄조(Tanjo)를 공동 창업한 리차드 보이드 CEO에 따르면, AI와 ML 도구들이 확산되면서, 조직들은 사람이 기술과 경쟁하지 않고 협력할 때 최상의 결과를 얻을 수 있다는 점을 깨달아가고 있다. 

그는 “기계가 사람을 대체할 수 없는 분야가 많다. 그러나 기계가 사람보다 나은 분야도 분명히 존재한다. AI와 ML이 널리 보급되고, 사람들이 이런 새로운 파트너십에 적응을 하면 AI에 대한 오해가 해소될 것이다”라고 말했다.

델 테크놀로지스의 AI 전략 책임자인 브론스 라슨은 데이터센터 환경에서 성능 향상과 구성 및 배포 최적화에 AI/ML이 유용할 수 있다고 말했다. 그는 “AI/ML은 리소스 대비 워크로드를 동적으로 오케스트레이션, 자원을 최적화해 활용하고, 이를 통해 비용을 더 효과적으로 관리할 수 있도록 도와준다”라고 설명했다. 

그러나 이를 위해서는 적절한 역량이 요구된다. 라슨에 따르면, 구성 및 가치를 최적화하는 과정에서 특히 전문성이 요구된다. 그는 “이의 출발점은 트레이닝 데이터를 적절히 캡처해 평가하고, 이를 테스트하고, 드리프트와 바이어스에 대해 배포한 모델을 관리하는 것”이라고 설명했다.

또한 규칙 기반 AI는 스마트 정책 관리와 사전 정의한 구성을 통해 자동으로 리소스를 최적화하고 컴플라이언스를 확보하는 데 도움을 줄 수 있다. 수는 “ML 기반 AI는 일상 운영 과정에 수집한 데이터를 활용, 기존에는 고도의 전문성이 요구됐던 데이터센터 운영의 다른 부분들을 더욱 강화할 수 있다. 예를 들어, 자기 학습 위협 감지 및 모니터링 알고리즘으로 데이터센터의 보안을 강화할 수 있다. 로드 밸런싱과 전력, 냉각 분배 기능은 필요한 리소스를 적절한 방향으로 보내 최적화할 수 있다”라고 설명했다.

또 AI로 데이터 관리를 간소화할 수 있다. 카바노흐는 “민감한 데이터 과제에 직면한 기업들이 늘어나고 있다. 조직은 AI를 활용, 이런 많은 데이터를 효율적으로 정확하게 관리할 수 있다”라고 말했다. 팀은 AI의 도움을 받아 데이터 품질을 분석하거나, 데이터를 추출해 과거 어느 때보다 더 빨리, 그리고 더 정확히 예측을 하는 일 등 여러 일을 할 수 있다. 카바노흐는 “이는 조직에 아주 중요하다. 정보를 바탕으로 의사결정을 내리기 위해서는 가장 정확한 데이터가 필요하기 때문이다”라고 말했다.

AI 번들
AI가 발전함에 따라 또다른 동향이 나타나고 있다. 사람의 개입을 최소화한 상태에서 이질적인 요소들을 서로 묶는 소프트웨어 기반의 방법들이 출현하고 있다. 예를 들어, 일반적인 데이터베이스 시스템에서는 효율적으로 운영을 하기 위해 많은 구성이 필요하다. 테이블 인덱싱, 서버의 데이터 파티셔닝, 특정 쿼리에 대한 메모리 할당, 컴퓨팅 플랫폼과 예상되는 워크로드에 부합하도록 옵티마이저를 튜닝하는 것 등을 예로 들 수 있다. 

카바노흐는 “AI는 태스크에 대한 스케줄이 효과적이었던 많은 역사적 데이터에서 규칙과 절차를 학습해 도움을 줄 수 있다. 사람이 모든 것을 파악하려 드는 것보다 더 낫다”고 설명했다.

AI가 성공적으로 구현되면, IT 리더와 팀원들은 인프라의 사소한 것들을 걱정하는 대신 비즈니스 문제에 집중할 수 있다. 벨리파는 “AI 관점에서 볼 때, 우리가 이용하는 모델 대부분은 자가 학습 앙상블 모델이다. 여러 기법들을 조합해 사용하고, 자신이 관리하는 워크로드 패턴에서 학습을 해서 지속적으로 최적화를 한다”라고 말했다.

계획 및 배포
AI가 관리에 있어 마법을 부리기 시작하기 전, IT와 비즈니스 리더는 중요한 관리 책임을 소프트웨어에 넘기는 개념에 익숙해질 필요가 있다. 샤는 “규모와 내부 지식 저장소에 따라 아주 어려울 수 있는 문제이다”라고 인정했다.

궁극적으로 조직이 사람으로부터 AI로 워크로드를 얼마나 잘 넘길 수 있는지 여부는 기술적 성숙도, 운영 규모, 데이터센터의 역동성에 달려있다. 카바노흐는 “자신의 데이터를 효과적으로 활용할 수 있는 최신 인프라가 미흡한 ‘사일로’ 비즈니스는 어려움을 겪을 것”이라고 지적했다. 

한편으로는 특정 유형의 기업들을 대상으로 하는 도구를 제공하는 AI 벤더의 수가 급격히 증가하면서, 모든 유형과 규모의 조직들이 원활하게 전환을 할 수 있는 가능성이 커지고 있다. 그는 “기업과 솔루션이 성숙해지면서 구성과 배포가 갈수록 용이해질 것이다”라고 예측했다.

AI에 약점이 있다면, 미묘한 변화들에 대한 유연성이다. 호위는 “대부분 AI 기법들은 환경이 고정되었다고 가정해서 안정된 패턴을 찾는다. 이런 이유로 모델이 볼 수 없는 형태로 환경을 변화시킨다면, 모델은 잘못된 답을 제시할 것이다”라고 말했다. 변화를 추진하기 전에 신중히 계획을 세워 이런 우려를 줄일 수 있다.

향후 전망
구글과 아마존,마이크로소프트 같은 대형 기업들을 중심으로 이미 많은 대기업이 AI를 기반으로 워크로드를 관리하고 있지만, 아직 시작 단계일 뿐이다. 점차 소규모 데이터센터 운영에도 활용되기 시작했다. 벨리파는 “데이터센터 관리자들은 조만간 선택에 직면할 것이다. 계속 전통적인 데이터센터 관리 기술 및 사례에 의존할지, 아니면 생존을 위해 AI 기반 기술에 많은 투자를 해야 할지 선택해야 한다는 의미이다”라고 말했다. 

장기적으로 기술이 향상되고, 비용이 떨어지고, 신뢰가 커지면, AI 기반의 관리가 주류가 될 전망이다. 샤는 “앞으로 4~6년 이내에 AI 데이터센터 워크로드 관리 기술이 일종의 ‘기준’이 될 것”이라고 내다봤다. 

호위는 “이런 추세가 더욱 빨라질 것으로 판단한다. 오래 전부터 데이터센터의 많은 부분이 자동화되었고, 이런 AI 기법들은 업계에서 이미 보유한 데이터를 더 효과적으로 잘 활용할 수 있는 방법을 제공한다”라고 설명했다. 그는 이어 “AI 학습 기법을 활용한 자동화된 워크로드 관리가 곧 일반화될 것”으로 예상했다.

AI가 3~4년 이내에 데이터센터 관리에 지배적으로 쓰이기 시작할 것으로 예상하는 업계 전문가들이 늘어나고 있다. 그러나 펜데믹이 이 시기를 조금 늦췄다. 그는 “조만간 데이터센터들은 사이버보안부터 유지관리, 모니터링까지 거의 대부분의 운영을 자동화할 수 있게 될 것이다. 우리의 워크로드와 관리는 계속 진화할 것이다. 데이터의 양이 기하급수적으로 증가하고 있고, 우리가 기업에서 AI를 활용하는 새로운 방법을 찾기 때문이다”라고 말했다.
 
ciokr@idg.co.kr