Offcanvas

데이터센터 / 빅데이터 | 애널리틱스 / 신기술|미래 / 클라우드

칼럼 | 데이터 웨어하우징의 미래 비전··· '크로스 클라우드'

2019.10.21 Benoit Dageville  |  InfoWorld
데이터 웨어하우징에 대한 오늘날의 전략이 멀티 클라우드라면, 미래의 비전은 크로스 클라우드라고 할 수 있다. 왜냐하면 데이터를 이동하고 교환함에 있어 같은 클라우드 제공업체 내의 서로 다른 지역 간은 물론 서로 다른 클라우드 간에도 원활하게 해야 하는 보편적인 필요성이 대두되고 있기 때문이다.

지리적 위치의 제약이나 클라우드 플랫폼이 서로 호환되지 않는 등의 제약이 흔하다. 이로 인해 전세계 어디서나 데이터에 접근 가능할 수 있다는 이상은 그리 녹록하지 않으며, 기업 입장에서는 회사 내외부적으로 데이터를 안전하게 공유하는 일이 쉽지 않다. 사업장 간의 지연 문제도 신경 써야 하고 여러 개의 클라우드를 사용하면서 생기는 데이터들이 고립되지 않도록 궁리해야 한다. 

이렇게 힘든 상황이 나아질 서광이 비치고 있다. 머지않아 조직의 데이터에 경계가 사라지게 될 것이기 때문이다. 이용 클라우드 업체나 데이터 저장 장소를 불문하고 원하면 어디에서나 모든 데이터에 접근할 수 있게 된다는 뜻이다. 
 
ⓒ Image Credit : Getty Images Bank

현재 데이터 활용의 제약
클라우드의 장점은 잘 알려져 있지만 클라우드 서비스 분야의 약속이 아직 충분히 실현되지 않고 있는 주요 이유는 다음과 같다.

- 지리적 제약 : 클라우드 서비스의 속성상 회사들은 소재 지역 내 클라우드를 사용해야 하는 경우가 잦다. 사용자들이 가까이 있어야 최상의 서비스가 가능하기 때문이다. 멀리 떨어진 클라우드에 저장된 데이터에 대해 질의나 공유를 시도해 본 사람은 누구나 경험한 바 있듯이 지연 현상이 문제이다. 

따라서, 지역별로 개인 계정을 만드는 회사가 많다. 지역별 개인 계정은 데이터가 저장되고 현지 사용자들에 의해 질의 되는 물리적인 장소가 된다. 그러나 사업장이 여러 지역에 있는 회사들 입장에서는 전사적인 데이터 공유가 쉽지 않기 때문에 결코 이상적이지 않은 상황이다.

- 업체별 고유 API : 주요 클라우드 플랫폼(아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드 플랫폼)은 모두 고유 API로 구축되어 있다. 따라서, 전략적으로 클라우드를 여러 개 사용하는 회사들의 데이터는 여러 클라우드 플랫폼에 걸쳐 분산될 수밖에 없다. 데이터를 손쉽게 공유할 방법이 없다면 데이터는 다시 한번 고립될 수밖에 없다. 단, 예전에는 구내 서버에서 데이터가 고립되었다면 이번에는 클라우드 플랫폼에서 고립되는 것이다. 
    
이러한 작금의 현실로 인한 어려움은 다음과 같다. 

- 모든 데이터를 분석할 능력 부재 : 데이터가 현지에서 생성되고 저장되는 방식은 전세계적으로 사업장을 운영하는 다국적 기업에게는 그리 적합하지 않다. 현지 시스템은 작동에 문제가 없을지 모르지만, 중요한 사업 문제를 해결하기 위해 필요한 관련 데이터를 전부 중앙으로 모으는 일은 복잡해질 수 있다.
    
- 다른 시스템과의 연결성 부족 : 서로 다른 지역과 국가, 대륙에 존재하는 데이터센터를 안전하고 원활하게 연결하려면 복잡한 인프라 설치와 지속적인 관리가 필요하다. 복잡하고 비용이 많이 드는 과정이다. 서로 멀리 떨어진 데이터센터 간에 대용량의 데이터를 이동시켜야 한다면 특히 더 그렇다. 그래서 데이터 시스템들은 클라우드에 있든 없든 서로 연결되어 있지 않은 경우가 많다. 

- 복잡한 복제 과정 : 일반적으로 데이터 복제 과정은 극단적으로 분산되어 있어 설정에 비용이 많이 들고 관리하려면 복잡하다. 오직 고급 회사들만이 이러한 문제를 해결할 자원과 인력을 갖추고 있다.
    
- 특정 업체 종속에 대한 우려 :기업들이 과거 특정 하드웨어 업체에 종속되는 것을 원하지 않았던 것처럼 지금도 한 곳의 클라우드 업체에 종속되는 것을 우려하고 있다. 새로운 서비스나 더 나은 가격의 혜택을 누리기 위해 데이터와 애플리케이션을 옮길 수 있는 자유를 원하기 때문이다. 데이터 이동성은 벅찬 문제가 되고 있다. 이동해야 할 기업 데이터 양이 몇 페타바이트에 육박하는 경우에는 특히 더 그렇다. 

글로벌 데이터의 장점
사람들이 늘 이상적인 모습으로 상상해 온 것은 하나의 통일된 플랫폼 상에 데이터가 서로 연결되어 있는 세상이다. 데이터가 자유롭게 이동할 수 있도록 모든 지역별 인스턴스 사이에 다리를 놓는다면 이런 미래의 상상이 현실이 될 것이다. 그러기 위해서는 크로스 클라우드 기능이 필요하다.

필자가 생각하는 크로스 클라우드에는 두 가지가 필요하다. 첫번째 요건은 클라우드 애그노스틱 계층(cloud-agnostic layer)을 만드는 것이다. 각 클라우드 지역 위에 통일된 데이터 관리 플랫폼을 제공하는 계층으로서 어떤 클라우드 업체에 의해서도 구축 가능하다. 

두번째 요건은 여러 클라우드 지역을 고처리량 통신 ‘메시’를 통해 서로 연결하는 것이다. 이러한 메시를 통해 데이터는 어디로든 이동할 수 있다. 지역 간은 물론이고 대륙 내부와 대륙간, 심지어는 다른 여러 클라우드 업체가 관리하는 지역 간에도 이동 가능하다.

정리하면, 데이터가 어디에 존재하든 어떤 고유 클라우드 시스템이 사용되든지 관계없이, 클라우드 애그노스틱 계층과 메시는 어떤 클라우드 시스템에서도 실행 가능하다는 것이다. 그 결과, 데이터에 대한 모든 장벽이 사라지고 가칭 ‘가상 멀티 클라우드 글로벌 데이터센터’라는 것이 생겨난다. 이곳의 데이터는 저장 장소와 관계없이 수월하게 저렴한 비용으로 접근할 수 있다.

이러한 유형의 분석 데이터 플랫폼이 있을 때 기업들이 할 수 있는 일은 다음과 같다.

- 지리적 지역을 연결시켜 데이터를 쉽게 이동시킬 수 있다. 다른 여러 클라우드 상에서 동일한 코드를 실행시켜 글로벌 분석을 수행할 수 있다. 

- 원하는 어떤 클라우드 플랫폼 상에서도 실행할 수 있어 진정한 멀티 클라우드가 실현된다. 한 곳의 업체에 종속될 위험이 사라진다.  

- 복제를 이용해 데이터의 근접성과 완전성 문제를 해결함으로써 지연 문제를 없앨 수 있다. 다른 지역이나 대륙에 저장된 데이터를 사용하는 대신, 멀리 있는 데이터를 복제한 후 현지 데이터와 결합함으로써 한 곳에서 모든 글로벌 데이터에 접근할 수 있는 중심 장소를 만들 수 있다. 

- 최신 복제 기술을 이용해 2개 이상의 데이터 복사본을 저장할 수 있다. 이는 오류 발생에 대비하고 업무 연속성을 유지하는 데 필수적이다. 단, 조직들은 구형 복제 시스템에 비해 매우 저렴한 비용으로 고가용성 시스템을 구축할 수 있을 것이다.  

진정한 데이터 중심의 의사 결정 실현
우리는 글로벌 비즈니스 세계에 살고 있다. 경계가 허물어지고 있는 상황에서 클라우드 장벽 역시 무너져야 한다. 정보에 기반한 진정한 데이터 중심의 의사 결정을 실현하려면 조직들에게는 글로벌 데이터가 필요하다. 

크로스 클라우드는 글로벌 데이터라는 약속을 실현하며 조직들로 하여금 멀티 클라우드 전략을 충분히 실행하게 해 준다. 데이터를 자유롭고 안전하게 이동시키고 단 하나의 장소로 통합시킨다면 진정한 글로벌 조직으로 거듭날 것이다.  

* Benoit는 스노우플레이크의 공동 설립자이자 프로덕트 부문 대표다. 그는 병렬 실행 및 셀프 튜닝 데이터베이스 시스템의 업계 구루로 인정받고 있다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.