Offcanvas

데이터센터 / 빅데이터 | 애널리틱스 / 애플리케이션 / 클라우드

칼럼 | 클라우드 데이터 웨어하우스의 미래

2021.12.20 George Fraser  |  InfoWorld
지난 5년 동안 우리는 스노우플레이크(Snowflake)와 빅쿼리(BigQuery)로 대표되는 클라우드 데이터 웨어하우스가 수많은 데이터를 결합하고 분석해야 하는 기업에 지배적인 툴이 되어가는 과정을 목격했다. 초기 데이터 웨어하우스는 매출이나 고객 수, 각 지표의 변화 추이 및 원인 파악 등 기업의 전형적인 의사결정을 지원하는 데 활용됐다.
 
ⓒ Getty Images Bank

하지만 데이터가 워크로드를 끌어당기는 것이 데이터베이스의 철칙이다. 모든 데이터를 한 곳에 모으면, 팀 내 똑똑한 직원이 예상치도 못한 데이터 활용 방법을 생각해내기 마련이다. 클라우드 데이터 웨어하우스는 새로운 사용 사례를 ‘탄력성(elasticity)’이라는 특징으로 실현한다. 데이터를 활용하는 새로운 방법을 발견하면 새로운 컴퓨팅 자원을 제한없이 추가한다.

가끔 데이터 웨어하우스에 최적화된 일반적인 분석 쿼리와 새로운 워크로드의 형태가 다른 경우가 있다. 지난 20년간 상용 데이터 웨어하우스는 소수의 대형 쿼리를 처리하는 데 최적화되어 있었다. 전체 테이블을 스캔해 요약 통계를 집계하는 방식이다. 예컨대 상용 데이터 웨어하우스는 다음과 같은 쿼리에 최적화됐다. 

 

지난 1년 동안 각 지역에서 매월 확보한 신규 회원 수


그러나 다음과 같은 질문에는 최적화되어 있지 않다.

 

특정 고객 한 명과 주고받은 모든 상호작용


이런 쿼리는 많은 데이터 소스를 한 곳에 배치한 뒤 특정 소스의 데이터 가운데 아주 적은 비율만 처리해야 한다. 분석적 특성과 운영적 특성을 모두 포함하고 있으며, 클라우드 데이터 웨어하우스가 보편화되면서 등장한 워크로드의 대표적인 유형이다.

주요 데이터 웨어하우스 서비스 업체는 이런 유형의 쿼리를 보다 효과적으로 지원하기 위해 변화를 시도하고 있다. 스노우플레이크는 최근 데이터 웨어하우스에 인덱스를 만드는 검색 최적화 서비스를 출시했다. 현재 인덱스 기능은 운영 데이터베이스 어디에나 존재하지만, 과거에는 데이터 웨어하우스가 분석 워크로드와 무관하다고 생각했기 때문에 대부분 지원하지 않았다. 한편 빅쿼리는 데이터베이스 하위 집합을 메모리에 저장하는 BI 엔진(BI Engine)을 출시했다. 별도 메모리에 저장하면 데이터에 신속하게 접근할 수 있다.

앞으로 5년 동안은 운영 분석이 클라우드 데이터 웨어하우스 워크로드를 지배할 것으로 예상된다. 주요 클라우드 데이터 웨어하우스 서비스 업체는 새로운 워크로드를 더욱 잘 지원하기 위해 다양한 기능을 도입할 것이다. 더 나아가 새로운 데이터베이스 아키텍처가 출현할 수도 있다. 현재 학계에서는 분석 및 운영 쿼리 사이에 있는 모든 것에 최적화된 새로운 아키텍처를 연구하고 있다. 대표적인 것이 뮌헨공과대학교의 움브라(Umbra)와 카네기멜론대학교의 노이즈페이지(NoisePage)다. 

기술의 진화는 예측하기 어렵고 경로 의존적이다. 10년 전만 해도 많은 전문가가 하둡이 기존 SQL 데이터 웨어하우스를 대체할 것으로 예상했지만, 클라우드 네이티브 데이터 웨어하우스가 부상하면서 이런 추세는 갑작스럽게 반전됐다. 하둡 생태계는 너무 느리게 발전했고, 상용 데이터베이스 시스템은 클라우드의 고유 특성을 활용해 훨씬 더 나은 사용자 환경을 제공했다. 향후 10년 안에 운영 분석 워크로드가 계속해서 증가하면서 현재의 클라우드 데이터 웨어하우스가 진화하거나, 혹은 혁명적으로 변하는 날이 도래할 지도 모른다. editor@itworld.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.