Offcanvas

CIO / How To / 데이터센터 / 빅데이터 | 애널리틱스 / 인문학|교양

블로그 | 메시, 패브릭, 분산 클라우드?··· 데이터 분야 신개념을 CEO에게 설명하는 방법

2023.05.17 Isaac Sacolick  |  InfoWorld
데이터 드리븐 조직으로의 변화를 위해서는 여러 조건이 필요하다. 적절한 도구와 관행이 전부가 아니다. 이에 어울리는 ‘두목’이 요구된다. 기술에 서툰 CEO에게 요즘의 데이터 분야 콘셉트를 설명하는 방법을 살펴본다. 
 
Image Credit : Getty Images Bank

당신의 CEO는 데이터베이스가 무엇인지 알고 있을 수 있다. 그리고 데이터 웨어하우스가 보고 및 애널리틱스에 사용되는 대규모 데이터 보관실(data vault)이라고 생각할 수 있겠다. 하지만 그는 NoSQL 데이터 저장소, 스파크 클러스터가 필요한 이유, 또는 정형 및 비정형 데이터 수집에 데이터 레이크를 사용하는 방법에 대해 알 가능성이 희박하다.

CEO와 비즈니스 리더는 데이터, 애널리틱스 및 머신러닝의 비즈니스 가치에 집중할 뿐 근간 기술에는 신경 쓰지 않는다.

하지만 역설적인 측면이 있다. 왜냐하면 그들은 새로운 기술에 시간과 돈을 투자하는 가치를 이해하고자 하기 때문이다. 그러나 데이터 메시, 데이터 패브릭 및 분산 데이터 클라우드를 포함한 최신 데이터 관리 기술에 대해 설명해보라. CEO가 당황하는 것을 지켜보아야 할 것이다.

CEO를 위해서만 이러한 설명이 필요하지 않다. 데이터 기술은 오라클, 마이크로소프트 또는 어떤 오픈소스 기술을 기반으로 데이터 웨어하우스를 구축할지가 주요 논쟁거리였던 초기 웹 시대부터 폭발적으로 발전했다. 오늘날 많은 비 IT 리더들은 데이터가 ‘클라우드에’ 있고 데이터 통합, 품질 및 성능이 ‘IT 관할’이라고 당연스레 바라보고 있다.

데이터를 다루는 모든 사람은 접근 가능한 언어로 중요한 기술과 관행을 설명할 준비가 되어 있어야 한다. 필자는 ‘디지털 트레일블레이저’라는 책에서 웹이 부상할 때 브라우저 쿠키가 무엇인지 이사진에게 설명한 이야기를 공유했던 바 있다. 기술적인 질문에 대답하기 위해 언제 마이크를 건네받게 될지 알기 어렵다. 어려운 전문 용어로 대응하면 주요 투자를 쉽게 날려버리거나 투자가 늦춰지게 된다.

K3의 고든 알로트 사장 겸 CEO는 “데이터 레이크, 데이터 웨어하우스, 메시 및 패브릭 등은 모두 회사의 전반적인 데이터 전략을 언급하는 것일 뿐이다”(Data lake, data warehouse, mesh, and fabric all just refer to the overall company data strategy)라는 간단한 대답으로 시작할 것을 제안했다.

데이터 메시란 무엇인가?
간단한 답변도 중요하지만, 충분하지 않은 경우가 많다. 현업 임원이 필자에게 기술용어를 묻는다면 호기심과 후속 질문을 유도하는 방식으로 답변하고 싶다.

데이터 메시가 무엇인지 설명하는 것으로 시작해 보겠다. 세마키(Semarchy)의 제품 마케팅 매니저인 스티븐 린은 다음과 같은 간결한 답변을 공유했다. 그는 “데이터 메시는 회사 내의 여러 팀이 자체 데이터를 책임지도록 하는 한편, 협업과 유연성을 촉진하는 데이터 관리에 대한 분산된 접근 방식이다”라고 말했다.

이 정의에는 복잡한 단어가 없으면서도, 데이터 메시가 해결하고자 하는 문제, 해결 방법의 유형 및 그것이 중요한 이유가 담겨 있다.

하지만, 특히 경영진이 다른 데이터 관리 기술에 대한 사전 지식을 가지고 있다면 더 많은 기술적 세부 사항을 요구할 가능성이 높다. 예를 들자면, “데이터 웨어하우스와 데이터 레이크가 데이터 관리 문제를 해결하기 위한 존재들이 아닌가?”라고 물을 수 있겠다.

이 질문에 데이터 웨어하우스, 레이크 및 메시 간의 기술적 차이로 답변할 경우 함정이 될 수 있다. 대신 비즈니스 목표에 대응하는 데 초점을 맞추도록 한다. 콜레스(Coalesce)의 공동 설립자이자 CTO인 사티시 자얀씨는 다음과 같은 답변을 제안했다. 

“데이터 품질은 종종 비즈니스 애널리틱스 및 의사 결정의 정확성에 영향을 미친다. 데이터 메시 패러다임을 구현함으로써 데이터의 품질과 정확성이 향상되어 기업 간에 정보에 입각한 의사 결정을 위해 데이터를 보다 광범위하게 활용할 수 있는 신뢰도가 높아질 수 있다.”

필자는 이 답변이 마음에 든다. 하지만 경영진이 데이터 메시 패러다임이 데이터 품질을 향상시키는 데 어떻게 도움이 되는지 더 깊이 들어갈 필요가 있다고 본다. 이에 대한 자얀씨의 답변은 다음과 같다.

“핵심 원칙 중 하나인 도메인 소유권은 데이터를 생산하는 팀이 품질과 정확성을 책임질 수 있도록 보장한다. 이러한 제품으로서의 데이터 원칙은 다른 그룹과 공유하는 데이터가 정확하고 재사용 가능하며 자체 문서화되고 높은 기준을 충족하도록 보장한다.”

데이터 메시를 처음 접한다면 단일 데이터 레이크에서 분산 데이터 메시로의 전환에 대한 자막 드가니의 유용한 기사를 일독할 것을 제안한다.

데이터 패브릭이란 무엇인가?
CFO가 데이터 메시에 대한 이야기를 우연히 들었다. 그는 이제 데이터 담당자가 데이터 메시 대신 데이터 패브릭에 대한 투자하려는 이유를 알고 싶어 한다.

CFO는 다음의 3가지 질문을 던진다.

● 데이터 패브릭이란 무엇인가?
● 데이터 메시와는 어떻게 다른가?
● 최고 데이터 책임자가 데이터 패브릭에 투자하고자 하는 이유는 무엇인가?

이렇듯 복합적인 질문에 직면했을 때, 나는 속도를 줄이고, 심호흡을 하고, 누가 질문을 하고 있는지의 맥락을 고려하고, 쪼갠 답변을 제공할 것을 제안한다. “먼저 데이터 패브릭과 데이터 패브릭의 중요성에 대해 이야기해 보겠다”라고 시작할 수 있겠다. 

어헤드(AHEAD)의 선임 솔루션 설계자인 로스 스튜어트는 CFO가 패브릭의 모양과 기능을 시각적으로 파악할 수 있도록 지원하라고 제안했다. 그는 “데이터 패브릭은 조직의 데이터 상단에 일관된 계층을 생성하기 위해 서로 다른 시스템을 가져와서 함께 엮는 아키텍처를 설명하는 데 사용되는 용어다”라고 말했다.

크럭스(Crux)의 엔지니어링 수석 부사장인 이반 바타노프는 “데이터 패브릭 아키텍처는 향상된 통찰력과 애널리틱스를 효율적으로 제공할 수 있으며 상이한 소스의 상호 연결된 데이터 특성을 지원한다”라고 덧붙였다. 

이 시점에서 두 접근 방식 간의 명백한 충돌을 비롯하여 데이터 메시와 데이터 패브릭 간의 관계를 납득시키기 위해서는 잠깐 멈추고 청중에게 몇 초의 시간을 주어야 한다. 필자는 다음과 같이 말을 할 것을 제안한다.
 

데이터 메시는 현업 팀이 데이터를 애널리틱스에 사용하고 데이터 품질을 향상시키는 데 도움이 된다. 반면, 데이터 패브릭은 최고 데이터 책임자와 데이터 거버넌스 팀이 데이터 웨어하우스, 데이터 레이크, 파일 시스템 및 SaaS 애플리케이션을 포함하여 데이터 소스가 저장된 모든 곳에서 연결된 데이터 소스에 대한 액세스를 관리하는 데 도움이 된다.


이러한 질문과 답변에서 우리가 풀어내고 있는 것은 조직들의 상이한 역할과 데이터 책임이다. 우리는 현업 팀이 시민 데이터 과학을 수용하고 ‘데이터를 의사 결정에 사용하기’를 원한다. 동시에 조직은 ‘데이터 민주화 시 마찰과 위험을 줄이기 위해’ 최고 데이터 책임자가 사전 예방적 데이터 거버넌스에 집중하는 것을 필요로 한다.

분산 데이터 클라우드란 무엇인가?
이제 세 번째 데이터 관리 그룹을 다뤄보자. 이 그룹은 사용 요구사항, 성능 목표 및 보안 요구사항을 지원하기 위해 데이터를 저장하고 정형화하는 역할을 담당한다. 데이터 세트 X를 어디에 저장해야 하는지가 당면한 과제지만, 그 답은 간단하지 않다. 대부분의 기업에서는 데이터를 저장, 관리 및 활용하기 위한 전천후 아키텍처가 없다.

스노우플레이크의 제품 관리 책임자인 제임스 말론은 “데이터 클라우드란 정보를 저장하는 ‘방법’을 지정하는 대신 올바른 기술 조합으로 누군가가 얻을 수 있는 ‘무언가’에 초점을 맞춘다. 데이터 클라우드를 통해 조직은 한 가지 방법만을 규정하고 밀어붙이는 것이 아니라 자신에게 맞는 것을 선택할 수 있다. 사용 사례 변화, 요구 변화 및 기술 변화 등이 데이터 클라우드가 유연성과 유용성에 중점을 두는 이유이다”라고 말했다.

테라데이터의 최고 제품 책임자인 힐러리 애쉬톤은 CFO와 공유할 중요한 세부 사항을 덧붙였다. 

“데이터 클라우드는 퍼블릭 클라우드, 온프레미스 프라이빗 클라우드, 하이브리드 클라우드 및 멀티 클라우드 중 어느 조합에든 구축할 수 있다. 하지만 모든 데이터 클라우드의 ‘두뇌’는 모든 소스 및 아키텍처의 데이터를 처리하고 연결하는 클라우드 애널리틱스 플랫폼이다. 데이터의 가치를 극대화하려면 데이터 과학자를 넘어 팀이 데이터에 액세스, 쿼리 및 통찰력으로 전환할 수 있도록 조직 전체에 걸쳐 분석 엔진과 기능을 확장하는 능력이 가장 중요하다”라고 그는 말했다.

모든 것을 묶기
대화가 이 정도 진행됐다면 CEO와 CFO는 좀더 손쉬운 이야기를 듣고 싶을 수 있다. 단순한 작업에 필요한 장인정신을 다음과 같이 비유할 수 있을 것이다.

“훌륭한 빵 한 덩어리를 만들기 위해서는 밀가루, 물, 효모, 소금, 설탕의 5가지 재료가 적절한 비율로 적절한 기술로 만들어지고, 적절한 시간 동안 요리되고, 우아하게 제공되어야 한다.”

빵을 구워 본 사람이라면 누구나 훌륭한 빵덩어리를 일관되게 굽기가 얼마나 힘든지 알고 있다. 빵 서적은 수백 가지의 조리법을 가지고 있고, 그 기술은 계속해서 진화하고 있다.

데이터를 저장, 관리, 통합, 통제 및 사용하는 것은 간단한 것으로 보일 수 있다, 그러나 기업이 데이터 중심 조직으로서의 역량을 갖추기 위해서는 올바른 구성 요소, 툴 및 관행이 필요하다. 

* Isaac Sacolick는 애자일, 데브옵스, 데이터 과학을 다룬 ‘Driving Digital: The Leader’s Guide to Business Transformation through Technology’의 저자다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.