Offcanvas

빅데이터 | 애널리틱스

칼럼ㅣ데이터를 통제할 수 없게 됐는가?

2022.05.24 Karl Hampson  |  IDG Connect
데이터부터 빅데이터, 더 큰 데이터 웨어하우스, 더욱더 큰 데이터 레이크까지 데이터의 ‘얼굴’은 수년에 걸쳐 다양한 형태를 취해왔다. 저장 위치가 변경됐고, 사용 방법도 변경됐다. 추적하기도 어려워졌다. 수십 년 동안 축적된 데이터와 다양한 프로세스가 그야말로 ‘데이터 혼돈(data chaos)’을 불러왔다. 데이터를 적절한 경로로 되돌릴 수 있는 사고방식의 전환이 필요한 때다. 

기업 데이터의 ‘얼굴’은 수년에 걸쳐 확장돼 왔으며, 계속해서 빠르게 발전하고 있다. (이에 따라) 기업 내에서 데이터를 저장하는 위치가 변화했다. 사용 방법도 마찬가지다. 추적하기도 어려워졌다. 

축적된 데이터 볼륨, 스토리지 아키텍처, 이를 둘러싼 여러 프로세스로 인해 ‘데이터 혼돈(data chaos)’이 발생했다. 현재의 데이터 아키텍처는 모놀리식이고, 중앙집중화돼 있기 때문에 길을 잃었다. 기업들은 통제권을 되찾기 위해 사고방식을 전환해야 한다. 그리고 많은 사람이 오늘날 데이터 분야에서 가장 핫한 트렌드인 ‘데이터 메시’가 해답일 것이라고 이야기한다. 
 
ⓒGetty Images Bank

데이터 메시(mesh)? 데이터 메스(mess)?
‘데이터 메시(Data Mesh)’는 아직 초기 단계이긴 하지만 빅데이터를 잇는 개념으로 간주된다. 그렇다면 데이터 메시란 무엇인가? 모든 데이터를 불분명한 소유 형태로 한곳에 보관하는 게 아니라, ‘제품으로써의 데이터(data-as-a-product)’를 제공하는 일종의 연합 모델이다. 이 모델은 여러 데이터 도메인에서 협업 가능한 범용 데이터 표준 웹으로 연결된다.

하지만 데이터 메시의 ‘왜(why)’와 ‘어떻게(how)’에 초점을 맞춰야 한다. 그래야 ‘무엇(what)’에 정신이 팔리거나 이 아키텍처의 기술적 설명에 얽매이는 것보다 훨씬 더 유용할 수 있다. ‘소속 기업에서 데이터 관리를 변경하고 싶은 이유는 무엇이며, 어떻게 해야 할까?’라고 자문하라. 막대한 자금을 지원받는 스타트업에서 일하지 않는 한, 텅 빈 도면과 백지 수표만 가지고 데이터 최적화 프로젝트를 시작할 가능성은 거의 없다. 

실제로 대부분의 기업은 단순하게 데이터 메시로 전환할 수 없다. 수년간의 복잡성과 레거시 때문에 (비유하자면) 비행 중에 비행기를 완전히 재건할 수 없다. 따라서 최첨단 메시 아키텍처가 어떤 모습일지 지나치게 집중하는 건 대체로 시간 낭비다. 

데이터 메시의 실질적인 이점
하지만 다행스럽게도 데이터 메시 아키텍처의 이점은 전략적인 계획과 창의적이고 협력적인 사고를 통해 달성할 수 있다. 즉, 데이터 최적화를 해결해야 할 기술적 문제로 보지 말고 문화적 문제로 봐야 한다. 

클라우드를 기본으로 채택했다고 해서 반드시 성공하지 않는 것과 마찬가지다. 복잡한 클라우드를 둘러싼 문화적 모델은 데이터의 진정한 가치가 있는 곳이다. 최신 클라우드를 관리하면서 달성한 것과 동일한 수준의 변혁 및 원활한 협업이 ‘데이터’에서도 이뤄져야 한다. 

아울러 다른 모든 문화적 재부팅과 마찬가지로 내부 동의를 확보하는 게 전제 조건이다. 이를 달성하려면 데이터의 가치를 설득력 있게 입증할 수 있어야 한다. 

효과적인 데이터 계층
데이터가 제공할 수 있는 기회를 가시적인 성과로 전환하려면 데이터 성숙도 구축을 위한 모델이 필요하다. 이는 우선순위 워크로드뿐만 아니라 제품형 데이터(data-as-a-product)의 연합 및 도메인 기반 액세스를 지원하는 최신 클라우드 데이터 플랫폼에서 시작된다. 다시 말해, 데이터가 패키지화돼 (관련 부서 및 팀원이) 즉시 액세스할 수 있어 효과적인 데이터 관리가 용이하다. 

이러한 플랫폼을 기반으로 데이터 거버넌스의 인적 측면은 데이터 품질, 완전성, 규제 준수, 발견 가능성 등을 통해 신뢰를 이끌어내야 한다. 모든 비즈니스 운영에서 데이터 자산의 민주화는 최종 사용자가 협업할 수 있는 권한을 부여받는 분석 및 실험으로 이어질 수 있다. 이를 통해 데이터가 제공하는 인사이트에서 새로운 가치와 사용 사례를 찾을 수 있다. 

사일로 제거 
‘제품형 데이터’ 사고방식으로 전환하는 데 있어 핵심은 부서 간 협업을 장려하는 것이다. 집단적 혁신은 개별 목표로 인해 제외되고, 사람들은 자신의 목적을 달성하기 위해서만 데이터를 사용한다. 이러한 데이터 사용 사고방식은 기껏해야 아주 작은 규모(대부분 개인)로만 결과를 제공할 수 있다. 많은 기업이 이미 이 수준에서 데이터 성공을 입증했지만 실질적인 (데이터의) 이점은 규모에 맞게 변경하는 데 있다. 

이를 수행하는 효과적인 방법은 롤아웃 프로세스의 어느 시점에서 실패한 데이터 스토리를 다시 찾아서(아마도 모든 기업에 있을 것이다), 어떻게 다르게 할 수 있을지 살펴보는 것이다. 다른 사고방식과 접근법이었다면 성공적이었을까? 만약 데이터를 제품 중심으로 패키징했다면 달랐을까? 이전의 시도에서 실패한 부분을 분석하면 강력한 데이터 사고방식으로 가는 경로가 더 명확해지고 데이터 혼돈에 질서를 가져올 수 있다. 

모든 기업이 데이터를 필요로 하는 사람들이 데이터에 액세스할 수 있고, 데이터의 잠재력을 이해하며, 다른 사람들과 협력하여 (가능한 한) 최적의 데이터를 사용할 수 있도록 한다면 데이터에서 더 많은 것을 얻을 수 있다. 무엇보다도 문화적 변화는 가장 최신 도구나 아키텍처를 갖추는 데 달려있지 않다. 중요한 건 사고방식과 변화 의지다. 

* Karl Hampson은 킨 앤 카르타(Kin + Carta)의 AI 및 데이터 부문 최고 기술 책임자(CTO)다. ciokr@idg.co.kr

 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.