Offcanvas

빅데이터 | 애널리틱스

“진정한 데이터 주도 조직이란...” 디노도의 ‘데이터 가상화’ 해법

2023.07.13 Brian Cheon  |  CIO KR
“기술 발전이 가속화되고 데이터 가치에 대한 인식이 확산되고 있습니다. 아울러 기업 내의 데이터 해독 능력도 고도화되고 있습니다. 이에 따라 ‘데이터 주도 기업’의 정의와 지향점이 변화하고 있습니다. 그럼에도 불구하고 오늘날 기업들이 데이터를 다루는 방법은 여전히 비효율적인 특성을 가지고 있습니다.”

오늘날의 기업들이 데이터를 다루는 방식은 크게 두 가지다. 공통된 인프라에 수많은 잔디가 뿌리내린 것처럼 데이터가 산재하고 활용 역시 산발적으로 이뤄지는 ‘그래스루트 접근’(Grassroot Approach)이 하나라면, 통합된 데이터 웨어하우스 또는 데이터 레이크와 같은 환경에 데이터를 모으고 활용하도록 하는 ‘빅뱅 전략’(Big-Bang Strategy)이 다른 하나다. 그러나 그래스루트 접근의 사일로 현상을 막기 위한 빅뱅 전략 또한 새로운 데이터나 소스의 출현으로 인해 문제 반복의 악순환을 피하기 어렵다.

CIO 코리아가 개최한 ‘디지털 리더스 서밋 2023’에서 디노도(Denodo) 코리아 기술 영업 총괄 김세준 상무는 미래의 데이터 주도 기업이 가지는 특징을 공유하는 한편, 이를 뒷받침하는 데이터 아키텍처에 대한 인사이트를 공유했다. 

“미래 데이터 주도 기업의 특징과 근간 아키텍처는…”
김세준 상무는 먼저 미래의 데이터 주도 기업이 가지는 특징을 7가지로 정리해 제시했다. ▲모든 의사 결정, 상호 작용 및 프로세스에 데이터를 내장, ▲실시간 데이터 처리 및 공급이 가능한 데이터 아키텍처의 수용, ▲유연한 데이터 저장소를 통해 즉시 사용 가능한 통합 데이터 제공, ▲데이터를 제품처럼 취급하는 데이터 운영 모델, ▲가치 창출을 위해 최고 데이터 책임자(CDO)의 역할 확장, ▲데이터 에코시스템 멤버십의 일반화, ▲데이터 관리 우선! 개인 정보 보호, 보안 및 데이터 복원을 위한 자동화가 그것이다. 

그는 “모든 임직원이 데이터의 가치를 이해하고 활용할 수 있어야 하며, 실시간 데이터를 공급하고 활용할 수 있는 아키텍처가 마련돼 있어야 한다. 또 데이터는 궁극적으로 품질과 공급이 보장되어야 하며, 비즈니스와 정렬된 데이터 지표를 관리하는 임원의 역할이 커져야 한다. 아울러 데이터 활용과 공유를 위한 에코시스템이 일반화되어야 하는 한편, 중요하면서도 제대로 하지 못했던 데이터 관리·거버넌스를 우선시해야 한다”라고 말했다.

김세준 상무는 이어 이를 뒷받침하는 데이터 아키텍처가 등장해 이미 판도를 바꾸고 있다고 진단했다. 온프레미스와 클라우드 모두에 대응하는 하이브리드 구조를 갖추고 원천 저장소에 있는 데이터를 배치 작업 없이 실시간 공급하며, 모듈화된 동급 최고의 여러 플랫폼을 품는 아키텍처가 출현했다는 설명이다. 이러한 아키텍처와 플랫폼은 논리적 구성을 기반으로 데이터의 최종 사용자가 애플리케이션을 쉽게 소비하도록 하며 유연하고 확장가능한 특성을 지닌다고 그는 덧붙였다. 

디노도 가치 제안의 핵심 ‘데이터 가상화’
김세준 상무에 따르면 지난 20여 년 동안 데이터 분야에 집중해온 디노도는 ‘데이터 가상화’라는 고유의 접근법을 특징으로 한다. 데이터 가상화란 데이터 패브릭의 형태로 액세스 및 전송 계층을 제공하는 데이터 플랫폼 기술을 말한다. 김세준 상무는 이 접근법이 핵심인 데이터 통합 기능 외에도 데이터 추천, 데이터 품질 관리, 데이터 거버넌스 및 정책 자동화를 전달한다고 강조했다.

그는 “여러 소스의 데이터를 물리적으로 옮기지 않고 논리적으로 접근할 수 있도록 연결함으로써 데이터를 활용하게 하는 솔루션”이라며, “여러 소스는 물론 각종 파일 형식에도 구애 받지 않는다. 데이터를 추상화해 사용자들이 사용하기 쉽게 공급한다”라고 말했다. 

디노도의 논리 및 분산 데이터 아키텍처는 크게 6가지 핵심 역량을 구현한다. 논리적 데이터 추상화, 자동화 및 추천, 실시간 데이터 통합, 어드밴스드 시맨틱스, 스마트 쿼리 가속화, 통합된 보안 및 거버넌스다. 특히 기업이 체감하는 가치로는 ‘자동화’가 있다고 김세준 상무는 강조했다. 기업이 데이터를 활용하는 과정에는 대단히 많은 노력을 필요로 하는데, 이 과정이 무척 소모적이고 괴로운 과정이라며 그는, 데이터 가상화가 궁극적으로 이러한 과정을 거의 100% 자동화할 수 있다고 자신했다. 
 

디노도 데이터 가상화 활용 사례 8가지. 데이터 가상화 기반의 논리적 아키텍처는 기존의 여러 데이터 관리 페인 포인트를 해소한다. 
 

수많은 데이터 소스와 데이터 사용자를 잇는 논리적 데이터 플랫폼이 중간에 존재한다. 이를 통해 엔터프라이즈 데이터 관리의 혁신을 구현한다. 

김세준 상무는 데이터 가상화 플랫폼의 비즈니스 가치에 대해 설명을 이어갔다. 먼저 데이터 프로젝트의 TTM(Time To Market)이 극적으로 단축된다. 모든 종류의 데이터 소스를 아우르는 가상의 단일 저장소에 접근할 수 있기 때문에 데이터를 복제하거나 이동할 필요가 없다. 원천 환경에 데이터를 직접 확인하고 활용할 수 있기에 결과를 추출하는 데 소요되는 시간을 기존 대비 약 67% 정도 아낄 수 있으며, ROI를 쉽게 개선할 수 있다고 그는 강조했다. 

물론 경우에 따라서는 레이크에서 데이터를 수집하고 동기화해야 할 필요가 있을 수 있다. 디노도는 이에 대해 파케이(Parquet) 및 병렬 데이터 로드 기능을 사용하여 기본적으로 데이터 레이크에 데이터를 로드하고 업데이트하도록 지원한다. 꼭 필요할 때만 효율적으로 수집하고 동기화를 함으로써 낭비되는 스토리지 없이 효율적으로 데이터를 통합해서 운영할 수 있다고 그는 덧붙였다. 

이 과정에서 하드웨어 요구가 아주 낮다는 점도 무시할 수 없는 장점이다. 디노도 플랫폼은 처리 및 실행 업무를 원천 소스에 위임해 원천 소스의 기능을 활용하도록 한다. 소스의 솔루션에서 데이터를 최대한 처리하고 가상화 레이어에서는 통합만 하는 구조인 셈이다. 김세준 상무는 “아주 간소한 하드웨어만 이용해 가상화 레이어를 구동할 수 있다”라고 말했다. 

두 번째 비즈니스 가치는 셀프 서비스의 문턱이 낮아지는 것이다. 최종 사용자들이 단일 계층을 통해 모든 데이터에 접근할 수 있게 됨에 따라 데이터 셀프 서비스가 크게 편리해진다. 또 추가 코딩 없이 SQL, REST API, OData 및 GraphQL을 통해 실시간 접근할 수 있도록 지원하기도 한다. 아울러 셀프 서비스의 주요 우려 요소인 보안과 거버넌스 문제가 단일 계층으로 인해 오히려 해소되는 현상을 기대할 수 있다고 김세준 상무는 강조했다. 

세 번째 비즈니스 가치는 ‘쿼리 실행 가속화’다. 가상화 기술은 으레 속도 저하를 초래하기에 데이터 가상화 기술로 인한 속도 저하를 우려하는 시각이 있을 수 있다. 김세준 상무는 “디노도가 특히 자부심을 가진 영역이 쿼리 최적화다. 사용자의 쿼리를 기반으로 학습해 추천하며, 자주 사용되는 데이터에 대해서는 유연한 캐시 옵션을 마련해두고 있다. 또 다중 소스 연합 쿼리를 위한 강력한 최적화 기능이 있다”라고 말했다. 

미래의 논리적 데이터 전략
마지막으로 김세준 상무는 디노도가 구상하는 논리적 데이터 플랫폼의 미래에 대해 귀띔했다. 요즘 화두라 할 수 있는 ‘생성형 AI’가 데이터 가상화 플랫폼과 접목될 예정이다. 

김세준 상무는 “카탈로그를 아무리 잘 정리한다고 해도 수천, 수만, 수십 만 개의 데이터들 중에서 진정 원하는 데이터를 찾아내기란 현실적으로 무척 어렵다. 자연어 기반의 질의를 쿼리로 해석해 쿼리에 대한 설명과 함께 결과를 제공하는 형태의 기능을 개발 중이다. 내년 공개가 유력하다”라고 말했다. 

그는 이어 “20년 동안 데이터 가상화에 집중해온 디노도는 데이터 활용의 문턱을 낮추기 위해 끊임없이 고민하고 있다. 오늘날 디노도가 4% 미만이라는 몹시 낮은 고객 이탈율을 유지하는 이유일 것”이라고 말했다. 
 

생성형 AI와 논리적 데이터 플랫폼. 화살표 우측이 디노도가 생성한 쿼리다. 

* 이 기사는 CIO코리아의 ‘디지털 리더스 서밋(Digital Leaders' Summit) 2023’에서 디노도의 김세준 상무가 발표한 ‘데이터 주도 조직과 데이터 가상화’ 세션을 정리한 것이다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.