Offcanvas
2018.03.19 Thor Olavsrud  |  CIO

소셜, 모바일, 클라우드와 함께 데이터 분석 및 관련 데이터 기술이 디지털 시대에 비즈니스에 파괴적인 혁신을 가져오는 핵심으로 부상했다. 기업은 지난 한 해 데이터를 생산하는 데서 더 나아가 데이터를 동력으로 삼고자 노력했으며, 이에 수많은 기업이 데이터와 분석에 주력했다. 2018년에는 이들 기술이 가치를 전달하기 시작해야 한다. 올 한 해 데이터 분석 전략과 관련해 가장 두드러질 접근법, 역할, 우려 사항을 소개한다. 지난 2월 6일 게재한 ‘최신 데이터 분석 트렌드를 읽는 4가지 키워드’를 업데이트한 기사임을 알린다.



‘데이터 레이크’, 살아남으려면 비즈니스 가치 입증해야
몇 년 동안 아주 놀라운 속도로 데이터가 쌓였다. 데이터 소스가 웹에서 모바일과 머신으로 이동하는 가운데 사물인터넷(IoT)은 더욱 빠른 속도로 데이터가 생성되도록 유도할 전망이다.

실시간 스트리밍 데이터 플랫폼 공급업체인 데이터 토렌트(Data Torrent)의 CEO 가이 처치워드는 “이로 인해 비용 효과적으로 데이터 파이프라인을 확대할 필요성이 생겼다”라고 말했다.

많은 기업이 아파치 하둡 같은 기술을 기반으로 데이터 레이크(data lakes)를 구현하는 것을 ‘해법’으로 여겼다. 데이터 레이크란, 기업의 모든 데이터를 원래 형식으로 저장하는 전사적인 데이터 관리 플랫폼이다. 데이터 레이크는 기업이 비즈니스 분석부터 데이터 마이닝까지 모든 곳에 활용할 수 있는 단일 데이터 레포지토리(저장소)를 제공해, 정보 ‘사일로(고립 및 분리)’를 무너뜨릴 잠재력이 있는 기술이다. ‘원본’ 그대로인 데이터 레이크는 빅데이터를 위한 기술이자 해법으로 홍보됐다.

그러나 데이터 레이크가 수많은 데이터를 저장하는 데 유용할지언정, 그렇게 담은 데이터에서 실제 활용 가능한 인사이트를 얻기란 어려웠다.

처치워드는 “데이터 레이크가 ‘배치’와 ‘휴지’ 상태 데이터에 대해서는 아주 훌륭하게 기능했다. 그러나 2015년부터 이 아키텍처가 ‘과용’되고 있다는 점이 분명해지기 시작했으며, 지금은 실시간 데이터 분석의 ‘아킬레스건’이 된 상태다”고 지적했다. 이어서 “먼저 데이터를 저장한 후 분석을 하는 방식이 기업에 불리하게 작용한다. 컴퓨터 성능이 허용하는 한도에서 가능한 한 빨리 인사이트를 획득해 행동을 취해야 하는 경우, 한물간 데이터가 가시성, 행동, 심지어는 즉각적인 대응과 조치에 부정적인 영향을 초래한다. ‘충분히 좋은’ 정도로는 전략적으로 치명적인 결과가 초래될 수 있는 경우다”고 설명했다.

스플리스 머신(Splice Machine)의 몬테 즈웨벤도 처치워드의 의견에 동의했다. 그는 “2018년에는 하둡에 환멸을 느끼게 될 것이다. 데이터 레이크에 발목 잡힌 기업이 하둡 기반 컴퓨터 엔진의 복잡성 때문에 ROI를 달성하지 못하는 문제가 발생하기 때문이다”라고 내다봤다.

데이터 카탈로그 전문회사인 에이레이션(Alation)의 전략 및 제휴 담당 VP인 켄 호앙에 따르면, 데이터 레이크는 비즈니스 가치를 입증하기 시작해야 2018년 이후 살아남는다.

호앙은 “새로운 데이터 저장 창고인 데이터 레이크는 지난 몇 년간 실험적으로 배포되는 단계를 통과했다. 이제 가치를 전달할 수 있음을 입증해야 한다. 그렇지 않으면 살아남지 못할 것이다. 정보 탐색과 AI, 정보 관리가 결합돼 비즈니스에 새로운 가치를 전달하는 엔터프라이즈 카탈로그가 구현된 데이터 레이크가 유용한 데이터 레이크다”라고 이야기했다.

그러나 호앙은 데이터 레이크가 무용지물이라는 주장에는 동의하지 않았다. 그는 데이터 레이크와 기타 대형 데이터 허브들이 머신러닝을 통해 ‘CaaS(Context as a Service)를 전달할 수 있는 ‘수퍼 허브’로 새 출발하게 될 것으로 예측했다.

호앙은 “지난 25년간 데이터 웨어하우스, MDM(Master Data Management), 데이터 레이크, 세일즈포스, ERP 등 대형 데이터 허브가 확산되면서 쉽게 이해, 연동, 공유할 수 없는 데이터 사일로가 증가했다. 그런데 '허브의 허브’는 이런 데이터 허브의 자산들을 연결해 CaaS를 구현한다. 그리고 관련성이 더 높고, 강력한 예측 인사이트를 획득하도록 도와 비즈니스 운영에서 효율성과 성과를 높일 것”이라고 강조했다.

맵알의 최고 애플리케이션 아키텍트 테드 더닝도 유사한 변화를 예상했다. 빅데이터 시스템이 저장과 접근, 운영의 중심으로 자리 잡으면서, 기업들이 여러 소스(출처)의 데이터에 종합적으로 접근할 수 있고, 진짜 멀티테넌트 시스템용 컴퓨팅을 제공하는 데이터 패브릭을 구축할 계획을 세우고 있다는 설명이다.

더닝은 “컴퓨팅을 데이터 처리나 데이터의 데이터베이스 저장이 아닌 데이터 흐름으로 처리하는 기업들이 증가하는 추세다. 이런 데이터 흐름은 중요한 비즈니스 이벤트를 포착하고, 비즈니스 구조를 반영한다. 통합 데이터 패브릭은 이런 대형 플로우 기반 시스템 구축에 필요한 토대가 될 것이다”고 설명했다.

이런 데이터 패브릭은 여러 다양한 상황에 적절하게 여러 컴퓨팅을 지원한다. 그는 “쿠버네티스(Kubernetes) 같은 기술이 제공하는 멀티 클라우드 컴퓨팅에 필요한 ‘움직이는 데이터’, ‘정지 상태의 데이터’를 제공하는 데이터 패브릭 구현이 새로운 트렌드로 부상하고 있다”고 덧붙였다.

셀프서비스 데이터 분석 전문회사인 알테릭스(Alteryx)의 최고 전략 책임자 랭리 에이드는 데이터 레이크를 담당하는 인력 구조에 대해 언급했다. 그는 “데이터 레이크의 가치 전달을 IT가 단독으로 책임지지 않는다. 현업 분석가와 최고 디지털 책임자(CDO)도 올 한 해 이를 책임져야 한다”고 강조했다.

에이드는 “데이터 레이크로 물밀 듯이 유입되는 클릭스트림 데이터, IoT 데이터, 로그 데이터 등 방대한 비정형 리소스를 활용하지 못하는 분석가가 대부분이다. 이렇게 하기 어렵기 때문이다. 그러나 솔직히 말해, 이런 데이터를 방치하는 분석가는 자신이 해야 할 일을 하지 않는 분석가이다. 자산이 제대로 활용되지 않는 데이터 레이크가 많다. 데이터 레이크에 들어있는 자산, 접근 방법, 데이터에서 인사이트를 획득하는 방법을 모르기 때문이다. 하지만 2018년에는 이것이 바뀔 전망이다. 데이터 레이크 ROI를 개선하기 원하는 기업과 CDO의 수가 증가하고 있기 때문이다”고 설명했다.

그는 2018년에는 분석가들이 엑셀과 SQL 같은 도구를 데이터 카탈로그같이 프로그래밍이 더 유리한 기법과 기술로 교체할 것이라고 내다봤다. 데이터에서 더 많은 가치를 발견해 획득하기 위해서이다.

CDO의 시대가 온다
에이드에 따르면, 데이터에서 더 효과적으로 인사이트를 도출하려는 노력 때문에 CDO의 역할이 더욱 독립적으로 자리 잡고, 그 입지가 강화될 전망이다.

에이드는 “데이터는 새로운 유전이나 다름없다. 여기에 더해, 기업들이 현재 직면한 가장 중요한 과제 중 하나는 데이터에서 가치를 끌어내는 것이다. CDO는 이런 도전과제를 극복하는 데 중추 역할을 하는 인물로 인식되기 시작했다. 예산이 1,000만 달러 미만인 조직에서 CDO가 직면한 가장 큰 도전과제와 기회 중 하나는 기업 데이터 자산을 현업 사용자에 더 가까이 두고 ‘셀프서비스’를 구현하는 것이다. 2018년, CDO가 중앙화 기능과 현업에 배치할 기술의 균형을 잡을수록 더 많은 예산을 지원받게 될 것이다”고 설명했다.

에디에 따르면 CoE(Centers of Excellence)와 현업 간을 빠르게 이동하는 기능, 기술력, 리소스를 구현하는 CDO가 가장 큰 성과를 일궈낼 전망이다. 이를 달성시키는 ‘열쇠’는 애자일 플랫폼과 기법이다.

데이터 큐레이터의 부상?
오픈소스 아파치 애로우 프로젝트를 견인한 분석 전문 신생업체 드레미오(Dremio)의 공동 창업자 토머 쉬란은 기업에 데이터 큐레이터라는 새로운 역할이 필요하게 될 것으로 내다봤다.

쉬란에 따르면, 데이터 큐레이터는 데이터 소비자(태블로나 파이썬 같은 툴을 사용해, 데이터로 중요한 질문의 답을 찾는 데이터 과학자와 분석가)와 데이터 엔지니어(스파크와 하이브, 맵리듀스 같은 스크립팅 언어를 사용해 시스템 간 데이터를 이동시키는 사람들) 중간에 위치한다. 유능한 데이터 큐레이터가 되려면 데이터의 의미는 물론 데이터에 적용되는 기술을 이해해야 한다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.