Offcanvas

How To / 빅데이터 | 애널리틱스 / 애플리케이션

'빅 데이터에 대한 기대와 현실' 한국MS 솔루션 전문가 2인 인터뷰

2013.12.04 Brian Cheon  |  CIO KR


“최근 많이 언급돼 마치 신기술처럼 보이지만 대용량 데이터 분석은 기술 그 자체로만 보면 매우 역사도 깊고 성숙한 기술입니다. 문제는 대부분 기업이 대량의 내외부 실시간 데이터를 분석/관리/유통하는 인프라 관리를 감당해본 경험이 없다는 겁니다. 갑자기(가트너의 용어를 빌어) 웹-스케일의 데이터 유통 인프라를 내재한다는 것이 가능할까요? 이게 정말 어렵고 많은 경험을 필요로 하는 부분입니다. 경험이란 것이 거저 얻어지는 게 아니니까요.”

이를테면 공장에서 나온 데이터를 분석해 운영을 최적화하고자 할 수 있다. 외부로 노출되면 안 되는 데이터이기에 제 3자에게 맡길 수 없는 상황이다. 이를 위해서는 인프라를 내부에 구축해야 하는데 데이터 용량이 너무나 방대한데다 빠른 속도를 필요로 하는 것이라서 검색 포털 업체 수준의 인프라 운영 역량을 갖추어야 할 수도 있다.

“이런 어려움을 감안하지 않고 일단 구축해보자는 시도들이 있습니다. 내부 기술력 내재화라는 명분도 있죠. 그러나 이렇게 기술 내재화하다가 시간 다 보내는 사례가 빈번합니다. 기술 내재화가 목적이라면 민감도나 기술 난이도 낮은 데이터부터 작은 프로젝트라도 해보면서 어떤 데이터가 어떻게 흘러가서 어떻게 안팎으로 영향을 미치는지, 이를테면 마치 없던 강줄기를 만들기 위해서 실제로 물이 조직의 업무 굴곡을 가로질러 어떻게 흘러가는지 지켜보면서 조절하는 점진적 경험을 충분히 가지는 게 맞습니다.”


전통 BI & BA와 빅데이터 통합 정보 처리 구조


그렇다면 빅 데이터와 관련한 이러한 문제에 마이크로소프트의 대답은 무엇일까? 최훈매니저는 인프라와 최종사용자 측면 2가지로 나눠볼 수 있다고 전했다.

“인프라 면에서는 데이터 소스와 데이터 매니지먼트 등에 대해 선택 옵션을 제시합니다. 온프레미스나 클라우드를 선택할 수 있도록 하는 것이 대표적입니다. 기업별로 상황이 다른데다 실험적 프로젝트를 위해 인프라를 실제로 구축하기에 리스크가 너무 큽니다. 클라우드를 이용하는 것이 나을 수 있습니다.”

“아울러 하둡 같은 경우에는 오픈소스 기반이다보니 대기업이 채택하기에 미흡한 부분이 있습니다. 온프레미스와 관련해서도 호톤웍스의 기술에 더해 관리, 보안 기술을 접목한 HDInsight 서버 기술을 선보입니다. 이 밖에 값비싼 스토리지 공간을 점유하지 않고도 하둡에 있는 데이터와 데이터웨어 하우스에 있는 정형 데이터와 테이블에 있는 데이터 상에 그대로 쿼리를 날릴 수 있게 해주는 ‘폴리베이스’(PolyBase)라는 기술을 통해 비용 효율성을 높여주기도 합니다.”

최종 사용자와 관련해서는 엑셀을 거론했다. 결국 가장 친숙한 도구를 사용하는 것이 가장 효율적이라는 판단 아래, 데이터 시각화, 관리, 온라인 데이터 수집, 맵 데이터 결합 등의 기능을 엑셀에서 모두 수행할 수 있도록 애드온을 지속적으로 선보이고 있다고 최훈 매니저는 설명했다.

“사용자들이 가장 익숙하게 이용하는 도구입니다. 엑셀에 애드온된 파워뷰(PowerView)나 파워피벗(PowerPivot), 파워쿼리(PowerQuery)와 같은 데이터 분석 도구를 이용해 외부 마켓플레이스의 데이터를 가져오게 하거나 SQL 서버의 데이터 뿐만 아니라 오라클 서버의 데이터를 처리할 수 있도록 지원을 추가해가고 있습니다. 또 엑셀에 이미 있는 다양한 시각화 도구들을 그대로 이용할 수 있도록 하고 있습니다. 이중 작업하지 말자는 이야기입니다.”

그는 즉 예전 같으면 머리에 떠오른 생각을 IT 팀에 요청해 받아와야 했던 것을 이제 엑셀에 내장된 기능을 이용해 쉽게 접근하고 통찰을 얻을 수 있게 해주는 것이 마이크로소프트 빅 데이터 솔루션의 특징이라고 정리했다. 엑셀 뿐 아니라 다른 콤포넌트들과의 접목도 얼마든지 가능하다는 이야기도 덧붙여졌다.

“빅 데이터 엔진 기술 자체는 무르익은 기술입니다. 하지만 실제 사용성을 확보해 대중화되기까지는 가야 할 길이 아직 멉니다. 후면에 존재하는 데이터가 구조화된 것이건 반구조화된 것이건, 혹은 비정형의 것이건 중요한 것은 필요한 이라면 누구나 즉시 쿼리를 날려 데이터를 검색하고 이용할 수 있도록 하는 것이 중요합니다. 일부 사용자들만 전용으로활용하는 도구가 아닌, 전 직원이 통찰을 얻을 수 있게 하겠다는 것. 그것이 마이크로소프트 빅 데이터 솔루션의 비전입니다. 그리고 이는 앞으로 큰 변화를 초래할 것입니다. 결국엔 내부 구조에도 영향을 미칠 것이라고 봅니다.”ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.