Offcanvas

BI / SNS / 빅데이터 | 애널리틱스

칼럼 | 빅데이터의 위력

2012.03.15 Joab Jackson  |  IDG News Service


기업이 무엇을 할 수 있나
지난 해 5월 컨설팅 기업 맥킨지는 앞으로 기업들에 얼마나 많은 데이터가 쏟아져 들어올지를 전망한 보고서를 발표했다. 또한 맥킨지는 의료, 공공부문, 소매, 제조 등 많은 산업이 빠르게 증가하는 데이터를 분석함으로써 이익을 얻을 수 있다고 전망했다.

기업들은 거래 데이터를 수집하고 분석해 고객들의 선호에 대한 깊이 있는 정보를 얻을 수 있다. 이것은 제품과 서비스 생산을 위한 더 나은 정보를 제공하며 기업들이 새로운 문제를 더욱 신속하게 처리하는데 사용될 수 있다.

빅데이터 사용은 개별적인 기업들을 위한 경쟁과 성장의 핵심 기반이 될 것이라고 해당 보고서는 전했다. 맥킨지는 빅데이터 사용이 생산성 성장과 소비자 흑자의 새로운 물결을 뒷받침할 것으로 내다봤다.

물론 테라데이타, IBM, 오라클 등은 10년 넘게 TB급의 데이터 웨어하우스(DW)를 제공하고 있다. 하지만 데이터는 현재 더욱 다양한 형태로 수집되고 저장되며 복수의 서버에 걸쳐 병렬로 처리될 수 있는 경향이 있다. 이는 분석되는 정보의 양을 생각할 때 필수불가결하다고 생각한다. 데이터베이스에서 철저하게 유지되는 거래 데이터와 DW 내에 존재하는 신중하게 수집된 데이터에 더해 기업들은 서버와 장비가 생성한 데이터, 내외부 소셜 네트워크의 고객 댓글, 기타 비정형 데이터의 출처부터 말로 형용할 수 없는 엄청난 양의 로그 데이터를 수집하고 있다.

"전통적인 데이터 시스템은 빅데이터를 제대로 처리하지 못하며 이는 데이터의 다양성을 처리할 수 없거나 최근의 데이터가 너무 빨리 발전해 구조화가 훨씬 덜 되기 때문일 수 있다. 또한 [이런 시스템이] 반드시 데이터를 소화해야 하는 속도로 확장될 수 없기 때문이다"라고 하둡 배포판을 제공하는 호튼웍스(Hortonworks)의 CTO 에릭 블레이드쉴러가 말했다.

이런 데이터는 무어의 법칙(Moore's Law) 덕분에 기하급수적인 속도로 성장하고 있다고 모나시 리서치(Monash Research)의 커트 모나시가 지적했다. 무어의 법칙은 하나의 프로세서 웨이퍼(Wafer)에 위치할 수 있는 트랜지스터(Transistor)의 수가 약 18개월마다 2배로 증가한다고 명시했다. 또한 매번 새로운 세대의 프로세서는 바로 전 세대의 프로세서보다 2배나 강력해진다. 이로 인해 새로운 서버의 처리능력도 18개월마다 두 배씩 증가하게 되고 이런 서버에서 생성되는 데이터 세트도 당연히 증가하게 된다는 것이다.

빅데이터 접근방식은 데이터가 처리되는 방식의 중대한 변화를 의미한다고 맵알(MapR)의 마케팅 담당 부사장 잭 노리스는 주장했다. 전에는 신중하게 수집된 데이터가 네트워크를 통해 추가적인 테스트가 가능한 DW로 전송됐다. 하지만 데이터 양이 증가하면서 "네트워크에 병목현상이 발생하고 있다"라고 그는 말했다. 하둡과 같은 분산된 시스템에서는 데이터가 존재하는 곳에서 분석을 실시할 수 있다.

빅데이터 소프트웨어는 사전에 결정된 제한된 수의 방법에 따라 쿼리(Query) 처리될 수 있도록 DW 내에 두기 위한 깔끔한 사용자 데이터 서브세트(Subset)를 생성하는 대신에 기업이 생성하는 모든 데이터를 수집하고 추후의 데이터 사용에 관해서는 관리자들과 분석가들에게 맡긴다. 이런 의미에서 이것들은 전통적인 데이터베이스와 DW보다 확장이 더욱 용이하다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.