Offcanvas

BI / SNS / 빅데이터 | 애널리틱스

칼럼 | 빅데이터의 위력

2012.03.15 Joab Jackson  |  IDG News Service


다이나모의 디자인은 그 어떤 단일 마스터 노드에도 의존하지 않는다. 어떤 노드든 전체 시스템을 위해 데이터를 수용할 수 있을 뿐 아니라 쿼리에 응답할 수 있다. 데이터는 복수의 호스트에서 복제된다.

기업들에게 고함
희소식은 기업들이 이런 온라인 서비스 제공업체들이 최초로 개발한 많은 툴들을 오픈소스 소프트웨어로 사용할 수 있는 기회가 점차 확대되고 있다는 점이다. 현재 대형 온라인 서비스 제공업체들 외에도 다양한 기업들이 빅데이터 툴을 테스트하고 있다. 금융 기업, 통신사, 정부 기업, 유틸리티 기업, 소매 기업, 에너지 기업 등이 모두 빅데이터 시스템을 테스트하고 있다고 블레이드쉴러는 말했다.

블레이드쉴러에 따르면, 하둡과 빅데이터 이행은 필수 불가결하며 엄청나게 다양한 고객들에게 적용이 가능하다고 한다.

그렇다면 기업은 장비와 소셜 네트워크에 의해 생성되는 많은 데이터를 어떻게 활용할 수 있을까?

놀랍게도 CIO에게 있어서 이런 인프라를 구축하는 것이 최대의 난관은 아니다. 클라우데라, 호튼웍스, 맵알 등의 업체들이 빅데이터 기술을 상용화하여 배치와 관리를 용이하게 하고 있다.

되려 데이터를 분석할 적절한 인재를 찾는 것이 가장 큰 문제일 수 있다고 포레스터 리서치 애널리스트 제임스 코빌러스는 지적했다.

기업들은 "데이터 과학(Data Science)에 초점을 맞춰야 한다"라고 코빌러스는 말했다. 그는 기업들이 통계 모델 전문가, 테스트 마이닝(Text Mining) 전문가, 심리 분석 전문가를 고용해야 한다고 주장했다.

빅데이터는 견고한 데이터 모델링에 의존한다고 코빌러스는 말했다. "통계적 예측 모델과 테스트 분석 모델은 빅데이터를 위한 핵심적인 애플리케이션이 될 것이다"라고 그는 주장했다.

많은 사람들이 빅데이터 때문에 완전히 새로운 종류의 전문적인 데이터 공학자가 생겨날 것이라고 예측하고 있다. 데이터 공학자는 수학과 통계학에 정통하면서 빅데이터 기술을 어떻게 다뤄야 하는지 알고 있는 사람일 것이다.

이런 인재의 공급 부족 현상이 발생할 것이다. 미국만 하더라도 2018년까지 통계 전문 인력의 경우 14만~ 19만 명, 효과적인 결정을 내리기 위해서 빅데이터 분석을 사용할 수 있는 노하우를 가진 관리자 및 애널리스트 150만 명이 각각 부족한 현상을 겪게 될 것이라고 맥킨지는 전망했다.

이런 한계점에도 불구하고 기업들은 경쟁력과 효율성을 유지하기 위해서 빠르게 전진해야 한다고 맵알의 노리스는 말했다. 그는 경쟁자보다 수 년이나 늦게 인터넷 검색 시장에 뛰어들어 불과 2년 만에 시장을 석권한 구글을 예로 들었다.

"구글의 백엔드 아키텍처의 장점이 큰 도움이 된 것이다"라고 노리스는 말했다. 빅데이터는 산업을 바꿀 수 있는 잠재력을 지닌 거대한 패러다임의 변화다.

*Joab Jackson는 IDG 뉴스 서비스 기자다. ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.