Offcanvas

BI / 애플리케이션

조사 | 새로운 툴이 빅 데이터 분석 주도

2011.10.19 Jaikumar Vijayan  |  Computerworld
새로운 기술들이 등장함에 따라 기업들이 매우 크고 다양한 데이터 세트에서 취합한 데이터를 점점 더 정교하게 분석할 수 있게 됐다. 데이터웨어하우징연구소(TDWI)는 대기업 및 SMB의 IT관리자, 현업 사용자, 컨설턴트 325명을 대상으로 실시한 조사를 분석한 보고서에서 이같이 밝혔다

TDWI에 따르면, 1/3 이상의 응답자들은 현재 빅 데이터로 고도화된 분석의 일부로 대부분의 비즈니스 인텔리전스, 예측 분석, 데이터 마이닝 및 통계 분석 작업 등을 실행하고 있다고 말했다.  

45%에 가까운 응답자들은 빅 데이터 분석이 비즈니스 통찰력을 활성화할 것으로 기대한다고 말한 반면, 38%는 더 나은 판매 및 시장 기회를 발굴하고자 빅 데이터 기술을 사용한다고 답했다. 응답자 60% 이상은 큰 데이터 분석이 기업의 소셜 미디어 마케팅 역량을 강화 수 있을 것으로 기대한다고 밝혔다.

TDWI 조사에 따르면, 가장 빠른 빅 데이터 분석 활용 사례는 고도화된 데이터 가시화다. 점점 더 많은 기업들이 빅 데이터 세트에서 기업 데이터의 극히 복잡한 기업 데이터를 시각적으로 표현하기 위해 정교한 분석 툴을 실행하는 것으로 조사됐다.

"기업들이 대용량 데이터 관리를 다루는 데 고전하고 있을 때, 빅 데이터는 기술적인 문제에만 사용됐다”라고 TDWI 애널리스트이자 이 보고서의 저자인 필립 루솜은 전했다. “빅 데이터에 분석을 적용한다면, 기업이 얻을 수 있는 것들은 많다. 이는 전통적인 BI와 데이터웨어하우징 기술에서 구할 수 없었던 것들이다”라고 그는 덧붙였다.

빅 데이터라는 용어는 종종 수 백 테라바이트나 페타바이트 같은 매우 큰 규모의 데이터 세트를 의미하기도 한다. 점차 이 용어는 정형 데이터의 대용량뿐 아니라 블로그, 클릭스트림 데이터, 시스템 및 센서 데이터, 소셜 미디어 데이터 등 비정화된 데이터를 설명하는 데 사용되고 있다.

많은 경우, 기업이 오랫동안 콜센터, RFID 칩, 공급망 애플리케이션 및 물류 관리 툴로 구성된 데이터를 쌓아 두면서 용량이 점차 크게 늘어났지만, 이들을 제대로 활용할 만한 적절한 수단이 없었다고 루솜은 지적했다.

현재, 기술이 발전하는 것과 동시에 스토리지와 하드웨어 가격이 하락한 결과 신속하고 효과적으로 기업은 매우 다양하고 거대한 양의 데이터를 관리하고 분석하며 저장할 수 있게 됐다고 그는 설명했다. 점점 더 많은 기업들이 과거에 몰랐거나 인지하지 못했던 사실과 패턴에 대한 구체적이고 복잡한 엄청난 양의 데이터를 찾아낼 수 있게 됐다는 게 그의 설명이다

이러한 분석을 지원하는 IT업체로는 데이터베이스와 데이터 분석에 특화된 기술을 보유한 아스터데이터(Aster Data), 그린플럼(GreenPlum), 테라데이타(Teradata), 네티자(Netezza), 파셀(ParAccel), 버티카(Vertica), SAP 등이 있다.

이러한 IT업체의 제품들은 새로운 기술과 기존의 데이터베이스 기술의 한계 중 일부를 해결할 혁신적인 기능을 담고 있다. 이 새로운 기술은 인메모리 데이터베이스, 대규모 직렬/병렬 데이터를 처리하는 분석 기술, 과거에 불가능했던 방법으로 빅 데이터의 저장/관리/질의하도록 하는 번들 어플라이언스 등이 포함된다.

하둡(Hadoop)과 맵리듀스(MapReduce) 같은 오픈소스 툴 역시 기업들에게 빅 데이터를 공략할 새로운 방법을 제공하고 있다.

"분석 툴과 데이터베이스가 현재 빅 데이터를 처리할 수 있다. 이것들은 대규모 쿼리를 실행하고 기록 시간에 따라 테이블을 분석할 수 있다"라고 루솜은 그의 보고서에서 밝혔다. "최근 등장한 IT업체의 툴과 플랫폼을 보면, 빅 데이터가 관련된 애플리케이션들의 성능이 매우 뛰어난 수준에 도달했음을 알 수 있다”라고 루솜은 전했다.

TDWI 보고서는 빅 데이터로 고도의 분석 기능을 구현하려면 빅 데이터에 대한 많은 도전이 필요하다고 지적했다.

45% 이상의 응답자는 빅 데이터 분석에서 가장 큰 걸림돌 중 하나로 숙련된 전문가 부족을 지목했으며 이는 매우 심각하다고 말했다. TDWI 보고서는 새로운 분석 애플리케이션으로 요구된 기술들이 전통적인 BI와 DW와 다소 차이가 있어 이로 인해 빅 데이터 전문가 부재 문제가 더욱 악화되고 있다고 설명했다.

이밖에 기업의 지원 부족과 빅 데이터 분석 구축과 관련한 전반적인 비용이 빅 데이터의 다른 주요 걸림돌로 지목됐다. ciokr@idg.c.o.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.