2016.12.20

"빅데이터 시장 성숙, 클라우드와 결합 뚜렷" 앳스케일 보고서

Thor Olavsrud | CIO
빅데이터 시장이 한층 성숙하는 한편 클라우드로 이전하는 경향이 뚜렷해지고 있는 것으로 조사됐다.

OLAP 같은 큐브(Cube)를 이용한 하둡 기반의 BI 특화 솔루션 기업 앳스케일(AtScale)은 최근 77개국 1,400개 기업의 빅데이터 전문가 2,550명을 대상으로 설문조사를 실시했다. 해당 설문조사는 클라우데라(Cloudera), 호튼웍스(Hortonworks), MapR, 코그니전트(Cognizant), 트리팩타(Trifacta), 태블로(Tableau)와 공동으로 진행했다.

앳스케일의 이번 2016 빅데이터 성숙도 조사(Big Data Maturity Survey)에서는 응답자의 약 70%가 빅데이터를 1년 이상 사용한 것으로 나타났다. 지난 해에는 59%였던 바 있다. 응답자의 76%는 현재 하둡을 사용하고 있으며 73%는 현재 하둡을 생산에 적용하고 있다고 밝혔다(지난 해에는 65%). 또한 74%는 하둡 노드(Node)의 수가 10개 이상이었으며 20%는 100개 이상인 것으로 조사됐다.

빅데이터 산업 애널리스트 겸 "파괴적인 분석(Disruptive Analytics)"의 저자이자 이번 보고서를 작성한 토마스 딘스모어는 "이 설문조사의 주요 고려 사항은 응답자의 성숙도였다. 응답자 5명 중 1명이 100개 이상의 노드를 보유하고 있으며 그들 중 74%는 비즈니스 현장에 활용하고 있었다. 연간 두 자리 이상의 성장률을 나타내고 있었다"라고 말했다.

또한 빅데이터 분석 관리와 관련하여 점차 클라우드로 전향하고 있는 움직임이 포착됐다고 그는 설명했다. 응답자의 53%는 이미 클라우드에 빅데이터를 도입했다고 말했으며 14%는 모든 빅데이터를 클라우드로 운용하고 있었다. 72%는 향후 빅데이터 배치에 클라우드를 활용할 계획이었다.

앳스케일의 CTO 겸 공동 설립자 매트 베어드는 "지난 1년 동안 클라우드에 기반한 빅데이터 활용이 눈에 띄게 증가했다. 데이터를 클라우드에 보관한 응답자들이 실질적인 가치를 달성할 가능성이 높았던 점이 흥미롭다"라고 말했다.

“하둡은 구외(off-premises)가 더 낫다”
앳스케일의 CEO 겸 설립자 데이브 마리아니는 베어드의 말에 다음과 같이 덧붙였다. "하둡은 매우 어렵다. 배치가 정말 어렵고 관리 역시 정말 어렵다. 많은 고객들이 하둡 클러스터(Cluster) 관리를 고민하고 싶어하지 않는다. 탄력적으로 확장하고 새 노드를 추가할 뿐 아니라 축소하기도 하며 이를 위해 객체 저장소를 지속적인 계층으로 사용한다는 개념은 구내 하둡와 전혀 어울리지 않는다."

빅데이터의 성숙도 증가와 함께 핵심 워크로드도 클라우드로 이전되고 있다고 앳스케일의 CMO 브루노는 전했다. 그는 “지난해 최고의 워크로드는 ETL이었고 비즈니스 인텔리전스(Business Intelligence)와 데이터 과학이 그 뒤를 이었다. 그러나 올 해 최고의 워크로드는 비즈니스 인텔리전스였다"라고 말했다.

BI 확대
그에 따르면 ETL과 데이터 과학은 여전히 인기 있는 워크로드지만 지난해 이미 상승세를 보인 비즈니스 인텔리전스가 지배적인 워크로드로 부상했다. 응답자의 75%가 빅데이터에서 BI를 사용하고 있거나 사용할 계획인 것으로 나타났다. 그리고 현 상황으로 볼 때 근시일 내에 감소세로 들어설 것 같지는 않다. 응답자의 97%는 향후 3개월 동안 빅데이터를 더욱 활용할 계획이라고 말했다.

스파크(Spark)에 관한 많은 담론이 있었지만 해당 설문조사에서는 조직 중 42%가 스파크를 교육 목적으로만 활용하고 있다고 응답했다. 응답자의 1/3은 스파크가 현재 주로 개발 단계라고 말했으며 25%는 스파크를 개발 및 생산에 배치했다고 말했다.

아지자는 "스파크에 대한 기대치가 높지만 현실적인 배치는 거의 없다. 하둡 사용을 계획하는 사람들을 보면 대부분 '스파크를 기본 엔진으로 사용할 것이다'고 생각하고 있다. 하지만 실제로 하둡을 사용하기 시작하면 대부분은 하이브(Hive)를 사용한다"라고 말했다.

그는 이어 "ETL 파이프라인을 위해 스파크를 사용하지 않을 것이다. 거기에는 하이브를 사용할 것이다. 하지만 상호적인 쿼리(Query)에는 절대로 하이브를 사용하지 않으며 스파크나 임팔라(Impala)를 사용할 것"이라고 덧붙였다.

하지만 스파크를 생산에 배치한 조직들은 실제적인 가치를 달성할 가능성이 85%나 높았다. 향후 스파크의 확산을 기대하게 하는 결과다.

한편 빅데이터, 접근성, 보안, 관리에 관한 우려가 지난 1년 동안 빠르게 증가했는데, 특히 관리와 관련된 우려는 21%나 증가한 것으로 이번 조사에서 드러났다. ciokr@idg.co.kr 

2016.12.20

"빅데이터 시장 성숙, 클라우드와 결합 뚜렷" 앳스케일 보고서

Thor Olavsrud | CIO
빅데이터 시장이 한층 성숙하는 한편 클라우드로 이전하는 경향이 뚜렷해지고 있는 것으로 조사됐다.

OLAP 같은 큐브(Cube)를 이용한 하둡 기반의 BI 특화 솔루션 기업 앳스케일(AtScale)은 최근 77개국 1,400개 기업의 빅데이터 전문가 2,550명을 대상으로 설문조사를 실시했다. 해당 설문조사는 클라우데라(Cloudera), 호튼웍스(Hortonworks), MapR, 코그니전트(Cognizant), 트리팩타(Trifacta), 태블로(Tableau)와 공동으로 진행했다.

앳스케일의 이번 2016 빅데이터 성숙도 조사(Big Data Maturity Survey)에서는 응답자의 약 70%가 빅데이터를 1년 이상 사용한 것으로 나타났다. 지난 해에는 59%였던 바 있다. 응답자의 76%는 현재 하둡을 사용하고 있으며 73%는 현재 하둡을 생산에 적용하고 있다고 밝혔다(지난 해에는 65%). 또한 74%는 하둡 노드(Node)의 수가 10개 이상이었으며 20%는 100개 이상인 것으로 조사됐다.

빅데이터 산업 애널리스트 겸 "파괴적인 분석(Disruptive Analytics)"의 저자이자 이번 보고서를 작성한 토마스 딘스모어는 "이 설문조사의 주요 고려 사항은 응답자의 성숙도였다. 응답자 5명 중 1명이 100개 이상의 노드를 보유하고 있으며 그들 중 74%는 비즈니스 현장에 활용하고 있었다. 연간 두 자리 이상의 성장률을 나타내고 있었다"라고 말했다.

또한 빅데이터 분석 관리와 관련하여 점차 클라우드로 전향하고 있는 움직임이 포착됐다고 그는 설명했다. 응답자의 53%는 이미 클라우드에 빅데이터를 도입했다고 말했으며 14%는 모든 빅데이터를 클라우드로 운용하고 있었다. 72%는 향후 빅데이터 배치에 클라우드를 활용할 계획이었다.

앳스케일의 CTO 겸 공동 설립자 매트 베어드는 "지난 1년 동안 클라우드에 기반한 빅데이터 활용이 눈에 띄게 증가했다. 데이터를 클라우드에 보관한 응답자들이 실질적인 가치를 달성할 가능성이 높았던 점이 흥미롭다"라고 말했다.

“하둡은 구외(off-premises)가 더 낫다”
앳스케일의 CEO 겸 설립자 데이브 마리아니는 베어드의 말에 다음과 같이 덧붙였다. "하둡은 매우 어렵다. 배치가 정말 어렵고 관리 역시 정말 어렵다. 많은 고객들이 하둡 클러스터(Cluster) 관리를 고민하고 싶어하지 않는다. 탄력적으로 확장하고 새 노드를 추가할 뿐 아니라 축소하기도 하며 이를 위해 객체 저장소를 지속적인 계층으로 사용한다는 개념은 구내 하둡와 전혀 어울리지 않는다."

빅데이터의 성숙도 증가와 함께 핵심 워크로드도 클라우드로 이전되고 있다고 앳스케일의 CMO 브루노는 전했다. 그는 “지난해 최고의 워크로드는 ETL이었고 비즈니스 인텔리전스(Business Intelligence)와 데이터 과학이 그 뒤를 이었다. 그러나 올 해 최고의 워크로드는 비즈니스 인텔리전스였다"라고 말했다.

BI 확대
그에 따르면 ETL과 데이터 과학은 여전히 인기 있는 워크로드지만 지난해 이미 상승세를 보인 비즈니스 인텔리전스가 지배적인 워크로드로 부상했다. 응답자의 75%가 빅데이터에서 BI를 사용하고 있거나 사용할 계획인 것으로 나타났다. 그리고 현 상황으로 볼 때 근시일 내에 감소세로 들어설 것 같지는 않다. 응답자의 97%는 향후 3개월 동안 빅데이터를 더욱 활용할 계획이라고 말했다.

스파크(Spark)에 관한 많은 담론이 있었지만 해당 설문조사에서는 조직 중 42%가 스파크를 교육 목적으로만 활용하고 있다고 응답했다. 응답자의 1/3은 스파크가 현재 주로 개발 단계라고 말했으며 25%는 스파크를 개발 및 생산에 배치했다고 말했다.

아지자는 "스파크에 대한 기대치가 높지만 현실적인 배치는 거의 없다. 하둡 사용을 계획하는 사람들을 보면 대부분 '스파크를 기본 엔진으로 사용할 것이다'고 생각하고 있다. 하지만 실제로 하둡을 사용하기 시작하면 대부분은 하이브(Hive)를 사용한다"라고 말했다.

그는 이어 "ETL 파이프라인을 위해 스파크를 사용하지 않을 것이다. 거기에는 하이브를 사용할 것이다. 하지만 상호적인 쿼리(Query)에는 절대로 하이브를 사용하지 않으며 스파크나 임팔라(Impala)를 사용할 것"이라고 덧붙였다.

하지만 스파크를 생산에 배치한 조직들은 실제적인 가치를 달성할 가능성이 85%나 높았다. 향후 스파크의 확산을 기대하게 하는 결과다.

한편 빅데이터, 접근성, 보안, 관리에 관한 우려가 지난 1년 동안 빠르게 증가했는데, 특히 관리와 관련된 우려는 21%나 증가한 것으로 이번 조사에서 드러났다. ciokr@idg.co.kr 

X