2011.08.01

조사 | “떠오르는 하둡, 아직 RDMBS 밀어낼 만큼은 아니다”

Jaikumar Vijayan | Computerworld
기업이 정형 및 비정형 데이터가 급격하게 늘어남에 따라 이를 관리하고자 오픈 소스 아파치 소프트웨어인 ‘하둡(Hadoop)’의 도입이 늘어나는 것으로 조사됐다.

벤타나 리서치(Ventana Research)의 최신 보고서는 하둡이 대세인 것은 분명하나 전통적인 RDBMS 플랫폼을 대체하기는 것은 아니라고 밝혔다. 이 보고서에 따르면, 기업들은 하둡과 RDBMS를 함께 사용하는 것으로 나타났다.

하둡은 기업이 페타바이트급 데이터를 관리하고 처리하도록 설계됐다. 하둡의 강점은 매우 큰 데이터 세트를 더 빠른 프로세싱을 위한 상용 하드웨어의 클러스터로 전달하는 더 작은 데이터 블록으로 나누는 것이다.  

페이스북, 아마존, e베이, 야후 등 얼리 어답터들은 전통적인 RDBMS로는 쉽게 관리할 수 없는 페타바이트급 비정형 데이터를 분석하고 저장하는 데 하둡을 사용하는 것으로 조사됐다.

160개 이상의 기업들을 대상으로 조사한 벤타나의 보고서는 점점 더 많은 기업들이 같은 이유로 하둡을 함께 사용하기 시작했음을 보여준다.

조사에 응한 기업의 절반 이상은 대규모 정형 및 비정형 데이터를 분석함으로써 비즈니스 통찰력을 수집하기 위해 하둡을 사용하기 시작했다고 답했다.  

“대부분의 기업들은 기존 기술을 대체하기 보다는 새로운 기능을 더해 하둡을 이용하고 있다”라고 벤타나 보고서의 저자 데이비드 메닝커는 말했다.

벤타나에 따르면, 하둡을 이용하는 기업들 대다수가 소셜 미디어 사이트의 로그나 이벤트 데이터, 검색 엔진 데이터, 텍스트 및 동영상 데이터와 같은 거대한 규모의 비정형의 기계로 정리된 데이터를 분석하고 취합하는 데 하둡을 주로 사용하는 것으로 나타났다.

“하둡이 전통적인 RDBMS의 능력을 능가하고자 하지만, 아직은 트랜잭션 데이터, 고객 데이터, 전화 기록 데이터와 같은 정형 데이터를 분석하는데 많이 쓰일 것 같지 않다”라고 메닝거는 말했다.

메닝거는 하둡이 새로운 종류의 데이터 분석 능력을 구현하기 때문에 사람들이 이를 사용하는 것이라고 밝혔다. “응답 기업의 2/3가 고도화된 분석과 과거에 하지 못했던 형태의 분석을 위해 하둡을 사용하고 있다고 답했다”라고 그는 덧붙였다.

메닝거는 “특히 비즈니스 운영단에서 새로운 기능을 제공하기 위해 하둡이 등장했다”라고 말했다. 메닝거에 따르면, 대부분의 사례에서 보면 하둡은 인사부서나 재무 부서보다는 영업과 마케팅과 같은 현업 부서에서 더 많이 사용되고 있다.

“운영은 가장 최신의 생생한 데이터가 탄생하는 곳이다. 또한 운영단에서 많은 데이터가 처리되기도 한다. 게다가 운영단에서 다른 분야의 현업을 지원하도록 요구받기도 한다”라고 메닝거는 설명했다.

기업들은 여전히 하둡 도입에서 몇 가지 문제점들을 안고 있다. “가장 큰 문제 중 하나는 하둡 기술을 가진 사람들이 부족하다는 것과 관련 있다는 것”이라고 메닝거는 말했다.

메닝거에 따르면, 조사에 응답자들은 하둡의 가장 큰 장애물로 직원 업무 능력과 교육이 가장 관련있다고 지목했다. 또한 많은 기업들도 하둡의 클러스터링 컴퓨팅 접근을 다루는 문제를 가지고 있는 것으로 나타났다. ciokr@idg.co.kr



2011.08.01

조사 | “떠오르는 하둡, 아직 RDMBS 밀어낼 만큼은 아니다”

Jaikumar Vijayan | Computerworld
기업이 정형 및 비정형 데이터가 급격하게 늘어남에 따라 이를 관리하고자 오픈 소스 아파치 소프트웨어인 ‘하둡(Hadoop)’의 도입이 늘어나는 것으로 조사됐다.

벤타나 리서치(Ventana Research)의 최신 보고서는 하둡이 대세인 것은 분명하나 전통적인 RDBMS 플랫폼을 대체하기는 것은 아니라고 밝혔다. 이 보고서에 따르면, 기업들은 하둡과 RDBMS를 함께 사용하는 것으로 나타났다.

하둡은 기업이 페타바이트급 데이터를 관리하고 처리하도록 설계됐다. 하둡의 강점은 매우 큰 데이터 세트를 더 빠른 프로세싱을 위한 상용 하드웨어의 클러스터로 전달하는 더 작은 데이터 블록으로 나누는 것이다.  

페이스북, 아마존, e베이, 야후 등 얼리 어답터들은 전통적인 RDBMS로는 쉽게 관리할 수 없는 페타바이트급 비정형 데이터를 분석하고 저장하는 데 하둡을 사용하는 것으로 조사됐다.

160개 이상의 기업들을 대상으로 조사한 벤타나의 보고서는 점점 더 많은 기업들이 같은 이유로 하둡을 함께 사용하기 시작했음을 보여준다.

조사에 응한 기업의 절반 이상은 대규모 정형 및 비정형 데이터를 분석함으로써 비즈니스 통찰력을 수집하기 위해 하둡을 사용하기 시작했다고 답했다.  

“대부분의 기업들은 기존 기술을 대체하기 보다는 새로운 기능을 더해 하둡을 이용하고 있다”라고 벤타나 보고서의 저자 데이비드 메닝커는 말했다.

벤타나에 따르면, 하둡을 이용하는 기업들 대다수가 소셜 미디어 사이트의 로그나 이벤트 데이터, 검색 엔진 데이터, 텍스트 및 동영상 데이터와 같은 거대한 규모의 비정형의 기계로 정리된 데이터를 분석하고 취합하는 데 하둡을 주로 사용하는 것으로 나타났다.

“하둡이 전통적인 RDBMS의 능력을 능가하고자 하지만, 아직은 트랜잭션 데이터, 고객 데이터, 전화 기록 데이터와 같은 정형 데이터를 분석하는데 많이 쓰일 것 같지 않다”라고 메닝거는 말했다.

메닝거는 하둡이 새로운 종류의 데이터 분석 능력을 구현하기 때문에 사람들이 이를 사용하는 것이라고 밝혔다. “응답 기업의 2/3가 고도화된 분석과 과거에 하지 못했던 형태의 분석을 위해 하둡을 사용하고 있다고 답했다”라고 그는 덧붙였다.

메닝거는 “특히 비즈니스 운영단에서 새로운 기능을 제공하기 위해 하둡이 등장했다”라고 말했다. 메닝거에 따르면, 대부분의 사례에서 보면 하둡은 인사부서나 재무 부서보다는 영업과 마케팅과 같은 현업 부서에서 더 많이 사용되고 있다.

“운영은 가장 최신의 생생한 데이터가 탄생하는 곳이다. 또한 운영단에서 많은 데이터가 처리되기도 한다. 게다가 운영단에서 다른 분야의 현업을 지원하도록 요구받기도 한다”라고 메닝거는 설명했다.

기업들은 여전히 하둡 도입에서 몇 가지 문제점들을 안고 있다. “가장 큰 문제 중 하나는 하둡 기술을 가진 사람들이 부족하다는 것과 관련 있다는 것”이라고 메닝거는 말했다.

메닝거에 따르면, 조사에 응답자들은 하둡의 가장 큰 장애물로 직원 업무 능력과 교육이 가장 관련있다고 지목했다. 또한 많은 기업들도 하둡의 클러스터링 컴퓨팅 접근을 다루는 문제를 가지고 있는 것으로 나타났다. ciokr@idg.co.kr

X