Offcanvas

빅데이터 | 애널리틱스 / 애플리케이션

하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용

2012.01.12 Brian Proffitt  |  ITWorld


머시는 “하둡을 이용하면 그냥 모든 데이터를 저장하면 되기 때문에 아무런 가정도 필요하지 않다”라고 주장했다.

이러한 사실은 비록 하둡의 낮은 경제적 비용이라는 이점 뒤에 가려져 많이 주목 받지 못하고 있지만 아마도 하둡의 가장 큰 장점일 것이다. 머시는 “하향샘플링은 어떤 특정 데이터가 다른 데이터들보다 더 크고 더 중요할 것이라는 가정을 토대로 한다. 그러나 하둡에서는 모든 데이터가 동등한 가치를 갖는다”라고 설명했다.

모든 데이터의 가치가 동등하고, 각각이 비슷한 수준으로 이용될 수 있기 때문에, 비즈니스 시나리오들은 언제라도 아무런 제약 없이 원 데이터를 가지고 추진될 수 있다. 게다가 이전에는 사일로화 됐었던 데이터들에도 동등하게 접근할 수 있으며 이들을 공유함으로써 기업 비즈니스를 더 크게, 전체적으로 접근해 분석할 수 있을 것이다.  

이제는 히스토리컬 데이터라는 것이 사라진다는 점에서 데이터가 어떻게 인식될 것인가의 변화는 실로 엄청나다. 게다가 데이터가 있는 그대로 저장될 수 있기 때문에 추출, 변환, 로드 연산 등과 관련된 데이터 관리 일들이 많이 줄어들 것이다.

비용은 얼마나 드나
하둡의 여러 장점들 중에서도 저렴한 비용이 단연 가장 많은 주목을 받고 있다는 사실에는 반론의 여지가 없다. 아파치 소프트웨어 라이선스에 따라 전체 프레임워크가 오픈소스이기 때문에 기본 소프트웨어에 대한 라이선스료(licensing fee)를 지불하지 않아도 된다.

하둡 프레임워크의 창안자 중 한 명인 더그 커팅을 채용한 상용 하둡업체 클라우데라(Cloudera)는 오픈 코어 모델(open core model)을 사용하며 따라서 하둡 기본 소프트웨어는 무료이지만 클라우데라의 연장 도구에는 라이선스료를 지불해야 한다. 머시가 야후의 하둡 팀에서 함께 근무했던 몇 명의 직원들과 2011년 초 공동 창업한 호튼웍스는 모든 소프트웨어를 무료로 그리고 오픈소스로 제공하는 대신 교육과 지원 프로그램 등을 통해 수익을 올리고 있다.

그 이외에도 하둡에는 비용을 절약할 수 있는 여러 특성들이 있다: RDBMS와는 다르게 하둡은 고가의 하드웨어나 고성능 프로세서들을 필요로 하지 않는다. 하둡 네트워크에 연결된 상용 서버면 충분하다. 즉 하둡 노드는 오로지 프로세서 하나, 네트워크 카드 하나, 하드 드라이브 몇 개만을 필요로 하는데 이들을 총 합치면 약 4,000달러 정도 수준이다; 반면 RDBMS 시스템은 TB당 1만에서 1만 4,000달러 정도의 비용이 든다. 이렇게 큰 비용 차이는 결정적으로 왜 하둡이 그렇게 큰 주목을 받는지, 그리고 왜 마땅히 주목 받아야 하는지에 대한 설명이 된다.

하지만 기업들이 그렇게 절약된 비용으로 다른 효과를 만들어내기는커녕 그 돈으로 하둡 마이그레이션 계획에 마구잡이로 달려들지 않도록 신중해야 한다. 제1부에서 언급했던 하둡 시스템 엔지니어들과 괸리자들에게 필요한 경험 유형으로 비춰볼 때 자사만의 하둡을 설치하고자 하는 기업들은 결과적으로 인건비에 엄청난 웃돈을 지불하게 될 가능성이 크다. 기업이 하둡의 상용 버전을 배치하든 무료 버전을 배치하든 별 상관없이 말이다. 사실 지금도 이미 충분한 자격을 갖춘 하둡 엔지니어들에 대한 시장 수요가 매우 치열하여 가장 규모가 큰 하둡 이용자인 구글과 페이스북 사이에서 뛰어난 하둡 엔지니어들을 놓고 수백만 달러의 입찰 경쟁들이 벌어지고 있다.

기업에서는 배치한 소프트웨어가 무엇이든 간에 훌륭한 하둡 직원들에게 많은 돈을 지불해야 할 것이다. 필요와 지역에 따라 어디에서건 12만 달러에서 19만 달러의 연봉이 될 수 있다(거래를 성사시키기 위해 추가로 제시해야 할지도 모를 스톡옵션이나 특전 등은 이 금액에 포함되지 않는다). 그러나 이러한 금액이 하드웨어와 소프트웨어 비용 절감을 충분히 상쇄시킬 정도인가?
 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.