Offcanvas

SNS / 빅데이터 | 애널리틱스 / 애플리케이션

하둡으로 가는 길 | 제1부 기술과 훈련

2012.01.11 Brian Proffitt  |  ITWorld


무엇을 알아야 하나
데이터 분석가들은 하둡을 받아들이는데 큰 문제를 겪지 않겠지만 DBA들은 훨씬 급격한 학습 곡선에 직면하게 될 것이다. 분산형 파일시스템은 RDBMS의 데이터베이스 테이블 스토리지라는 기존의 영역에서 완전히 벗어난 것이기 때문이다.

모두가 각기 다른 하둡 구성요소들의 프레임워크 구성은 곧 관리자들이 서로 다른 수많은 요소들을 동시에 관리해야 함을 의미하므로 장래 관리자들에게 하둡의 복잡성은 분명히 엄청난 장애물이 될 것이다. 물론 관리를 편하게 해줄 멋진 GUI를 기대해서도 안 된다. 하둡, 하이브, 스쿱(Sqoop), 그리고 하둡 생태계에 있는 기타 툴들은 모두 명령 행에서 제어를 받는다. 하둡이 자바 기반으로 만들어졌고, 맵리듀스가 자바 클래스들을 사용하고 있으므로 상호작용의 많은 부분들은 개발자(특히 자바 개발자)의 입장에서 다루는 편이 훨씬 편리할 것이다.

하둡과 관련된 대부분의 직업들은 일반적으로 대규모의 분산형 시스템을 다뤄본 경험과 시스템 설계 및 스케일링(scaling), 성능, 스케줄링(scheduling)을 통한 시스템 개발에 대한 정확한 이해를 요구한다. 자바에서의 경험뿐 아니라 프로그래머들은 데이터 구조와 병렬 프로그래밍 기술도 직접 다뤄보고 좋은 배경 지식들을 갖추고 있어야 한다. 여기에 종류를 불문하고 클라우드 경험은 큰 플러스 요인이다.

이러한 것들을 한번에 모두 겸비하기는 어렵다; 따라서 하둡으로 옮기고자 하는 시스템 엔지니어들과 관리자들을 위해 호튼웍스는 3일 코스의 아파치 하둡 관리하기 클래스(Administering Apache Hadoop class) 를 제공할 예정이다. 클라우데라는 이미 클라우데라 대학 커리큘럼(Cloudera University curriculum)의 일환으로 활발한 관리수업을 열고 있다. 뿐만 아니라 하이브, 피그, 개발자 훈련 코스들도 들을 수 있다. 아파치 사이트의 하둡 지원(Hadoop Support) 위키에서 그 외 추가적인 수업들을 찾을 수 있다.

다음 편에서 다룰 내용들
‘하둡으로 가는 길-제 2부’에서는 하둡으로 갈아타는 것이 기업들에게 어떤 의미와 영향을 가져다 줄지에 대해 살펴볼 것이다. 어떤 기업들이 하둡을 이용해야 하며 배치들은 보통 어떻게 일어나는지를 보게 될 것이다. 마지막 제 3부에서는 기존의 RDBMS에서 하둡으로 옮겨가는데 따른 비용과 관계된 기술들뿐 아니라 하둡 데이터를 다른 어떤 RDBMS보다 훨씬 빠르고 저렴하게 분석하는데 사용되는 툴들을 소개할 것이다.

*Brian Proffitt는 베테랑 리눅스 및 오픈소스 저널리스트이자 애널리스트로 클라우드, 가상화 및 소비자 IT에대한 다년간의 경력을 가지고 있다. ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.