Offcanvas

빅데이터 | 애널리틱스 / 애플리케이션 / 운영체제

칼럼 | 하둡 차기 버전에 대한 단상

2012.03.13 Brian Proffitt  |  ITWorld
독자 여러분이 어쩌면 지난 주 스트라타(Strata)의 소식을 들었을 지도 모른다. 필자는 하둡의 차기 버전이 어느 때보다도 거대하며 나빠질 것으로 내다보고 있다. 그러나 규모와 속도에 대한 과대 광고 속에는 새로운 기능들이 숨어 있다. 이 기능들은 하둡을 사용하는 방식을 근본적으로 바꿀 수 있다.

필자는 호튼웍스(Hortonworks) 공동 설립자이자 아파치 하둡 부사장인 아룬 머시와 한 컨퍼런스에서 만나 이야기를 나눌 수 있었다. 당시 필자는 새로운 소식을 들을 수 있었다. 예를 들어 6,000노드 지원, 고가용성 하둡 분산 파일 시스템(HDFS), 비 맵리듀스(MapReduce) 애플리케이션을 지원할 수 있는 맵리듀스의 차기 형태, 데이터 차단 분리 및 데이터를 확장할 수 있는 HDFS의 네임스페이스(namespace) 관리 등이 있었다.

중요한 모든 기능들이 있지만, 그 가운데 맵리듀스 작업보다 애플리케이션 지원에 대한 언급이 필자의 관심은 끌었다. 물론 맵리듀스 작업 플러그인 기능은 하둡 내의 맵리듀스 프레임워크의 전체 이유다. 하지만 하둡 위키에 따르면, 새로운 YARN 프레임워크는 잡트래커(JobTracker)의 두 가지 주요 기능인 자원 관리와 업무 일정관리/모니터링을 별도의 데몬으로 나눈다. 이 아이디어는 글로벌 리소스매니저(RM)와 해당 애플리케이션에 대한 애플리케이션마스터(AM)을 갖게 될 것이다.

머시의 스트라타에 대한 설명을 필자가 제대로 이해했다면, 자체 AM을 보유한 맵리듀스에 연결하는 데 필요한 각각의 애플리케이션을 허용한다. 이 AM은 맵리듀스가 작동할 수 있는 애플리케이션 형식에서 더 유연하도록 해준다.

필자는 와일 E. 코요테같은 천재는 아니지만 개발자가 마무리를 위해 지목할 수 있는 애플리케이션 프레임워크를 독자 여러분이 가지고 있다면, 그것은 필자에게 플랫폼처럼 보일 수 있다.

스트라타 발표 현장의 로비에서 머시를 만났을 때, 필자는 그를 지나쳤다. 하둡의 맵리듀스 프레임워크가 매우 막강하게 될 것이라고 가정할 때, 이것이 OS가 되는 과정에서 하둡을 가지고 설치할 수 있지 않을까?

머시는 필자의 다소 엉뚱한 질문을 들었지만, 전화로 답을 주지는 않았다. 하지만 그는 하둡이 적어도 단기적으로 가야 하는 그 무엇으로 생각하지는 않았다. 애플리케이션 프레임워크가 막강하다면, 개발자들이 애플리케이션을 코딩하는 하둡에 많은 플랫폼이 있을 것이다. 하둡이 반드시 기본 운영체제를 대신할 필요는 없다.

대신 하둡은 브라우저처럼 운영체제 위에 올라가 애플리케이션과 운영체제간의 레이어 역할을 하며 웹 애플리케이션을 위한 플랫폼으로서 제공할 것이다.

이러한 점에 비춰볼 때 운영체제가 하둡을 운영하는 것과 상관없이 하둡은 갑자가 스토리지 시스템과 특화된 맵리듀스에서 빅데이터 애플리케이션이 직접 운영할 수 있는 시스템의 업무용 기기로 상당히 많이 확대하고 있다.

이제 하둡이 무엇이냐는 의미는 매우 명확해 져야 한다. 이러한 확장된 인프라는 데이터 주도형 엔터프라이즈와 SaaS 애플리케이션을 구축하기 위한 거대한 잠재력을 가지고 있다. 거의 그것들 전부라고 봐야 한다.

독자 여러분은 많은 회사들이 빅데이터 시류를 타고 특히 하둡으로 가려는 데 대해 이상하다고 생각한 적은 없는가?

그리고 머시는 본격적인 운영체제로서 하둡의 사상을 완전히 무시하지는 않는다. 요원한 얘기겠지만, 언젠가는 하둡의 애플리케이션 프레임워크와 파일시스템이 정말로 효과적으로 완벽하게 데이터 중심의 운영체제가 되고 이에 대해 이야기할 날이 올 것이다.

*Brian Proffitt는 리눅스와 오픈소스에 대한 베테랑 저널리스트이자 애널리스트다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.