가상화 / 데이터센터 / 빅데이터 | 애널리틱스 / 애플리케이션 / 오픈소스 / 인문학|교양 / 클라우드

10주년 맞은 하둡··· 더그 커팅의 회고와 전망

2016.02.02 Thor Olavsrud | CIO

아파치 하둡이 지난 1월 28일 10주년을 맞은 가운데, 공동 창안자 더그 커팅이 하둡의 초창기를 회고하고 미래를 진단했다.

10년 전 2006년 1월 28일, 더그 커팅(Doug Cutting)과 마이크 카파렐라(Mike Cafarella)는 오픈소스 웹 크롤러 프로젝트인 아파치 너츠(Apache Nutch)를 분산형 파일 시스템과 맵리듀스(Map Reduce)로 분리한 다음, 하둡(Hadoop)이라는 하위 프로젝트를 탄생시켰다. 커팅은 아들이 가지고 놀던 코끼리 봉제인형의 이름에 착안해 이 프로젝트의 이름을 지었다.

커팅과 카파렐라는 2003년부터 너츠를 함께 추진했었다. 그런데 구글이 2004년 발표한 2개의 연구 자료가 '영감'을 줬다. 단 몇 줄의 코드로 수천 개의 머신을 병렬로 가동시킬 수 있는 컴퓨팅 환경을 구현시켜주는 분산형 파일 시스템(GFS)과 실행 엔진(맵리듀스)에 관한 연구 자료들이었다.

당시 커팅과 카파렐리는 수십 억 웹 페이지를 처리할 수 있는 분산형 시스템을 개발하는 시도를 하고 있었다. 커팅은 구글의 방식이 너츠를 훨씬 현실적인 시스템으로 만들어줄 것으로 판단했다. 특히 다른 여러 애플리케이션에서 사용될 잠재력에 그는 주목했다.

빅데이터의 대표 주자
그리고 10년 후인 지금 하둡은 여러 측면에서 빅데이터를 상징하는 '단어'가 됐다. 아울러 데이터 및 애널리틱스(분석) 기술의 혁신에 촉매 역할을 하고 있다. 현재 클라우데라(Cloudera)의 최고 아키텍트로 재직하고 있는 커팅은 하둡의 현재를 상상조차 하지 못했다고 회고했다.

그는 "전세계 기업들에 널리 도입될 것이라고 상상조차 못했다. 나에게도 무척 놀라운 일이다. 오늘날 모든 산업이 디지털화되고 있는 추세이며, 하둡이 성장과 진보의 원동력이 되고 있다. 이러한 모습은 상상조차 못했다"라고 말했다.

오늘날 철도, 항공, 병원 등 디지털과는 거리가 있는 회사들까지 고도로 디지털화되는 시대가 펼쳐지고 있는 점을 언급하며 커팅은, "하둡이 이런 트렌드에 도움을 받았다. 데이터 저장과 처리에 대한 수요가 높아지고 있다"라고 말했다.

해커와 엔터프라이즈의 충돌
그러나 커팅은 자신을 더 크게 놀라도록 만든 이면의 트렌드가 있다고 강조했다. 지난 10년 동안 2개의 이질적인 소프트웨어 전통이 병합한 것이 그것이다. 다름 아닌, '엔터프라이즈'라는 전통과 '해커'라는 전통이다.

커팅은 하둡 10주년을 축하하는 블로그 게시글에서 이와 관련해 다음과 같이 설명했다.

"엔터프라이즈 전통에서는 벤더드링 소프트웨어를 개발해 기업에 판매했다. 그러면 기업이 이를 운용했다. 둘이 협력하는 경우는 드물었다. 엔터프라이즈 소프트웨어는 거의 대부분의 문제를 극복하는데 RDBMS를 이용한다. 사용자는 오직 자신들의 RDMBS만 신뢰했다. 이를 이용해 비즈니스 데이터를 저장하고 처리했다. 비즈니스 데이터는 반드시 RDMBS에 기반을 둬야 했다."

"해커라는 전통에서는 대학, 연구소, 실리콘 밸리 웹 기업들이 자신들이 쓸 소프트웨어를 직접 개발해 사용했다. 개발자는 네트워크 트래픽 라우팅, 웹 페이지 생성 및 배포 등 특정 사안을 다루는 소프트웨어를 개발한다. 나는 이 후자의 전통에 뿌리를 두고 있다. 특히 10년 넘게 검색 엔진 관련 기술을 개발하면서 이 전통을 중시했다. 우리는 RDMBS를 거의 사용하지 않았다. 전체 웹을 검색할 수 있도록 확장하기 어려웠고, 지나치게 느렸으며, 유연하지 못했고, 많은 비용이 필요했기 때문이다."