페이스북, 30PB의 하둡 클러스터를 새 데이터센터로 이전

기하 급수적으로 늘어나는 데이터 양은 페이스북이 최대 규모의 데이터 마이그레이션 프로젝트를 감행하도록 부추기고 있다.

세계에서 가장 큰 소셜 네트워크답게 페이스북은 단 하루 만에 보통 규모의 회사들이 일년에 생성하는 것보다 더 많은 데이터를 축적한다.

그리고 페이스북은 그 데이터 중 상당량을 최근 몇 년간 급격하게 증대된 대량의 하둡(Hadoop) 클러스터에 저장한다.

오늘날 이 클러스터는 무려 30 PB에 달하는 데이터를 가지고 있으며 페이스북이 말하듯 이는 의회 도서관에 저장돼 있는 것보다 3천 배가 넘는 정보량에 해당한다. 기업 측에서 언급한 바에 따르면 페이스북의 데이터 저장량은 지난 한 해 동안 3분의 1이상이 증가했다.

올해 초 페이스북은 급증하는 데이터 양을 수용하기 위해 계속해서 커져가는 하둡 클러스터를 오리건 주 프린빌(Prineville, Ore.)에 위치한 더 큰 용량의 새 페이스북 데이터센터로 옮기기 시작했다. 기업 측에서는 페이스북에서 이제까지 겪어왔던 것 중 가장 큰 규모의 데이터 마이그레이션이 지난 달로 완료됐다고 밝혔다.

페이스북의 데이터 인프라팀에 있는 엔지니어인 폴 양은 이번 주에 회사의 블로그 사이트에 프로젝트의 세부 내용을 간략히 올려놓았다. 양은 회사의 사용 가능한 전력과 공간이 바닥났으며 더 이상 하둡 클러스터에 노드를 추가할 수 없다는 점에서 페이스북의 새로운 데이터센터로의 마이그레이션이 꼭 필요하고 말했다.

양은 그 시도에 대해 컴퓨터월드와 바로 이야기를 나눌 수가 없었다.

페이스북의 하둡 경험은 아파치 오픈 소스 소프트웨어를 이용하여 구조적 혹은 비구조적 데이터를 대량으로 캡처하고 분석하고자 하는 기업들에게 점점 더 많은 주목을 받게 될 것이다.

하둡의 주된 장점은 초대용량의 데이터 셋들을 더 작은 데이터 블록들로 나누는데 있으며, 그 블록들은 더 빠른 처리를 위해 상용 하드웨어 시스템들로 이루어진 클러스터로 분배된다.

이 주에 나온 벤타나 리서치 보고서는 비구조적이고 장치에서 생성된 엄청난 양의 정보들, 예를 들면 로그나 이벤트 데이터, 검색 엔진 결과, 소셜 미디어 사이트에 있는 텍스트 혹은 멀티미디어 콘텐츠 등을 수집하고 분석하는데 하둡을 이용하기 시작한 기업들이 늘어나고 있다고 밝혔다.

페이스북은 가입자들에 의해 매일 생성되는 수십억 개의 콘텐츠들을 캡처하고 저장하는데 하둡을 사용한다고 밝혔다. 데이터는 오픈 소스 아파치 데이터 웨어하우징 툴셋을 이용하여 분석된다.

이베이나 아마존, 야후 등 데이터가 많은 다른 기업들도 비슷한 방식으로 하둡을 사용하고 있다. 야후는 하둡 코드의 주요 제공자다.

페이스북의 하둡 클러스터는 2010년 5 월 블로거들에 의해 전세계에서 가장 큰 것으로 발표됐다.

당시에 이 클러스터는 2,000개의 머신들, 800개의 16코어 시스템들과 1,200개의 8코어 머신들로 이뤄져 있었다. 클러스터의 각 시스템들은 12에서 24TB의 데이터를 저장했다.

양이 그의 글에서 밝힌 바에 따르면 페이스북은 이 클러스터를 새로운 데이터센터로 이동시키는데 두 가지 사용 가능한 방법을 가지고 있었다.

그는 페이스북은 “충분한 인력을 들여” 물리적으로 각 노드들을 새 위치로 며칠 내에 옮길 수 있었다고 말했다. 하지만 그의 말에 따르면 페이스북은 이러한 방법을 사용하지 않기로 결정했는데, 이 방법은 용인할 수 없을 정도로 서비스 중단 시간이 길기 때문이었다.

대신, 페이스북은 더 크고 새로운 하둡 클러스터를 구축해 기존 클러스터에서 여기로 단순히 데이터를 복제하기로 했다. 양이 그의 블로그에 밝힌 바에 따르면, 페이스북이 선택한 접근 방법은 보다 복잡한 선택인데, 복제하려는 페이스북의 근원 데이터는 현재 운용 중인 시스템으로 파일이 계속해서 생성되고 삭제되고 있기 때문이다.

따라서 페이스북의 기술자들은 전례 없는 클러스터 사이즈와 데이터 부하를 처리할 수 있는 새로운 복사 시스템을 구축했다. 그는 “복제는 서비스 중단 시간을 최소화하므로, 우리는 이번 대량 마이그레이션에서 이러한 방법을 사용하기로 결정하였다”라고 전했다.

양에 따르면 데이터 복제 프로젝트는 두 단계로 이뤄졌다.

우선 기존 하둡 클러스터의 데이터와 디렉토리 대부분은 DistCp.라고 하는 오픈 소스 툴을 이용해 새 데이터센터로 그대로 복사됐다.

그 다음 대량 복사가 완료된 이후에 발생하는 파일 및 데이터 변화들은 페이스북에서 새롭게 개발한 파일 복제 시스템을 이용하여 새 클러스터로 복제되었다. 파일 변화들은 하이브 플러그-인(Hive plug-in)으로 캡처됐으며 이것도 마찬가지로 페이스북 개발자들이 내부에서 개발했다.

이전 당시 페이스북은 일시적으로 하둡의 새 파일 생성 기능을 중단시켜놓고 복제 시스템이 새 클러스터에 모든 데이터 복제를 완료하도록 했다. 그 다음 DNS 설정을 바꾸어 새 서버를 지정하도록 했다.

양에 따르면, 내부에서 설계한 빠른 데이터 복제 툴이 마이그레이션 프로젝트 성공에 핵심적인 역할을 제공했다고 한다.

그는 복제 툴이 데이터 마이그레이션에 쓰일 뿐 아니라 하둡 클러스터에 새로운 재해-복구 기능을 제공하는 데에도 쓰인다고 덧붙였다.

그는 “우리는 아주 약간의 지연이 있긴 했지만, 활성화된 수 PB 클러스터를 효과적으로 완전히 복제할 수 있음을 보여주었다. 복제가 설치된다면, 재해 발생 시에도 상대적으로 적은 수고를 들이고도 복제된 클러스터로 이전해 작동시킬 수 있다”라고 설명했다. ciokr@idg.co.kr