2011.05.18

페이스북의 새로운 데이터센터 테스트 기법

James Niccolai | IDG News Service

페이스북이 오레곤주 프린빌에 자사 최초의 데이터센터 설립했을 때, 데이터센터를 설계하고 관리하는 것이 난제였다. 최근 페이스북은 블로그 포스팅에서 미국의 반대편에 거대 제품 서버 클라스터를 구축함으로써 수행된 전체 소프트웨어 인프라에 대한 스트레스 테스트 수행 방법을 소개했다.

오레곤 데이터센터는 페이스북에게 변화의 출발점이다. 페이스북은 북 캘리포니아와 버지니아에 위치한 두 곳의 임대 시설에 전적으로 의존했다. 프린빌 데이터센터는 페이스북만을 위해 설계되고 구축된 최초의 데이터센터인 것이다.

자체 데이터센터를 구축한다는 것은 페이스북이 그만큼 거대해졌다는 것을 의미한다. 그리고 자체 데이터센터 구축은 빠르게 성장하는 소셜 네트워킹 사이트들이 서비스 중단을 최소화해야 한다는 중압감에 시달리고 있다는 것을 보여주기도 한다. 트위터도 자사 인프라에 대해 더 높은 수준의 통제가 필요하다며 자체 데이터센터를 구축할 것임을 시사했다.

페이스북은 두 곳의 데이터센터에서만 뉴스 피드(News Feed), 검색 엔진, 그리고 광고 네트워크 테스트를 수행해 왔다. “사용자들이 페이스북에서 어떠한 작업을 수행하던지 간에 서비스 장애가 일어나지 않고 모든 소프트웨어 스택이 진화할 수 있고 새로운 지역에서도 잘 작동한다는 것을 보장해야 한다”라고 페이스북의 산지브 쿠마르가 페이스북 엔지니어링 블로그에서 밝혔다.


“해결책은 프린빌에 위치한 새 서버들이 온라인 서비스를 시작하기 이전에 세 번째 데이터센터를 구축하는 것이었다. 우리는 세 번째 데이터센터 프로젝트를 ‘프로젝트 트리포스’라고 불렀다”라고 쿠마르는 덧붙였다.

페이스북은 버지니아에 위치한 제품 서버 클러스터를 인수하고 새로운 ‘세 번째 데이터센터’와 같이 보이도록 구성했다. 그렇게 함으로써 “클러스터를 재빠르게 구성하고 해제하며, 사용자 트래픽에 영향을 미치지 않고 종합적인 부하와 전력 테스트를 수행하며 작업자의 작업 사항을 감사”하는 코볼드(Kobold)라는 소프트웨어 제품군을 개발할 수 있었다”라고 쿠마르는 전했다.

페이스북은 코볼드를 통해 30일 내에 수만 대의 서버에 있는 이미지를 생성하고 전달할 수 있게 됐다.

쿠마르는 “생성 트래픽을 60일 내에 서비스할 수 있게 됐다. 전통적으로, 기업들은 수 주 동안 여러 사용자가 생성한 트래픽을 수작업을 통해 조사한다. 이제 우리는 한 사람이 10분 만에 생성 트래픽을 조사할 수 있게 됐다”라고 말했다.

쿠마르는 코볼드가 다른 업체에도 유용한지와 외부 사용을 위해 페이스북이 코볼드를 출시할 지의 여부에 대해서는 언급하지 않다.

일반적으로 온라인 서비스 제공업체들은 사업 운영 환경에 미치는 영향에 대해 압력을 받기 때문에 이를 공개하는 것을 미룬다. 페이스북 역시 데이터센터 운영 방안을 차후에 공개하곤 했다. 지난 달 페이스북은 자사의 에너지 효율성 비밀에 대해 공개한 바 있다. ciokr@idg.co.kr




2011.05.18

페이스북의 새로운 데이터센터 테스트 기법

James Niccolai | IDG News Service

페이스북이 오레곤주 프린빌에 자사 최초의 데이터센터 설립했을 때, 데이터센터를 설계하고 관리하는 것이 난제였다. 최근 페이스북은 블로그 포스팅에서 미국의 반대편에 거대 제품 서버 클라스터를 구축함으로써 수행된 전체 소프트웨어 인프라에 대한 스트레스 테스트 수행 방법을 소개했다.

오레곤 데이터센터는 페이스북에게 변화의 출발점이다. 페이스북은 북 캘리포니아와 버지니아에 위치한 두 곳의 임대 시설에 전적으로 의존했다. 프린빌 데이터센터는 페이스북만을 위해 설계되고 구축된 최초의 데이터센터인 것이다.

자체 데이터센터를 구축한다는 것은 페이스북이 그만큼 거대해졌다는 것을 의미한다. 그리고 자체 데이터센터 구축은 빠르게 성장하는 소셜 네트워킹 사이트들이 서비스 중단을 최소화해야 한다는 중압감에 시달리고 있다는 것을 보여주기도 한다. 트위터도 자사 인프라에 대해 더 높은 수준의 통제가 필요하다며 자체 데이터센터를 구축할 것임을 시사했다.

페이스북은 두 곳의 데이터센터에서만 뉴스 피드(News Feed), 검색 엔진, 그리고 광고 네트워크 테스트를 수행해 왔다. “사용자들이 페이스북에서 어떠한 작업을 수행하던지 간에 서비스 장애가 일어나지 않고 모든 소프트웨어 스택이 진화할 수 있고 새로운 지역에서도 잘 작동한다는 것을 보장해야 한다”라고 페이스북의 산지브 쿠마르가 페이스북 엔지니어링 블로그에서 밝혔다.


“해결책은 프린빌에 위치한 새 서버들이 온라인 서비스를 시작하기 이전에 세 번째 데이터센터를 구축하는 것이었다. 우리는 세 번째 데이터센터 프로젝트를 ‘프로젝트 트리포스’라고 불렀다”라고 쿠마르는 덧붙였다.

페이스북은 버지니아에 위치한 제품 서버 클러스터를 인수하고 새로운 ‘세 번째 데이터센터’와 같이 보이도록 구성했다. 그렇게 함으로써 “클러스터를 재빠르게 구성하고 해제하며, 사용자 트래픽에 영향을 미치지 않고 종합적인 부하와 전력 테스트를 수행하며 작업자의 작업 사항을 감사”하는 코볼드(Kobold)라는 소프트웨어 제품군을 개발할 수 있었다”라고 쿠마르는 전했다.

페이스북은 코볼드를 통해 30일 내에 수만 대의 서버에 있는 이미지를 생성하고 전달할 수 있게 됐다.

쿠마르는 “생성 트래픽을 60일 내에 서비스할 수 있게 됐다. 전통적으로, 기업들은 수 주 동안 여러 사용자가 생성한 트래픽을 수작업을 통해 조사한다. 이제 우리는 한 사람이 10분 만에 생성 트래픽을 조사할 수 있게 됐다”라고 말했다.

쿠마르는 코볼드가 다른 업체에도 유용한지와 외부 사용을 위해 페이스북이 코볼드를 출시할 지의 여부에 대해서는 언급하지 않다.

일반적으로 온라인 서비스 제공업체들은 사업 운영 환경에 미치는 영향에 대해 압력을 받기 때문에 이를 공개하는 것을 미룬다. 페이스북 역시 데이터센터 운영 방안을 차후에 공개하곤 했다. 지난 달 페이스북은 자사의 에너지 효율성 비밀에 대해 공개한 바 있다. ciokr@idg.co.kr


X