Offcanvas

SNS / 데이터센터 / 운영체제

페이스북, btrfs 이용한 오픈소스 스토리지 공개

2014.06.25 Jon Gold  |  Network World
btrfs의 창시자가 페이스북의 오픈소스 스토리지를 소개했다.

페이스북의 엔지니어인 크리스 메이슨은 페이스북 스토리지 인프라에서는 리눅스의 우위성에 대해 의심의 여지가 없다고 강조했다.

"페이스북이 컴퓨터에서 실행되고 중요한 데이터를 저장하고 있다면 그것은 리눅스를 실행하고 있다는 의미다"고 그는 말했다.

월요일 뉴욕에서 열린 리눅스 엔터프라이즈 사용자 서밋에서 연사로 나선 메이슨은 btrfs의 소셜 네트워크 운동을 진두지휘하는 인물로 불과 6개월 전에 페이스북에 합류했다. Btrfs는 리눅스 기반의 파일 시스템으로 그가 오라클에서 근무했던 2008년에 개발했다.

Btrfs 개발은 대규모 사업이라 말할 수 있는 규모였다. 메이슨은 다양한 규모의 페이스북 계획을 강화하도록 돕는 페이스북의 룩백 비디오 프로젝트에서 일부 통계를 인용했는데 이 프로젝트에는 11페타바이트의 스토리지가 쓰였고 피크 타임 시에는 450Gbps의 송출 속도에 달한 것으로 알려졌다.

메이슨에 따르면, 페이스북에서 업무의 속도는 종종 광적인데 웹 사이트 뒤에 있는 코드 자체가 적어도 하루에 두 번 업데이트된다고 한다. "프로젝트는 매우 빠르게 이동하고 있다"고 그는 밝혔다. "내가 합류하고 얼마 되지 않아 그들은 btrfs를 실행하기 위해 기기를 선택했다"라고 메이슨은 덧붙였다.

따라서 스토리지 인프라에 관련된 많은 관리 작업을 자동화하는 기능은 필수적이라고 메이슨은 강조했다.

"우리는 자동화 할 수 없는 것에는 관심이 없다"고 그는 말했다. "우리는 책상 앞에 앉아 버튼만 누르면 바로 작동하는 많은 기기들과 인프라를 가지고 있다"라고 메이슨은 전했다.

메이슨과 그의 팀이 마이그레이션 과정에서 대규모 스토리지 인프라를 유지할 수 있었던 이유는 지사에 적용된 너무 많은 내부 개발 패치 없이 안정적인 리눅스 커널을 사용했기 때문이다.

"우리는 안정적인 리눅스 커널을 설치했기 때문에 실제 문제가 있던 적은 없었다"고 그는 강조했다. "메인라인 커널에 매우 가깝다는 것은, 우리는 새로운 기능을 추가할 수 있도록 해줬다"고 메이슨은 밝혔다. 페이스북에서 사용되는 대부분의 리눅스 시스템에서는 커널 3.1 버전 이상에서 작동되며 내부 배포판은 센트OS(CentOS)를 기반으로 한다.

이 프로젝트에서는 작은 오류조차 없었다고 말할 순 없다고 메이슨은 전했다.

"다른 커널에서 이동할 때 일어나는 사소한 문제들을 발견했다"라고 메이슨이 말했다.

Btrfs는 COW(copy-on-write) 파일시스템으로 알려졌으며 이는 기존의 파일 시스템과 실질적으로 다른 방식으로 작동하는 것을 의미한다. 메이슨은 2008년 인터넷뉴스닷컴(InternetNews.com)과의 인터뷰에서 리눅스 스토리지 규모가 용량이 크면 클수록 더 효율적이라는 아이디어라고 밝힌 바 있다. 많은 사람들에게 페이스북의 리눅스 채택은 환영받을 것이다.

페이스북은 오픈소스 기술로 옮겨가는데 기념비적인 역사를 가지고 있다. 오픈소스 데이터센터 하드웨어 설계에 박차를 가하기 위해 만들어진 이 회사의 오픈 컴퓨트 프로젝트는 2011년에 시작됐으며 페이스북은 오픈소스 소프트웨어 호스팅 프로젝트에 코드를 제공하고 있다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.