벤더 기고 | 세상에 없던 스토리지의 출현 '빅데이터 플래시'

# A포탈사는 클라우드 스토리지 서비스를 제공한다. 무료 서비스이기에 인프라 비용 절감이 중요하다. 그러면서도 서비스 경쟁력 확보를 위해서는 성능이 뒷받침되어야 한다. 수십, 수백 페타바이트에 이르는 스토리지 솔루션을 저렴하게 구축하고 유지하면서도 고객에게 성능을 포함한 차별화된 서비스를 제공하는 것은 무엇이 있을지 항상 고민이다.

# 거대 소셜 기업 B는 빅데이터 분석이 비즈니스에 핵심적이다. 이를 위해 이 기업은 하둡 분석용 노드를 1,000개 운영하고 있다. 구체적으로는 50개 랙 공간에 1,000개 서버를 설치해 구동하는 중이다. 현재 기업에서는 빅데이터를 활용하는 분석 작업들이 늘어나면서 분석 성능 향상에 대한 니즈가 커지고 있어 하둡 노드를 늘리고 싶다. 하지만, 확장을 위한 데이터센터 상면과 전력 요금 그리고 네트워크 등 부대비용이 부담스럽다. 묘안이 필요하다.

# 미디어 서비스 기업 C는 방대한 동영상 미디어 콘텐츠를 보유하고 있다. HDD로 콘텐츠를 저장하고 SSD를 캐시로 이용한다. 그러나 최근 한 가수가 이슈화되면서 이 가수의 콘텐츠에 갑작스럽게 트래픽이 폭주해 문제를 일으켰다. 앞으로도 언제든 일어날 수 있는 사태라는 점에서 이 기업의 고민은 이어지고 있다.

소셜, 애널리틱스, 모빌리티, 클라우드 등 제3의 플랫폼이 확산되면서 기존 스토리지 솔루션으로는 해결하기 어려운 수요가 발생하고 있다.

위 3곳의 기업이 직면한 고민은 본질적으로 ‘절충’의 문제다. 높은 성능와 낮은 비용 사이에서 균형추를 어디에 위치시킬 것인가다. 기존 HDD 기반 접근법은 각종 오류를 감안해야 하며 다중 클러스터를 제대로 지원하지 못하는 문제를 가지고 있다. 또 대규모 스케일 아웃 인프라스트럭처에서 필요한 성능을 지원한다 하더라도, 결과적으로 서버의 컴퓨팅 파워 증가, 소프트웨어 라이선스 비용 증가, 데이터센터의 카본 풋프린트 및 냉각비용 증가 등의 문제로 이어지게 된다. 성능만 생각한다면 HDD 대신 SSD라고 하는 탁월한 대안이 이미 존재하지만 고가의 SSD를 선택하기에는 너무 방대한 용량과 비용이 걸림돌이 된다.

샌디스크 인피니플래시
그렇다면 SSD가 HDD를 대체할 정도로 저렴하다면 어떨까? 단순히 가격대 용량을 감안하면 SSD가 HDD와 경쟁하기 어렵다. 그러나 전체 구축비용 및 운영비용의 관점에서 바라보면 이야기가 달라진다.

일단, 성능 제공을 위해 구성되는, 캐시 아키텍처 비용이 절감될 수 있다. HDD로 스토리지 구성할 경우에도 대부분 SSD가 투입된다. HDD로는 대응할 수 없는 속도 문제를 해결하기 위해 SSD를 캐시 티어로 이용하기 때문이다. 만약 SSD로 스토리지 아키텍처를 전부 구성한다면 이러한 캐시 티어가 필요 없어질 수 있으며, 그 만큼 비용 절감 요인이 발생한다.

두 번째로 유지보수 비용이 있다. 수천, 수만 대의 드라이브를 이용한다면 드라이브 고장은 변수가 아니라 상수다. 교체해야 할 드라이브가 얼마나 발생하는지, 교체 시 필요한 작업은 무엇인지, 이를 담당할 인력 구조는 어떻게 가져가야 하는지를 모두 감안해야 한다. 고장을 감안한 백업 시스템도 고려해야 한다. 고장율이 낮다면 관련 비용이 모두 감소하게 된다.

이 밖에 다른 간접비도 있다. 용량대비 가격도 중요하지만 용량대비 공간, 전력, 발열도 중요하다. 단위 공간 당 더 많은 데이터를 운영할 수 있게 되면, 네트워크 비용, 적력소모량도 함께 절감되게 된다.

샌디스크의 인피니플래시가 등장할 수 있었던 배경이 바로 이것이다. 인피니플래시는 간단히 말해 콜드(Cold) 스토리지까지 모두 SSD로 구축할 수 있을 만큼 저렴한 대용량 플래시 스토리지라고 요약할 수 있다.

기본 제원은 3U 크기의 섀시에 512TB 용량을 지원하는 초고밀도 스토리지 솔루션이다. 내부에는 8TB 용량의 플래시 모듈(IceChip)이 64개 장착된다. 조만간 16TB 모듈이 등장할 예정이며, 이렇게 되면 인피니플래시의 용량은 1PB/3U로 늘어난다.

인피니플래시는 또 SAS 인터페이스를 보유해 8개의 서버에 연결할 수 있는 등 기존의 인프라에 그대로 연결될 수 있는 호환성을 갖추고 있으며 핫스왑 역시 지원한다. 아울러 4개의 냉각팬과 이중화된 전력 공급장치로 안정성도 감안했다.

이 밖에 모듈형 스토리지 설계로 다양한 OS 및 스토리지 스택 구성을 지원한다. 용도에 따라 ▲직접 호스트 시스템이나 호스트에 연결돼 스토리지 하드웨어 플랫폼인 ‘인피니 플래시 IF100’ ▲IF100의 하드웨어에 고성능 아이온 (ION) 블록 스토리지 컨트롤러를 사용하여, 블록 스토리지 애플리케이션도 지원하는 인피니플래시 IF700, ▲IF100의 하드웨어에 확장형 블록 및 객체 스토리지 를 지원 하는 오픈소스 CEPH 스토리지 컨트롤러를 사용함으로써 엔터프라이즈급 웹스케일 기능성을 확보한 ‘인피니플래시 IF500’ 중에서 고를 수 있다.


신뢰성과 가용성, 서비스 지원성을 고려한 아키텍처를 채택했다. 기존 SAS 인터페이스를 통해 서버와 연결하면 곧바로 디스크 볼륨을 추가할 수 있다. 핫스왑도 물론 지원한다.



하드웨어 모듈인 IF100을 기반으로 스토리지 컨트롤러에 따라 IF700과 IF500 모델로 나뉜다. IF700은 퓨전아이오 인수를 통해 확보한 고성능 아이온 블록 스토리지 컨트롤러를, IF500은 탁월한 확장성을 특징으로 하는 오픈소스 CEPH 스토리지 컨트롤러를 사용했다.



IF100에 탑재되는 64개의 플래시 카드 폼팩터. 샌디스크가 개발한 이 폼팩터는 핫플러그 기능을 지원해 유지보수가 쉬우며 유례 없는 수준의 고밀도를 구현한다.

그렇다면 빅데이터 및 하이퍼스케일 작업 부하를 위한 인프라 구축 측면에서 인피니플래시는 구체적으로 어떤 효과를 가져다줄 수 있을까?

먼저 집적도가 증가한다. 3U에 512TB 용량은 HDD 솔루션으로는 결코 달성할 수 없는 수치다. HDD와 비교해 약 6배 정도의 향상이라고 정리할 수 있다.

성능은 말할 것도 없다. 100만 IOPS, 1ms 이하의 응답시간으로 HDD 방식의 솔루션 대비 50배의 성능 향상을 기대할 수 있다. 이 밖에 연간장애율은 0.15% 이하 수준으로 HDD보다 10배 낮으며, 소비전력은 평균 400~500W를 소모해 동일 공간의 HDD 대비 1/3~1/2 수준이다.

이 밖에 모든 부품이 이중화되어 있어, 온라인 상에서 장애 처리를 할 수 있어 생산성과 신뢰성이 향상되는 효과도 기대할 수 있다.

기존의 올플래시 스토리지와 비교하면 대용량과 저렴한 가격이 강점이다. 특히 가격은 ‘신기원’이라고 표현해도 부족하지 않을 정도다.

기존 엔터프라이즈용 플래시 스토리지의 경우 GB당 8~10달러 수준이며 중복제거 및 압축 솔루션 효과를 반영해도 4~5달러 수준에 그친다. 그러나 인피니플래시는 플래시 모듈과 섀시, 스토리지 컨트롤러를 포함해 GB당 2달러 벽을 깼으며, 스토리지 하드웨어(IF100)만 감안하면 1달러 벽을 돌파했다. 참고로 이는 중복제거 및 압축 솔루션 효과를 반영하지 않은 수치다.

IDC가 샌디스크 인피니플래시에 대해 ‘빅데이터 플래시’라는 새로운 범주를 부여한 이유가 바로 이것이다. 하이퍼스케일 환경에 구식 HDD 장비로 분투하며 대응해왔던 3세대 플랫폼 컴퓨팅 기업들에게 적합한 새로운 스토리지가 드디어 출현했다는 것이 그 내용이다.

IDC의 스토리지 프랙티스 부문 연구담당 이사 에릭 버게너는 “빅데이터 플래시는 밀리초 이내의 처리 속도, 수백 페타바이트로 확장 가능한 확장성, 엔터프라이즈 애플리케이션에 부응하는 신뢰성과 가용성, 그리고 활용성을 제공한다. 특히 기가바이트 당 가격은 15k RPM 하드 디스크 시스템과 비슷한 수준이다”라고 규정하며, “IDC는 기존의 빅데이터 처리용 HDD 기반 시스템과 비교해 경쟁력이 있는 가격 대안을 제시하는 인피니플래시와 같은 제품이 성공을 거둘 수 있을 것으로 전망한다”라고 밝혔다.

플래시 전문기업 샌디스크
이렇듯 혁신적인 용량과 폼팩터, 가격을 특징으로 하는 새로운 범주의 플래시 스토리지 솔루션을 선보일 수 있는 이유는 샌디스크가 플래시 분야 수직 통합을 이룬 기업이기 때문이다.

전통적 플래시 전문기업이었던 샌디스크는 지난 3년 간 강력한 엔터프라이즈급 포트폴리오를 구축해왔으며, 작년 7월 퓨전아이오(Fusion-io)를 인수함으로써 기술 리더십을 더욱 강화했다. 낸드플래시 생산에서부터 낸드 패키징, 플래시 관련 소프트웨어에 이르는 플래시 관련 분야를 모두 아우르고 있다. 경제성(용량+성능), 웹스케일 확장성 및 아키텍처를 모두 구현한 인피니플래시를 시장에 선보일 수 있었던 배경인 셈이다.

기술의 발전과 시대의 요구는 신제품의 출현으로 이어진다. 대용량 고속 스토리지에 대한 니즈와 플래시 기술의 발전으로 말미암아 플래시가 새로운 영역에 진입하기 시작했다. 샌디스크 인피니플래시가 활짝 열어낸 ‘빅데이터 플래시’ 범주의 가능성에 주목할 시점이다.

* 송창훈 부장은 샌디스크 코리아에서 세일즈 엔지니어링 부문를 담당하고 있다. ciokr@idg.co.kr