2018.06.21

'올플래시에 날개달기'··· NVMe의 이해와 전망

Ann Bednarz | Network World
NVMe(non-volatile memory express)가 기업용 스토리지 시장을 뒤흔들고 있다. NVMe는 올플래시 스토리지에 최적화된 통신 규약이다. 기존 규약보다 성능은 더 빠르고 스토리지 밀집도는 더 높다. NVMe는 주로 가장 좋은 성능이 필요한 기업 워크로드 처리에 사용된다. 실시간 데이터 분석, 온라인 트레이딩 플랫폼 등 레이턴시에 민감한 워크로드가 대표적이다.



NVMe과 SAS의 차이
NVMe의 가장 큰 특징은 올플래시 시스템 내에서 애플리케이션과 스토리지 간의 소프트웨어 오버헤드를 줄인 것이다. 그동안 플래시 스토리지에는 SAS(serial-attached SCSI)를 널리 사용됐다. SAS는 플래시와 통신하는 데 자신의 컨트롤러 프로세서를 이용한다. SAS는 기존 프로토콜 SCSI를 사용하는데, 이는 본래 저속 하드디스크 드라이브용으로 개발된 것이었다. SCSI는 플래시와의 통신에도 사용할 수는 있지만 이상적인 것은 아니다.

IDC의 스토리지 담당 리서치 수석 부사장 에릭 버저너는 "SCSI가 읽고 쓰는 방식은 플래시 드라이브라고 해도 하드디스크 드라이브인 것처럼 가정하고 처리한다. 이는 플래시의 성능을 온전히 사용하는 측면에서 그리 효율적이지 않다"라고 말했다.

반면 NVMe는 불과 수 밀리초에 불과한 올플래시 어레이의 레이턴시의 장점을 충분히 이용할 수 있도록 설계된 통신 규약이다. SCSI 병목현상도 없앨 수 있다. 버저너는 "NVMe는 오직 플래시를 위해 만들어졌다. 하드 디스크는 지원조차 하지 않는다. 플래시에 읽고 쓰는 가장 좋은 방법으로 작동하므로 더 효율적인 규약이다"라고 말했다.

NVMe의 작동 원리
더 구체적으로 살펴보면, NVMe는 성능을 더 빠르게 하기 위해 플래시 어레이의 백엔드에서 병렬의 로우 레이턴시 데이터 경로를 사용한다. NVMe는 6만 4000개 큐를 지원하며 각각이 6만 4000개의 명령을 처리할 수 있다

버저너는 "SCSI는 직렬 프로토콜이다. 그래서 SCSI 컨트롤러에 물려 있는 디스크 기기에 작업을 하려고 하면 한번에 하나의 작업만 처리할 수 있다. 반면 NVMe를 이용하면, 동시에 6만 4000개 요청까지 수용하므로 백엔드에서 더 많은 기기를 사용할 수 있다. 이러한 병렬 처리는 스토리지를 더 잘 사용하는 매우 효율적인 방식이다"라고 말했다.

기업에 NVMe이 필요한 이유
기업 IT 환경에는 레이턴시에 극도로 민감한 워크로드가 많다. 이들은 NVMe의 높은 성능을 이용하면 즉시 혜택을 볼 수 있다. 실시간 빅데이터 분석이나 고성능 데이터베이스 환경 등이 대표적이다. 실시간 분석과 응답은 이제 기업의 필수 작업이 되고 있다. IDC는 2020년까지 포천 2000 기업 중 60~70%가 최소 1개 이상의 실시간 빅데이터 분석을 활용하는 미션 크리티컬한 워크로드를 가질 것으로 전망한다.

버저너는 "기업에 이런 워크로드가 있을 때 이를 빠르게 처리하면 기업의 실질적인 수익이 늘어난다. 더 많은 주문과 더 높은 수익, 더 향상된 고객 서비스 등이다. 동시에 이러한 워크로드는 기업이 NVMe를 당장 도입해야 할 이유가 될 수도 있다"라고 말했다.

주요 NVMe 제품
SCSI 대신 NVMe를 이용한 스토리지 플랫폼은 2016년부터 시장에 나오기 시작했다. 2017년에는 스타트업인 아페이론 데이터 시스템(Apeiron Data Systems), E8 스토리지, 엑셀레로(Excelero), 마이크론 앤 파빌리온 데이터 시스템(Micron and Pavilion Data Systems) 등도 제품을 출시했다. 이런 시스템은 트레이딩 분석 등 레이턴시에 극도로 민감한 워크로드를 처리하는 용도로 주로 판매됐다.

기존 스토리지 업체들도 이 빠른 프로토콜을 외면하지 않았다. 기존 자사 제품에 NVMe 지원 기능을 추가해 다시 출시했다. 2018년 상반기를 기준으로 NVMe은 시장의 주류로 부상하고 있다.

- 델 EMC: 주력 기업용 제품군인 브이맥스(VMAX)에 NVMe 지원을 추가해 현재는 파워맥스(PowerMax)라는 이름으로 판매하고 있다. 앞으로 NVMe 오버 패브릭(NVMe over Fabric)을 추가로 지원할 예정이다. 델의 인프라스트럭처 솔루션 그룹 마케팅 담당 부사장 샘 그로컷은 "우리가 NVMe 제품 개발을 위해 처음부터 제품을 다시 설계한 것은 이번이 처음이다"라고 말했다.

- HPE: 님블 스토리지(Nimble Storage) 플랫폼의 차세대 제품을 발표했다. 신형 HPE 님블 스토리지 올플래시와 하이브리드용 님블 어댑티브 플래시(Nimble Adaptive Flash) 어레이는 모두 NVMe를 지원한다.

- IBM: 지난 2월 플래시시스템 900(FlashSystem 900)을 통해 인피니밴드 NVMe 오버 패브릭을 지원하기 시작했다. 앞으로 IBM 스펙트럼 버주얼라이즈(Spectrum Virtualize)와 스펙트럼 액셀러레이트(Spectrum Accelerate)의 차기 버전을 통해 새로운 패브릭 오버 NVMe 네트워킹 기능도 추가로 지원할 예정이다.

- 넷앱: 새로운 기업용 올플래시 레이어 AFF A800을 최근 발표했다. 엔드투엔드 NVMe 오버 패브릭을 지원하는 첫 제품이다. AFF A800은 NVMe 오버 패브릭과 NVMe SSD를 결합한 것이 특징이다. 애플리케이션 호스트에서 데이터 스토리지까지 200밀리초 이하의 레이턴시를 지원한다. NVMe SSD와 NVMe 오버 패브릭을 결합해 300GB/s 처리량을 제공한다고 넷앱 측은 설명했다.

- 퓨어 스토리지: 지난해부터 NVMe 기반 플래시어레이 X70을 판매하고 있다. 최근에는 플래시어레이 X 제품군 전체에 걸쳐 NVMe 기술을 확대 적용했다. X10, 20, 50, 70, 90 등 5개 모델에서 NVMe 다이렉트 플래시 아키텍처로 설정할 수 있다.

스타트업과 기존 대형 스토리지 업체 제품의 가장 큰 차이는 기존 기업용 데이터 서비스와 결합해 NVMe를 제공하는지 여부다.

버제너는 "기존 업체의 경쟁력은 기존 주력 스토리지 플랫폼의 소프트웨어 기능의 완성도가 매우 높다는 것이다. 예를 들면 스냅샷, 암호화, 인라인 데이터 중복제거, 복제 등이다. 이들은 기본적으로 NVMe 기술을 이들 제품군에 추가하려 하고 있다. 따라서 기존 스토리지 업체의 제품은 스타트업 제품과 달리 다른 형태의 워크로드도 처리할 수 있다. 스타트 제품은 전반적으로 소프트웨어 기능성에서 부족하다. 이들의 강점이 있는 것은 순수하게 성능 뿐이다"라고 말했다.

버저너에 따르면, 이런 특성 때문에 기존 대형 스토리지 업체는 복잡하고 다양한 기업 워크로드 통합 시장까지 겨냥할 수 있다. 혼합된 워크로드 환경에서는 전통적인 데이터베이스 애플리케이션과 현대적인 웹 스케일 애플리케이션이 같은 인프라스트럭처를 공유하기도 한다. 반면 스타트업의 제품은 보통 높은 성능이 필요한 단일, 전용 워크로드에 사용된다.


NVMe의 미래
NVMe 기술은 계속 발전하고 있다. 동시에 가격은 떨어지고 스토리기 성능 요건은 높아지면서 더 많은 기업이 엔드투엔드 NVMe를 적용하고 다양한 워크로드를 지원할 수 있는 플래시 기반 스토리지 시스템으로 이동할 것으로 전망된다.

버저너는 "혼합된 워크로드에 SCSI 대신 NVMe 시스템을 사용할 경우 그 TCO를 둘러싼 논란이 있다. 그러나 NVMe 기반 제품을 이용하면 같은 공간에 더 적은 전력을 사용하면서도 더 강력한 시스템을 구축할 수 있다"라고 말했다. 이어 "앞으로 NVMe가 주력 스토리지 어레이로서 SCSI를 대체할 것이라는 점에는 이견이 없을 것이다. 그러나 이는 2021년까지 단계적으로 진행된다. 이때가 되면 주력 스토리지 어레이(아마도 올플래시 어레이)의 매출의 50% 이상이 NVMe 기반 시스템으로 채워질 것이다. 우리는 이러한 변화의 시작점에 서 있다"라고 덧붙였다.

차기 기업 스토리지 플랫폼으로 NVMe 기술 대신 SCSI 도입에 더 무게를 두고 있는 기업 스토리지 관리자가 있다면, 구매할 플랫폼이 파괴적인 방법을 사용하지 않고도 새로운 스토리지 기술로 업그레이드할 수 있는지 확인하는 것이 중요하다. 이런 새로운 기술에는 NVMe 오버 패브릭과 스토리지 클래스 메모리 같은 것이 대표적이다.

물론 향후 몇년간 SCSI 기반의 올플래시 스토리지 시스템도 계속해서 팔려나갈 것이다. 그러나 버저너는 "NVMe 인프라를 도입하면 더 적은 공간에서 더 많은 워크로드를 처리할 수 있을 것이다. 특히 짧은 레이턴시와 더 많은 처리량의 원하는 상황이라면 NVMe를 당장 도입할 필요가 있다"라고 말했다. ciokr@idg.co.kr 



2018.06.21

'올플래시에 날개달기'··· NVMe의 이해와 전망

Ann Bednarz | Network World
NVMe(non-volatile memory express)가 기업용 스토리지 시장을 뒤흔들고 있다. NVMe는 올플래시 스토리지에 최적화된 통신 규약이다. 기존 규약보다 성능은 더 빠르고 스토리지 밀집도는 더 높다. NVMe는 주로 가장 좋은 성능이 필요한 기업 워크로드 처리에 사용된다. 실시간 데이터 분석, 온라인 트레이딩 플랫폼 등 레이턴시에 민감한 워크로드가 대표적이다.



NVMe과 SAS의 차이
NVMe의 가장 큰 특징은 올플래시 시스템 내에서 애플리케이션과 스토리지 간의 소프트웨어 오버헤드를 줄인 것이다. 그동안 플래시 스토리지에는 SAS(serial-attached SCSI)를 널리 사용됐다. SAS는 플래시와 통신하는 데 자신의 컨트롤러 프로세서를 이용한다. SAS는 기존 프로토콜 SCSI를 사용하는데, 이는 본래 저속 하드디스크 드라이브용으로 개발된 것이었다. SCSI는 플래시와의 통신에도 사용할 수는 있지만 이상적인 것은 아니다.

IDC의 스토리지 담당 리서치 수석 부사장 에릭 버저너는 "SCSI가 읽고 쓰는 방식은 플래시 드라이브라고 해도 하드디스크 드라이브인 것처럼 가정하고 처리한다. 이는 플래시의 성능을 온전히 사용하는 측면에서 그리 효율적이지 않다"라고 말했다.

반면 NVMe는 불과 수 밀리초에 불과한 올플래시 어레이의 레이턴시의 장점을 충분히 이용할 수 있도록 설계된 통신 규약이다. SCSI 병목현상도 없앨 수 있다. 버저너는 "NVMe는 오직 플래시를 위해 만들어졌다. 하드 디스크는 지원조차 하지 않는다. 플래시에 읽고 쓰는 가장 좋은 방법으로 작동하므로 더 효율적인 규약이다"라고 말했다.

NVMe의 작동 원리
더 구체적으로 살펴보면, NVMe는 성능을 더 빠르게 하기 위해 플래시 어레이의 백엔드에서 병렬의 로우 레이턴시 데이터 경로를 사용한다. NVMe는 6만 4000개 큐를 지원하며 각각이 6만 4000개의 명령을 처리할 수 있다

버저너는 "SCSI는 직렬 프로토콜이다. 그래서 SCSI 컨트롤러에 물려 있는 디스크 기기에 작업을 하려고 하면 한번에 하나의 작업만 처리할 수 있다. 반면 NVMe를 이용하면, 동시에 6만 4000개 요청까지 수용하므로 백엔드에서 더 많은 기기를 사용할 수 있다. 이러한 병렬 처리는 스토리지를 더 잘 사용하는 매우 효율적인 방식이다"라고 말했다.

기업에 NVMe이 필요한 이유
기업 IT 환경에는 레이턴시에 극도로 민감한 워크로드가 많다. 이들은 NVMe의 높은 성능을 이용하면 즉시 혜택을 볼 수 있다. 실시간 빅데이터 분석이나 고성능 데이터베이스 환경 등이 대표적이다. 실시간 분석과 응답은 이제 기업의 필수 작업이 되고 있다. IDC는 2020년까지 포천 2000 기업 중 60~70%가 최소 1개 이상의 실시간 빅데이터 분석을 활용하는 미션 크리티컬한 워크로드를 가질 것으로 전망한다.

버저너는 "기업에 이런 워크로드가 있을 때 이를 빠르게 처리하면 기업의 실질적인 수익이 늘어난다. 더 많은 주문과 더 높은 수익, 더 향상된 고객 서비스 등이다. 동시에 이러한 워크로드는 기업이 NVMe를 당장 도입해야 할 이유가 될 수도 있다"라고 말했다.

주요 NVMe 제품
SCSI 대신 NVMe를 이용한 스토리지 플랫폼은 2016년부터 시장에 나오기 시작했다. 2017년에는 스타트업인 아페이론 데이터 시스템(Apeiron Data Systems), E8 스토리지, 엑셀레로(Excelero), 마이크론 앤 파빌리온 데이터 시스템(Micron and Pavilion Data Systems) 등도 제품을 출시했다. 이런 시스템은 트레이딩 분석 등 레이턴시에 극도로 민감한 워크로드를 처리하는 용도로 주로 판매됐다.

기존 스토리지 업체들도 이 빠른 프로토콜을 외면하지 않았다. 기존 자사 제품에 NVMe 지원 기능을 추가해 다시 출시했다. 2018년 상반기를 기준으로 NVMe은 시장의 주류로 부상하고 있다.

- 델 EMC: 주력 기업용 제품군인 브이맥스(VMAX)에 NVMe 지원을 추가해 현재는 파워맥스(PowerMax)라는 이름으로 판매하고 있다. 앞으로 NVMe 오버 패브릭(NVMe over Fabric)을 추가로 지원할 예정이다. 델의 인프라스트럭처 솔루션 그룹 마케팅 담당 부사장 샘 그로컷은 "우리가 NVMe 제품 개발을 위해 처음부터 제품을 다시 설계한 것은 이번이 처음이다"라고 말했다.

- HPE: 님블 스토리지(Nimble Storage) 플랫폼의 차세대 제품을 발표했다. 신형 HPE 님블 스토리지 올플래시와 하이브리드용 님블 어댑티브 플래시(Nimble Adaptive Flash) 어레이는 모두 NVMe를 지원한다.

- IBM: 지난 2월 플래시시스템 900(FlashSystem 900)을 통해 인피니밴드 NVMe 오버 패브릭을 지원하기 시작했다. 앞으로 IBM 스펙트럼 버주얼라이즈(Spectrum Virtualize)와 스펙트럼 액셀러레이트(Spectrum Accelerate)의 차기 버전을 통해 새로운 패브릭 오버 NVMe 네트워킹 기능도 추가로 지원할 예정이다.

- 넷앱: 새로운 기업용 올플래시 레이어 AFF A800을 최근 발표했다. 엔드투엔드 NVMe 오버 패브릭을 지원하는 첫 제품이다. AFF A800은 NVMe 오버 패브릭과 NVMe SSD를 결합한 것이 특징이다. 애플리케이션 호스트에서 데이터 스토리지까지 200밀리초 이하의 레이턴시를 지원한다. NVMe SSD와 NVMe 오버 패브릭을 결합해 300GB/s 처리량을 제공한다고 넷앱 측은 설명했다.

- 퓨어 스토리지: 지난해부터 NVMe 기반 플래시어레이 X70을 판매하고 있다. 최근에는 플래시어레이 X 제품군 전체에 걸쳐 NVMe 기술을 확대 적용했다. X10, 20, 50, 70, 90 등 5개 모델에서 NVMe 다이렉트 플래시 아키텍처로 설정할 수 있다.

스타트업과 기존 대형 스토리지 업체 제품의 가장 큰 차이는 기존 기업용 데이터 서비스와 결합해 NVMe를 제공하는지 여부다.

버제너는 "기존 업체의 경쟁력은 기존 주력 스토리지 플랫폼의 소프트웨어 기능의 완성도가 매우 높다는 것이다. 예를 들면 스냅샷, 암호화, 인라인 데이터 중복제거, 복제 등이다. 이들은 기본적으로 NVMe 기술을 이들 제품군에 추가하려 하고 있다. 따라서 기존 스토리지 업체의 제품은 스타트업 제품과 달리 다른 형태의 워크로드도 처리할 수 있다. 스타트 제품은 전반적으로 소프트웨어 기능성에서 부족하다. 이들의 강점이 있는 것은 순수하게 성능 뿐이다"라고 말했다.

버저너에 따르면, 이런 특성 때문에 기존 대형 스토리지 업체는 복잡하고 다양한 기업 워크로드 통합 시장까지 겨냥할 수 있다. 혼합된 워크로드 환경에서는 전통적인 데이터베이스 애플리케이션과 현대적인 웹 스케일 애플리케이션이 같은 인프라스트럭처를 공유하기도 한다. 반면 스타트업의 제품은 보통 높은 성능이 필요한 단일, 전용 워크로드에 사용된다.


NVMe의 미래
NVMe 기술은 계속 발전하고 있다. 동시에 가격은 떨어지고 스토리기 성능 요건은 높아지면서 더 많은 기업이 엔드투엔드 NVMe를 적용하고 다양한 워크로드를 지원할 수 있는 플래시 기반 스토리지 시스템으로 이동할 것으로 전망된다.

버저너는 "혼합된 워크로드에 SCSI 대신 NVMe 시스템을 사용할 경우 그 TCO를 둘러싼 논란이 있다. 그러나 NVMe 기반 제품을 이용하면 같은 공간에 더 적은 전력을 사용하면서도 더 강력한 시스템을 구축할 수 있다"라고 말했다. 이어 "앞으로 NVMe가 주력 스토리지 어레이로서 SCSI를 대체할 것이라는 점에는 이견이 없을 것이다. 그러나 이는 2021년까지 단계적으로 진행된다. 이때가 되면 주력 스토리지 어레이(아마도 올플래시 어레이)의 매출의 50% 이상이 NVMe 기반 시스템으로 채워질 것이다. 우리는 이러한 변화의 시작점에 서 있다"라고 덧붙였다.

차기 기업 스토리지 플랫폼으로 NVMe 기술 대신 SCSI 도입에 더 무게를 두고 있는 기업 스토리지 관리자가 있다면, 구매할 플랫폼이 파괴적인 방법을 사용하지 않고도 새로운 스토리지 기술로 업그레이드할 수 있는지 확인하는 것이 중요하다. 이런 새로운 기술에는 NVMe 오버 패브릭과 스토리지 클래스 메모리 같은 것이 대표적이다.

물론 향후 몇년간 SCSI 기반의 올플래시 스토리지 시스템도 계속해서 팔려나갈 것이다. 그러나 버저너는 "NVMe 인프라를 도입하면 더 적은 공간에서 더 많은 워크로드를 처리할 수 있을 것이다. 특히 짧은 레이턴시와 더 많은 처리량의 원하는 상황이라면 NVMe를 당장 도입할 필요가 있다"라고 말했다. ciokr@idg.co.kr 

X