2019.05.16

데이터센터 스토리지의 지각 변동··· 'NVMeoF' 안내서

John Edwards | Network World
길고 복잡한 말이긴 하다. NVMeoF(Non-Volatile Memory Express over Fabrics)와 SSD의 조합이 데이터센터 스토리지 기술로 자리를 잡아가면서 새로운 수준의 성능과 경제성을 제공하고 있다.

NVMeoF는 네트워크 패브릭을 통해 NVMe SSD 기술의 빠른 속도와 낮은 지연 속도를 제공하기 위해 고안됐다. 현재 이용할 수 있는 기본적인 NVMe 패브릭 도입 옵션은 3가지다. NVMeoFC(NVMe over Fibre Channel), NVMeoRDMA(NVMe over Remote Direct Memory Access), NVMeoTCP(NVMe over TCP)이다.

NVMe SSD가 등장하면서 스토리지의 속도가 크게 향상됐지만 관련 장치 대부분은 1980년대부터 사용하던 SCSI 기반 호스트 연결을 통해 서버와 통신해왔다. IDC의 인프라 시스템, 플랫폼, 기술 그룹 조사 부사장 에릭 버게너는 "서버의 CPU부터 네트워크 그리고 NVMe SSD로 구축한 스토리지 어레이까지 모든 곳에서 NVMe 프로토콜을 사용할 수 있는 방법이 필요했다"라며 "NVMeoF는 스위치 패브릭을 통해 NVMe 프로토콜을 운용하는 방법이다"라고 설명했다.

이전의 기술들과 달리 NVMeoF는 반도체 매체를 처음부터 염두에 두고 개발됐다. 버게너는 "심지어 HDD와도 호환되지 않는다. 그러나 SCSI보다 반도체 매체의 이점을 더욱 잘 활용할 수 있다"라고 설명했다.

다양한 NVMeoF 버전들이 HDD는 말할 것도 없고 기존의 반도체를 이용한 스토리지 시스템보다 나은 미디어 지연 속도 및 기가바이트당 IOPS를 제공한다고 HPE의 스토리지 CTO 제프 키멜이 말했다. 그는 "SCSI 기반 SAN 프로토콜은 반도체를 이용한 스토리지에서 높은 성능을 발휘하지만 지연 속도와 자원 효율성 측면에서 여전히 개선의 여지가 있다"라고 말했다.
 
ⓒ Image Credit : Getty Images Bank



더 높은 처리량, 더 낮은 지연 속도
서버가 점차 강력해지고 스토리지가 제대로 된 플래시 어레이를 통해 속도를 얻게 되면서 스토리지 패브릭이 E2E 성능 최적화의 걸림돌이 될 것이라고 레노버 DCG(Data Center Group)의 스토리지 책임자 스튜어트 맥래가 전망했다. 

그는 "NVMeoF이 애플리케이션과 네트워크의 성능을 높여줄 수 있다”라며 NVMeoF로 전향하면 처리량이 2배 개선되고 지연 속도가 52%나 낮아질 수 있다고 진단했다.

또한 NVMeoF는 JBoFs(Just a Bunch of Flashes)라는 외장 케이스 담긴 NVMe SSD를 풀링 및 공유할 수 있는 길을 열어준다. 키멜은 "외장 NVMe 드라이브를 지연 속도가 낮고 효율성이 높은 액세스용 패브릭과 연계시키면 서버 부착형 SSD를 공유 자원으로 대체할 수 있다. 이 블록 스토리지 분리를 통해 일반적으로 파이버 채널 또는 iSCSI SAN을 통해 부착되었던 공유 스토리지 어레이에 제한되었던 이점을 누릴 수 있다"라고 말했다.

SNIA(Storage Networking Industry Association)의 이사회 소속 J 메츠에 따르면 NVMeoF라는 기술을 이해하는데 어려움을 겪는 IT 담당자들이 흔하다. 그는 "데이터센터 스토리지는 오랫동안 조금씩 새로운 인터페이스를 학습하거나 새로운 관리 방식을 학습하거나 새로운 박스를 학습하는 형태로 변화해왔다. 하지만 NVMeoF는 다르다.  연산 능력과 저장 능력 사이의 관계를 보는 관점 자체가 달라질 것을 요구하고 있다. "일반적인 1:1 관계 대신에 다수 대 다수의 관계가 될 수 있다"라고 메츠가 말했다.

NVMeoF 사용례
당연하겠지만 성능 및 지연 속도에 민감한 조직들이 NVMeoF의 이점을 크게 누릴 수 있다. 주요 사용례로는 데이터베이스, 분석 애플리케이션, 보안 애플리케이션(얼굴 인식 등), 트랜잭션 처리 등이 있다고 맥래가 전했다. 

그는 "예를 들어, 응답시간이 빨라야 하는 외장 스토리지로의 쿼리 또는 트랜잭션을 수행하는 대형 데이터베이스가 NVMeoF의 도움을 받을 수 있다라고 말했다.

월 스트리트의 거래소 등 초고성능 데이터베이스를 활용 중인 기업들이 특히 NVMeoF를 기대하고 있다. 이런 조직들은 일반적으로 비용에 상관없이 성능이 가장 높은 기술을 도입하려 하곤 한다 "시스템을 더 빠르게 만들어 초당 1,000회에서 5,000회의 트랜잭션을 처리하도록 할 수 있다면 더 많은 돈을 벌 수 있기 때문”이라고 버게너가 말했다.

하지만 대다수 일반적인 애플리케이션은 NVMeoF가 크게 도움이 되지 않는다. 맥래는 "모든 애플리케이션에 저 지연 속도 고 처리량 성능이 필요한 것은 아니다. 백업/아카이브, 비디오 스토리지, 전통적인 파일 서빙 등이 특히 그렇다"라고 말했다.

덜 민감도 애플리케이션도 NVMeoF를 이용해 통합하면 더 빨라지고 반응성이 높아질 수 있는 가능성이 있다. 메츠는 "향후 몇 년 내에 NVMeoF를 활용하는 창의적인 아이디어가 다수 등장할 것"이라고 전망했다.

NVMeoF에 대한 오해 풀기
여러 새롭게 등장하는 기술들과 마찬가지로 NVMeoF는 많은 기업들에게 수수께끼 같은 존재이며, 현재의 상황에 편안해 하는 기업들에는 더욱 그렇다. 또는 많은 IT 리더들은 NVMeoF로 마이그레이션하는 비용이 너무 높다고 생각한다. 

하지만 그것은 사실이 아니라고 맥래가 말했다. 그는 "결국 이 기술은 모든 조직이 구매하는 것의 표준이 될 것이다. 지금도 이 기능은 많은 스위치에 표준으로 제공되고 있기 때문에 이를 배치하기 위해 추가적인 비용이 발생하지 않는다"라고 말했다.

또 다른 오해는 NVMeoF가 마법처럼 모든 속도 관련 문제를 해결할 수 있다고 생각하는 것이다. "스토리지가 문제인 경우에만 애플리케이션의 구동 속도가 빨라진다. 이미 시스템에서 SSD를 운용하고 있다면 HDD를 사용할 때마다 스토리지가 문제일 확률이 훨씬 낮다"라고 버게너는 말했다.

NVMeoF의 실질적인 다른 단점은 엄청난 전력 소비량이다. 버게너는 "전력 소비량 문제에 대해 심각하게 생각하지 않는 경향이 있다”라며, NVMe 장치는 SCSI 기반 SSD보다 전력 소비량이 훨씬 크다고 설명했다. 

그는 "만약 기존 데이터센터가 이미 최대 전력 사용량 한계에 가깝게 운영되고 있는 경우 NVMe로 전향할 경우 공간 사용량이 줄어든다 하더라도 전력 사용량 한계를 초과할 수도 있다"라고 경고했다.




2019.05.16

데이터센터 스토리지의 지각 변동··· 'NVMeoF' 안내서

John Edwards | Network World
길고 복잡한 말이긴 하다. NVMeoF(Non-Volatile Memory Express over Fabrics)와 SSD의 조합이 데이터센터 스토리지 기술로 자리를 잡아가면서 새로운 수준의 성능과 경제성을 제공하고 있다.

NVMeoF는 네트워크 패브릭을 통해 NVMe SSD 기술의 빠른 속도와 낮은 지연 속도를 제공하기 위해 고안됐다. 현재 이용할 수 있는 기본적인 NVMe 패브릭 도입 옵션은 3가지다. NVMeoFC(NVMe over Fibre Channel), NVMeoRDMA(NVMe over Remote Direct Memory Access), NVMeoTCP(NVMe over TCP)이다.

NVMe SSD가 등장하면서 스토리지의 속도가 크게 향상됐지만 관련 장치 대부분은 1980년대부터 사용하던 SCSI 기반 호스트 연결을 통해 서버와 통신해왔다. IDC의 인프라 시스템, 플랫폼, 기술 그룹 조사 부사장 에릭 버게너는 "서버의 CPU부터 네트워크 그리고 NVMe SSD로 구축한 스토리지 어레이까지 모든 곳에서 NVMe 프로토콜을 사용할 수 있는 방법이 필요했다"라며 "NVMeoF는 스위치 패브릭을 통해 NVMe 프로토콜을 운용하는 방법이다"라고 설명했다.

이전의 기술들과 달리 NVMeoF는 반도체 매체를 처음부터 염두에 두고 개발됐다. 버게너는 "심지어 HDD와도 호환되지 않는다. 그러나 SCSI보다 반도체 매체의 이점을 더욱 잘 활용할 수 있다"라고 설명했다.

다양한 NVMeoF 버전들이 HDD는 말할 것도 없고 기존의 반도체를 이용한 스토리지 시스템보다 나은 미디어 지연 속도 및 기가바이트당 IOPS를 제공한다고 HPE의 스토리지 CTO 제프 키멜이 말했다. 그는 "SCSI 기반 SAN 프로토콜은 반도체를 이용한 스토리지에서 높은 성능을 발휘하지만 지연 속도와 자원 효율성 측면에서 여전히 개선의 여지가 있다"라고 말했다.
 
ⓒ Image Credit : Getty Images Bank



더 높은 처리량, 더 낮은 지연 속도
서버가 점차 강력해지고 스토리지가 제대로 된 플래시 어레이를 통해 속도를 얻게 되면서 스토리지 패브릭이 E2E 성능 최적화의 걸림돌이 될 것이라고 레노버 DCG(Data Center Group)의 스토리지 책임자 스튜어트 맥래가 전망했다. 

그는 "NVMeoF이 애플리케이션과 네트워크의 성능을 높여줄 수 있다”라며 NVMeoF로 전향하면 처리량이 2배 개선되고 지연 속도가 52%나 낮아질 수 있다고 진단했다.

또한 NVMeoF는 JBoFs(Just a Bunch of Flashes)라는 외장 케이스 담긴 NVMe SSD를 풀링 및 공유할 수 있는 길을 열어준다. 키멜은 "외장 NVMe 드라이브를 지연 속도가 낮고 효율성이 높은 액세스용 패브릭과 연계시키면 서버 부착형 SSD를 공유 자원으로 대체할 수 있다. 이 블록 스토리지 분리를 통해 일반적으로 파이버 채널 또는 iSCSI SAN을 통해 부착되었던 공유 스토리지 어레이에 제한되었던 이점을 누릴 수 있다"라고 말했다.

SNIA(Storage Networking Industry Association)의 이사회 소속 J 메츠에 따르면 NVMeoF라는 기술을 이해하는데 어려움을 겪는 IT 담당자들이 흔하다. 그는 "데이터센터 스토리지는 오랫동안 조금씩 새로운 인터페이스를 학습하거나 새로운 관리 방식을 학습하거나 새로운 박스를 학습하는 형태로 변화해왔다. 하지만 NVMeoF는 다르다.  연산 능력과 저장 능력 사이의 관계를 보는 관점 자체가 달라질 것을 요구하고 있다. "일반적인 1:1 관계 대신에 다수 대 다수의 관계가 될 수 있다"라고 메츠가 말했다.

NVMeoF 사용례
당연하겠지만 성능 및 지연 속도에 민감한 조직들이 NVMeoF의 이점을 크게 누릴 수 있다. 주요 사용례로는 데이터베이스, 분석 애플리케이션, 보안 애플리케이션(얼굴 인식 등), 트랜잭션 처리 등이 있다고 맥래가 전했다. 

그는 "예를 들어, 응답시간이 빨라야 하는 외장 스토리지로의 쿼리 또는 트랜잭션을 수행하는 대형 데이터베이스가 NVMeoF의 도움을 받을 수 있다라고 말했다.

월 스트리트의 거래소 등 초고성능 데이터베이스를 활용 중인 기업들이 특히 NVMeoF를 기대하고 있다. 이런 조직들은 일반적으로 비용에 상관없이 성능이 가장 높은 기술을 도입하려 하곤 한다 "시스템을 더 빠르게 만들어 초당 1,000회에서 5,000회의 트랜잭션을 처리하도록 할 수 있다면 더 많은 돈을 벌 수 있기 때문”이라고 버게너가 말했다.

하지만 대다수 일반적인 애플리케이션은 NVMeoF가 크게 도움이 되지 않는다. 맥래는 "모든 애플리케이션에 저 지연 속도 고 처리량 성능이 필요한 것은 아니다. 백업/아카이브, 비디오 스토리지, 전통적인 파일 서빙 등이 특히 그렇다"라고 말했다.

덜 민감도 애플리케이션도 NVMeoF를 이용해 통합하면 더 빨라지고 반응성이 높아질 수 있는 가능성이 있다. 메츠는 "향후 몇 년 내에 NVMeoF를 활용하는 창의적인 아이디어가 다수 등장할 것"이라고 전망했다.

NVMeoF에 대한 오해 풀기
여러 새롭게 등장하는 기술들과 마찬가지로 NVMeoF는 많은 기업들에게 수수께끼 같은 존재이며, 현재의 상황에 편안해 하는 기업들에는 더욱 그렇다. 또는 많은 IT 리더들은 NVMeoF로 마이그레이션하는 비용이 너무 높다고 생각한다. 

하지만 그것은 사실이 아니라고 맥래가 말했다. 그는 "결국 이 기술은 모든 조직이 구매하는 것의 표준이 될 것이다. 지금도 이 기능은 많은 스위치에 표준으로 제공되고 있기 때문에 이를 배치하기 위해 추가적인 비용이 발생하지 않는다"라고 말했다.

또 다른 오해는 NVMeoF가 마법처럼 모든 속도 관련 문제를 해결할 수 있다고 생각하는 것이다. "스토리지가 문제인 경우에만 애플리케이션의 구동 속도가 빨라진다. 이미 시스템에서 SSD를 운용하고 있다면 HDD를 사용할 때마다 스토리지가 문제일 확률이 훨씬 낮다"라고 버게너는 말했다.

NVMeoF의 실질적인 다른 단점은 엄청난 전력 소비량이다. 버게너는 "전력 소비량 문제에 대해 심각하게 생각하지 않는 경향이 있다”라며, NVMe 장치는 SCSI 기반 SSD보다 전력 소비량이 훨씬 크다고 설명했다. 

그는 "만약 기존 데이터센터가 이미 최대 전력 사용량 한계에 가깝게 운영되고 있는 경우 NVMe로 전향할 경우 공간 사용량이 줄어든다 하더라도 전력 사용량 한계를 초과할 수도 있다"라고 경고했다.


X