생성형 AI 배포의 숨은 주역··· ‘스토리지’ 구축법

많은 기업이 AI 프로젝트를 시작할 때 컴퓨팅 성능과 네트워크에만 집중한다. 더 큰 그림을 위해 대규모 스토리지가 필요하다는 사실을 간과할 가능성이 있다.
 

AI를 배포하고 사용하기 시작하면서 많은 기업이 대규모 컴퓨팅 성능과 빠른 네트워킹이 필요하다는 사실을 인식하고 있다. 이때 스토리지 요구 사항은 놓치기 쉽다.

챗봇이나 AI 비서의 도입은 대부분의 기업 스토리지 용량에 큰 부담을 주지 않지만, 수백만 개의 데이터 포인트에 액세스하는 대규모 AI 프로젝트라면 이야기가 다를 수 있다. 이때는 수 테라바이트의 새로운 스토리지가 필요할 수 있으며, 잠재적으로 수천만 달러의 비용이 발생할 수 있다고 일부 AI 및 스토리지 전문가는 말했다.

AI에 기반한 철도 차량 검사 기업 듀오스 테크놀로지스의 CTO인 제프리 네시아이는 몇 가지 스토리지 옵션이 존재하며 일부 AI 기능을 사용할 때 클라우드 스토리지나 기존 하드 드라이브가 적합할 수 있다고 말했다.

그러나 그는 즉각적인 응답이나 정보를 제공해야 하는 AI 시스템의 경우 AI 워크로드의 위치에서 수백 마일 떨어진 곳에 있는 하드 드라이브와 클라우드 스토리지는 너무 느릴 수 있다고 언급했다.

예를 들어 듀오스 테크놀로지스는 차량 스캔 후 60초 이내에 철도 차량에 알림을 제공하고 있다. 이 경우 AI 컴퓨팅 장치와 함께 작동하는 초고속 스토리지가 필요하다.

네시아이는 “바퀴가 고장났다면 이를 바로 알고 싶을 것이다. 지연 시간을 원하지 않기 때문에 클라우드에서 모든 작업을 처리할 수 없다. 가능한 한 빨리 정보를 얻어야 한다”라고 말했다.

드라이브 용량 외 요소
네시아이는 대규모 AI 프로젝트를 고려하는 기업일 경우 필요한 스토리지 용량과 동시에 여러 작업을 처리할 수 있는 성능을 모두 고려해야 한다고 말했다.

그는 “여러 스레드에 대해 스토리지에 빠르게 쓰고 빠르게 읽어야 한다. 동시에 작업을 수행할 수 있는 기능이 듀오스에 매우 중요했다”라고 설명했다.

결과적으로 듀오스는 지난해 850만 대의 철도 차량을 스캔했으며, 각 스캔은 잠재적으로 1,050개 이상의 이미지를 생성했다. 듀오스 철도 차량 검사 포털은 각각 16개의 NVMe 드라이브를 포함하는 4개의 고성능 스토리지 어레이를 사용하며 총 용량은 500테라바이트에 달한다.

반면 즉각적인 결과를 필요로 하지 않는 사내 AI 학습 및 개발에는 약 25테라바이트의 기존 스토리지를 사용하고 있다. 네시아이는 “필요한 작업에 리소스 전부를 활용하고자 한다. 중요한 것은 작업에 따라 적합한 도구를 사용하는 것”이라고 조언했다.

집중 데이터 요구 사항
듀오스와 마찬가지로 대규모 AI 프로젝트를 진행하는 다른 기업들도 스토리지 요구 사항을 충족하기 위해 고용량 SSD 또는 낸드(NAND) 플래시 메모리를 사용하고 있다.

고속 메모리 옵션은 기가바이트당 최대 1,000달러로 하드 드라이브에 비해 훨씬 비싸지만 장점도 뚜렷하다. 엔터프라이즈 SSD 제조업체 솔리디즘(Solidigm)의 리더십 마케팅 수석 디렉터인 로저 코렐은 고속 메모리가 서버 및 하드 드라이브 랙보다 전력 효율이 3배 가까이 높고 공간을 덜 차지한다고 언급했다.

그는 기업이 더 복잡한 멀티모달 AI 프로젝트를 채택하고 더 많은 직원이 AI 도구를 사용하기 시작하면서 고용량, 멀티스레드 스토리지 옵션에 대한 수요는 더욱 증가할 것이라고 말했다.

그는 “AI는 저장해야 하는 데이터의 양과 방대한 데이터 세트에 액세스하는 속도에 대한 요구가 매우 높다”라고 설명했다.

AI/ML 프로젝트용 오브젝트 스토리지를 제공하는 민IO(MinIO)의 CTO인 우구르 티글리는 일부 기업의 경우 SSD나 낸드 옵션 되에도 프라이빗 클라우드나 코로케이션 시설을 스토리지 요구 사항에 맞게 사용하고 있다고 설명했다.

티글리에 따르면 AI를 도입하는 민IO 고객은 일반적으로 스토리지 용량을 4~10배까지 늘리고 있다. 그는 프라이빗 클라우드나 코로케이션 서비스 사용 비용이 퍼블릭 클라우드보다 60%가량 저렴할 수 있기 때문에 대규모 AI 사용자라면 스토리지 요구 사항에 대해 퍼블릭 클라우드 이외의 방법을 모색할 것을 권장한다고 설명했다. 

그는 “수백 페타바이트 또는 1~2 엑사바이트 규모에서는 퍼블릭 클라우드가 경제적이지 않을 수 있다. 전체 비용이 용량, 계층화, 데이터 액세스 프로필에 따라 연간 수천만 달러에서 수억 달러에 달할 것”이라고 말했다.

티글리는 또한 기업 사용자가 퍼블릭 클라우드 대신 프라이빗으로 구축한 후 클라우드로 ‘버스팅’해 추가 GPU를 사용할 수 있다면서 “컴퓨팅은 탄력적이지만 데이터는 그렇지 않으며, 비록 가속화되긴 하나 예측 가능한 속도로 증가하기 때문에 그에 맞게 아키텍처를 설계해야 한다는 것이 핵심이다”라고 설명했다.

플랫폼형 스토리지
디지털 트랜스포메이션 기업 어헤드(AHEAD)의 현장 CTO인 프리얀카 카란은 페타바이트 규모의 스토리지 플랫폼도 또 다른 옵션이 될 수 있다고 말했다. 카란은 페타바이트 규모의 스토리지 플랫폼의 목표가 “데이터가 처음 저장된 곳에서 AI 학습에 활용할 수 있는 장소로 데이터를 가져올 때 발생하는 데이터 이동 문제를 줄이는 것”이라며 “새로운 스토리지 사일로를 만드는 것이 목표가 아니다”라고 말했다.

현재 사용 가능한 스토리지 플랫폼은 높은 처리량과 짧은 지연 시간을 제공하는 낸드 플래시를 기반으로 구축돼 GPU와 TPU에 데이터를 공급하는 데 필수적이라고 카란은 말했다.

일부 AI 사용자와 전문가들은 여러 옵션이 존재하기 때문에 필요한 스토리지의 양과 종류가 조직이 배포하는 AI 프로젝트에 따라 달라질 수 있다고 언급했다. 

카란은 오프라인 배치 처리가 실시간 워크로드보다 메모리 요구량이 낮다고 언급하며, 경우에 따라 보조 스토리지 옵션을 사용해 AI 모델을 학습하고 실행하는 데 필요한 방대한 양의 데이터를 보관할 수 있다고 말했다.

올바른 스토리지 옵션 선택은 데이터 세트의 크기, 처리를 위해 클라우드로 옮길 수 있는지 여부, 데이터에 처리를 수행하는 것이 합당한지 여부 등 자주 언급되는 데이터 관련 문제에 따라 달라질 수 있다. 일부 AI 프로젝트에서는 데이터 스토리지가 AI 컴퓨터가 있는 데이터센터, 다른 퍼블릭 클라우드 또는 데이터가 생성되는 엣지에 위치할 수도 있다.

기업에는 보안, 규제 또는 규정 준수 등 고려해야 할 다른 요소가 많다. 카란은 클라우드 스토리지의 경우 “네트워킹, 거리, 지연 시간도 고려해야 하지만 추가 비용 변수도 생각해야 한다”라고 말했다.

또한 오프 프레미스 스토리지의 경우 스토리지 자체 비용 외에도 데이터 전송, 액세스, 관리에 각각 수수료가 발생할 수 있다. 반면 온프레미스 스토리지 옵션에는 막대한 초기 투자 비용과 유지 보수, 전력 및 냉각 비용, 직원 급여가 들 수 있다.

카란은 “따라서 성능, 비용, 확장성 등 구체적인 요구 사항을 평가해 AI 이니셔티브에 가장 적합한 솔루션을 선택해야 한다”라고 조언했다. ciokr@idg.co.kr