블로그 | 점차 느는 AI 이니셔티브, 네트워크 계획도 바꿔야 할까?

AI 사용이 본격화되면 네트워크 트래픽은 분명 증가할 전망이다. 하지만 대부분의 기업에서 전체 데이터센터 네트워크를 대대적으로 교체할 필요까진 없을 터다.
 

최근 네트워크 전문가에 이르기까지 모두가 AI에 관심을 갖고 있다. 지금까지 네트워크 전문가는 네트워크 운영에서 AI를 사용하는 데 주로 초점을 맞춰 왔다. AI가 네트워크 트래픽에 미치는 영향은 어떨까?

약 100명의 네트워크 전문가에게 이에 대해 질문한 결과, AI가 네트워크 트래픽과 네트워크 계획에 미칠 수 있는 영향에 대해 생각해 본 적 있다고 답한 응답자는 8명에 불과했다. 뭔가 놓치고 있는 걸까? 여기에는 2가지 질문이 있다. 하나는 AI가 기업 네트워크가 트래픽에 잠재적인 영향을 미치는지 여부이고, 다른 하나는 AI가 기술에 영향을 미칠 수 있는지 여부다. 

AI가 트래픽과 인프라에 미치는 영향은 주로 AI를 자체 호스팅하려는 기업의 계획에 따라 달라진다. 대부분의 AI 모델은 특수 GPU 칩에서 실행되는데, 이는 데이터센터의 특수 서버가 필요하다는 의미다. 필자는 91개 기업으로부터 ‘자체 호스팅(self-hosted)’ AI에 대한 의견을 받았다. 이 용어를 따옴표로 묶은 이유는 실제로 지난해 구체적인 AI 호스팅을 계획한 기업이 16곳에 불과했고 올해 자체 호스팅 실시 계획이 있다고 답한 기업이 단 8곳이었기 때문이다. 당연하게도 이 8곳은 AI의 네트워크 영향에 대해 고민한 8곳이었다. 그래도 2024년에는 그 수가 77명으로 늘어날 예정이며 이러한 성장세가 AI와 네트워크 장비 공급업체 모두의 관심을 자극하고 있다. 이를테면 시스코(Cisco)와 주니퍼(Juniper)는 모두 AI 네트워크에 대해 강점을 내세웠다.

물론 문제는 어떤 종류의 AI가 자체 호스팅되고 네트워크로 연결되는가에 있다. 이때 AI에 대해 접해 온 내용만으로 해답을 얻을 수 있다고 가정해선 안 된다.

챗GPT, 구글, 마이크로소프트 등의 생성형 AI가 주목받고 있지만, 비즈니스에 관한 한 기존 생성형 오픈 인터넷(generative open-Internet) 접근 방식에는 근본적인 문제가 있다. 기업들이 우려하는 대표적인 문제로는 공개적으로 학습된 챗봇에서 흔히 나타나는 환각(hallucination) 현상이 있다. 또한 AI가 만든 콘텐츠의 저작권 문제, AI가 특수한 방식으로 학습될 경우의 데이터 보안 문제도 우려되고 있다. 어떤 이들은 인간과 같은 결과를 도출하기 위해 수많은 GPU가 에너지와 환경에 미치는 영향을 우려한다. 한편 구글 제미나이(Gemini)를 비롯한 최근 여러 AI 이니셔티브는 부분적으로 새로운 형태의 생성형 AI를 추진하고 있다. 이는 유수의 생성형 AI 서비스를 만든 기본 대규모 언어 모델(LLM) 기술을 기업 데이터, 데이터센터 내 또는 기업 클라우드 서비스의 일부로 연동시키는 것이다.

기업이 AI에 대한 일종의 경량 LLM을 찾고 있다면 데이터센터에 있는 특수 AI 서버의 수가 제한돼 있다는 뜻이다. GPU 서버로 구성된 단일 AI 클러스터를 떠올리면 기업들이 현재 보고 있는 것과 비슷하다. 이 클러스터 내부의 AI 네트워킹을 위한 주요 전략은 초고속, 저지연 기술인 인피니밴드(InfiniBand)로, 엔비디아가 이를 적극적으로 지원하지만 엔터프라이즈 수준에서 특별히 잘 알려져 있거나 인기 있는 기술은 아니다. 대부분 대규모 AI 데이터센터에 있는 대량의 GPU를 연결하는 것이 바로 엔비디아의 DGX 인피니밴드 접근 방식이기 때문에 인피니밴드가 자체 호스팅 AI에 유력한 기술이라는 예측은 거의 확실시되고 있다.

하지만 이는 불필요할 뿐만 아니라 완전히 잘못된 생각일 수 있다. 기업은 모델에 필요한 학습 데이터를 얻기 위해 인터넷을 크롤링할 필요가 없다. 기업은 AI의 대중적 사용을 지원할 필요가 없으며, 고객 지원 챗봇과 같은 애플리케이션을 지원해야 한다면 사내 배포가 아닌 클라우드 호스팅을 사용할 가능성이 높다. 즉, 엔터프라이즈에 대한 AI는 사실상 향상된 분석(analytics)의 한 형태다. 이미 분석의 광범위한 사용이 데이터베이스 액세스를 위한 데이터센터 네트워크 계획에 영향을 미쳤으며, AI가 널리 사용되면 데이터베이스 액세스도 증가할 것이다. 하지만 이러한 요소를 고려하더라도 데이터센터 네트워크의 대표 기술인 이더넷이 AI에 적합하지 않다고 생각할 이유는 없다. 따라서 인피니밴드 기술 전환이라는 개념을 잊어도 된다. 다만 그렇다고 해서 네트워크에 AI를 계획할 필요가 없다는 뜻은 아니다.

AI 클러스터는 거대한 가상 사용자 커뮤니티라고 생각하면 이해하기 쉽다. AI 클러스터는 기업 저장소에서 데이터를 수집하고 사용자 질문에 답하기 위해 최신 정보를 확보해야 한다. 다시 말해 이 데이터에 대한 고성능 데이터 경로가 필요한데, 이 경로가 네트워크 내의 다른 기존 워크플로우를 혼잡하게 해선 안 된다. 여러 데이터센터와 복합적인 사용자를 보유한 기업은 모든 위치에서 AI를 호스팅하기를 원하지 않을 수 있기 때문에 이 문제가 특히 중요하다. AI 클러스터가 일부 애플리케이션, 데이터베이스, 사용자와 분리되는 경우 혼잡 위험 없이 트래픽을 전송하기 위해 데이터센터 상호연결(DCI) 경로를 확장해야 할 수도 있다.

AI 호스팅 기업 8곳에 따르면 AI 트래픽의 기본 규칙은 가장 빠른 연결을 통해 워크플로우를 가능한 한 짧게 만드는 것이다. 광범위한 연결을 통해 대량의 AI 데이터를 끌어오거나 밀어 넣으면 데이터의 무작위 대규모 이동이 다른 트래픽을 방해하는 것을 방지하기가 거의 불가능할 수 있다. AI 흐름이 통상적인 분석 및 보고와 같은 다른 대용량 데이터의 흐름과 충돌하지 않도록 하는 것이 특히 중요하다. 이를 위해 AI 워크플로우를 매핑하고 경로를 따라 용량을 늘리는 접근 방식을 적용할 수 있으며, AI 클러스터를 적절히 배치해 AI 워크플로우를 단축하고 가이드할 수도 있다.

AI 클러스터 계획은 엔터프라이즈 AI와 비즈니스 분석 간의 연관성에서 시작된다. 분석은 AI와 동일한 데이터베이스를 사용하기 때문에 주요 분석 애플리케이션이 호스팅되는 곳에 AI를 배치하는 것이 효율적이다. 이는 결과를 사용하기 위해 형식을 지정한 곳이 아니라 실제 분석 애플리케이션이 실행되는 곳에 AI를 배치하는 것을 뜻한다. 분석 애플리케이션은 주요 데이터베이스의 위치 근처에서 실행되는 경우가 많으므로 이렇게 하면 네트워크 연결이 가장 짧은 위치에 AI를 배치할 수 있다. AI 클러스터 내부와 데이터베이스 호스트에 이더넷 파이프를 충분히 설치했다면 문제가 없을 것이다. 하지만 AI 사용량과 트래픽은 주의 깊게 관찰해야 한다. 특히 누가 얼마나 많이 사용하지 제어하지 않는 경우라면 더 그렇다. 8개 기업 중 6곳이 자체 호스팅 AI를 광범위하게, 그리고 대부분 정당하지 않게 사용하고 있으며 이로 인해 네트워크 업그레이드에 많은 비용이 소요될 수 있다고 밝혔다.

엔터프라이 AI 네트워크의 미래는 AI의 실행 방식이 아니라 작동 방식에 달려 있다. 비록 AI 사용으로 트래픽이 증가하더라도 전체 데이터센터 네트워크를 수백 기가비트의 이더넷 용량으로 교체할 필요는 없다. 다만 AI 사용이 어떻게 AI 데이터센터 클러스터, 클라우드 리소스, 생성형 AI와 연결되는지 이해해야 한다. 시스코나 주니퍼 같은 벤더가 이를 제공할 수 있다면 2024년 유리한 위치를 점할 것으로 보인다. ciokr@idg.co.kr