칼럼 | 네트워크 전문가가 구글 '아퀼라 프로젝트'에 관심 가져야 할 이유

지금 당장은 아니다. 그러나 향후 만만치 않은 데이터센터 워크로드 문제가 출현할 수 있다. 고성능 메시 모델을 구축하려는 구글 아킬라 프로젝트(Aquila project)에 주목해야 할 이유다. 

데이터센터 네트워킹을 떠올린다면, 이더넷(Ethernet) 스위치에 관해 생각하기 쉽다. 실제로 이 범주의 기기들은 수십 년 동안 데이터센터 네트워크의 기반으로 동작했다. 오늘날 이더넷 스위치에 대한 수요 중 상당수가 데이터센터에서 창출되고 있기도 하다.

그러나 네트워크 분야의 전문가들은 이미 애플리케이션의 변화를 실감하고 있으며, 데이터센터 네트워크 옵션에 대해 새롭게 생각할 때임을 인정하고 있다. 데이터센터가 바뀌고 있으며, 이는 네트워크도 바뀌어야 한다는 의미로 이어진다.

클라우드 및 클라우드 중심적인 환경이 출현하면서, 잔잔했던 데이터센터 이더넷 스위칭 영역에 혼란을 더하는 2가지 요소가 등장했다. 첫 번째는 가상화였다. 컴퓨터와 애플리케이션 사이에 1:1 관계가 없다는 개념이며, 이로 인해 다수의 컴퓨터들이 애플리케이션 호스팅을 공유했다. 

두 번째는 부품화(componentization )였다. 이는 논리적인 부분들로 분리되도록 애플리케이션을 작성한다면, 그것들을 병렬로 구동하고 주문식으로 확장할 수 있다는 아이디어였다. 고장날 경우 원활하게 대체할 수 있다는 장점도 있었다. 이들 2가지 요소가 트래픽과 데이터센터 스위칭에 미치고 있는 영향은 그야말로 엄청났다.
 

전통적인 단일 구조 애플리케이션들은 사용자와 데이터센터 사이에서 수직적 트래픽을 생성한다. 수십 년 전에는 서비스 버스 및 애플리케이션 간 커플링 등으로 수평적 트래픽을 생성했었다. 그리고 이제 부품화와 가상화가 메시(Mesh) 트래픽을 생성하고 있다. 메시 트래픽에서 메시지는 각종 구성요소들 사이의 복잡한 거미줄에서 교환된다. 전통적인 데이터센터 스위치는 계층 구조에 기반하기 때문에 이 메시 트래픽은 전통적인 모델에 스트레스를 주고 문제를 유발하게 된다.

계층적 스위치 네트워크 또는 더욱 현대적인 나뭇잎-가시(leaf-and-spine) 네트워크에 컴퓨터를 추가한다는 것은 필요에 따라 계층을 추가하는 문제이다. 여기에서 나타날 수 있는 문제는 레이턴시, 차단(blocking), 결정론(determinism)의 조합이다.

• 지연 속도는 소스로부터 목적지 포트로 이동하는 것과 관련하여 축적된 지연이며, 전환해야 하는 스위치의 수가 증가하면 커질 수밖에 없다.
• 차단은 트렁크/스위치 혼잡 때문에 연결을 지원하기 위해 필요한 용량이 없다는 위험이다.
• 결정론은 성능의 예측 가능성과 일관성의 정도이다.

즉 새 모델이 필요한 상황이다. 하지만 어떤 모델로 이동해야 할까?  미래의 데이터센터 네트워크는 HPC와 하이퍼스케일 데이터센터라는 2가지 새로운 목표를 고려해야 한다.

오늘날 HPC에서 컴퓨터와 애플리케이션의 구성요소는 '기후로 인한 왕나비 이주의 영향 모델링' 같은 놀랍도록 복잡한 컴퓨팅 기능을 수행하고 있었다. 이를 위해 고속 상호 연결을 통해 병렬로 구동하며 매우 긴밀하게 연결되어 있는 다수의 시스템의 필요하다. 이는 네트워크 인터페이스보다는 컴퓨터 버스 또는 백플레인(Backplane) 같은, 빠르고 매우 결정론적인 연결을 의미한다. 

이에 대한 초기의 솔루션으로는 인피니밴드(InfiniBand)와 파이버 채널(Fibre Channel)이 있었다. 지금도 여전히 사용되고 있다. 인텔(Intel)은 차세대 HPC 기술로 옴니패스(Omni-Path)를 도입했으며, 이후에 코넬리스 네트웍스(Cornelis Networks)로 발전했다.

이러한 메시 모델에서는 수백만 명의 동시 사용자가 사용하는 작고 부담이 적은 다수의 구성요소를 지원해야 한다. 오늘날 하이퍼스케일 컴퓨팅이라고 불리는 모델이다. 여기에서 다양한 사용자는 다양한 순서로 다양한 구성요소를 구동하며, 이런 구성요소들 사이에서 메시지가 지속적으로 교환된다. 

메시 트래픽 흐름은 네트워크 벤더들이 자체적인 패브릭 스위치를 구축하게 만드는 수평 트래픽에서 발전했다. 이더넷 연결에 기초한 패브릭 스위치는 이전에 스위치 계층 구조에 의존했던 데이터센터에 손쉽게 도입됐으며, 마이크로서비스와 대형 리소스 풀이 출현하기 전까지는 잘 작동했다. 

단일 패브릭 스위치는 수평 트래픽에 적합하지만 스위치당 제한된 수의 연결을 지원하며 파이버 경로를 선택하지 않는 이상 이더넷 연결 거리에 제한이 존재한다. 패브릭에 가깝게 유지하기 위해 서버들을 뉴욕의 빌딩숲처럼 쌓아 놓은 데이터센터를 상상해볼 수 있겠다.

물론, 퍼블릭 클라우드 제공자, 호스팅 제공자, 대기업들은 점점 더 많은 서버 랙을 갖춘 데이터센터를 구축하기 시작했다. 그들은 정말로 HPC 스위치, 이더넷 패브릭, 전통적인 멀티 스위치 계층 구조 사이에 메시 트래픽을 정말로 잘 처리하는 것이 필요했다. 구글 아킬라(Google Aquila)가 등장한 배경이다.

아킬라는 많은 측면에서 ‘하이브리드’같은 존재다. HPC 애플리케이션을 지원할 수 있고 하이퍼스케일 데이터센터 네트워크를 구축할 수 있다. 수십 개의 집단으로 나뉘며, 최대 수천 개의 네트워크 포트를 갖고 있는 데이터센터다.

각 집단 안에서 아킬라는 초고속 셀 기반 프로토콜을 사용함으로써 서버 팟을 풀 메시(Full Mesh)로 상호 연결한다. 따라서 집단 내부의 성능은 매우 높고 지연 속도는 매우 낮다. 집단 내부에서 전달되는 패킷이 셀들로 분리된다. 따라서 모든 셀 경계에서 우선순위가 높은 것이 우선순위가 낮은 패킷을 통과할 수 있어 지연 속도가 감소하고 결정론이 개선된다. SDN 스위칭이 집단들 사이에서 사용되기 때문에 데이터센터 전체를 트래픽 엔지니어링할 수 있다.

하지만 아킬라는 현재 구매할 수 있는 대상이 아니다.  이것은 제품이 아니라 프로젝트이기 때문에 대규모 데이터센터 리소스 풀의 미래 방향을 나타내는 것으로 보아야 한다. 추측이기는 하지만 아킬라 접근방식에 기초한 제품이 2~3년 안에 출시될 것으로 관측된다. 현재 데이터센터 네트워크를 기획하고 있다면, 관심을 가지고 지켜볼 만하다. 

당장 아킬라를 이용할 수 없기는 하지만 현재 아킬라가 상용화되기 전까지 문제를 완화할 수 있는 힌트를 아킬라에서 얻을 수 있다.

아킬라는 리소스 풀을 자체 안에서 수평 트래픽을 매우 효율적으로 연결하는 서브 풀 콜렉션으로 구성한다. 특정 서버 세트로 구성요소를 가져올 수 있는 ‘affinities’와 밀어젖힐 수 있는 ‘taints’ 같은 것을 제공하는 쿠버네티스 같은 도구를 사용하기 때문에 한 집단 안에 상호 반응성이 높은 구성요소들을 유지하기가 꽤 쉽다. 구글이 쿠버네티스를 개발했다는 점에서 아킬라의 아키텍처는 쿠버네티스 리소스 풀을 하이퍼스케일 데이터센터로 구성하는 수단으로 볼 수도 있다.

좀더 구체적으로 ‘아킬라 핵(Hack)’을 살펴보면 다음과 같다. 데이터센터에서 이더넷 스위치 또는 패브릭 스위치를 사용하여 유사한 것을 수행할 수 있다. 서버 그룹들을 공통 스위치/패브릭에 연결하여 자체 집단을 생성한다. 그러면 집단 안에서의 연결에 있어서 지연 속도가 감소하고 결정론이 증가할 것이다. 그리고 쿠버네티스 기능(또는 다른 컨테이너 오케스트레이션 또는 데브옵스(DevOps) 도구의 기능)을 사용하여 구성요소를 자신의 집단으로 안내한다. 물론, 용량이 부족한 경우 인접한 집단으로 번져 여전히 크고 효율적인 리소스 풀을 유지할 수 있다.

구글이 개발한 쿠버네티스는 성능을 최적화하기 위해 애플리케이션의 일부 구성요소들을 서로 가깝게 유지해야 할 필요성을 인식한다. 아킬라는 같은 기능을 지원할 수 있는 데이터센터 네트워크 아키텍처를 제공한다. 앞서 언급한 것처럼 표준 스위칭을 사용하여 비슷한 효과를 누릴 수 있기는 하다. 그러나 데이터센터에서 컨테이너화 된 마이크로서비스 기반 애플리케이션을 활용하는 경우 새로운 모델로 진화하는 것에 관해 생각해 보는 것이 현명할 것이다. 

어쩌면 구글은 지금까지 당신이 보지 못하는 것을 보고 있는지도 모른다. 

* Tom Nolle은 美 전략 컨설팅 회사 CIMI 코퍼레이션(CIMI Corporation)의 사장이다. ciokr@idg.co.kr