확장성의 비밀을 일부 공개한 '구글과 아마존'

아마존의 팁
그리고 최근, 라스베이거스에서 열린 AWS 리인벤트(Amazon Web Services re:Invent) 컨퍼런스에서 AWS의 부사장이자 특출난 엔지니어인 제임스 해밀턴은 아마존이 확장을 위해 사용하는 기법을 논의했다.

아마존은 공개 정보를 제한하고 있기는 하지만 AWS는 굉장한 속도로 발전하고 있다. 매일 2000년도에 보유하고 있던 총 컴퓨팅 자원(서버, 라우터, 데이터 센터 장비)보다 더 많은 양이 늘어났다고 해밀턴은 말했다. "이것은 다른 종류의 확장이다"고 그는 덧붙였다.

2006년에 공개된 AWS용 키(Key for AWS)는 뛰어난 아키텍처 디자인을 자랑했다. 해밀턴은 아마존이 운 좋게도 처음부터 대체적으로 정확했던 AWS를 위한 아키텍처를 구성할 수 있었다고 밝혔다.

"성장이 빠르면 아키텍처에 관해 배우게 된다. 애플리케이션에 아키텍처 오류 또는 실수가 존재하고 고객들이 이것을 더욱 대대적으로 사용하기로 결정한다면 엄청난 문제와 피해가 발생하게 된다"고 해밀턴은 말했다.

AWS에서의 서비스 배치 비용은 인프라 구성과 배치로 나뉜다고 해밀턴은 설명했다. 대부분의 기업들에게 IT인프라는 비즈니스의 핵심이 아니라 비용이다. 하지만 AWS에서 엔지니어들은 오직 인프라를 위한 비용 절감에만 초점을 맞추고 있다.

구글과 마찬가지로 아마존도 종종 서버 등의 설비를 자체적으로 구축하고 있다. 그는 이것이 기업에게 있어서 실용적이지는 않지만 AWS 같은 대규모 활동에서는 효과를 발휘한다고 말했다.

"같은 작업을 수행하는 서버가 수만 대인데도 하드웨어를 최적화하지 않는다면 고객의 돈을 훔치는 것과도 같다"고 해밀턴은 주장했다. 또한 그는 일반적인 하드웨어 채널을 통해 판매되는 서버의 비용이 제조사로부터 개별적인 부품을 구매하는 것보다 약 30% 더 비싸다고 말했다.

이를 통해 AWS는 고객을 위한 비용 절감을 실현할 뿐 아니라 제조사와 AWS에 도움이 되는 개선사항에 관해 직접적으로 대화할 수 있다.

"경제적으로 보았을 때 훨씬 도움이 되며 혁신의 속도 관점에서도 이점이 있다"고 해밀턴은 강조했다.

클라우드 컴퓨팅 외에 확장성이 중요한 IT 부문으로 수퍼컴퓨팅이 있다. 이 부문에서는 하나의 장비가 수십 개의 프로세서가 장착된 수천 개의 노드(Node)로 구성된다. SC13 슈퍼컴퓨터 컨퍼런스의 마지막 날, 참석한 운용자 및 IT업체들은 확장성 문제를 논의했다.

일리노이대학교의 어바나 캠퍼스(University of Illinois at Urbana Champaign)에서 NCSA(National Center for Supercomputing Applications)의 블루 워터스(Blue Waters)를 관리하고 있는 윌리엄 크레이머는 수퍼컴퓨팅은 엄청난 성장을 경험하면서 기관이 투자에서 최대의 수익을 실현할 수 있도록 하는 새로운 작업부하 일정관리 툴에 대한 필요성이 증가하고 있다고 말했다.

"지금, 실리콘으로 만들어진 하나의 칩은 우리가 15년 전에 일정을 관리하려 했던 시스템과 맞먹는다"고 크레이머가 말했다. "우리는 우리가 하던 모든 일정관리를 운영 시스템 또는 프로그래머가 처리하게 될 것이라고 생각해왔다"라고 크리어머는 덧붙였다.

기존의 산출량에 관한 수퍼컴퓨팅의 메트릭스는 사라진 것으로 보인다. 올해, SC500 목록 상의 컴퓨터들을 비교하기 위해 사용되는 린팩(Linpack) 벤치마크의 개발자 중 한 사람인 잭 동가라는 추가적인 메트릭스를 통해 슈퍼컴퓨터의 효과를 측정하는 것이 낫다고 촉구했다.

하지만 시스템의 진정한 효율성을 판단하는 것은 쉽지 않다.

“시간이 지나면서 시스템이 처리하는 작업의 양을 측정하고 싶어진다. 그리고 이것은 단순히 각 노드가 얼마나 많이 사용되고 있는지 측정하는 것과는 다르다”고 크레이머는 말했다.

그는 하나의 기관이 각 노드가 사용되는 시간의 비율을 측정함으로써 시스템 활용을 측정할 수 있다고 말했다. 하지만 이런 접근방식은 작업부하가 느려지면서 활용률을 증가시키지만 결과적으로 시스템 전체를 통해 이루어지는 작업은 줄어들게 되는 단점이 있다.

인텔의 HPC 마케팅 이사 존 헹벨드는 수퍼컴퓨팅 커뮤니티에 항공기용 제트엔진 제조사로부터 얻은 팁을 소개했다.

"이제는 롤스 로이스(Rolls-Royce)에서 제트엔진을 구매하는 것이 아니라 불확실한 무언가를 만드는 시간을 구입하는 것이다. 그들은 고객이 지불하는 돈만큼의 추진 시간을 얻을 수 있도록 한다. 우리도 이런 방식을 따라야 한다고 생각한다"고 헹벨드는 말했다. "우리는 칩이 아니라 결과물을 구매해야 한다"라고 그는 덧붙였다. ciokr@idg.co.kr