칼럼 | HPC 혁신을 이끄는 클라우드와 빅 컴퓨트

약 25년 전, 몇 가지 오픈소스 기술을 결합해 사업을 하고 수익을 창출할 수 있는 강력한 커머셜 인터넷이 개발됐다. LAMP(Linux, Apache, HTTP Server, MySQL, PHP/Perl/Python)라는 이름이 붙은 이 오픈소스 결합물은 당시 개발자의 표준 개발 스택으로 자리 잡았다. 그리고 이제 또 다른 LAMP 스택의 탄생을 눈앞에 두고 있다.
 

제2의 LAMP 스택은 당시와 상황이 다르다. 애완견 사료를 온라인으로 판매하는 새로운 방식을 만드는 데 초점이 맞춰져 있지 않다. 대신 많은 양의 컴퓨트 리소스를 소비하는 복잡하고 큰 워크로드를 알고리즘으로 해결하려 한다. 코로나19 백신, 새로운 초음속 제트기 제작, 자율 주행 자동차 같은 것이다.

현재 과학 및 공학 분야는 과거 어느 때보다 빠르게 연구를 진행하면서 더 새로운 혁신을 전달하고 있다. 어떻게 이런 일이 가능할 수 있었을까. 클라우드 덕분이다. 그러나 클라우드가 전부는 아니다.
 

‘빅 컴퓨트’ 또는 ‘딥 테크‘의 태동

클라우드는 현재 벌어지고 있는 일을 표현하기에는 너무 피상적이다. '인터넷에 대한 LAMP 스택'처럼 이런 기술적인 변화를 설명할 좋은 약칭이 아직은 없다.

핵심은 어떤 계기가 박사급 인재들이 알고리즘으로 워크로드를 제어하는 데 도움이 되는 매우 복잡한 컴퓨팅 엔진을 혁신하는 데 몰입할 수 있도록 한 것이다. 이런 워크로드는 초기 LAMP 스택이 등장하던 때 프렌즈스터(Friendster)나 펫스닷컴(Pets.com)이 약속했던 것보다 훨씬 더 근본적인 방식으로 우리 일상을 바꿔 놓고 있다.

이런 워크로드에 가장 많이 붙는 약칭이 고성능 컴퓨팅(HPC)인데, 이렇게 불릴 때는 퍼블릭 클라우드가 새로운 애플리케이션에 활용할 수 있는 플랫폼이 되기 이전이다. 세계에서 가장 빠른 슈퍼컴퓨터 500위 목록을 보면, 퍼블릭 클라우드에 기반을 둔 슈퍼컴퓨터의 수가 점점 늘어나고 있다.

이는 우연이 아니다. 온프레미스 슈퍼컴퓨터와 초대형 리눅스 클러스터가 등장한 지 몇십 년이 지났는데(커머셜 인터넷에 앞서 출현했다), 이들 기술은 때론 ‘빅 컴퓨트’ 혹은 ‘딥 테크’로 불리면서 점점 더 클라우드에 의존하는 추세다.

컨설팅 업체인 BCG에 따르면, 이런 혁신의 핵심 동력은 컴퓨팅 성능이 향상되고, 비용이 하락하고, 기술 플랫폼이 부상한 것이다. 이에 따라 클라우드 컴퓨팅은 꾸준히 성능을 개선하고, 활용 범위를 넓히고 있다.

그러나 이 새로운 ‘스택’에는 클라우드 외에 중요한 것이 더 있다. 즉, 시뮬레이션 소프트웨어, 전문 하드웨어, 클라우드의 폭과 깊이가 빠른 속도로 확대되는 등 3가지 대형 기술 트렌드다. 현재 빠르게 진행되는 모든 연구에서 이들 기술 ‘빌딩 블록’이 활용된다. 많은 신생 기업이 수십 년간 정체돼 있던 업계를 뒤흔들 수 있는 것도 이런 기술을 활용하기 때문이다.
 

엔지니어가 더 빠르게 작업할 수 있도록 지원

LAMP 스택 때와 마찬가지로, 빅 컴퓨트/딥 테크는 엔지니어링 생산성을 강화하는 것과 큰 관련이 있다. 클라우드는 여기에 아주 중요한 역할을 한다.

항공 우주 분야를 예로 들 수 있다. 기존 항공 우주 분야 업체의 엔지니어는 보통 온프레미스 HPC 클러스터를 이용해 이착륙과 관련된 모든 변수를 시뮬레이션하고, 이를 통해 새로운 초음속 제트기를 설계한다.

반면 신생 업체는 곧장 클라우드를 찾았다. 탄력적인 인프라 덕분에 전문 HPC 하드웨어를 이용하기 위해 자신의 차례를 기다리지 않고도 애플리케이션을 모델화, 시뮬레이션 할 수 있었다. 하드웨어 구축과 유지관리 시간이 줄어든 만큼 실험과 엔지니어링에 더 많은 시간을 투자할 수 있었다. 이것이 빅 컴퓨트 클라우드 방식의 가장 큰 장점이다.

또한, 항공 우주 업계에서는 복잡한 실제 제품을 직접 만들어 프로토타입화 하기 전, 새로운 혁신을 모델링할 수 있는 여러 시뮬레이션 소프트웨어를 함께 이용한다. 무어의 법칙이 무력화되는 가운데, 온프레미스 슈퍼컴퓨터와 클러스터 등 이런 작업에 특화된 하드웨어가 알고리즘을 기반으로 하는 복잡한 시뮬레이션을 지원했다.

하지만 이들을 클라우드로 옮기면 더 쉽게 모델을 구현해 실행하고, 이를 반복 및 개선하고, 다시 실행해 물리적 프로토타입 단계로 넘어갈 수 있다. 실제로 빅 컴퓨터/딥 테크의 상당 부분은 소프트웨어가 아닌 물리적인 것을 구현하는 것과 관련이 있다.

물론 이 작업에서 까다로운 부분도 있다. 실행에 필요한 맞춤형 하드웨어 및 소프트웨어 구성, 성능 최적화에 요구되는 정교한 워크플로우 등이다.

이런 유형의 알고리즘 집약적 워크로드에는 전문 GPU와 새로운 칩 아키텍처가 필요하다. 차세대 터빈이나 제트 추진 기술을 개발하기 위해 높은 연봉을 주고 박사 학위 소지자를 채용한 기업은 이런 인재들이 시뮬레이션 소프트웨어와 하드웨어로 머신을 구성하느라 연구 시간 대부분을 허비하길 원치 않을 것이다.

리스케일(Rescale)의 CEO 조리스 푸어트는 한 인터뷰에서 “15년 전, HPC 분야의 모든 회사는 온프레미스에서 하드웨어를 얼마나 잘 운영하느냐에 따라 자신을 차별화했고, 무어의 법칙이 계속되어 x86 아키텍처의 성능이 매년 꾸준히 개선될 것으로 판단했다. 현재 가장 중요한 것은 속도와 유연성이다. 박사 학위를 가진 사람들이 자신의 업무에 최고의 시뮬레이션 소프트웨어를 활용할 수 있도록 만들어, 이들이 특화된 빅 컴퓨트 인프라의 전문가가 될 필요가 없도록 만들어야 한다. 그래야 새로운 혁신을 더 빠르게 전달할 수 있다”고 강조했다.
 

특화된 전문 슈퍼컴퓨터

모든 기업이 클라우드에서 시뮬레이션과 특화된 전문 하드웨어를 이용할까. 아마 아닐 것이다. 로켓, 추진 기술, 컴퓨터 생명공학, 운송 시스템 등 세계에서 가장 어려운 연산 관련 도전과제의 1%에 해당하는 분야다. 빅 컴퓨트는 현재 가장 힘든 난제를 해결하는 데 활용되고 있지만, 클라우드와 시뮬레이션 소프트웨어, 특화된 전문 하드웨어를 결합한 새로운 LAMP 스택을 사용해 블록버스터를 무너뜨린 넷플릭스 같은 새로운 물결이 등장하는 것을 보게 될 것이다. editor@itworld.co.kr