2021.02.18

'클라우드는 멋진 신세계'··· 개발자가 만들고 과학자·엔지니어가 만끽한다

Matt Asay | InfoWorld
시장분석 업체 레드몽크(Redmonk)가 퍼뜨린 “개발자는 새로운 킹메이커”라는 말은 이제 상투적인 표현에 가까워졌다. 그러나 개발자에게 (인프라를 통해) 역량을 부여하는 것의 핵심에 있는 것은 개발자가 아니라, 기업이 제품을 구축하는 방식의 변화였다.
 
또 궁극적으로는 이러한 제품을 구축하는 주체가 누구인지가 핵심 논점이다. 물론 개발자가 중심에 있지만, 최근 마이크로소프트와 엔비디아, 삼성이 모두 참여한 리스케일(Rescale)의 시리즈 C 펀딩을 보면 지금은 개발자가 구축한 플랫폼에서 다른 사람들이 어떤 결과물을 내고 있는지 살펴보기에 적절한 시점인 것 같다. 구체적으로는 엔지니어와 과학자들이 큰 수혜자이며 결과적으로 이들이 과학적 진보의 속도를 비약적으로 높이고 있다.
 
ⓒ https://www.nasa.gov/exploration/systems/sls/multimedia/gallery/sls-booster.html
 

PhD 생산성 견인

우선 개발자로 돌아가 보자. 모든 기업이 소프트웨어 기업이 되려고 부산하게 움직이는 지금, 개발자는 모든 기업이 귀중하게 여기는 보물과 같다. 개발 팀은 더 이상 아웃소싱해야 하는 코스트 센터가 아니라 이제 비즈니스를 견인하는 최상위 수익 창출자로 인식된다. 경영진은 성장의 동력으로 개발자에게 투자해야 한다는 것을 배웠다. OpEx 클라우드 컴퓨팅이 부상하면서 이 추세는 더욱 공고해졌다.
 
하지만 개발자는 그 자체로는 최종 목표가 된 역사가 없다. 개발자는 다른 사람들이 기업의 생산성에 더 완전하게 기여할 수 있도록 길을 닦는 역할을 했을 뿐이다. 구체적으로 말해, 개발자의 스포트라이트 중 일부를 이제는 엔지니어와 과학자가 가져와야 한다. 이러한 고임금 전문가들(보통 박사 학위자)은 엄청나게 비싸면서도 연구 속도를 늦추는 맞춤형 온프레미스 하드웨어에서 방대한 워크로드를 실행하려고 대기 행렬을 만드는 데 익숙하다. 그리고 마지막 작업에서 배운 것을 반복하려면 다시 줄의 맨 뒤로 가야 한다.
 
하지만 과거는 과거고 지금은 지금이다.
 
엔지니어와 과학자들이 클라우드라는 바뀐 환경에서 실제 세계 조건을 시뮬레이션하는 워크로드의 반복 속도를 높여 더 혁신적인 제품을 더 빠르게 시장에 출시할 수 있는 환경이 조성되고 있다. 맷 우드가 몇 년 전에 제시한 원칙은 이렇다.

“값비싼 인프라를 구매하는 사람들은 문제 범위와 영역이 매우 빠르게 바뀌는 상황을 깨닫게 된다. 원래의 질문에 대한 답을 찾을 때쯤이면 비즈니스는 이미 다른 곳으로 가 있다. 변화하는 빅 데이터 요구 사항에 신속하게 대응할 수 있게 해주는 유연한 환경이 필요하다. 리소스 조합은 지속적으로 발전한다. 인프라를 구매하는 경우 그 인프라는 구매와 거의 동시에 비즈니스 관련성을 잃게 된다. 인프라는 시간이 지나도 그대로이기 때문이다. 인프라가 해결하는 문제는 더 이상 존재하지 않거나 무의미한 문제다.”

자율 자동차, 로켓, 초음속 여객기와 같은 어려운 문제 해결에는 엔지니어와 과학자들이 답을 찾고자 하는 질문에 인프라를 유연하게 맞출 수 있는 역량이 도움이 된다.

요약하면 스마트한 기업은 개발자 인재를 유인하고 육성하기 위해서는 좋은 처우도 필요하지만 그보다 더 중요한 것은 이들의 업무를 가로막는 장애물을 없애는 것이라는 점이다. 기업은 이 교훈을 경험으로 배웠다. SaaS(필요한 백엔드 기능을 위한 API와 함께), 잼스택(Jamstack), 쿠버네티스(Kubernetes)를 비롯해 기업 소프트웨어 스택 전반에서 확산되는 온갖 새로운 기술의 부상은 개발자가 개발 중인 새로운 애플리케이션 또는 서비스의 로직에만 전념할 수 있게 해준다. 인프라에 대해서는 잊을 수 있다. 상품화 주기의 속도가 빨라진다. 더 많은 서비스가 더 좋은 품질로, 훨씬 더 빠르게 전달되고 이는 더 만족도와 충성도 높은 고객 연결, 그리고 매출 성장으로 이어진다.

중요한 것은 개발자와 엔지니어/과학자 사이의 파트너십이다. 개발자가 인프라와 관련된 모든 거추장스러운 부분을 추상화하면 그 순간 엔지니어와 과학자는 기업이 경쟁에서 승리해 시장 점유율을 쟁취하도록 도울 수 있다. 이것이 최고의 조합이다. 아니면 최소한 컴퓨터 과학 중심의 뉴스 웹 사이트인 해커 뉴스(Hacker News)라도 만들 수 있을 것이다.
 

학위 소지자에게 클라우드의 혜택 나눠주기

리스케일과 그 투자자들 이야기로 돌아가 보자. 마이크로소프트(벤처 암 M12), 엔비디아, 삼성은 모두 클라우드의 편이다. 마이크로소프트는 애저의 워크로드를 더 늘리고자 하고(고수익 HPC 직종을 위한 보너스 포인트) 엔비디아와 삼성은 수익성이 더 높은 특수한 칩을 더 많이 팔고자 한다.
 
리스케일을 비롯한 HPC 클라우드 중개 마켓플레이스에서 활동하는 다른 신생업체가 착안한 기발한 생각은 대형 HPC 고객의 워크로드를 종합하면 AWS, 마이크로소프트 애저, 구글 클라우드가 더 복잡하고 특수한 HPC/AI/ML 워크로드를 지원하는 데 필요한 설비투자(특수 칩 초고속 I/O 등)를 더욱 가속화할 수 있게 해주는 규모를 달성할 수 있다는 것이다. 이는 플라이휠 효과를 일으킨다. 자동차, 항공우주(수십년 전 대부분 통합됨)와 같이 오랜 기간 휴면 상태인 산업에 활기를 불어넣고 혁신을 촉발한다.
 
이 세 클라우드 기업의 2020년 한 해 설비투자 금액을 감안하면 대담한 주장이다. 찰스 피츠제럴드의 추정에 따르면 이 세 기업은 작년 설비투자로 970억 달러를 지출했다. 물론 이 금액이 모두 클라우드 비즈니스에 지출된 것은 아니지만 상당부분이 그 시장으로 들어갔다. 피츠제럴드의 표현대로 “미친” 수준의 금액이다.
 
돈의 규모보다 다른 산업으로 전달되는 실질적 혜택이 있느냐가 문제인데, 실제로 혜택이 되는 것으로 입증됐다. 새턴 V 또는 스페이스 셔틀을 만드는 데 몇십 배 더 큰 돈으로 몇십 년이 걸렸는데, 사유 신생업체가 겨우 몇 년 동안의 개발과 시제품 제작을 거쳐 어떻게 우주로 로켓을 쏘아 올릴 수 있는지, 갑자기 명확히 이해가 된다(지난 5년 동안에만 수백 개의 우주 신생업체가 투자금을 유치했다.) 현재 항공우주 분야에서 미국의 주력 전략 폭격기인 B52의 동체는 1948년의 엔지니어들이 줄자를 갖고 설계한 것이다.
 
HPC 사원의 사제들은 지금 행동하기를 원한다. 똑똑한 과학자와 엔지니어가 없으면 어려운 디지털 연구 개발(로켓, 유전체학, 스마트 도시 등)을 할 수 없다. 이 사람들은 기업의 개발자 친구들이 인프라의 족쇄에서 해방되는 모습을 목격했다. 그리고 이제 협업을 위해 동료 연구자와 과학자, 엔지니어에게 연결된 자기들만의 인텔리전트한 소프트웨어 정의 컴퓨팅을 원한다. 필자에게는 딱 클라우드 사용 사례로 들린다.
 
리스케일 같은 HPC 클라우드 브로커는 이러한 과학자를 위한 독보적인 위치를 점하고 있다. 이들은 과학자가 어떤 작업을 하고 어떤 소프트웨어의 어떤 버전을 어떤 라이선스 조건으로 사용하는지, 어떤 연결을 사용하고 어떤 데이터를 입력하며 작업에 얼마나 시간이 걸리는지를 알고 있다. 또한 여기에 정확히 얼만큼의 비용이 드는지도 알며, 해야 할 다른 모든 작업에 얼만큼의 비용이 소요될지도 안다. 또한 이들은 보유한 파트너 및 클라우드 제공업체 네트워크를 통해 워크로드를 위한 최고의 가격대비 성능을 중개할 수 있다.
 
이들은 세계에서 가장 어려운 문제를 해결하는 고객이 직면한 매우 어려운 문제를 해결해준다. 또한 고객은 “내가 실행하고자 하는 작업을 위한 최선의 소프트웨어는 무엇인가?”도 물을 수 있다. 알고리즘 기반의 워크로드와 각양각색의 사용 사례에 있어 매력적인 가치 제안이다.

특히 좋은 점은 박사 학위 소지자들이 더 이상 작업 실행을 위해 줄을 서서 대기할 필요가 없다는 것이다.
 
극도의 복잡한 과제를 해결하는 오늘날의 엔지니어와 과학자는 변화를 갈망한다. 이들은 문제를 해결하고 싶어하지, 레거시 데이터센터를 아이들이 갖고 노는 레고 집처럼 보이게 할 정도의 복잡한 인프라를 이해하고 싶어하지 않는다. 리스케일을 비롯한 동종 기업들은 이 과학자들에게 전체 스택 HPC 경제성/성능 최적화를 보장하며 그 보장을 지속적으로 유지한다.
 
지속적 통합 및 지속적 배포(CI/CD) 등은 개발자에게 있어 이미 당연히 존재하는 기술이다. 그러나 HPC 엔지니어와 과학자 관점에서는 상대적으로 새롭고, 어떤 면에서는 기적과도 같다. 이와 같은 기적적 기술이 과학자의 손에도 들어간다면 당연히 기적적인 결과물로 이어질 것이다. editor@itworld.co.kr 



2021.02.18

'클라우드는 멋진 신세계'··· 개발자가 만들고 과학자·엔지니어가 만끽한다

Matt Asay | InfoWorld
시장분석 업체 레드몽크(Redmonk)가 퍼뜨린 “개발자는 새로운 킹메이커”라는 말은 이제 상투적인 표현에 가까워졌다. 그러나 개발자에게 (인프라를 통해) 역량을 부여하는 것의 핵심에 있는 것은 개발자가 아니라, 기업이 제품을 구축하는 방식의 변화였다.
 
또 궁극적으로는 이러한 제품을 구축하는 주체가 누구인지가 핵심 논점이다. 물론 개발자가 중심에 있지만, 최근 마이크로소프트와 엔비디아, 삼성이 모두 참여한 리스케일(Rescale)의 시리즈 C 펀딩을 보면 지금은 개발자가 구축한 플랫폼에서 다른 사람들이 어떤 결과물을 내고 있는지 살펴보기에 적절한 시점인 것 같다. 구체적으로는 엔지니어와 과학자들이 큰 수혜자이며 결과적으로 이들이 과학적 진보의 속도를 비약적으로 높이고 있다.
 
ⓒ https://www.nasa.gov/exploration/systems/sls/multimedia/gallery/sls-booster.html
 

PhD 생산성 견인

우선 개발자로 돌아가 보자. 모든 기업이 소프트웨어 기업이 되려고 부산하게 움직이는 지금, 개발자는 모든 기업이 귀중하게 여기는 보물과 같다. 개발 팀은 더 이상 아웃소싱해야 하는 코스트 센터가 아니라 이제 비즈니스를 견인하는 최상위 수익 창출자로 인식된다. 경영진은 성장의 동력으로 개발자에게 투자해야 한다는 것을 배웠다. OpEx 클라우드 컴퓨팅이 부상하면서 이 추세는 더욱 공고해졌다.
 
하지만 개발자는 그 자체로는 최종 목표가 된 역사가 없다. 개발자는 다른 사람들이 기업의 생산성에 더 완전하게 기여할 수 있도록 길을 닦는 역할을 했을 뿐이다. 구체적으로 말해, 개발자의 스포트라이트 중 일부를 이제는 엔지니어와 과학자가 가져와야 한다. 이러한 고임금 전문가들(보통 박사 학위자)은 엄청나게 비싸면서도 연구 속도를 늦추는 맞춤형 온프레미스 하드웨어에서 방대한 워크로드를 실행하려고 대기 행렬을 만드는 데 익숙하다. 그리고 마지막 작업에서 배운 것을 반복하려면 다시 줄의 맨 뒤로 가야 한다.
 
하지만 과거는 과거고 지금은 지금이다.
 
엔지니어와 과학자들이 클라우드라는 바뀐 환경에서 실제 세계 조건을 시뮬레이션하는 워크로드의 반복 속도를 높여 더 혁신적인 제품을 더 빠르게 시장에 출시할 수 있는 환경이 조성되고 있다. 맷 우드가 몇 년 전에 제시한 원칙은 이렇다.

“값비싼 인프라를 구매하는 사람들은 문제 범위와 영역이 매우 빠르게 바뀌는 상황을 깨닫게 된다. 원래의 질문에 대한 답을 찾을 때쯤이면 비즈니스는 이미 다른 곳으로 가 있다. 변화하는 빅 데이터 요구 사항에 신속하게 대응할 수 있게 해주는 유연한 환경이 필요하다. 리소스 조합은 지속적으로 발전한다. 인프라를 구매하는 경우 그 인프라는 구매와 거의 동시에 비즈니스 관련성을 잃게 된다. 인프라는 시간이 지나도 그대로이기 때문이다. 인프라가 해결하는 문제는 더 이상 존재하지 않거나 무의미한 문제다.”

자율 자동차, 로켓, 초음속 여객기와 같은 어려운 문제 해결에는 엔지니어와 과학자들이 답을 찾고자 하는 질문에 인프라를 유연하게 맞출 수 있는 역량이 도움이 된다.

요약하면 스마트한 기업은 개발자 인재를 유인하고 육성하기 위해서는 좋은 처우도 필요하지만 그보다 더 중요한 것은 이들의 업무를 가로막는 장애물을 없애는 것이라는 점이다. 기업은 이 교훈을 경험으로 배웠다. SaaS(필요한 백엔드 기능을 위한 API와 함께), 잼스택(Jamstack), 쿠버네티스(Kubernetes)를 비롯해 기업 소프트웨어 스택 전반에서 확산되는 온갖 새로운 기술의 부상은 개발자가 개발 중인 새로운 애플리케이션 또는 서비스의 로직에만 전념할 수 있게 해준다. 인프라에 대해서는 잊을 수 있다. 상품화 주기의 속도가 빨라진다. 더 많은 서비스가 더 좋은 품질로, 훨씬 더 빠르게 전달되고 이는 더 만족도와 충성도 높은 고객 연결, 그리고 매출 성장으로 이어진다.

중요한 것은 개발자와 엔지니어/과학자 사이의 파트너십이다. 개발자가 인프라와 관련된 모든 거추장스러운 부분을 추상화하면 그 순간 엔지니어와 과학자는 기업이 경쟁에서 승리해 시장 점유율을 쟁취하도록 도울 수 있다. 이것이 최고의 조합이다. 아니면 최소한 컴퓨터 과학 중심의 뉴스 웹 사이트인 해커 뉴스(Hacker News)라도 만들 수 있을 것이다.
 

학위 소지자에게 클라우드의 혜택 나눠주기

리스케일과 그 투자자들 이야기로 돌아가 보자. 마이크로소프트(벤처 암 M12), 엔비디아, 삼성은 모두 클라우드의 편이다. 마이크로소프트는 애저의 워크로드를 더 늘리고자 하고(고수익 HPC 직종을 위한 보너스 포인트) 엔비디아와 삼성은 수익성이 더 높은 특수한 칩을 더 많이 팔고자 한다.
 
리스케일을 비롯한 HPC 클라우드 중개 마켓플레이스에서 활동하는 다른 신생업체가 착안한 기발한 생각은 대형 HPC 고객의 워크로드를 종합하면 AWS, 마이크로소프트 애저, 구글 클라우드가 더 복잡하고 특수한 HPC/AI/ML 워크로드를 지원하는 데 필요한 설비투자(특수 칩 초고속 I/O 등)를 더욱 가속화할 수 있게 해주는 규모를 달성할 수 있다는 것이다. 이는 플라이휠 효과를 일으킨다. 자동차, 항공우주(수십년 전 대부분 통합됨)와 같이 오랜 기간 휴면 상태인 산업에 활기를 불어넣고 혁신을 촉발한다.
 
이 세 클라우드 기업의 2020년 한 해 설비투자 금액을 감안하면 대담한 주장이다. 찰스 피츠제럴드의 추정에 따르면 이 세 기업은 작년 설비투자로 970억 달러를 지출했다. 물론 이 금액이 모두 클라우드 비즈니스에 지출된 것은 아니지만 상당부분이 그 시장으로 들어갔다. 피츠제럴드의 표현대로 “미친” 수준의 금액이다.
 
돈의 규모보다 다른 산업으로 전달되는 실질적 혜택이 있느냐가 문제인데, 실제로 혜택이 되는 것으로 입증됐다. 새턴 V 또는 스페이스 셔틀을 만드는 데 몇십 배 더 큰 돈으로 몇십 년이 걸렸는데, 사유 신생업체가 겨우 몇 년 동안의 개발과 시제품 제작을 거쳐 어떻게 우주로 로켓을 쏘아 올릴 수 있는지, 갑자기 명확히 이해가 된다(지난 5년 동안에만 수백 개의 우주 신생업체가 투자금을 유치했다.) 현재 항공우주 분야에서 미국의 주력 전략 폭격기인 B52의 동체는 1948년의 엔지니어들이 줄자를 갖고 설계한 것이다.
 
HPC 사원의 사제들은 지금 행동하기를 원한다. 똑똑한 과학자와 엔지니어가 없으면 어려운 디지털 연구 개발(로켓, 유전체학, 스마트 도시 등)을 할 수 없다. 이 사람들은 기업의 개발자 친구들이 인프라의 족쇄에서 해방되는 모습을 목격했다. 그리고 이제 협업을 위해 동료 연구자와 과학자, 엔지니어에게 연결된 자기들만의 인텔리전트한 소프트웨어 정의 컴퓨팅을 원한다. 필자에게는 딱 클라우드 사용 사례로 들린다.
 
리스케일 같은 HPC 클라우드 브로커는 이러한 과학자를 위한 독보적인 위치를 점하고 있다. 이들은 과학자가 어떤 작업을 하고 어떤 소프트웨어의 어떤 버전을 어떤 라이선스 조건으로 사용하는지, 어떤 연결을 사용하고 어떤 데이터를 입력하며 작업에 얼마나 시간이 걸리는지를 알고 있다. 또한 여기에 정확히 얼만큼의 비용이 드는지도 알며, 해야 할 다른 모든 작업에 얼만큼의 비용이 소요될지도 안다. 또한 이들은 보유한 파트너 및 클라우드 제공업체 네트워크를 통해 워크로드를 위한 최고의 가격대비 성능을 중개할 수 있다.
 
이들은 세계에서 가장 어려운 문제를 해결하는 고객이 직면한 매우 어려운 문제를 해결해준다. 또한 고객은 “내가 실행하고자 하는 작업을 위한 최선의 소프트웨어는 무엇인가?”도 물을 수 있다. 알고리즘 기반의 워크로드와 각양각색의 사용 사례에 있어 매력적인 가치 제안이다.

특히 좋은 점은 박사 학위 소지자들이 더 이상 작업 실행을 위해 줄을 서서 대기할 필요가 없다는 것이다.
 
극도의 복잡한 과제를 해결하는 오늘날의 엔지니어와 과학자는 변화를 갈망한다. 이들은 문제를 해결하고 싶어하지, 레거시 데이터센터를 아이들이 갖고 노는 레고 집처럼 보이게 할 정도의 복잡한 인프라를 이해하고 싶어하지 않는다. 리스케일을 비롯한 동종 기업들은 이 과학자들에게 전체 스택 HPC 경제성/성능 최적화를 보장하며 그 보장을 지속적으로 유지한다.
 
지속적 통합 및 지속적 배포(CI/CD) 등은 개발자에게 있어 이미 당연히 존재하는 기술이다. 그러나 HPC 엔지니어와 과학자 관점에서는 상대적으로 새롭고, 어떤 면에서는 기적과도 같다. 이와 같은 기적적 기술이 과학자의 손에도 들어간다면 당연히 기적적인 결과물로 이어질 것이다. editor@itworld.co.kr 

X