Offcanvas

AI / How To / 빅데이터 | 애널리틱스 / 오픈소스 / 클라우드

김진철의 How-to-Big Data | 빅데이터의 미래 (4)

2020.02.27 김진철  |  CIO KR

사이버 물리 시스템과 이종 클라우드 간 상호연동성
지난 서른일곱 번째 글에서, 필자는 앞으로 우리 사회의 인프라가 사이버 물리 시스템으로 개발, 구축되면서, 사이버 물리 시스템으로 구축된 서비스와 인간과의 지능형 고급 상호작용을 위해 필요한 컴퓨팅 자원을 조달하기 위해 공간적으로 넓은 지역에 분포된 컴퓨팅 자원을 조율하고 관리할 수 있는 운영체제로서 클라우드 컴퓨팅 기술을 바라봐야 한다고 언급했었다.

사이버 물리 시스템을 위한 클라우드 컴퓨팅의 기술적인 요건으로서 멀티-클라우드 간 계층적 자원 조율 및 관리, 공용 클라우드(public cloud)와 사설 클라우드(private cloud)에 배치된 사이버 물리 시스템 서비스 간 자원 조율 및 관리를 위한 신뢰성 있는 하이브리드 클라우드 기술, 멀티-클라우드 및 다양한 이종(heterogeneous) 컴퓨팅 자원 간 기능 연동 과정에서 보안이 충분히 보장되면서 자원 활용과 관리를 분리할 수 있는 멀티테넌시(multi-tenancy) 지원 문제가 해결되어야 한다고 소개하였다. 사이버 물리 시스템의 사이버 자원 관리 및 조율을 위해 클라우드 컴퓨팅 시스템 자체가 사이버 물리 시스템화 되어가면서 인공지능 기술과 빅데이터를 활용한 지능형 제어의 개념이 들어오기 시작했다고 또 소개한 바 있다.

사이버 물리 시스템을 위한 미션-크리티컬한 클라우드 컴퓨팅 시스템이 발전해야 할 큰 방향으로 소개했던 위 네 가지 이슈 외에 최근 클라우드 컴퓨팅과 분산 컴퓨팅 기술 발전의 동향이 사이버 물리 시스템을 위한 클라우드 컴퓨팅 발전과 가지는 관련성을 이번 글에서 좀더 얘기해보고자 한다.
 

ⓒGetty Images Bank

먼저 앞서 얘기하였던 멀티-클라우드 간, 이종 자원(heterogeneous resources) 간의 상호운용성(interoperability) 확보를 위한 표준과 인터페이스 정의 문제가 중요해지고 있다.

이런 멀티-클라우드 간, 이종 자원 간 상호연동성 문제는 그리드 컴퓨팅 기술 시절부터 논의되었던 문제이지만 아직도 분명한 해결책이 보이지 않는 문제이다. 클라우드 컴퓨팅 기술이 등장하기 전에 그리드 컴퓨팅 기술이 발전할 때에도 그리드 컴퓨팅 서비스를 제공하는 기관의 컴퓨팅 자원 관리 정책 및 환경의 차이, 그리드 컴퓨팅 미들웨어 간 인터페이스와 세부 기술의 차이로 인해 그리드 컴퓨팅 자원 간 상호호환되지 않아 다양한 기술적인 문제를 발생시켰다.

그리드 컴퓨팅 발전 당시에는 이런 문제를 “글로벌 그리드 포럼(Global Grid Forum; GGF, 현재 오픈 그리드 포럼(Open Grid Forum))”이라는 비영리 표준화 단체를 통해 해결하려고 하였고, 이를 통해 OGSA(Open Grid Services Architecture), JDSL(Job Submission Description language), DRMAA(Distributed Resource Management Application API) 등의 유명한 표준을 만들기도 하였다.

그리드 컴퓨팅 서비스들이 이런 표준을 통해 상호연동성을 높이는 것을 권고하는 한편, 그리드 미들웨어를 만들던 다양한 연구 기관들과 그리드 미들웨어를 상용화하려던 기업들은 자신들의 기술이 산업 표준이 되도록 영향력을 높이는 활동을 하거나, 아예 이해관계가 맞는 기관들끼리 컨소시엄을 이루어 표준 미들웨어를 만들고 컨소시엄이 공동 활용하는 방식으로 대응하기도 하였다. 이렇게 산업 표준 미들웨어로서 발전한 것이 그리드 컴퓨팅의 아버지인 이안 포스터 교수와 칼 케셀만 교수 연구팀이 만든 Globus 미들웨어이다. 컨소시엄을 이루어 표준 미들웨어를 만들고 발전시키려 했던 시도가, 필자가 LHC 컴퓨팅 그리드 사례에서도 자세히 소개했던 것과 같이 범유럽 그리드 컴퓨팅 인프라와 서비스를 만든 EGEE 프로젝트에서 공동 개발된 EGEE 그리드 미들웨어이다[2-7].

Globus 그리드 미들웨어는 그리드 컴퓨팅 발전 초반부터 그리드 컴퓨팅의 개념을 확립, 발전시키고 산업계에 안착시키는데 중요한 역할을 한 표준 미들웨어로서 사실상 산업 표준 그리드 미들웨어로 자리를 잡았다. Globus 그리드 미들웨어는 아직도 EGI 그리드 미들웨어를 비롯한 그리드 컴퓨팅 미들웨어의 핵심 구성 요소로 여전히 활용되고 있다.

EGEE 프로젝트의 결과물이 지속 가능하게 유지 보수되면서 활용될 수 있도록 하기 위해 EGEE 프로젝트 후에 설립된 “유럽 그리드 인프라스트럭처 재단(The EGI(European Grid Infrastructure) Foundation)” 국제기구는 EGEE 프로젝트에 참여하여 그리드 컴퓨팅 미들웨어를 만든 유럽 각 국가와 주요 연구기관이 주축이 되어 설립한 국제기구이다. “EGI 재단(The EGI Foundation)”은 EGEE 그리드 미들웨어와 범유럽 그리드 인프라스트럭처(European Grid Infrastructure)를 지속적으로 사용할 수 있게 유지보수, 발전시킬 수 있도록 EGEE 프로젝트를 위해 결성된 EGEE 그리드 미들웨어 컨소시엄이 확장, 발전된 조직이다.

EGI에서 개발, 유지보수하고 있는 EGI 그리드 미들웨어는 범유럽 그리드 컴퓨팅 인프라 서비스를 제공, 지탱하는데 아직 활용되고 있으며 그리드 컴퓨팅 기술이 실험실 기술이 아니라 유럽 사회의 실질적인 과학기술 빅데이터 문제를 해결하는 기술이 되도록 하는 데 큰 역할을 하고 있다.

위에서 언급한 Globus 미들웨어, EGEE 또는 EGI 그리드 미들웨어가 완성되기 전에는 Globus 미들웨어를 중심으로 한 몇 가지 그리드 컴퓨팅 미들웨어와 이들을 이용한 주요 그리드 컴퓨팅 서비스들이 경쟁하고 있었다. 서로 다른 그리드 컴퓨팅 서비스 간 서비스 상호연동성을 보장하기 위한 인터페이스가 “오픈 그리드 포럼(Open Grid Forum)”에서 논의되기도 하였는데 이런 노력의 결과로 “SAGA(Simple API for Grid Applications)”라는 상호연동성 표준이 제안, 채택되기도 하였다[8-17].

위와 같이 LHC 빅데이터 해결 과정에서 그리드 컴퓨팅 인프라의 상호연동성 문제가 이슈가 되었던 것과 같이 앞으로 사이버 물리 시스템의 빅데이터 처리를 위해 사용되는 다양한 클라우드 컴퓨팅 인프라 간 상호연동성 문제의 해결책을 찾는 일이 중요하게 부각될 수밖에 없다. 이런 클라우드 컴퓨팅 서비스 및 인프라 간 상호연동성을 보장할 수 있는 기술과 표준을 논의하는 과정에서 클라우드 컴퓨팅 시장에 또 하나의 비즈니스 기회가 열릴 것으로 필자는 전망한다.

오픈소스 클라우드 컴퓨팅 기술을 개발하고 전파하는 “오픈스택 재단(The OpenStack Foundation)”은 과거 “오픈 그리드 포럼(Open Grid Forum)”의 역할 Globus 미들웨어를 개발한 “Globus 얼라이언스(The Globus Alliance)”와 EGI 미들웨어를 개발하는 EGI의 역할을 겸하는 역할을 하고 있다.

“오픈 그리드 포럼(Open Grid Forum)”은 그리드 컴퓨팅 인터페이스와 아키텍처 표준을 정하고 “오픈 그리드 포럼(Open Grid Forum)”에 참여하는 다양한 이해관계자 간 표준에 대한 합의를 유도하고 이를 문서화하는 데 집중했다면, “오픈스택 재단(The OpenStack Foundation)”은 클라우드 컴퓨팅을 위한 API와 인터페이스를 “오픈스택 재단(The OpenStack Foundation)”을 후원하고 오픈스택(OpenStack) 소프트웨어 개발에 참여하는 다양한 참여기업과 소프트웨어 엔지니어들을 통해 합의하고 이를 실질적인 소프트웨어로 구현하는 역할까지 맡고 있다.

“오픈스택 재단(The OpenStack Foundation)”이 “오픈스택(OpenStack)” 개발에 참여한 기업들과 소프트웨어 엔지니어들과 함께 지금까지 정의하고 구현한 “오픈스택(OpenStack)” API와 아키텍처는 클라우드 컴퓨팅 소프트웨어의 사실상 표준으로서 역할을 하고 있다. 물론 클라우드 컴퓨팅의 강자인 “아마존 웹 서비스(Amazon Web Services; AWS)”와 마이크로소프트 “애저(Azure)”가 시장을 장악하고 있고, 이에 비해 “오픈스택(OpenStack)”으로 공용 클라우드(public cloud) 서비스를 제공하는 “랙스페이스(Rackspace)”와 같은 회사들이 시장 점유율이 많이 낮기는 하지만, 그렇다고 해서 클라우드 컴퓨팅의 산업 표준이 된 “오픈스택(OpenStack)” API의 가치가 낮아지는 것은 아니다.

“오픈스택(OpenStack)” API와 소프트웨어의 가치는 최근 5G 이동통신의 “네트워크 기능 가상화(Network Function Virtualization; NFV)” 표준 정의와 구현, 테스트에 “오픈스택(OpenStack)”이 전면적으로 도입되어 활용되고 있는 것을 보면 할 수 있다. 5G 이동통신의 “소프트웨어 정의 네트워크(Software-Defined Network; SDN)”과 “네트워크 기능 가상화(Network Function Virtualization; NFV)” 개념이 형성되는 데에 “오픈스택(OpenStack)”이 큰 역할을 하였을 뿐만 아니라 이 개념을 개발, 테스트하고 실증하는 데에도 “오픈스택(OpenStack)”이 많이 쓰이고 있어 클라우드 컴퓨팅 기술을 활용한 새로운 5G 네트워크 기술을 개발하고 테스트하는 표준 플랫폼으로도 “오픈스택(OpenStack)”이 활용되고 있다.

이렇게 클라우드 컴퓨팅 기술을 기반으로 한 새로운 IT 기술을 개발하고 테스트하는 환경으로 “오픈스택(OpenStack)”의 역할이 확대되어 가면서, “오픈스택(OpenStack)”은 클라우드 컴퓨팅을 이용한 인프라와 서비스 간 상호운용성(interoperability)을 제공할 수 있는 표준 인터페이스의 역할을 할 수 있을 것으로 보인다.

또 하나 상호운용성(interoperability)과 관련해서 살펴보아야 할 점은 시장을 장악하고 있는 아마존 웹 서비스와 마이크로소프트 애저, 그리고 구글 클라우드와 같은 주요 공용 클라우드 서비스 업자들이 정의한 클라우드 서비스 API가 클라우드 상호운용성의 또 하나의 기준으로 활용될 수 있다는 것이다.

실례로 오픈소스 파일 시스템이나 클라우드 파일 저장 서비스에서 지원하는 인터페이스로 아마존 웹 서비스의 S3 저장소 서비스 인터페이스 지원이 유행처럼 번진 적이 있었고, 현재도 아마존 웹 서비스의 S3 저장소 API는 클라우드 파일 저장소 접근의 표준처럼 타 파일 저장소 서비스에서도 많이 지원되고 있다.

이와 같이 아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드의 주요 3대 공용 클라우드 서비스 업체들의 클라우드 컴퓨팅 API가 또 하나의 산업 표준과 상호운용성(interoperability) 지원의 기준으로 활용될 것으로 보인다.

최근 아마존 웹 서비스에서 내놓은 “아웃포스트(Outposts)”와 마이크로소프트의 “애저스택(Azure Stack)”은 아마존 웹 서비스 공용 클라우드와 마이크로소프트 애저 공용 클라우드 서비스를 이용하는 고객들이 아마존 웹 서비스, 애저의 인터페이스와 상호 호환되는 사설 클라우드 컴퓨팅 시스템을 빠르고 손쉽게 자사에 구축할 수 있도록 해주는 소프트웨어들이다. 이런 식으로 주요 공용 클라우드 컴퓨팅 서비스의 API와 아키텍처, 주요 구성 요소들이 사설 클라우드의 영역까지 진입하면서 이들 업체들의 클라우드 컴퓨팅 서비스 API와 기술들이 또 하나의 산업 표준과 상호운용성의 기준으로서 역할을 할 것으로 보인다.

사이버 물리 시스템의 일부분을 구성하는 일부 서비스들을 제공하는 기업들이 서로 다른 공용 클라우드 컴퓨팅 서비스와 사설 클라우드 컴퓨팅 소프트웨어 스택을 활용할 경우, 이렇게 서로 다른 클라우드 컴퓨팅 기술과 서비스들을 통합하여 새로운 사이버 물리 시스템으로 통합하는 기업은 복수의 클라우드 컴퓨팅 서비스들과 소프트웨어 간 상호운용성을 지원하는 클라우드 컴퓨팅 인터페이스 표준과 상호연동 기술이 필요하다. 사이버 물리 시스템의 요구 사항을 만족하고 신뢰성을 높이기 위해서는 단순히 서비스만 메시업(mesh-up)해서 되는 것이 아니라 서비스 간 자원 관리까지 같이 연동, 통합하여야 하기 때문이다.

위에서 언급한 복수의 클라우드 컴퓨팅 서비스를 활용한 사이버 물리 시스템이 어떤 모습인지를 상상해보려면 최근 붐이 일고 있는 인공지능 및 기계 학습 클라우드 API를 활용한 인지 사이버 물리 시스템 구성에 대해서 생각해보면 된다. 최근 컴퓨터 비전 및 시각 인공지능, 음성 인식 및 자연어 처리와 같은 인공지능 기능을 제공하는 클라우드 API에 공용 클라우드 컴퓨팅 기업들이 경쟁적으로 나서고 있어 점점 제공되는 API의 종류와 형태가 비슷해 지고 있기는 하지만, 각 기업이 보유한 인공지능 기술의 수준과 범위에 따라 API의 구성과 형식이 다를 수밖에 없다.

사이버 물리 시스템에서 제공하려는 서비스에 필요한 멀티 모달 인지(multi-modal perception) 및 지능형 데이터 처리를 위해 한 기업의 인공지능 클라우드 API가 모든 요구 사항을 만족시키지 못할 경우 어쩔 수 없이 복수의 클라우드 컴퓨팅 서비스를 이용해야 한다. 예를 들면 구글의 일반적인 컴퓨터 비전 및 시각 인지(visual perception), 음성 인식 및 자연어 처리 API가 아마존 웹 서비스와 마이크로소프트 애저보다 낫다는 평가를 받기 때문에 이들 API를 써서 주요 지능형 데이터 처리를 구현하더라도 아마존의 상품 검색이나 전자상거래와 연동된 서비스를 제공하려는 기업은 구글의 음성 인식 서비스 API보다는 아마존 웹 서비스에서 제공하는 알렉사 음성 인식 API를 활용하는 것이 나을 것이다.

인공지능 API분야에서 앞서가는 구글 클라우드이지만, 일반적인 가상 머신과 IT 인프라에 관련된 클라우드 컴퓨팅 서비스는 아직 아마존 웹 서비스에 뒤지는 것으로 평가받는다. 이런 경우, 인공지능 API는 구글 것을 쓰더라도 인공지능 API를 사용한 지능형 데이터 처리 후에 미션 크리티컬한 서비스 메시업과 주요 미들웨어 스택을 운영하는 용도로는 아마존 웹 서비스를 이용하는 것이 나을 수 있다. 구글의 인공지능 API를 활용하기 위해 데이터 처리에 관련된 가상 인프라 자원 일부는 구글 클라우드의 자원을 활용하더라도 서비스 인프라를 위한 주요 클라우드 컴퓨팅 자원은 아마존 웹 서비스상의 자원을 활용해야 하는 경우, 구글 클라우드 서비스와 아마존 웹 서비스의 클라우드 컴퓨팅 자원 관리 기능과 서비스가 상호 연동되어 하나의 흠 없는(seamless) 사이버 물리 시스템 서비스로 통합되도록 하는 기술이나 인터페이스가 필요하게 된다.
 


이와 같이 각 공용 클라우드 컴퓨팅 회사에서 제공하는 서비스의 종류와 수준 차이로 인해, 이들을 통합하여 새로운 종류의 사이버 물리 시스템 서비스를 제공하려는 기업은 클라우드 컴퓨팅 서비스와 인프라 간 상호운용성을 고려하지 않을 수 없게 된다. 현재 클라우드 컴퓨팅 기술과 시장을 주도하는 “오픈스택(OpenStack)”과 아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드를 중심으로 클라우드 상호운용성 표준에 클라우드 컴퓨팅 업계가 조금씩 합의를 이루어 나갈 것으로 보인다. 이런 상호운영성을 보장하는 기술과 노하우를 중심으로 사이버 물리 시스템 통합 서비스를 제공하는 기업들의 비즈니스 기회도 새롭게 창출될 것으로 보인다.

 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.