2018.12.20

HPC 공략 나서는 오픈소스 컨테이너··· 싱귤러리티 성장에 주목

Sandra Henry-Stocker | Network World
오픈소스 컨테이너가 업계 누구도 기대하지 않은 방향으로 움직이고 있다. 컨테이너는 오랫동안 애플리케이션을 필요한 구성요소와 함께 패키징하는 효과적인 방안으로 인식됐다. 하지만 일각에서는 오늘날 컴퓨팅 세계에서 가장 도전적인 분야 중 하나인 HPC(High Performance Computing)에 도전장을 던졌다. 컨테이너는 HPC 세계에 새로운 차원의 효율성을 가져다줄 수 있을 뿐만 아니라 HPC와 같은 작업을 하는 기업 IT 부서를 위한 새로운 작업 방식도 제시한다.

ⓒ G.iulina (CC BY 2.0)

컨테이너는 애플리케이션을 배포할 방법을 찾는 조직에 많은 이점을 제공한다. 라이브러리 같은 애플리케이션의 여러 의존성을 자체 유지 가능한 이미지로 결합해 수많은 설치 문제를 해결한다. 운영체제 배포판의 차이가 영향을 미치지 않기 때문에 별도 버전의 애플리케이션을 마련하고 유지할 필요가 없으며, 덕분에 개발자의 작업도 한층 쉬워진다.

꽤 최근까지도 빅데이터와 슈퍼컴퓨터에 중점을 둔 HPC 시장은 컨테이너에 무관심했다. 이는 슈퍼컴퓨팅의 엄격하게 결합된 기술 모델이 느슨한 연결을 특징으로 하는 컨테이너의 마이크로서비스 세계와는 잘 맞지 않았기 때문이다. 보안 우려도 있었다. 예를 들어, 도커 애플리케이션은 흔히 실행을 위해 루트 특권을 부여하는데, 보안이 극도로 중요한 슈퍼컴퓨팅 세계에는 도저히 적용할 수 없는 방식이다.

하지만 HPC에 중점을 둔 컨테이너 시스템인 싱귤러리티(Singularity)가 나오면서 의미있는 변화가 이루어졌다. 현재 사이랩스(Sylabs)가 공급하는 싱귤러리티는 2015년 로렌스 버클리 국립연구소에서 시작한 오픈소스 프로젝트이다.
 
싱귤러리티는 컨테이너에 대한 관심이 고조될 때, 하지만 일반적으로 많이 사용하는 도커가 HPC 사용례를 지원하지 않을 때 탄생했다. 과학자들은 컨테이너를 사용했고, 작업물을 도커 허브에서 공유했지만, 도커는 HPC 상에서 지원되지 않았다. 싱귤러리티는 이런 사용자의 요구에 대한 응답으로 만들어졌다. 현재 싱귤러리티의 상용 버전은 싱귤러리티 프로란 이름으로 출시되어 있으며, 적절한 호스트당 비용과 추가 옵션도 제공한다.

HPC 시스템에서 컨테이너를 구동하기 위해 만들어진 시스템으로, 현재 시점에서는 90~95%의 시장을 점유하고 있다. HPC에 중점을 둔 컨테이너 시장은 이제 막 시작됐기 때문이다. 로렌스 버클리 연구소에서 탄생한 만큼 빅데이터와 과학 연산에 중점을 두고 있고 보안도 강력할 것으로 예상할 수 있다. 사실 컨테이너 업계도 싱귤러리티의 갑작스런 부상에 놀라고 있다.

싱귤러리티는 또한 작업하기 쉽다는 것도 강점이다. 도커 기반이 없어도 도커 이미지를 가져올 수 있으며, 최상위 사용자 권한도 필요없다. 실제로 싱귤러리티 컨테이너는 소프트웨어와 라이브러리, 데이터와 함께 과학 연산 워크플로우 전체를 담을 수 있다. 슈퍼컴퓨팅 2018 행사에서 주목을 받은 싱귤러리티는 3년 연속 톱 5 신제품, 주목할 만한 기술상을 수상하기도 했다.

사이랩스는 쿠버네티스와의 통합도 진행하고 있다. 이 프로젝트는 지난 달 슈퍼컴퓨팅 2018 행사에서 발표했는데, 현재는 개념 증명 단계를 발표하고 기여 개발자를 초대하고 있는 중이다.

싱귤러리티와 쿠버네티스의 통합은 서비스 기반 컴퓨트를 구동하는 기업의 날로 증가하는 요구에 대응한 것이다. 이들 작업은 스트리밍 데이터와 실시간 애널리틱스가 개입하는데, 이 때문에 오케스트레이션이 필요하다. 

통합이 이루어지면 사용자는 싱귤러리티 내에서 오케스트레이터와 스케줄러 모두에 액세스할 수 있다. 쿠버네티스를 배치 작업에 사용하는 경우가 많지만, 가장 단순한 HPC 자원 관리 및 일정 관리 기능도 부족한 상태이다. 물론 이런 상황은 바뀌겠지만, 현재로서는 전통적인 배치 기반 연산이 HPC에 중점을 둔 자원 관리 기능에 가장 적합하다. editor@itworld.co.kr



2018.12.20

HPC 공략 나서는 오픈소스 컨테이너··· 싱귤러리티 성장에 주목

Sandra Henry-Stocker | Network World
오픈소스 컨테이너가 업계 누구도 기대하지 않은 방향으로 움직이고 있다. 컨테이너는 오랫동안 애플리케이션을 필요한 구성요소와 함께 패키징하는 효과적인 방안으로 인식됐다. 하지만 일각에서는 오늘날 컴퓨팅 세계에서 가장 도전적인 분야 중 하나인 HPC(High Performance Computing)에 도전장을 던졌다. 컨테이너는 HPC 세계에 새로운 차원의 효율성을 가져다줄 수 있을 뿐만 아니라 HPC와 같은 작업을 하는 기업 IT 부서를 위한 새로운 작업 방식도 제시한다.

ⓒ G.iulina (CC BY 2.0)

컨테이너는 애플리케이션을 배포할 방법을 찾는 조직에 많은 이점을 제공한다. 라이브러리 같은 애플리케이션의 여러 의존성을 자체 유지 가능한 이미지로 결합해 수많은 설치 문제를 해결한다. 운영체제 배포판의 차이가 영향을 미치지 않기 때문에 별도 버전의 애플리케이션을 마련하고 유지할 필요가 없으며, 덕분에 개발자의 작업도 한층 쉬워진다.

꽤 최근까지도 빅데이터와 슈퍼컴퓨터에 중점을 둔 HPC 시장은 컨테이너에 무관심했다. 이는 슈퍼컴퓨팅의 엄격하게 결합된 기술 모델이 느슨한 연결을 특징으로 하는 컨테이너의 마이크로서비스 세계와는 잘 맞지 않았기 때문이다. 보안 우려도 있었다. 예를 들어, 도커 애플리케이션은 흔히 실행을 위해 루트 특권을 부여하는데, 보안이 극도로 중요한 슈퍼컴퓨팅 세계에는 도저히 적용할 수 없는 방식이다.

하지만 HPC에 중점을 둔 컨테이너 시스템인 싱귤러리티(Singularity)가 나오면서 의미있는 변화가 이루어졌다. 현재 사이랩스(Sylabs)가 공급하는 싱귤러리티는 2015년 로렌스 버클리 국립연구소에서 시작한 오픈소스 프로젝트이다.
 
싱귤러리티는 컨테이너에 대한 관심이 고조될 때, 하지만 일반적으로 많이 사용하는 도커가 HPC 사용례를 지원하지 않을 때 탄생했다. 과학자들은 컨테이너를 사용했고, 작업물을 도커 허브에서 공유했지만, 도커는 HPC 상에서 지원되지 않았다. 싱귤러리티는 이런 사용자의 요구에 대한 응답으로 만들어졌다. 현재 싱귤러리티의 상용 버전은 싱귤러리티 프로란 이름으로 출시되어 있으며, 적절한 호스트당 비용과 추가 옵션도 제공한다.

HPC 시스템에서 컨테이너를 구동하기 위해 만들어진 시스템으로, 현재 시점에서는 90~95%의 시장을 점유하고 있다. HPC에 중점을 둔 컨테이너 시장은 이제 막 시작됐기 때문이다. 로렌스 버클리 연구소에서 탄생한 만큼 빅데이터와 과학 연산에 중점을 두고 있고 보안도 강력할 것으로 예상할 수 있다. 사실 컨테이너 업계도 싱귤러리티의 갑작스런 부상에 놀라고 있다.

싱귤러리티는 또한 작업하기 쉽다는 것도 강점이다. 도커 기반이 없어도 도커 이미지를 가져올 수 있으며, 최상위 사용자 권한도 필요없다. 실제로 싱귤러리티 컨테이너는 소프트웨어와 라이브러리, 데이터와 함께 과학 연산 워크플로우 전체를 담을 수 있다. 슈퍼컴퓨팅 2018 행사에서 주목을 받은 싱귤러리티는 3년 연속 톱 5 신제품, 주목할 만한 기술상을 수상하기도 했다.

사이랩스는 쿠버네티스와의 통합도 진행하고 있다. 이 프로젝트는 지난 달 슈퍼컴퓨팅 2018 행사에서 발표했는데, 현재는 개념 증명 단계를 발표하고 기여 개발자를 초대하고 있는 중이다.

싱귤러리티와 쿠버네티스의 통합은 서비스 기반 컴퓨트를 구동하는 기업의 날로 증가하는 요구에 대응한 것이다. 이들 작업은 스트리밍 데이터와 실시간 애널리틱스가 개입하는데, 이 때문에 오케스트레이션이 필요하다. 

통합이 이루어지면 사용자는 싱귤러리티 내에서 오케스트레이터와 스케줄러 모두에 액세스할 수 있다. 쿠버네티스를 배치 작업에 사용하는 경우가 많지만, 가장 단순한 HPC 자원 관리 및 일정 관리 기능도 부족한 상태이다. 물론 이런 상황은 바뀌겠지만, 현재로서는 전통적인 배치 기반 연산이 HPC에 중점을 둔 자원 관리 기능에 가장 적합하다. editor@itworld.co.kr

X