AWS ‘세이지메이커’ 공개··· "머신러닝 수작업 최소화"

아마존 웹 서비스(Amazon Web Services)가 머신러닝 플랫폼 '세이지메이커(SageMaker)’를 공개했다. 이를 이용하면 AWS 서비스 사용자가 인공지능(AI) 알고리즘을 더 쉽게 활용할 수 있다.



세이지메이커는 기업용 앱을 위한 머신러닝 알고리즘을 개발, 학습, 적용하는 플랫폼이다. 인프라 프로비저닝과 관리, 학습 모델 튜닝 등 그동안 머신러닝 개발 시 일반적으로 필요했던 수작업을 상당 부분 없애준다.

AWS의 수석 테니크컬 에반젤리스트 렌달 헌트는 자사 블로그를 통해 “아마존 세이지메이커는 사용자가 모든 것을 제어할 수 있는 엔드투엔드 머신러닝 서비스다. 데이터 사이언티스트나 개발자, 머신러닝 전문가가 빠르게 대규모 머신러닝 모델을 만들고 훈련하고 운영할 수 있다. 머신러닝 작업 기간을 획기적으로 단축할 수 있고, 실제 업무에 사용하는 애플리케이션에 빠르게 머신러닝을 적용할 수 있다”라고 설명했다.

세이지메이커의 작동 원리
플랫폼은 데이터 탐색, 클리닝 및 전처리를 위해 주피터 (Jupyter) 노트북 통합 개발 환경(IDEs)을 호스팅하고 있다. 이와 함께 분산형 모델 구축, 트레이닝, 검증 서비스가 존재한다. 이를 통해 사용자는 AWS 알고리즘을 선택하고 텐서플로우와 같은 인기있는 프레임워크를 가져 오거나 도커 컨테이너로 자체 알고리즘을 세이지메이커 내에서 직접적으로 작성 및 배포하게 된다. 사용자가 AWS 알고리즘을 선택할 수 있으며, 텐서플로우(TensorFlow) 같은 유명 프레임워크에서 불러올 수도 있다. 자체 알고리즘을 만들어 도커 컨테이너에 적용하는 것도 모두 세이지메이커 내에서 가능하다.

알고리즘을 훈련하려면 S3 내의 특정 부분과 사용할 인스턴스를 선택하기만 하면 된다. 클릭 한 번으로 별도의 클러스터와 소프트웨어 정의 네트워크가 만들어진다. 이 클러스터는 실제 훈련을 시작하기 위한 확장성과 데이터 파이프라인을 지원한다. 훈련이 끝나면 클러스터를 삭제하면 된다.

HTTPs 엔드포인트는 모델 호스팅에 사용된다. 트래픽에 따라 확장할 수 있고 여러 모델에 대한 A/B 테스트를 동시에 실행한다. 이 알고리즘은 EC2 인스턴트를 이용해 클릭 한 번으로 실사용 환경에 직접 적용할 수 있다. 이후에는 가능한 존(zone)으로 자동 확장한다.

모델 튜닝 작업도 간소화할 수 있다. 기존까지 모델 튜닝은 ‘시행착오’ 방식으로 진행됐다. 해보고 안되면 다른 대안을 찾는 식이었다. 그러나 세이지메이커는 이른바 ‘HPO(hyper parameter optimisation)’ 방식을 사용한다. 간단한 클릭만으로 훈련 모델의 여러 복사본이 만들어지고, 머신러닝을 이용해 각 변화를 동시에 검토한다. 이 검토 결과에 따라 변수를 튜닝하게 된다.


머신러닝 대중화 노린다
AWS가 세이지메이커를 내놓은 핵심 메시지는 머신러닝과 AI를 대중화하겠다는 것이다. AWS CEO 앤디 제시는 최근 열린 리인벤트(re:Invent) 행사에서 “대기업과 기업 대부분이 머신러닝을 더 광범위하게 사용하려면 개발자와 사이언티스트가 매일 손쉽게 이 기술에 접근할 수 있어야 한다. 세이지메이커를 개발한 것도 바로 이를 위해서다”라고 말했다.

제시에 따르면, 세이지메이커는 매우 유연한 플랫폼이다. 텐서플로우와 카페2(Caffe2), AWS의 글루온(Gluon) 라이브러리 등 주요 프레임워크를 대부분 지원한다. 그는 “구글의 유명 머신러닝 프레임워크 텐서플로우는 이미 AWS가 다른 어느 업체보다 널리 사용하고 있다. 구글 클라우드 플랫폼에 대한 우려는 하지 않아도 된다. 우리의 서비스 원칙은 모든 주요 솔루션을 지원해 사용자는 필요한 툴을 사용할 수 있도록 한다는 것이다"라고 말했다.

세이지메이커 공개로 AWS는 경쟁이 치열한 머신러닝 플랫폼 시장에 본격적으로 뛰어들었다. 마이크로소프트는 애저 머신러닝을 서비스하고 있고, 구글은 클라우드 머신러닝 엔진을 발표했다. 이밖에도 주요 애널리틱스 업체들이 다양한 머신러닝 관련 기능을 제공하고 있고, 도미노 데이터 랩(Domino Data Lab)이나 데이타이쿠(Dataiku) 같은 머신러닝 스타트업도 있다.

AWS가 이 치열한 시장에서 차별화하려는 핵심은 지원하는 '기능의 깊이’와 그 기반이 되는 신뢰성있는 인프라다. 고객은 AWS로부터 모든 스택을 이용할 수 있다. 안전하고 강력한 인프라로 시작해 AWS에서 쉽게 머신러닝 기능을 구현할 수 있다. 제시는 세이지메이커의 기술 스택을 3단계로 구분해 설명했다.

그는 “기반 레이어 측면에서 세이지메이커는 숙련된 머신러닝 작업자가 자신의 업무에 꼭맞는 프레임워크와 알고리즘을 더 쉽게 선택할 수 있도록 프레임워크 어레이와 인터페이스를 설계했다. 미들 레이어는 세이지메이커가 압도적이다. 접근성 문제를 근본적으로 해결하고 개발자가 매일 머신러닝 모델을 더 쉽게 만들 수 있다. 톱 레이어를 보면 우리는 렉스(Lex), 폴리(Polly), 레코그니션(Rekognition) 등 사용자가 필요로 하는 광범위한 애플리케이션 서비스를 제공한다. AWS만큼 다양한 서비스를 지원하는 업체는 없다”라고 말했다.

일부 기업은 벌써 세이지메이커에 주목하고 있다. 영국의 회계 소프트웨어 업체 세이지(Sage)는 세이지메이커를 이용해 AI 고급 기능을 자사의 제품군 전체에 걸쳐 더 넓게 적용하는 것을 검토하고 있다.

세이지의 부사장 크리티 샤르마는 “우리 고객의 기대치는 매우 높기 때문에 기존 엔지니어링 인력이 AWS의 이런 툴을 이용해 계속해서 혁신을 구현할 수 있도록 하는 것은 매우 중요하다. 가능한 많은 직원이 이와 같은 강력한 머신러닝 기능을 사용할 수 있도록 하는 것이 필요한 이유이기도 하다”라고 말했다.

아마존 세이지메이커는 AWS 콘솔을 통해 프리뷰 버전을 사용할 수 있다. 무료 서비스인 'AWS 프리 티어(free tier)’로 무료로 사용할 수도 있다. 이용 요금은 지역에 따라 다르지만 사용 인스턴스, 스토리지 GB, GB당 데이터 전송량을 기반으로 청구된다. ciokr@idg.co.kr