AWS가 파이토치(PyTorch) 머신러닝 모델 서비스를 위한 오픈소스 도구인 ‘토치서브’(TorchServe)를 지난 21일 공개했다.
토치서브는
기트허브에서 파이토치 프로젝트의 일부로 제공될 방침이다. AWS가 파이토치를 개발한 페이스북과 파트너십을 맺고 토치서브를 유지 관리하게 된다.
AWS는 토치서브가 프로덕션 환경에서 파이토치 모델을 쉽게 배포할 수 있도록 돕기 위해 설계됐다며, 짧은 대기 시간과 고성능 추론을 이용해 가볍게 이용할 수 있도록 하는 것이 목료라고 전했다.
토치 서브의 주요 기능은 다음과 같다.
- 개체 감지 및 텍스트 분류와 같은 일반적인 애플리케이션을 위한 기본 핸들러. 이를 통해 사용자는 사용자 지정 코드를 작성하지 않고도 모델을 배포할 수 있다.
- 멀티 모델 서빙(serving)
- 모니터링을 위한 메트릭스
- 애플리케이션 통합을 위한 RESTful 엔드 포인트
토치서브는 다양한 배포 환경을 지원한다. 쿠버네티스, 아마존 세이지메이커, 아마존 EKS, 아마존 EC2 등에서 이용할 수 있다. 토치서브는 우분투 리눅스 또는 맥OS 상에서 자바 11을 피룡로 한다.
자세한 설치 지침은 기트허브에서 확인할 수 있다. ciokr@idg.co.kr