파이토치 모델을 쉽게 개발하게 해주는 토치서브(TorchServe)는 A/B 테스트를 위한 다중 모델 서빙 및 모델 버전 관리를 지원한다.
아마존웹서비스(AWS)가 파이토치 머신러닝 모델을 제공하기 위한 토치서브라는 오픈소스 툴을 발표했다. 토치서브는 파이토치를 개발한 페이스북과 파트너십을 맺어 AWS에서 유지하고 관리하며 파이토치 프로젝트의 일부가 깃허브에서 제공된다.
4월 21일에 출시된 토치서브는 프로덕션 환경에서 파이토치 모델을 쉽게 배포할 수 있도록 설계되었다. 짧은 대기 시간으로 부담을 주지 않는 환경과 고성능 추론을 제공하는 것이 목표다.
토치서브의 주요 기능은 다음과 같다.
• 객체 감지 및 텍스트 분류 같은 범용 애플리케이션을 위한 기본 처리기로 사용자가 모델을 배포하기 위해 사용자 지정 코드를 작성하지 않아도 됨
• 다중 모델 서빙
• A/B 테스트를 위한 모델 버전 관리
• 모니터링 지표
• 애플리케이션 통합을 위한 RESTful 엔드포인트
쿠버네티스, 아마존 세이지메이커(SageMaker), 아마존 EKS, 아마존 EC2를 포함한 모든 배포 환경은 토치서브에서 지원할 수 있다. 토치서브는 우분투 리눅스 또는 맥OS에서 자바11이 필요하다. ciokr@idg.co.kr