AI에 대한 관심이 고조되면서 AI 활용을 위한 소프트웨어와 인프라에 대한 갈증도 나타나고 있다. 이로 인해 ML옵스(MLops)라는 새로운 세계를 안내해 줄 스타트업들이 많이 등장했다. 데이터 준비와 훈련에서부터 배치와 그 이후 단계에 이르기까지 이들이 기업이 공략하는 지점도 다양하다. 특히 흥미로운 업체들을 소개한다.
W&B W&B(Weights & Biases)는 ML 분야에서 영향력 있는 존재로 자리매김하고 있다. 특히 잘 설계된 종합 실험 추적 서비스를 원하는 데이터 과학자들 사이에서 인지도가 높다.
W&B의 서비스는 다양한 특징을 지닌다. 먼저 인기 있는 ML 라이브러리 거의 모두를 즉시 통합해 준다. (또한, 커스텀 지표 추가도 매우 간단하다.) 둘째, W&B는 사용자가 필요한 만큼 사용할 수 있다. 예를 들면, 텐서보드(Tensorboard)의 출력 강화 버전으로 사용하거나 하이퍼파라미터 튜닝에 대한 제어 및 보고 수단으로도 사용할 수 있다. 마지막으로 데이터 과학 팀원 전원이 결과를 확인하거나 다른 팀원이 실행한 실험을 재현할 수 있는 협력 센터로 사용될 수도 있다.
기업에서는 W&B를 거버넌스 및 기원(governance and provenance) 플랫폼으로도 사용할 수 있다. 모델이 개발에서 생산 과정으로 가는 과정에서 어떤 입력값과 변환, 그리고 실험이 모델 구축에 사용되었는지에 대한 감사 흔적을 제공하기 때문이다.
주변에 데이터 과학자가 있다면 그들은 이미 W&B에 대해 알고 있을 가능성이 아주 높다. 또 회사 내에서 W&B를 쓰고 있지 않다면 쓰고 싶어 할 것이 거의 틀림없다. 오픈AI(OpenAI), 깃허브(GibHub), 세일즈포스(Salesforce), 엔비디아(Nvidia)에서도 W&B를 활용하고 있다.
셀돈 셀돈(Seldon)은 엔터프라이즈 기능을 추가로 제공하는 오픈 코어 서비스 기업이다. 오픈소스 요소인 셀돈 코어(Seldon Core)는 고급 기능의 모델을 클라우드 네이티브 방식으로 배치한다. 여기서 고급 기능이란 추론을 위한 임의 모델 체인, 카나리 배치, A/B 테스팅, 멀티 암드 밴딧(Multi-Armed Bandit), 그리고 텐서플로(TensorFlow), 사이킷런(Scikit-learn), XG부스트(XGBoost)와 같은 프레임워크에 대한 즉시 지원 등이다. 셀돈은 ML 모델 점검 및 설명을 위한 오픈소스 알리바이(Alibi) 라이브러리도 제공한다. 모델 예측이 형성되는 방식에 대한 통찰력을 얻을 수 있는 다양한 기법이 포함되어 있다.
셀돈 코어의 흥미로운 특징은 사용자 기술 스택과의 조화 측면에서 믿기 어려울 정도로 유연하다는 점이다. 셀돈 코어는 단독으로 사용해도 되고 큐브플로(Kubeflow) 배치판에 넣어도 된다. ML플로(MLFlow)를 통해 만들어진 모델을 배치할 수 있고 아니면 엔비디아의 트리톤 추론 서버(Triton Inference Server)를 사용할 수 있다. 즉, 다양한 방법으로 최대 효과를 얻을 수 있게 해준다.
기업 대상 솔루션으로는 셀돈 디플로이(Seldon Deploy)가 있다. 대시보드, 감사 워크플로, 성능 모니터링 등 모델 관리용 종합 툴을 제공한다. 관리자와 감사관은 물론 데이터 과학자와 SRE를 겨냥한 것이다. 영국 기반의 스타트업인 셀돈은 감사 및 설명에 집중한 덕분에 금융업계에서 큰 인기를 확보했다. 예를 들면, 바클리즈(Barclays)와 캐피털 원(Capital One)이 셀돈의 서비스를 이용 중이다.
모델 배치 분야에 경쟁자가 많은 가운데 셀돈은 포괄적인 기능을 제공하는 한편 쿠버네티스(Kubernetes) 배치를 핵심 서비스로 제공하는 데 집중하고 있다. 아울러, 보다 종단간 솔루션을 원하는 회사들에게 유용한 엔터프라이즈 추가 기능도 제공하고 있다.
오늘날의 검색 엔진 소프트웨어는 벡터 검색 수행에 최적화되지 않은 경우가 많지만, 엘라스틱(Elastic)과 아파치 루씬(Apache Lucene)에서 지속적으로 연구되고 있다. 또한, 여러 오픈소스 대안들이 빠른 속도의 벡터 검색 기능을 규모 있게 제공하고 있다(예: NMSLib, FAISS, 어노이(Annoy)).
또한, 벡터 검색 엔진을 설치하고 유지보수해야 하는 옵스 부서의 부담을 조금이나마 덜어주기 위해 많은 스타트업들이 등장했다. 예를 들면, 파인콘(Pinecone)과 질리즈(Zilliz)는 기업을 대상으로 벡터 검색을 제공하는 스타트업이다.
파인콘은 순수한 SaaS 서비스이다. 사용자는 본인의 ML 모델이 생성한 임베딩을 파인콘 서버로 업로드하고 파인콘 API를 통해 질의를 전송한다. 보안, 확장, 속도 등 호스팅의 모든 측면과 그 밖의 운영 관련 문제는 파인콘 팀이 처리한다. 즉, 사용자는 유사성 검색 엔진을 불과 몇 시간 안에 가동시킬 수 있다는 뜻이다.
질리즈는 질로우 클라우드(Zillow Cloud)라는 관리 클라우드 솔루션을 곧 출시할 예정이다. 이는 밀버스(Milvus)라는 오픈소스 라이브러리로 오픈 코어 방식을 취하고 있다. 밀버스는 NMSlib와 FAISS와 같이 흔히 사용되는 라이브러리를 포괄하여 개발자들이 자체 벡터 인덱스 구축과 유지관리에 쓸 수 있는 사용하기 쉽고 표현력 있는 API와 함께 간단한 벡터 검색 엔진 배치를 제공한다.
Grid.ai
Grid.ai 는 파이토치 라이트닝(PyTorch Lightning)와 관련된 인물들의 작품이다. 파이토치 라이트닝은 파이토치를 기반으로 하는 인기 있는 고급 프레임워크로서 일반적인 파이토치 표준 조항의 많은 부분을 일반화해서 몇 개의 파라미터 스위치로 하나 또는 1,000개의 GPU 상에서 훈련하기 쉽게 만들어 준다. Grid.ai는 파이토치 라이트닝이 가져오는 단순화를 취해 진보했다. 따라서 데이터 과학자들은 코드를 로컬에서 실행할 때처럼 원활하게 일시적인 GPU 리소스를 사용해 모델을 훈련시킬 수 있다.
하이퍼파라미터 스윕을 200개의 GPU에 걸쳐 한 번에 실행하고 싶은가? Grid.ai는 그렇게 하게 해 준다. 인프라 리소스의 프로비저닝(그리고 디커미셔닝) 전부를 막후에서 관리하고, 사용자의 데이터집합이 규모 있는 사용에 최적화되도록 해준다. 또 사용하기 간편한 웹 UI로 지표 보고서를 모두 묶어서 제공한다. Grid.ai는 콘솔에서 또는 주피터 노트북(Jupyter Notebook)에 연결된 상태에서 대화형 개발을 위한 인스턴스 스핀업에도 사용할 수 있다.
규모 있는 모델 훈련을 간소화하려는 Grid.ai의 노력은 한 번에 100개 이상의 GPU를 차지하는 훈련 실행을 정기적으로 스핀 업 해야 하는 회사들에게 특히 유용하다. 그러나 그러한 고객이 과연 얼마나 있는지는 두고 봐야 한다. 그래도 클라우드 비용을 최소화해 주는, 소속 데이터 과학자들을 위한 간소화된 훈련 파이프라인이 필요하다면 Grid.ai를 면밀히 검토해볼 가치가 있다.
데이터로봇 데이터로봇(DataRobot)은 데이터 준비에서 생산 배치에 이르는 사용자의 엔터프라이즈 AI 생애주기를 모두 관할하려는 기업이다. 데이터로봇의 데이터 준비 파이프라인은 데이터 강화를 수월하게 하고 싶을 때 유용한 웹 UI 측면의 기능을 충실히 갖추고 있다. 또한, 데이터를 모델에 공급하기에 앞서 자동으로 프로파일화, 클러스터화하고 정리하여 사용자들(초심자 또는 전문가)을 돕는 도구가 포함되어 있다.
데이터로봇에 있는 자동화 ML 시설(facility)은 표적에 대한 한 쌍의 모델을 훈련시킨다. 따라서, 사용자는 최고 성능을 내는 모델이나 플랫폼에 업로드한 자체 모델 중 하나를 선택할 수 있다. 배치에 있어서는 플랫폼의 통합 ML옵스 모듈이 가동시간에서부터 시간 경과에 따른 데이터 드리프트에 이르는 모든 것을 추적한다. 따라서, 항상 해당 모델의 성능을 한 눈에 볼 수 있다.
험블 AI(Humble AI)라는 기능도 있어서 낮은 확률의 이벤트가 예측 시간에 발생할 경우 모델에 추가 방호책을 둘 수 있게 해 준다. 물론 그와 같은 이벤트는 ML옵스 모듈을 통해 추적도 가능하다.
데이터로봇이 이 지면에 소개한 타 스타트업 대부분과 약간 다른 점은 사용자 자체 데이터센터와 하둡(Hadoop) 클러스터 내의 베어 메탈(bear metal) 상에 설치되는 한편, 사설 및 관리 클라우드에도 배치된다는 것이다. 이는 움직임이 빠른 스타트업에서부터 자리잡은 포춘 500대 기업에 이르는 고객을 상대하면서 다가올 엔터프라이즈 AI 플랫폼 전투의 모든 부분에서 경쟁하겠다는 의지로 해석될 수 있다.
ML옵스는 오늘날 특히 핫한 AI 분야 가운데 하나이다. AI 분야에 진입하는 회사들이 늘어나면서 가속기, 플랫폼, 관리 및 모니터링에 대한 수요 역시 지속적으로 증가할 전망이다. AI 골드러쉬에 합류하려는 기업이라면 위에 소개한 스타트업 5곳에서 곡괭이와 도끼를 공급받을 수 있다!
VPN (가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다.
동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다.
무료 VPN, 정말 괜찮을까?
무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다.
보안 우려
대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다.
속도와 대역폭 제한
무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다.
서비스 제한
무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다.
광고 및 추적
일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다.
제한된 기능
무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다.
유료 VPN의 필요성
최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다.
그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다.
보안 강화
해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다.
개인 정보 보호
인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다.
지역 제한 해제
해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다.
빠르고 안전한 유료 VPN, 서프샤크 VPN
뛰어난 보안
서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다.
다양한 서버 위치
서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다.
속도와 대역폭
서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다.
다양한 플랫폼 지원
서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다.
디바이스 무제한 연결
서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.