대부분의 전문 소프트웨어 개발자에게 애플리케이션 라이프사이클 관리(Application Lifecycle Management, ALM)는 당연히 사용하는 툴이다. 그러나 소프트웨어 개발 배경이 없는 경우가 많은 데이터 과학자는 대체로 머신러닝 모델에 라이프사이클 관리를 사용해본 적이 없을 것이다. 머신러닝 라이프사이클 관리를 지원하는 ML옵스(MLops) 환경과 프레임워크가 등장한 후에는 몇 년 전보다 훨씬 쉽게 이 문제를 해결할 수 있다. 머신러닝 라이프사이클 관리란? 쉽게 답하자면 애플리케이션 라이프사이클 관리와 같다고 할 수 있지만 이 답은 틀리기도 하다. 머신러닝 모델의 라이프사이클은 여러 측면에서 소프트웨어 개발 라이프사이클(SDLC)과는 다르기 때문이다. 우선 소프트웨어 개발자는 코드를 쓰기 전에 무엇을 만들고자 하는지를 어느정도 알고 시작한다. 고정된 전체적인 사양이 있거나(폭포수 모델) 없을 수 있지만(애자일 개발), 어느 시점에서든 소프트웨어 개발자는 설명 가능한 기능을 빌드, 테스트, 디버그하기 위해 노력한다. 또한 소프트웨어 개발자는 이 기능이 설계대로 작동하는지 확인하기 위한 테스트도 할 수 있다. 반면, 데이터 과학자는 최적화 알고리즘이 데이터 집합을 설명하기 위한 최적의 가중치 집합을 찾는 실험을 통해 모델을 구축한다. 모델의 종류는 많고 현재 최적을 판단하는 유일한 방법은 모두 시도하는 것이다. 또한 소프트웨어 테스트에는 사실상 없는 개념인 모델의 ‘올바름’에 관한 여러 기준이 존재할 수도 있다. 그러나 일부 최선의 모델(예를 들어 심층 신경망)을 학습시키는 데는 오랜 시간이 걸린다. 그래서 데이터 과학에는 GPU, TPU, FPGA와 같은 가속기가 중요해졌다. 또한 모델이 가능한 한 잘 작동하도록 하기 위해 최초 관찰로부터 데이터를 정제하고 최적의 특성 집합을 엔지니어링하는 데에도 상당한 노력이 필요하다. 고정된 데이터 집합을 사용하는 경우에도 수백 회의 실험과 수십 가...
2020.09.24
대부분의 전문 소프트웨어 개발자에게 애플리케이션 라이프사이클 관리(Application Lifecycle Management, ALM)는 당연히 사용하는 툴이다. 그러나 소프트웨어 개발 배경이 없는 경우가 많은 데이터 과학자는 대체로 머신러닝 모델에 라이프사이클 관리를 사용해본 적이 없을 것이다. 머신러닝 라이프사이클 관리를 지원하는 ML옵스(MLops) 환경과 프레임워크가 등장한 후에는 몇 년 전보다 훨씬 쉽게 이 문제를 해결할 수 있다. 머신러닝 라이프사이클 관리란? 쉽게 답하자면 애플리케이션 라이프사이클 관리와 같다고 할 수 있지만 이 답은 틀리기도 하다. 머신러닝 모델의 라이프사이클은 여러 측면에서 소프트웨어 개발 라이프사이클(SDLC)과는 다르기 때문이다. 우선 소프트웨어 개발자는 코드를 쓰기 전에 무엇을 만들고자 하는지를 어느정도 알고 시작한다. 고정된 전체적인 사양이 있거나(폭포수 모델) 없을 수 있지만(애자일 개발), 어느 시점에서든 소프트웨어 개발자는 설명 가능한 기능을 빌드, 테스트, 디버그하기 위해 노력한다. 또한 소프트웨어 개발자는 이 기능이 설계대로 작동하는지 확인하기 위한 테스트도 할 수 있다. 반면, 데이터 과학자는 최적화 알고리즘이 데이터 집합을 설명하기 위한 최적의 가중치 집합을 찾는 실험을 통해 모델을 구축한다. 모델의 종류는 많고 현재 최적을 판단하는 유일한 방법은 모두 시도하는 것이다. 또한 소프트웨어 테스트에는 사실상 없는 개념인 모델의 ‘올바름’에 관한 여러 기준이 존재할 수도 있다. 그러나 일부 최선의 모델(예를 들어 심층 신경망)을 학습시키는 데는 오랜 시간이 걸린다. 그래서 데이터 과학에는 GPU, TPU, FPGA와 같은 가속기가 중요해졌다. 또한 모델이 가능한 한 잘 작동하도록 하기 위해 최초 관찰로부터 데이터를 정제하고 최적의 특성 집합을 엔지니어링하는 데에도 상당한 노력이 필요하다. 고정된 데이터 집합을 사용하는 경우에도 수백 회의 실험과 수십 가...
2020.09.24
추천기사