2020.12.02

정의부터 구축 방법까지··· '데이터옵스' 한눈에 살펴보기 

Thor Olavsrud | CIO
‘데이터옵스(DataOps)’는 데브옵스 팀과 데이터 엔지니어, 데이터 과학자 역할을 결합해 데이터 중심 기업에 필요한 도구, 프로세스, 조직 체계를 제공한다. 
 
ⓒGetty Images

데이터옵스란 무엇인가?
데이터옵스란 애널리틱스를 개발하고 제공하기 위한 애자일하고 프로세스 지향적인 방법론이다. 데브옵스 팀과 데이터 엔지니어, 데이터 과학자 역할을 결합해 데이터 중심 기업을 지원하는 도구, 프로세스, 조직 체계를 제공한다. 

포레스터의 부사장 겸 수석 애널리스트 미셸 고에츠는 “모든 기술 계층에서 비즈니스 가치를 창출하기 위해 솔루션을 구축하고, 데이터 제품을 개발하며, 데이터를 활성화하는 역량이 바로 데이터옵스다”라고 정의했다. 

데이터옵스의 목표
美 데이터 교육 기관 데이터버시티(Dataversity)에 따르면 데이터옵스의 목표는 데이터와 데이터 애널리틱스를 토대로 애플리케이션 설계, 개발, 유지관리를 간소화하는 것이다. 또한 데이터 관리 및 제품 개발 방식을 개선하고 이러한 개선사항을 비즈니스 목표에 맞게 조정하는 것이다.  

데이터옵스 vs. 데브옵스
데브옵스는 개발팀과 운영팀을 제품 또는 서비스를 담당하는 단일 유닛으로 통합해 시스템 개발 생애주기 동안 지속적인 전달 및 배포(CD)를 제공하는 소프트웨어 개발 방법론이다.  

데이터옵스는 이 방법론을 기반으로 하지만 여기에 데이터 애널리스트, 데이터 개발자, 데이터 엔지니어, 데이터 과학자 등 ‘데이터 전문가’를 추가해 협력적인 방식으로 데이터 흐름을 개발하고, 조직 전체에서 데이터를 지속적으로 사용하는 데 중점을 둔다. 

HPE가 지난해 인수한 맵알(MapR)의 CTO 테드 더닝은 “점점 더 많은 사람이 개발과 시스템에 일종의 데이터 과학 기능을 통합하고 있다. 따라서 이제 데브옵스 팀에는 데이터 중심 사고방식을 가진 사람이 필요하다”라고 말했다. 

데이터옵스 원칙
데브옵스와 마찬가지로, 데이터옵스도 애자일 방법론에서 시작됐다. 이에 따라 데이터옵스는 고객 만족을 기본 목표로 두고 분석적인 인사이트를 지속적으로 제공하는 것에 가치를 둔다. 

또한 데이터옵스와 관련한 20가지 원칙을 제정한 ‘데이터옵스 선언(DataOps Manifesto)’에 따르면 데이터옵스 팀은 인사이트에 따라 데이터 애널리틱스의 성과를 평가하면서 효과적인 애널리틱스에 가치를 둔다. 그리고 변화를 수용해야 하며, 시시각각 변화하는 고객 니즈를 지속적으로 파악해야 한다. 

아울러 데이터옵스 팀은 목표 아래 자율적으로 조직돼야 하고, 지속가능하고 확장가능한 팀과 프로세스를 지양하되 성과자만 치켜세우는 ‘영웅주의(heroism)’는 지양해야 하며, 재생산할 수 있는 결과를 제공하겠다는 목표로 처음부터 끝까지 데이터, 도구, 코드, 환경을 조율해야 한다. 

이 밖에 데이터옵스 팀은 애널리틱스 파이프라인을 린(lean)한, 즉 군더더기 없는 생산라인과 유사하다고 보고 고객, 팀원, 운영 통계를 통해 제공되는 피드백을 정기적으로 반영해야 한다. 

데이터옵스를 도입하기 적합한 분야는?
오늘날 기업들은 다양한 제품과 서비스에 머신러닝을 접목하고 있다. 여기서 데이터옵스는 머신러닝에 관한 엔드투엔드 니즈를 지원하는 데 적합한 접근방식이다. 

HPE의 수석 테크놀로지스트 엘렌 프리드먼과 더닝은 "이를테면 데이터 과학자가 소프트웨어 엔지니어링을 지원해 머신러닝 모델을 실제 운영에 적용할 때 필요한 것을 제공할 수 있도록 한다"라고 언급했다. 

이어서 그들은 "데이터옵스가 머신러닝에만 국한되지 않는다"라면서, "이는 모든 데이터 지향적인 작업에서 유용하다. 글로벌 데이터 패브릭을 구축하면서 얻을 수 있는 이점을 더 쉽게 활용할 수 있도록 해주기 때문이다. 또한 데이터옵스는 마이크로서비스 아키텍처에도 잘 부합한다”라고 덧붙였다. 

데이터옵스, 실전에서는?
더닝과 프리드먼에 따르면 데이터옵스를 최대한 활용하기 위해서는 데이터 관리 전략을 구축하고 발전시켜 대규모 데이터를 처리하고 실제 이벤트에 실시간으로 반응할 수 있어야 한다. 
 
그들은 “기존에 사일로화된 팀은 너무 경직돼 있고 느리기 때문에 디지털 트랜스포메이션을 추진하는 빅 데이터 조직에 적합하지 않다. 여기서 데이터옵스가 도움을 줄 수 있다”라고 설명했다.

데이터옵스는 운영, 소프트웨어 엔지니어링, 아키텍처 및 계획, 제품 관리, 데이터 분석, 데이터 개발, 데이터 엔지니어링 등 여러 기술을 아우르는 교차 기능 팀(CFT)이 필수적이다. 그리고 데이터옵스 팀은 개발자, 운영 담당자, 데이터 전문가 간의 협업 및 커뮤니케이션을 강화할 수 있는 방식으로 관리돼야 한다. 

더닝은 데이터 과학자가 데이터옵스 팀의 핵심 구성원으로 포함될 수 있다면서, “여기서 가장 중요한 부분은 데이터 과학자가 개발팀과 동떨어지는, 즉 상아탑에 갇힌 조직은 지양해야 한다는 점이다”라고 지적했다.

이어서 그는 “가장 좋은 방법은 데이터 과학자를 데브옵스 팀의 일원으로 만드는 것이다. 같은 공간에서 일하고, 같이 식사를 하고, 같이 불평불만을 늘어놓다 보면 자연스럽게 동화될 것”이라고 전했다. 

그러나 더닝은 데이터 과학자가 데이터옵스 팀에 영구적으로 있을 필요는 없다고 언급했다. 그는 “데이터 과학자가 일정 기간 팀에 있으면 된다. 이들의 역량과 사고방식이 팀 내에 퍼지기 시작할 것이다. 그러면 팀의 누군가가 일종의 보급형 데이터 과학자 역할을 맡을 수 있다. 그 이후에는 팀에 소속돼 있던 진짜 데이터 과학자가 빠져도 상관없다”라고 설명했다. 

데이터옵스 팀을 구축하는 방법
프리드먼은 데브옵스 팀을 운영하는 기업이라면 데이터옵스 팀을 운영할 준비가 돼 있다고 말했다. 핵심 역량을 갖춘 인재가 이미 내부에 있기 때문이다. 데이터 집약적인 개발이 필요한 프로젝트를 파악한 후, 데이터 교육을 받은 인력을 해당 팀에 배치하면 된다. 

이 과정에서 팀원들의 역량 및 경력이 겹치거나 한 사람이 여러 역할을 맡을 수도 있다. 더닝과 프리드먼은 “대규모 프로젝트의 경우 특정 데이터옵스 역할을 여러 명이 맡을 수 있다. 한 사람이 여러 역할을 맡는 것도 일반적이다"라면서, "운영과 소프트웨어 엔지니어링 기술이 중복될 수 있다. 소프트웨어 엔지니어링 분야 경력을 가진 팀원이 데이터 엔지니어 자격증을 갖추고 있을지 모른다. 데이터 엔지니어링 역량을 갖춘 데이터 과학자들도 많다. 물론 데이터 과학과 운영이 중복되는 경우는 드물다”라고 말했다. 

고에츠에 따르면 데이터옵스 팀에서 갖춰야 할 핵심 전문 분야는 다음과 같다. 

• 데이터베이스
• 통합
• 오케스트레이션을 처리할 데이터
• 데이터 정책 배포
• 데이터 및 모델 통합
• 데이터 보안 및 프라이버시 관리


이런 팀 구성도 중요하지만 무엇보다 팀이 지원하는 서비스와 관련해 데이터 기반 니즈라는 공통의 목표를 추구해야 한다고 더닝과 프리드먼은 강조했다. 

더닝은 “유능한 엔지니어를 모아 팀을 구성했다면 이제 목표를 잘 세워야 한다. 일단 문제 해결이라는 공통의 목표가 생기면 팀은 이 문제를 해결하기 위해 알아서 구성되는 경우가 많다”라고 전했다. 

이어서 그는 “오히려 문제는 사람마다 문제를 다른 측면으로 보는 경우다. 예를 들어 운영 담당자가 특정 시간 내에 답을 얻을 수 있을지 확실성을 우려하는 반면에, 데이터 과학자는 답의 정확성에 중점을 두는 경향이 있다. 물론 차이가 아예 없을 순 없다. 하지만 같은 문제를 해결하려고 하고, 해결 방법을 서로 절충하고자 한다면 데이터옵스 팀은 꽤 쉽게 구축할 수 있다”라고 설명했다. 

한편 고에츠는 데이터옵스 팀에 다음과 같은 구성원이 포함될 수 있다고 언급했다. 
 
• 데이터 환경 및 개발 모범 사례를 지원하는 데이터 전문가
• BI, 애널리틱스, 비즈니스 애플리케이션에 시스템 지원을 제공하는 데이터 엔지니어 
• 제품 및 고객을 대상으로 하는 결과물을 개발하는 수석 데이터 엔지니어 


데이터옵스 분야 평균 급여 
페이스케일(PayScale)에 따르면 데이터옵스 분야에서 가장 인기 있는 직업과 각 직업의 평균 급여는 아래와 같다.

• 애널리틱스 관리자: 미화 약 6만 8,000달러~12만 7,000달러
• 준(準) 데이터 과학자: 6만 달러~10만 2,000달러
• 비즈니스 인텔리전스 애널리스트: 5만 달러~9만 5,000달러
• 데이터 애널리스트: 4만 3,000달러~8만 5,000달러
• 데이터 아키텍트: 7만 6,000달러~15만 5,000달러
• 데이터 엔지니어: 6만 5,000달러~13만 2,000달러
• 데이터 과학자: 6만 7,000달러~13만 4,000달러

 
ciokr@idg.co.kr

 



2020.12.02

정의부터 구축 방법까지··· '데이터옵스' 한눈에 살펴보기 

Thor Olavsrud | CIO
‘데이터옵스(DataOps)’는 데브옵스 팀과 데이터 엔지니어, 데이터 과학자 역할을 결합해 데이터 중심 기업에 필요한 도구, 프로세스, 조직 체계를 제공한다. 
 
ⓒGetty Images

데이터옵스란 무엇인가?
데이터옵스란 애널리틱스를 개발하고 제공하기 위한 애자일하고 프로세스 지향적인 방법론이다. 데브옵스 팀과 데이터 엔지니어, 데이터 과학자 역할을 결합해 데이터 중심 기업을 지원하는 도구, 프로세스, 조직 체계를 제공한다. 

포레스터의 부사장 겸 수석 애널리스트 미셸 고에츠는 “모든 기술 계층에서 비즈니스 가치를 창출하기 위해 솔루션을 구축하고, 데이터 제품을 개발하며, 데이터를 활성화하는 역량이 바로 데이터옵스다”라고 정의했다. 

데이터옵스의 목표
美 데이터 교육 기관 데이터버시티(Dataversity)에 따르면 데이터옵스의 목표는 데이터와 데이터 애널리틱스를 토대로 애플리케이션 설계, 개발, 유지관리를 간소화하는 것이다. 또한 데이터 관리 및 제품 개발 방식을 개선하고 이러한 개선사항을 비즈니스 목표에 맞게 조정하는 것이다.  

데이터옵스 vs. 데브옵스
데브옵스는 개발팀과 운영팀을 제품 또는 서비스를 담당하는 단일 유닛으로 통합해 시스템 개발 생애주기 동안 지속적인 전달 및 배포(CD)를 제공하는 소프트웨어 개발 방법론이다.  

데이터옵스는 이 방법론을 기반으로 하지만 여기에 데이터 애널리스트, 데이터 개발자, 데이터 엔지니어, 데이터 과학자 등 ‘데이터 전문가’를 추가해 협력적인 방식으로 데이터 흐름을 개발하고, 조직 전체에서 데이터를 지속적으로 사용하는 데 중점을 둔다. 

HPE가 지난해 인수한 맵알(MapR)의 CTO 테드 더닝은 “점점 더 많은 사람이 개발과 시스템에 일종의 데이터 과학 기능을 통합하고 있다. 따라서 이제 데브옵스 팀에는 데이터 중심 사고방식을 가진 사람이 필요하다”라고 말했다. 

데이터옵스 원칙
데브옵스와 마찬가지로, 데이터옵스도 애자일 방법론에서 시작됐다. 이에 따라 데이터옵스는 고객 만족을 기본 목표로 두고 분석적인 인사이트를 지속적으로 제공하는 것에 가치를 둔다. 

또한 데이터옵스와 관련한 20가지 원칙을 제정한 ‘데이터옵스 선언(DataOps Manifesto)’에 따르면 데이터옵스 팀은 인사이트에 따라 데이터 애널리틱스의 성과를 평가하면서 효과적인 애널리틱스에 가치를 둔다. 그리고 변화를 수용해야 하며, 시시각각 변화하는 고객 니즈를 지속적으로 파악해야 한다. 

아울러 데이터옵스 팀은 목표 아래 자율적으로 조직돼야 하고, 지속가능하고 확장가능한 팀과 프로세스를 지양하되 성과자만 치켜세우는 ‘영웅주의(heroism)’는 지양해야 하며, 재생산할 수 있는 결과를 제공하겠다는 목표로 처음부터 끝까지 데이터, 도구, 코드, 환경을 조율해야 한다. 

이 밖에 데이터옵스 팀은 애널리틱스 파이프라인을 린(lean)한, 즉 군더더기 없는 생산라인과 유사하다고 보고 고객, 팀원, 운영 통계를 통해 제공되는 피드백을 정기적으로 반영해야 한다. 

데이터옵스를 도입하기 적합한 분야는?
오늘날 기업들은 다양한 제품과 서비스에 머신러닝을 접목하고 있다. 여기서 데이터옵스는 머신러닝에 관한 엔드투엔드 니즈를 지원하는 데 적합한 접근방식이다. 

HPE의 수석 테크놀로지스트 엘렌 프리드먼과 더닝은 "이를테면 데이터 과학자가 소프트웨어 엔지니어링을 지원해 머신러닝 모델을 실제 운영에 적용할 때 필요한 것을 제공할 수 있도록 한다"라고 언급했다. 

이어서 그들은 "데이터옵스가 머신러닝에만 국한되지 않는다"라면서, "이는 모든 데이터 지향적인 작업에서 유용하다. 글로벌 데이터 패브릭을 구축하면서 얻을 수 있는 이점을 더 쉽게 활용할 수 있도록 해주기 때문이다. 또한 데이터옵스는 마이크로서비스 아키텍처에도 잘 부합한다”라고 덧붙였다. 

데이터옵스, 실전에서는?
더닝과 프리드먼에 따르면 데이터옵스를 최대한 활용하기 위해서는 데이터 관리 전략을 구축하고 발전시켜 대규모 데이터를 처리하고 실제 이벤트에 실시간으로 반응할 수 있어야 한다. 
 
그들은 “기존에 사일로화된 팀은 너무 경직돼 있고 느리기 때문에 디지털 트랜스포메이션을 추진하는 빅 데이터 조직에 적합하지 않다. 여기서 데이터옵스가 도움을 줄 수 있다”라고 설명했다.

데이터옵스는 운영, 소프트웨어 엔지니어링, 아키텍처 및 계획, 제품 관리, 데이터 분석, 데이터 개발, 데이터 엔지니어링 등 여러 기술을 아우르는 교차 기능 팀(CFT)이 필수적이다. 그리고 데이터옵스 팀은 개발자, 운영 담당자, 데이터 전문가 간의 협업 및 커뮤니케이션을 강화할 수 있는 방식으로 관리돼야 한다. 

더닝은 데이터 과학자가 데이터옵스 팀의 핵심 구성원으로 포함될 수 있다면서, “여기서 가장 중요한 부분은 데이터 과학자가 개발팀과 동떨어지는, 즉 상아탑에 갇힌 조직은 지양해야 한다는 점이다”라고 지적했다.

이어서 그는 “가장 좋은 방법은 데이터 과학자를 데브옵스 팀의 일원으로 만드는 것이다. 같은 공간에서 일하고, 같이 식사를 하고, 같이 불평불만을 늘어놓다 보면 자연스럽게 동화될 것”이라고 전했다. 

그러나 더닝은 데이터 과학자가 데이터옵스 팀에 영구적으로 있을 필요는 없다고 언급했다. 그는 “데이터 과학자가 일정 기간 팀에 있으면 된다. 이들의 역량과 사고방식이 팀 내에 퍼지기 시작할 것이다. 그러면 팀의 누군가가 일종의 보급형 데이터 과학자 역할을 맡을 수 있다. 그 이후에는 팀에 소속돼 있던 진짜 데이터 과학자가 빠져도 상관없다”라고 설명했다. 

데이터옵스 팀을 구축하는 방법
프리드먼은 데브옵스 팀을 운영하는 기업이라면 데이터옵스 팀을 운영할 준비가 돼 있다고 말했다. 핵심 역량을 갖춘 인재가 이미 내부에 있기 때문이다. 데이터 집약적인 개발이 필요한 프로젝트를 파악한 후, 데이터 교육을 받은 인력을 해당 팀에 배치하면 된다. 

이 과정에서 팀원들의 역량 및 경력이 겹치거나 한 사람이 여러 역할을 맡을 수도 있다. 더닝과 프리드먼은 “대규모 프로젝트의 경우 특정 데이터옵스 역할을 여러 명이 맡을 수 있다. 한 사람이 여러 역할을 맡는 것도 일반적이다"라면서, "운영과 소프트웨어 엔지니어링 기술이 중복될 수 있다. 소프트웨어 엔지니어링 분야 경력을 가진 팀원이 데이터 엔지니어 자격증을 갖추고 있을지 모른다. 데이터 엔지니어링 역량을 갖춘 데이터 과학자들도 많다. 물론 데이터 과학과 운영이 중복되는 경우는 드물다”라고 말했다. 

고에츠에 따르면 데이터옵스 팀에서 갖춰야 할 핵심 전문 분야는 다음과 같다. 

• 데이터베이스
• 통합
• 오케스트레이션을 처리할 데이터
• 데이터 정책 배포
• 데이터 및 모델 통합
• 데이터 보안 및 프라이버시 관리


이런 팀 구성도 중요하지만 무엇보다 팀이 지원하는 서비스와 관련해 데이터 기반 니즈라는 공통의 목표를 추구해야 한다고 더닝과 프리드먼은 강조했다. 

더닝은 “유능한 엔지니어를 모아 팀을 구성했다면 이제 목표를 잘 세워야 한다. 일단 문제 해결이라는 공통의 목표가 생기면 팀은 이 문제를 해결하기 위해 알아서 구성되는 경우가 많다”라고 전했다. 

이어서 그는 “오히려 문제는 사람마다 문제를 다른 측면으로 보는 경우다. 예를 들어 운영 담당자가 특정 시간 내에 답을 얻을 수 있을지 확실성을 우려하는 반면에, 데이터 과학자는 답의 정확성에 중점을 두는 경향이 있다. 물론 차이가 아예 없을 순 없다. 하지만 같은 문제를 해결하려고 하고, 해결 방법을 서로 절충하고자 한다면 데이터옵스 팀은 꽤 쉽게 구축할 수 있다”라고 설명했다. 

한편 고에츠는 데이터옵스 팀에 다음과 같은 구성원이 포함될 수 있다고 언급했다. 
 
• 데이터 환경 및 개발 모범 사례를 지원하는 데이터 전문가
• BI, 애널리틱스, 비즈니스 애플리케이션에 시스템 지원을 제공하는 데이터 엔지니어 
• 제품 및 고객을 대상으로 하는 결과물을 개발하는 수석 데이터 엔지니어 


데이터옵스 분야 평균 급여 
페이스케일(PayScale)에 따르면 데이터옵스 분야에서 가장 인기 있는 직업과 각 직업의 평균 급여는 아래와 같다.

• 애널리틱스 관리자: 미화 약 6만 8,000달러~12만 7,000달러
• 준(準) 데이터 과학자: 6만 달러~10만 2,000달러
• 비즈니스 인텔리전스 애널리스트: 5만 달러~9만 5,000달러
• 데이터 애널리스트: 4만 3,000달러~8만 5,000달러
• 데이터 아키텍트: 7만 6,000달러~15만 5,000달러
• 데이터 엔지니어: 6만 5,000달러~13만 2,000달러
• 데이터 과학자: 6만 7,000달러~13만 4,000달러

 
ciokr@idg.co.kr

 

X