2016.12.14

2017년 빅데이터 시장 8대 전망

Ann Bednarz | Network World
시장조사업체 오범(Ovum)은 전 세계 빅데이터 시장이 2016년 17억 달러에서 2020년에는 94억 달러까지 성장할 것으로 전망했다. 시장의 성장과 더불어 기업에는 인프라 개선, 역량 강화, 기술 선택권 확장 등의 새로운 숙제가 주어지고 있다. 2017년 역시 빅데이터 전문가에게 바쁜 한 해가 될 것이다. 업계 애널리스트, 기술 전문가가 내다본 시장 전망을 정리했다.


Image Credit: Pixabay

1. 데이터 과학자에 대한 수요는 시들해질 것이다.
오범은 최근 발행한 빅데이터 트렌드 보고서를 통해 데이터 과학자에 대한 수요가 줄어들 것으로 예측했다. 지난 4년 간 데이터 과학자 직군에 대한 수요가 보합세를 보여왔다는 인디드 닷컴(Indeed.com)의 자료를 근거로 제시했다. 이와 함께 학계의 데이터 과학자 인력 배출이 증가한 점 역시 인력 수급에 영향을 미칠 것으로 봤다.

오범은 보고서를 통해 “배출되는 데이터 과학자 인력이 어떤 곳에 채용될 수 있을까? 온라인 디지털 기업을 제외하면 이 직무에 주목하거나 이들을 활용할 약간의 구상이라도 가진 기업은 대부분 글로벌 2000대 기업 목록 안에 있을 것이다. 이밖에 패키지형 애널리틱스 툴을 사용하는 대다수 기업의 경우 데이터 과학은 애플리케이션이나 툴 영역이 아니라면 그 자체로는 그다지 필요하지 않은 것이 현실이다”라고 분석했다.

2. 데이터 과학 조직이 활발하게 신설될 것이다
기업 내에서 데이터 과학자와 데이터 엔지니어의 역할은 서로 차이가 있다. 데이터 과학자가 가설을 설정, 시험하는 직무라면, 데이터 엔지니어는 데이터 세트 선택, 클러스터 공급, 생산 알고리즘 최적화를 맡는다. 그리고 데이터 과학자가 개발하는 모델과 가설이 데스크톱에서 정상 작동하려면, 두 직무 간의 협업이 필요하다.

오범은 “데이터 과학자가 작성해 자신의 노트북에서 테스트한 모델을 클러스터 상의 적절한 데이터 세트와 함께 사내에 배포하려면 해당 분야의 전문성을 지닌 데이터 엔지니어의 지원이 필수적이다. 따라서 데이터 과학자와 데이터 엔지니어 간의 긴밀한 협업 환경을 구축하려 노력하는 기업은 명확한 목적의식을 갖고 있다고 평가할 수 있다"라고 말했다.

이에 더해 기업 소프트웨어, 통합 툴링, 데이터 대비 과정에 점차 머신러닝이 적용됨에 따라 데이터 과학자와 비즈니스 애널리스트 직무 간의 협업 역시 강조되고 있다. 오범은 “모델이 데이터 과학자의 머릿속에만 머무르는 한 머신러닝은 온전한 가치를 발휘하기 어렵다. 기업의 거시적 요구가 구체화할수록 머신러닝 모델의 계획과 배치, 실행 전반을 아우르는 워크플로우를 공유하기 위해 비즈니스 애널리스트-데이터 과학자 간 협업 환경이 점점 중요해질 것이다"라고 분석했다.

3. 데이터 로컬화에 대한 압박이 심화될 것이다
글로벌 법률 업체 모리슨 & 포에스터(Morrison & Foerster)는 프라이버시 관련 법률이 강화하면서 데이터를 자국 내에 보관하라는 압박이 심화될 것이라 내다봤다. 모리슨 & 포에스터 산하 글로벌 프라이버시 및 데이터 보안 그룹 공동 부회장인 미리엄 보그마에스터와 앤드류 서윈은 “러시아에서 최초로 데이터 로컬화 법안이 통과된 이후 얼마 전 중국 역시 데이터 로컬화 법안을 발의했다. 이러한 추세는 향후 수 년 간 다른 국가로 확산할 것이다”라고 말했다.

4. 기업의 데이터 수익화 노력은 힘겹게 진행될 것이다
시장조사업체 IDC는 기업에겐 데이터 상품화와 관련한 많은 선택지가 존재하지만, 그것이 그리 간단치만은 않은 과정이고 실제로 많은 기업이 기회를 놓칠 수 있다고 지적했다. 업체는 최근 발간한 'IDC 미래지평: 국제 CIO 아젠다 2017 전망 보고서'를 통해 많은 기업 리더의 바람에도 불구하고 데이터를 활용해 유의미한 상품, 수익구조를 창출하는 것은 쉽지 않은 여정이 될 것으로 내다봤다.

이어 "이 과정이 성공을 거두려면 데이터 수집, 운반, 변환, 스토리지, 애널리틱스 및 대시보드, 데이터 상품/서비스, 보안, 접근 통제 전반을 아우르는 데이터 지향적 서비스 스패닝(data-oriented data spanning)과 탄탄한 IT 전략이 필요하다. 이를 위해 애플리케이션과 시스템의 현황과 미래 구상을 검토해 창출된 데이터를 수익화할 방안을 고민하는 'IT-현업 연계 혁신 팀을 구성하는 것도 좋다"라고 제안했다.


5. 데이터 호수가 마침에 실용될 것이다
데이터 매니지먼트 업체 렐티오(Reltio)의 최고 마케팅 책임자(CMO) 레이먼 첸에 따르면, 초기에 데이터 레이크를 도입한 많은 기업은 단순히 스토리지와 프로세스 관련 비용을 절감하겠다는 구상이 아니었다. 거대 빅데이터 풀로써 더 나은 시각을 도출하는 서비스로 기능할 것으로 기대하고 막대한 예산을 쏟아부었다.

문제는 이 정보를 온전히 이해하고 운영 애플리케이션과 데이터 레이크 간의 데이터 입력 및 실시간 업데이트 수신 구조를 구현할 인력이 부족했다는 것이다. 마스터 데이터 관리와 운영 애플리케이션, 분석적 데이터 웨어하우스, 데이터 호수 사이에 존재하는 간극을 메워줄 전문가도 없었다. 첸은 "현재는 빅데이터 프로젝트에 믿을 수 있는 데이터 기반이 필요하다는 인식이 자리잡았다. 신규 프로젝트의 경우 전체론적인 데이터 관리 전략과의 연계도 강화됐다. 따라서 2017년에는 마침내 데이터 레이크가 실용성 있는 도구로 자리 잡아갈 것이다”라고 말했다.

6. M&A가 가속화될 것이다
렐티오의 첸은 “인공지능(AI), 머신러닝, 딥 러닝 시장에서 활발한 인수합병 행보가 전개되고 있다. 인수자의 주요 관심은 역시 AI 전문 인력을 확보하는 것이다. 기업은 이 분야에서 많은 가치를 발견하고 있지만, 그간 인수한 스타트업 대부분이 운영 역사가 짧아 전문 인력에 대한 수요는 여전히 충족되지 않고 있다. 이에 따라 2017년에도 M&A에 한층 가속도가 붙을 것으로 전망된다”라고 말했다.

7. IoT 아키텍트에 대한 수요가 급증할 것이다
IDC는 사물인터넷(IoT) 시장 규모가 2020년 1조 4,600억 달러 규모까지 성장할 것으로 예측했다. 시장 성장에 따라 관련 전문 인력에 대한 수요 역시 크게 증가할 것으로 전망된다. 데이터 및 애널리틱스 업체 테라데이타(Teradata)의 IoT 기술 마케팅 전문가 댄 그래험은 “HR 영역에서 사물인터넷 아키텍트의 인기는 데이터 과학자를 능가할 것이다. IoT의 성장은 엣지 컴퓨팅과 IoT 운영 디자인의 성장을 견인할 것이며, 관련 전문 역량을 지닌 인력의 유입 역시 늘어날 것이다"라고 말했다.

이어 "또한, 현재 IoT 애널리틱스 아키텍트에 대한 수요를 인지하고 있는 기업은 전체의 10% 미만에 불과하다. IoT 애널리틱스 아키텍트는 IoT 시스템 아키텍트와는 명확히 구분되는 직군이다. IoT 분산형 애널리틱스와 중앙화 애널리틱스를 모두 설계할 수 있는 소프트웨어 아키텍트의 가치 또한 크게 증가할 것이다”라고 덧붙였다.

8. 스트리밍 애널리틱스가 부활할 것이다
동작 중인 데이터를 분석하는 것은 사실 새로울 것이 없는 기술이다. 이벤트 프로세싱 프로그램이 처음 등장한 것은 벌써 20년 전의 일이다. 그러나 오범은 다양한 요인으로 인해 실시간 스트리밍이 특수 용도의 기술에서 더 보편적인 도구로 변모하고 있다는 점에 주목했다. 예를 들어 오픈 소스 기술과 확장형 상용 인프라 스트럭처(scalable commodity infrastructure)의 확산은 실시간 스트리밍에 대한 접근성을 향상시키는 요인으로 작용했다.

특히 IoT의 확산으로 실시간 감지, 분석, 대응할 수 있는 애플리케이션 스트리밍에 대한 관심이 높은 상황이다. 다만 시장의 통합에는 더 시간이 필요할 것으로 보인다. 오범은 보고서를 통해 “이 새로운 워크로드를 두고 관련 업체간 경쟁이 치열하다. 이 과정을 지나 궁극적으로 시장은 3~4개의 스트리밍 플랫폼으로 통일될 것이다"라고 전망했다.

현재 시장에서는 스파크 스트리밍(Spark Streaming), 아마존 키네시스 애널리틱스(Amazon Kinesis Analytics) 등 여러 경쟁자가 꾸준한 진보를 이뤄가고 있다. 오범은 “현재 초기 상태인 시장은 2017년을 기점으로 점차 정리될 것이다. 스트리밍 엔진이 성숙하고 IoT와의 연계를 통해 대규모 성장을 이룩하기까지 향후 24~36개월 가량의 시간이 걸릴 것으로 보인다"라고 덧붙였다. ciokr@idg.co.kr
2016.12.14

2017년 빅데이터 시장 8대 전망

Ann Bednarz | Network World
시장조사업체 오범(Ovum)은 전 세계 빅데이터 시장이 2016년 17억 달러에서 2020년에는 94억 달러까지 성장할 것으로 전망했다. 시장의 성장과 더불어 기업에는 인프라 개선, 역량 강화, 기술 선택권 확장 등의 새로운 숙제가 주어지고 있다. 2017년 역시 빅데이터 전문가에게 바쁜 한 해가 될 것이다. 업계 애널리스트, 기술 전문가가 내다본 시장 전망을 정리했다.


Image Credit: Pixabay

1. 데이터 과학자에 대한 수요는 시들해질 것이다.
오범은 최근 발행한 빅데이터 트렌드 보고서를 통해 데이터 과학자에 대한 수요가 줄어들 것으로 예측했다. 지난 4년 간 데이터 과학자 직군에 대한 수요가 보합세를 보여왔다는 인디드 닷컴(Indeed.com)의 자료를 근거로 제시했다. 이와 함께 학계의 데이터 과학자 인력 배출이 증가한 점 역시 인력 수급에 영향을 미칠 것으로 봤다.

오범은 보고서를 통해 “배출되는 데이터 과학자 인력이 어떤 곳에 채용될 수 있을까? 온라인 디지털 기업을 제외하면 이 직무에 주목하거나 이들을 활용할 약간의 구상이라도 가진 기업은 대부분 글로벌 2000대 기업 목록 안에 있을 것이다. 이밖에 패키지형 애널리틱스 툴을 사용하는 대다수 기업의 경우 데이터 과학은 애플리케이션이나 툴 영역이 아니라면 그 자체로는 그다지 필요하지 않은 것이 현실이다”라고 분석했다.

2. 데이터 과학 조직이 활발하게 신설될 것이다
기업 내에서 데이터 과학자와 데이터 엔지니어의 역할은 서로 차이가 있다. 데이터 과학자가 가설을 설정, 시험하는 직무라면, 데이터 엔지니어는 데이터 세트 선택, 클러스터 공급, 생산 알고리즘 최적화를 맡는다. 그리고 데이터 과학자가 개발하는 모델과 가설이 데스크톱에서 정상 작동하려면, 두 직무 간의 협업이 필요하다.

오범은 “데이터 과학자가 작성해 자신의 노트북에서 테스트한 모델을 클러스터 상의 적절한 데이터 세트와 함께 사내에 배포하려면 해당 분야의 전문성을 지닌 데이터 엔지니어의 지원이 필수적이다. 따라서 데이터 과학자와 데이터 엔지니어 간의 긴밀한 협업 환경을 구축하려 노력하는 기업은 명확한 목적의식을 갖고 있다고 평가할 수 있다"라고 말했다.

이에 더해 기업 소프트웨어, 통합 툴링, 데이터 대비 과정에 점차 머신러닝이 적용됨에 따라 데이터 과학자와 비즈니스 애널리스트 직무 간의 협업 역시 강조되고 있다. 오범은 “모델이 데이터 과학자의 머릿속에만 머무르는 한 머신러닝은 온전한 가치를 발휘하기 어렵다. 기업의 거시적 요구가 구체화할수록 머신러닝 모델의 계획과 배치, 실행 전반을 아우르는 워크플로우를 공유하기 위해 비즈니스 애널리스트-데이터 과학자 간 협업 환경이 점점 중요해질 것이다"라고 분석했다.

3. 데이터 로컬화에 대한 압박이 심화될 것이다
글로벌 법률 업체 모리슨 & 포에스터(Morrison & Foerster)는 프라이버시 관련 법률이 강화하면서 데이터를 자국 내에 보관하라는 압박이 심화될 것이라 내다봤다. 모리슨 & 포에스터 산하 글로벌 프라이버시 및 데이터 보안 그룹 공동 부회장인 미리엄 보그마에스터와 앤드류 서윈은 “러시아에서 최초로 데이터 로컬화 법안이 통과된 이후 얼마 전 중국 역시 데이터 로컬화 법안을 발의했다. 이러한 추세는 향후 수 년 간 다른 국가로 확산할 것이다”라고 말했다.

4. 기업의 데이터 수익화 노력은 힘겹게 진행될 것이다
시장조사업체 IDC는 기업에겐 데이터 상품화와 관련한 많은 선택지가 존재하지만, 그것이 그리 간단치만은 않은 과정이고 실제로 많은 기업이 기회를 놓칠 수 있다고 지적했다. 업체는 최근 발간한 'IDC 미래지평: 국제 CIO 아젠다 2017 전망 보고서'를 통해 많은 기업 리더의 바람에도 불구하고 데이터를 활용해 유의미한 상품, 수익구조를 창출하는 것은 쉽지 않은 여정이 될 것으로 내다봤다.

이어 "이 과정이 성공을 거두려면 데이터 수집, 운반, 변환, 스토리지, 애널리틱스 및 대시보드, 데이터 상품/서비스, 보안, 접근 통제 전반을 아우르는 데이터 지향적 서비스 스패닝(data-oriented data spanning)과 탄탄한 IT 전략이 필요하다. 이를 위해 애플리케이션과 시스템의 현황과 미래 구상을 검토해 창출된 데이터를 수익화할 방안을 고민하는 'IT-현업 연계 혁신 팀을 구성하는 것도 좋다"라고 제안했다.


5. 데이터 호수가 마침에 실용될 것이다
데이터 매니지먼트 업체 렐티오(Reltio)의 최고 마케팅 책임자(CMO) 레이먼 첸에 따르면, 초기에 데이터 레이크를 도입한 많은 기업은 단순히 스토리지와 프로세스 관련 비용을 절감하겠다는 구상이 아니었다. 거대 빅데이터 풀로써 더 나은 시각을 도출하는 서비스로 기능할 것으로 기대하고 막대한 예산을 쏟아부었다.

문제는 이 정보를 온전히 이해하고 운영 애플리케이션과 데이터 레이크 간의 데이터 입력 및 실시간 업데이트 수신 구조를 구현할 인력이 부족했다는 것이다. 마스터 데이터 관리와 운영 애플리케이션, 분석적 데이터 웨어하우스, 데이터 호수 사이에 존재하는 간극을 메워줄 전문가도 없었다. 첸은 "현재는 빅데이터 프로젝트에 믿을 수 있는 데이터 기반이 필요하다는 인식이 자리잡았다. 신규 프로젝트의 경우 전체론적인 데이터 관리 전략과의 연계도 강화됐다. 따라서 2017년에는 마침내 데이터 레이크가 실용성 있는 도구로 자리 잡아갈 것이다”라고 말했다.

6. M&A가 가속화될 것이다
렐티오의 첸은 “인공지능(AI), 머신러닝, 딥 러닝 시장에서 활발한 인수합병 행보가 전개되고 있다. 인수자의 주요 관심은 역시 AI 전문 인력을 확보하는 것이다. 기업은 이 분야에서 많은 가치를 발견하고 있지만, 그간 인수한 스타트업 대부분이 운영 역사가 짧아 전문 인력에 대한 수요는 여전히 충족되지 않고 있다. 이에 따라 2017년에도 M&A에 한층 가속도가 붙을 것으로 전망된다”라고 말했다.

7. IoT 아키텍트에 대한 수요가 급증할 것이다
IDC는 사물인터넷(IoT) 시장 규모가 2020년 1조 4,600억 달러 규모까지 성장할 것으로 예측했다. 시장 성장에 따라 관련 전문 인력에 대한 수요 역시 크게 증가할 것으로 전망된다. 데이터 및 애널리틱스 업체 테라데이타(Teradata)의 IoT 기술 마케팅 전문가 댄 그래험은 “HR 영역에서 사물인터넷 아키텍트의 인기는 데이터 과학자를 능가할 것이다. IoT의 성장은 엣지 컴퓨팅과 IoT 운영 디자인의 성장을 견인할 것이며, 관련 전문 역량을 지닌 인력의 유입 역시 늘어날 것이다"라고 말했다.

이어 "또한, 현재 IoT 애널리틱스 아키텍트에 대한 수요를 인지하고 있는 기업은 전체의 10% 미만에 불과하다. IoT 애널리틱스 아키텍트는 IoT 시스템 아키텍트와는 명확히 구분되는 직군이다. IoT 분산형 애널리틱스와 중앙화 애널리틱스를 모두 설계할 수 있는 소프트웨어 아키텍트의 가치 또한 크게 증가할 것이다”라고 덧붙였다.

8. 스트리밍 애널리틱스가 부활할 것이다
동작 중인 데이터를 분석하는 것은 사실 새로울 것이 없는 기술이다. 이벤트 프로세싱 프로그램이 처음 등장한 것은 벌써 20년 전의 일이다. 그러나 오범은 다양한 요인으로 인해 실시간 스트리밍이 특수 용도의 기술에서 더 보편적인 도구로 변모하고 있다는 점에 주목했다. 예를 들어 오픈 소스 기술과 확장형 상용 인프라 스트럭처(scalable commodity infrastructure)의 확산은 실시간 스트리밍에 대한 접근성을 향상시키는 요인으로 작용했다.

특히 IoT의 확산으로 실시간 감지, 분석, 대응할 수 있는 애플리케이션 스트리밍에 대한 관심이 높은 상황이다. 다만 시장의 통합에는 더 시간이 필요할 것으로 보인다. 오범은 보고서를 통해 “이 새로운 워크로드를 두고 관련 업체간 경쟁이 치열하다. 이 과정을 지나 궁극적으로 시장은 3~4개의 스트리밍 플랫폼으로 통일될 것이다"라고 전망했다.

현재 시장에서는 스파크 스트리밍(Spark Streaming), 아마존 키네시스 애널리틱스(Amazon Kinesis Analytics) 등 여러 경쟁자가 꾸준한 진보를 이뤄가고 있다. 오범은 “현재 초기 상태인 시장은 2017년을 기점으로 점차 정리될 것이다. 스트리밍 엔진이 성숙하고 IoT와의 연계를 통해 대규모 성장을 이룩하기까지 향후 24~36개월 가량의 시간이 걸릴 것으로 보인다"라고 덧붙였다. ciokr@idg.co.kr
X