Offcanvas

데이터센터 / 머신러닝|딥러닝 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 신기술|미래 / 애플리케이션

이상은 '데이터 과학자', 현실은 '디지털 청소부'

2016.03.24 Katherine Noyes  |  PCWorld
데이터 과학자는 가장 주목받는 직업 중 하나이다. 그러나 현실은 업무 시간 대부분을 분석을 위한 데이터 정제에 사용하는 '디지털 청소부(digital janitors)' 역할에 더 가까운 것으로 나타났다.


이미지 출처 : 크라우드플라워

클라우드 소싱 업체인 크라우드플라워(CrowdFlower)가 데이터 과학자 80명을 대상으로 조사한 결과를 보면, 이들은 학사 이상의 학위를 갖고 있지만, 전체 응답자의 60%가 업무 시간 대부분을 데이터 정제와 분류에 사용하고 있다고 답했다. 트레이닝 세트를 만들거나 알고리듬을 정의하는 등 분석적 작업은 거의 하지 못하는 것으로 나타났다.

크라우드플라워의 공동 창업자이자 CEO인 루카스 비왈드는 "기업이 가장 고심해 뽑은 인력이 업무 시간 대부분을 데이터 정제에 허비하고 있다"며 "기업에도 막대한 손실"이라고 말했다. 데이터 과학자 역시 절반 이상이 데이터를 정제하고 분류하는 것을 가장 피하고 싶은 업무로 꼽았다. 하지만 현실이 이렇다고 해서 불행한 것은 아니다. 응답자의 80% 이상이 현재 직장에서 행복하다고 답했다.

또한, 이번 클라우드플라워의 조사 결과를 보면 데이터 과학자에 대한 구인란과 필요한 기술도 확인할 수 있다. 지난해 조사에서는 '데이터 과학자가 부족하다'는 응답이 79%였지만 올해는 83%로 늘었다. 데이터 과학자에게 가장 필요한 기술로는 SQL과 하둡, 파이썬, 자바, R, 하이브, 맵리듀스, NoSQL, 피그(Pig) 그리고 새스(SAS)인 것으로 나타났다.

한편 앞으로 새롭게 주목해야 할 기술은 단연 머신러닝이었다. 응답자의 절반 이상이 특히 중요한 기술로 머신러닝을 꼽았다. 비왈드는 "지난 2년 이상 모든 CEO가 '우리 회사의 빅데이터 전략은 무엇인가?'라는 질문해 해 왔다"며 "하지만 이제는 머신러닝에 관해 묻기 시작해야 한다"고 말했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.