Offcanvas

경력관리 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 애플리케이션 / 클라우드

빅 데이터, 거대한 커리어 기회 창출 중

2012.03.08 Carolyn Duffy Marsan  |  Network World
'빅 데이터(Big Data)' 분야에서 새로운 일자리가 속속 생겨나고 있다. 빅 데이터는 기업들이 고객과 관련된 방대한 데이터를 실시간으로 수집하고 분석해 의사결정과 수익 확대에 활용하는 방법을 설명하는 용어다.

이와 관련, 우선 데이터 과학자(Data Scientist)라고 불리는 새로운 직책에 대한 수요가 급증하고 있다. 데이터 과학자는 일반적으로 컴퓨터 사이언스나 수학 분야에 전문성을 갖고, 기업이 수집한 방대한 정보에서 필요한 정보를 발굴하는데 필요한 분석력을 보유한 인물을 말한다.

IBM의 빅 데이터 제품 부문 안줄 밤브리(Anjul Bhambhri) 부사장은 "데이터 과학자란 탐구심이 많고, 데이터를 조사해 트렌드를 포착할 수 있는 사람들이다. 또 정말 학습에 열의가 있고, 기업에 변화를 불러오기 갈망하는 사람들이다"고 설명했다.

18개월 전만 하더라도 생소했던 단어인 데이터 과학자의 위세는 구글 검색에서도 엿볼 수 있다. 구글에서 '데이터 과학자'를 검색했을 때 나오는 결과는 2011년 4분기에서 2012년 1분기 사이 무려 20배 이상이 늘어났다. 특히 첨단산업의 집결지인 샌프란시스코와 워싱턴 DC, 뉴욕 등에서 검색되는 횟수가 많은 것이 특징이다.

또 페이팔(PayPal), 아마존(Amazon), HP 등 미국의 대표적인 기업들이 데이터 과학자 채용을 모색하는 중이다. IT 분야 채용 사이트인 다이스닷컴(Dice.com)에서도 데이터 과학자를 검색하면 195개의 채용공고가 뜬다.

또 IT 부서들은 오픈소스인 아파치 하둡(Apache Hadoop) 소프트웨어 같은 툴에 전문화된 시스템 관리자들과 데이터에 강점이 있는 개발자들을 추가 채용하고 있다. 하둡은 데이터 집약 분산형 애플리케이션으로 야후(Yahoo), 페이스북(Facebook), 이베이(eBay), 링크드인(LinkedIn) 등 유명 웹사이트들이 활용하고 있는 기술다.

다이스닷컴에 올라와있는 하둡과 관련된 일자리는 전체 8만3,122개 일자리 중 612개에 달한다. AT&T 인터렉티브, 시어스(Sears), 페이팔, AOL, 딜로이트(Deloitte)가 하둡 소프트웨어 엔지니어와 개발자들을 채용하고 있다.

다이스닷컴의 앨리스 힐 매니징 디렉터는 "하둡은 새로이 각광받고 있는 기술이다. 기업들은 대규모 데이터를 관리해야 하는 실정이다. 하둡은 낮은 비용에 이런 일을 할 수 있도록 해준다는 장점이 있다. 이는 클라우드로의 전반적인 이동과도 관련이 있다"라고 말했다.

힐은 경력직과 신입직 모두를 대상으로 하둡과 관련된 일자리가 창출되고 있다고 말했다. 또 하드웨어와 소프트웨어 전문가들에게도 기회가 있는 일자리라고 덧붙였다.

힐은 "전통적인 하드웨어 전문가들이라도 여러 환경에서 클러스트를 구현하는 방법을 파악해야 한다. 데이터베이스를 구입해 하드 드라이브를 연결하는 방식이 더 이상은 주류가 아니기 때문이다. 지금은 여러 서버와 하드 드라이브에 분산된 데이터베이스가 중심이 되고 있다"고 설명했다. 하둡은 비용이 저렴하다는 장점이 있다. 그러나 하드웨어를 확장하는 방법을 제대로 알고 있는 인력이 필요하다.

힐에 따르면, 하둡은 관계형 데이터베이스 관리 경험이 있는 IT 분야 직장인들에게 적합한 기술이다. 그녀는 "데이터 구조와 쿼리를 제대로 이해하고 있다면, 많은 일자리 기회가 보장될 것"이라고 덧붙였다.

인터넷, e커스, 금융, 헬쓰케어, 에너지, 유틸리티, 미디어에 이르기까지 전 산업에서 데이터 과학자와 하둡 전문가를 찾고 있다.

힐은 "데이터 관리와 관련된 기술을 갖고 있다면 다양한 선택을 할 수 있다. 경력직 직원은 물론 이제 갓 대학을 졸업한 컴퓨터 사이언스 전공자에게도 기회가 있다. 전문화 하기에 더할 나위 없이 좋은 분야다"고 강조했다.

밤브리 부사장에 따르면, IT 부서들은 빅 데이터 분야에서 신규 채용을 추진하고 있다. 또 기존 직원들을 대상으로 데이터 분석과 하둡 관련 프로그래밍 및 관리 기술을 습득하도록 지원하고 있다. 예를 들어, IBM은 지난해 고객과 협력사를 대상으로 주최한 빅 데이터 부트 캠프(Big Data Bootcamp)에서 IT 직원 2,400명에게 재교육 기회를 제공하기도 했다.

밤브리는 "IT 부서들은 자신들의 데이터 플랫폼을 확장해야만 하는 처지이다. 또 이런 확장은 구조화 데이터에만 국한되어 있지 않다. 비구조화 데이터를 가져올 새 출처를 마련해야 한다. 경영진의 의사결정 과정을 지원하기 위해서다. IT 부서의 시각에서 보자면, 데이터 출처를 파악해야 할뿐만 아니라 비즈니스 부서와 협력해 기업 내 플랫폼에 통합할 필요가 있는 다른 출처 또한 발굴해야 한다"고 설명했다.

IBM은 학부생과 대학생을 대상으로 빅 데이터와 하둡과 관련된 교육을 제공하는 빅 데이터 대학(Big Data University)이라는 계획을 추진 중이다. 지난해 10월 처음 시작된 이 빅 데이터 대학은 1만4,000명의 학생들이 온라인 과정에 등록을 하는 성과를 올렸다. IBM은 하둡과 빅 데이터와 관련된 6개 온라인 과정을 제공하고 있다.

밤브리는 "우리는 학생들이 빅 데이터의 잠재성과 이 새로운 데이터 원천에서 어떤 성과가 나오는지 직접 확인할 수 있도록 노력하고 있다. 구체적으로 소매, 헬쓰케어, 통신 회사들의 사례를 제시하고 있기도 하다. 또 여러 다양한 산업의 여러 고객들과 협력하며 과거에는 불가능했던 결과를 일궈낸 사례를 보여주고 있다"라고 말했다.

밤블리는 데이터 관리와 하둡 분야의 커리어 전망이 낙관적이라고 강조했다.

그는 "모든 산업에 포착해야 할 많은 데이터가 있다. 센서 데이터나 로그 데이터, 페이스북과 트위터 같은 소셜 미디어를 출처로 하는 데이터다"고 말했다.

이어 "데이터의 양이 어마어마하다. 많은 고객들이 이런 데이터를 포착하고 있다. 그러나 현재까지는 적은 비용에 신속하게 데이터를 분석하도록 해주는 기술이 부재한 실정이다. 여기서 병목 현상이 발생하고 있다. 다행히 야후와 구글 같은 회사들이 하둡과 맵리듀스를 활용하는 방법을 모색 중이다. 따라서 이런 오픈소스 툴이 병목 현상을 해소하게 될 것이다"고 덧붙였다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.