Offcanvas

경력관리 / 빅데이터 | 애널리틱스 / 애플리케이션

빅 데이터 기술, 어려운 맵리듀스 대신 캐스케이딩 부상

2012.06.08 Thor Olavsrud   |  CIO

아파치 하둡에서 맵리듀스를 다룰 수 있는 개발자를 찾는 것은 어려운 숙제다. 하지만 빅 데이터 애플리케이션을 구축하기 위한 오픈소스 자바 애플리케이션 프레임워크인 캐스케이딩이라면, 개발자 채용 부담을 덜 수 있을 것이다.

전 세계의 모든 산업 분야에서 빅 데이터 기술, 특히 아파치 하둡에 대한 투자가 점점 늘어나고 있다. 그러나 하둡 맵리듀스를 이용한 아파치 하둡 빅 데이터 애플리케이션의 개발은 어려운 작업이다. 기업들이 자사 빅 데이터 프로젝트를 위해 필요로 하는 맵리듀스 개발자는 아직 공급이 수요를 따라가지 못하고 있는 것이 현실이다. 그런데 자바 개발자들이 가진 역량을 빅 데이터 데이터 기술에 적용할 수 있도록 하는 API가 있다면? 그 가치는 이루 말할 수 없을 것이다.

관리 서비스 공급자 아바나드(Avanade)가 2012년 4월 진행한 조사에서 참여한 대부분의 기업(91%)이 현재 데이터 관리 및 분석 툴을 이용 중인 것으로 나타났다. 아바나드의 이번 조사는 빅 데이터를 둘러싼 기업들의 시각과 채택 경향을 정량화하기 위한 목적으로 진행된 것으로, 전세계 18개 국가의 임원진과 현업 사업부 임원, 그리고 IT 의사 결정권자 569명을 대상으로 했다.

빅 데이터의 전환점
아바나드의 북미 지역 BI 사업부를 총괄하는 스티브 팔머는 “빅 데이터는 시장의 주류로 안착하기 위한 전환점을 맞이하고 있다. 이번 연구에서 참가자의 95%는 자신 기업에서 데이터 분석이 더 이상 IT의 영역에만 국한된 업무가 아니라고 답했다. 이제 데이터 분석은 전 부서가 사용하고 있다”라고 설명했다.

전통적으로 데이터 관리와 분석은 IT의 역할로 여겨져 온 것이 사실이다. 그러나 이제 시장 환경은 변화하고 있다. 아바나드의 조사에서 응답자의 58%는 현재 데이터 관리가 그들 기업의 비즈니스 운용 전반에 영향을 미치고 있다는 말했다. 또한 글로벌 기업들을 대상으로 진행된 연구에서도 59%의 기업들이 기업 데이터에 대한 접근 및 활용 기회의 증가를 통해 의사 과정에의 직원 참여 수준이 증대되었다고 답한 바 있다.

팔머는 이러한 시각의 변화가 빅 데이터 기술에 대한 투자를 촉진했다고 강조했다. 현재 가장 높은 수준의 사용 경향을 보여주는 기술로는 데이터 스토리지나 리포팅, 데이터 통합, 엔터프라이즈 검색 등이 있다. 조사 응답자의 75%는 그들 기업이 향후 12개월 내 데이터 분석 능력 향상을 위한 추가적 투자를 진행할 계획이 있음을 밝혔다. 그리고 그들의 투자는 대부분 예측 분석이나 모바일 데이터 접속 및 관리 툴과 같은 빅 데이터 기술에 집중돼 있었다.

데이터 분석 기술에 투자하는 과정에서 맞닥뜨리는 가장 큰 난관을 묻는 질문에서는 직책 별로 상이한 답변이 도출됐다. 해당 문항에 대하여 C레벨들은 적절한 기술을 발견하는 과정을 가장 큰 어려움으로 꼽는 응답이 과반을 넘은(58%) 반면, 빅 데이터 프로그램을 실질적으로 지휘하고 있는 IT의사 결정권자 집단에서는 적절한 인력을 확보하는 것을 가장 큰 어려움으로 지목했다(56%). 또한 주주 집단에서도 기업이 데이터를 비즈니스 자산으로 변환할 새로운 방법론을 개발해야 한다는 요구가 증대되고 있었다(63%). 이들이 꼽은 주요 역량으로는 수학 및 통계(17%), 비즈니스 운용 및 분석(37%), 가상화 설계 및 보고(22%) 등이 있었다.
 


아파치 맵리듀스 개발자 수요 증대
기업들이 그들이 보유한 데이터를 실행 가능한 자산으로 바꿔 나가는 과정에서 마주하는 가장 큰 어려움 중 하나는 하둡 데이터에서의 맵리듀스 작업을 수행하는 과정을 처리할 개발자를 모집하는 것이다. 맵리듀스는 사용이 복잡하고 어려운 프레임워크다.

 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.