Offcanvas

데이터센터 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 신기술|미래 / 애플리케이션 / 운영체제

'코끼리처럼, 카멜레온처럼'··· 진단! 하둡의 오늘

2014.08.20 Cindy Waxer  |  Computerworld
오늘날 가장 찾기 어려운 인재군 중 하나가 아파치 하둡(Apach Hadoop)에 능숙한 IT 전문가다. 노동 시장 전문 조사 기관인 원티드 애널리틱스(Wanted Analytics)에 따르면, 하둡 전문가에 대한 수요는 지난 해 이후 34%가 급증했다.

그러나 이렇게 인재 유치 경쟁이 치열함에도 불구하고, 데이터 과학 분야 인재들이 많은 연봉을 챙기던 시대는 이미 저물어가고 있을지도 모른다.

왜일까? 하둡은 우수한 데이터 처리 능력과 저장력으로 유명하다. 물론 복잡하다는 특성도 갖고 있다. 하지만 이런 역량이 필요한 기업들이 더 이상 하둡 기술을 가진 IT 전문가를 찾기 위해 애를 쓸 필요가 줄어들고 있다. 벤더들이 이용하기 쉬운 하둡 시스템을 개발하고 있기 때문이다.

대용량의 데이터 세트를 처리하는 비즈니스 친화적 하둡 애플리케이션을 개발하는 벤더들로는 피보탈 소프트웨어(Pivotal Software), 싱크소프트(Syncsoft), 맵알 테크놀로지(MapR Technologies), 제타세트(Zettaset) 등을 예로 들 수 있다.

그 결과 비싼 인재들에 대한 의존도를 낮추고, 보안 수준을 높이며, 비용을 절감하는 한편, 비즈니스 목표에 맞도록 비즈니스 데이터를 활용할 수 있다고 주장하는 제품 생태계가 출현하고 있다.

그러나 이런 시스템이 증가 및 발전함에도 불구하고, 하둡이 본질적인 보안 취약점을 극복하고, 마이크로소프트 윈도우와 관련 비즈니스 애플리케이션과는 다른 완전한 운영 시스템으로 부상할 수 있을지에 의구심을 갖는 IT 전문가들이 많다.

버지니아 레스톤 소재 컴스코어(ComScore)의 마이클 브라운은 하둡 시스템에 만족하고 있는 사용자 중 한 명이다.

컴스코어는 200여 만 명의 온라인 쇼핑 행동양태를 모니터링하고, 광고주들이 타깃화된 마케팅 캠페인을 추진할 수 있도록 지원하는 웹 인텔리전스(정보) 회사로 매일 600억 개의 데이터를 '소화'한다.

이 회사는 데이터를 즉시 이용할 수 있는 상태로 만들기 위해 2011년 가을 맵알의 하둡 배포판을 도입했다. 그러나 맵알 시스템을 도입했음에도 불구하고, 데이터 과학자들은 하둡으로 데이터를 이전할 수 있도록 직접 코드를 입력해 애플리케이션을 개발해야 했다.

그러다 지난 해 싱크소프트의 DMX-h를 도입하면서 이 문제를 해결했다. 맵알이 6월 인증한 싱크소프트의 하둡 ETL(Extract, Transform, Load) 소프트웨어는 컴스코어가 손으로 코딩을 할 필요 없이 레가시(기존) 시스템에서 하둡으로 중요한 데이터를 옮길 수 있도록 조정을 하는 기능을 지원했다. 이 회사는 그 결과 더 빨리 데이터를 처리하고 있으며, 앱의 시장 출시를 앞당기고 있고, 하드웨어에 대한 투자를 줄일 수 있다.

컴스코어는 최근 아파치 피그(Apache Pig) 플랫폼에서 75줄의 코드를 개발하는 것과 싱크소프트의 DMX-h에 쓰기 작업을 하는 것을 비교했다. 그리고 아파치 시스템에서는 25시간이, 싱크소프트 에서는 12시간이 소요됨을 발견했다.

맵알의 새로운 애플리케이션 갤러리를 이용할 경우 하둡이 더욱 간단해진다. 지난 6월 출시된 이 갤러리에는 프로비저닝, 보안, 비즈니스 인텔리전스, 머신 학습 등 하둡 기능 일체를 지원하는 다양하면서도 즉시 사용할 수 앱들이 들어 있다.

아직까지 기업들은 빅 데이터 앱 구축에 있어 복잡한 작업들을 처리하기 위해 뛰어난 기술력을 갖춘 내부 프로그래머와 엔지니어들에게 의지하고 있다. 그러나 맵알 갤러리 같이 더욱 쉽게 앱을 개발할 수 있는 대안들이 등장하고 있다. 클라우데라(Cloudera)의 임원들이 설립한 스케일링 데이터(Scaling Data)는 하둡을 운용할 수 있는 쉬운 애플리케이션 라인을 개발하는 것과 관련해 최근 440만 달러의 벤처 자본을 유치하기도 했다.

맵알 갤러리 사용을 검토하고 있는 브라운은 "하둡 시스템에 추가할 수 있는 애플리케이션들이 판매되기 시작한 상태다. 이는 정말이지 큰 변화다"고 강조했다.

'하둡을 다음 단계로'
이용하기 쉬운 소프트웨어를 개발해 기업의 하둡 도입을 견인하고 있는, 또 다른 회사로는 이노발론(Inovalon)을 예로 들 수 있다.

매릴랜드 보위 소재의 헬스케어 데이터 애널릭틱스 솔루션 공급사인 이노발론은 1억 4,000만 명의 환자, 22만의 임상 그룹, 54만 명의 의료진에 대한 데이터를 관리하고 있다. 이 회사는 이 정보를 처리하기 위해 당초 호튼웍스(Hortonworks), 클라우데라(Cloudera), 맵알의 시스템 중 하나를 선택하려 했다. 그러나 결국에는 데이터 고속 처리는 물론 빅 데이터 스트림에서 지능을 검출할 수 있는 피보탈 소프트웨어를 선택했다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.