버지니아 레스톤 소재 컴스코어(ComScore)의 마이클 브라운은 하둡 시스템에 만족하고 있는 사용자 중 한 명이다.
컴스코어는 200여 만 명의 온라인 쇼핑 행동양태를 모니터링하고, 광고주들이 타깃화된 마케팅 캠페인을 추진할 수 있도록 지원하는 웹 인텔리전스(정보) 회사로 매일 600억 개의 데이터를 '소화'한다.
이 회사는 데이터를 즉시 이용할 수 있는 상태로 만들기 위해 2011년 가을 맵알의 하둡 배포판을 도입했다. 그러나 맵알 시스템을 도입했음에도 불구하고, 데이터 과학자들은 하둡으로 데이터를 이전할 수 있도록 직접 코드를 입력해 애플리케이션을 개발해야 했다.
그러다 지난 해 싱크소프트의 DMX-h를 도입하면서 이 문제를 해결했다. 맵알이 6월 인증한 싱크소프트의 하둡 ETL(Extract, Transform, Load) 소프트웨어는 컴스코어가 손으로 코딩을 할 필요 없이 레가시(기존) 시스템에서 하둡으로 중요한 데이터를 옮길 수 있도록 조정을 하는 기능을 지원했다. 이 회사는 그 결과 더 빨리 데이터를 처리하고 있으며, 앱의 시장 출시를 앞당기고 있고, 하드웨어에 대한 투자를 줄일 수 있다.
컴스코어는 최근 아파치 피그(Apache Pig) 플랫폼에서 75줄의 코드를 개발하는 것과 싱크소프트의 DMX-h에 쓰기 작업을 하는 것을 비교했다. 그리고 아파치 시스템에서는 25시간이, 싱크소프트 에서는 12시간이 소요됨을 발견했다.
맵알의 새로운 애플리케이션 갤러리를 이용할 경우 하둡이 더욱 간단해진다. 지난 6월 출시된 이 갤러리에는 프로비저닝, 보안, 비즈니스 인텔리전스, 머신 학습 등 하둡 기능 일체를 지원하는 다양하면서도 즉시 사용할 수 앱들이 들어 있다.
아직까지 기업들은 빅 데이터 앱 구축에 있어 복잡한 작업들을 처리하기 위해 뛰어난 기술력을 갖춘 내부 프로그래머와 엔지니어들에게 의지하고 있다. 그러나 맵알 갤러리 같이 더욱 쉽게 앱을 개발할 수 있는 대안들이 등장하고 있다. 클라우데라(Cloudera)의 임원들이 설립한 스케일링 데이터(Scaling Data)는 하둡을 운용할 수 있는 쉬운 애플리케이션 라인을 개발하는 것과 관련해 최근 440만 달러의 벤처 자본을 유치하기도 했다.
맵알 갤러리 사용을 검토하고 있는 브라운은 "하둡 시스템에 추가할 수 있는 애플리케이션들이 판매되기 시작한 상태다. 이는 정말이지 큰 변화다"고 강조했다.
'하둡을 다음 단계로'
이용하기 쉬운 소프트웨어를 개발해 기업의 하둡 도입을 견인하고 있는, 또 다른 회사로는 이노발론(Inovalon)을 예로 들 수 있다.
매릴랜드 보위 소재의 헬스케어 데이터 애널릭틱스 솔루션 공급사인 이노발론은 1억 4,000만 명의 환자, 22만의 임상 그룹, 54만 명의 의료진에 대한 데이터를 관리하고 있다. 이 회사는 이 정보를 처리하기 위해 당초 호튼웍스(Hortonworks), 클라우데라(Cloudera), 맵알의 시스템 중 하나를 선택하려 했다. 그러나 결국에는 데이터 고속 처리는 물론 빅 데이터 스트림에서 지능을 검출할 수 있는 피보탈 소프트웨어를 선택했다.