Offcanvas

데이터센터 / 빅데이터 | 애널리틱스 / 애플리케이션

"하둡, 준비없는 도입은 위험" 전문가들 지적

2012.02.28 Todd R. Weiss  |  Computerworld
애널리스트와 초기 사용자들의 경고는, 대다수이 데이터센터들이 하둡을 다룰만한 애널리틱스 전문가를 충분히 보유하지 못하고 있다는 것이다.

아파치.org의 하둡 사용자 리스트에는 150여 곳 이상의 기업이 등재돼 있다. JP모건을 비롯해 IBM, 구글, 부즈 앨런 앤 해밀턴, 뉴욕 타임즈 등 이름만 들어도 굵직한 기업들이다. 이 빅 데이터 관리 시스템은 이제 그야말로 열풍인 것처럼 보인다.

그러나 여러 애널리스트와 초기 사용자들은 이 오픈소스 기술을 활용하려는 움직임을 취하는데 있어 신중할 것을 요구하고 있다. 하둡의 경우 심도 깊은 훈련과 애널릭틱스 전문가를 요구하는데, 이에 대한 준비가 충분하지 않다는 이유에서다.

이 밖에 하둡 기술을 공급하는 기업들이 급증하고 있지만, 경쟁이 격화되면서 벤더 지원이 사라지는 사태를 맞이할 수도 잇다고 경고하고 있다.

하둡은 전통적인 데이터베이스 관리 시스템에 비해 확실한 우위를 지니고 있따. 특히 동영상, 오디오, 이메일과 같은 비구조적인 정보까지도 다룰 수 있는 능력이 매력적이다. 하둡 시스템은 또 비교적 간단하게 확장될 수 있다는 강점도 지닌다.

포레스터 리서치의 제임스 코빌리우스 애널리스트는 미국 기업의 1%만이 생산 환경에서 하둡을 이용하고 있을 뿐이라고 진단했다. 그는 그러나 현재 2%, 또는 3%까지 확대될 것으로 예상한다고 밝혔다.

컨커런트 컴퓨터와 이베이는 하둡을 조기에 도입한 기업 중 하나다. 이들은 특정 애플리케이션을 위해 빅 데이터 기술을 이용하고 있다. 전통적인 관계형 데이터베이스 기술도 물론 이용하고 있다.

쾨빌리우스는 이들 기업의 IT 조직이 전문 기술을 확보해감에 따라 하둡으로 더욱 많은 문제를 풀어내고 있다고 말했다.

이베이는 수천 개의 노드 상에서 하둡 기반의 클러스터에 비구조화된 데이터를 저장하고 있다. 트랜젝션 프로세싱과 같은 핵심 업무에는 관계형 데이터베이스를 이용한다.

이 회사의 경험, 검색 및 플랫폼 부사장 휴 윌리암스는 "데이터 작업에 여러 기술을 활용함으로써 이득을 얻고 있다. 하둡은 특정 용도에 있어 탁월한 선택이며, 다른 기술들도 또 다른 용도로 활용된다"라고 말했다.

그는 장기적으로 어떤 기술을 사용할지에 대해 유연하자는 입장이라며 "하나의 통합 기술이 지배하는 세상은 아닐 것이라고 본다"라고 말했다.

비디오 스트리밍 시스템 제조사 컨커런트는 하둡을 "대규모 데이터 연산과 같은 고부하 작업"에 사용하고 있다.

회사의 엔지니어링 디렉터 윌리엄 라자로는 그러나 마이SQL,포스트그레SQL, 오라클과 같은 여러 관계형 데이터베이스를 다른 업무 처리를 위해 계속 사용할 것이라고 전했다.

쾨빌리우스는 하둡 기술과 관련해 현재의 시장 상황이 '소용돌이 치는' 상황이라고 표현했다. 벤더 커뮤니티가 빠르게 성장하고 급격히 진화하고 있다는 이유에서다.

가트너 애널리스트 마쿠스 콜린스는 하둡 기술에 몰입되기 전에 전문가를 탐색할 시간을 충분히 가지라고 권고했다. 그는 "직원들을 훈련시키고 애널리틱스에 투자할 필요가 있다"라고 말했다.

이베이의 윌리암스도 이에 동의하며 "사소한 부분이 아니다. 우리 또한 많은 교육을 투자해서야 엔지니어들이 하둡을 활용하고 코드를 작성할 수 있게 됐다. 과소평가해서는 안되는 부분"이라고 말했다.

임원들을 교육시킬 필요가 있다는 지적도 제기됐다. 중요하지 않은 업무에 일단 하둡을 활용해보는 것도 한 방법이다. 그러나 하둡을 이용해 거대한 시스템을 개발하고 활용하는 작업은 전적으로 다른작업무라는 점도 잊지 말아야 한다고 이들은 강조했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.