Offcanvas

데이터센터 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 신기술|미래 / 애플리케이션 / 운영체제

'코끼리처럼, 카멜레온처럼'··· 진단! 하둡의 오늘

2014.08.20 Cindy Waxer  |  Computerworld


그는 "하둡은 데이터를 삭제하지 않아도 경제성을 유지할 수 있게 해줬다. 그 결과 비즈니스에 있어 모든 데이터를 풍부하게 유지할 수 있게 됐다. 그러나 보안 문제 때문에 고객의 이름, 주소, 전화번호 같은 고객 데이터는 하둡으로 POC를 할 수 없음을 깨달았다. 아직까지는 준비가 되어있지 않은 것이다"라고 말했다.

브라운은 컴스코어에서도 하둡의 보안이 큰 문제라고 말했다. 그는 자신의 회사가 데이터 보안 수준을 높이기 위해 상당한 노력을 기울였다고 강조했다. 그는 "우리는 데이터를 수집하는 네트워크 세트 하나, 데이터를 처리하는 네트워크 세트 하나를 보유하고 있다"고 설명했다. 또 표준 액티브 디렉토리(Active Directory) 보안 인프라스트럭처를 활용하고, 현장에서의 비밀 데이터 암호화에도 만전을 기울이고 있다고 덧붙였다.

그렇다면, 비즈니스 친화적인 하둡 시스템의 장점이 이 플랫폼의 보안 위험을 앞서는 지점은 어떻게 판단할 수 있을까? 많은 기업들의 경우, 하둡과 관련 툴을 기존 아키텍처와 통합할 수 있음을 입증하는 POC가 정답이다.

예를 들어, 트루카는 아파치 하이브(Apache Hive) 데이터 웨어하우스 소프트웨어에서 소수 쿼리를 실행시키는 간단한 방법으로 하드웨어를 테스트할 수 있었다. 그러나 이를 접고 '틀에 박히지 않은' 실험을 선택했다. 하둡에서 수만의 데이터 파일을 대량으로 병렬 처리한 방법이었다. 윌리엄스는 "이 POC 가 성공하면서 모든 사람들을 흥분시켰다"라고 말했다.

'미들맨을 없애주는 간소화'
무척 특이한 POC도 쉬워지고 있는 단계이다. 하둡 생태계의 간소화 덕분이다. 아틀랜타 소재 소아과 병원인 칠드런스 헬스케어(Children's Healthcare)는 2013년 여름, 클라우데라의 하둡 배포판을 테스트하기 시작했다.

하둡을 도입한 다른 기업이나 조직들과 달리, 칠드런스 헬스케어가 보유한 데이터의 양은 2.5TB에 불과했다. 그러나 매주 75GB씩 증가하고 있는 추세였다. 이 병원은 조지아 공대와 제휴해 병상 옆 모니터링 장치의 조명, 음성, 알람 데이터가 환자의 생리에 어떤 영향을 미치는지 실험하기 원했다. 또 의료 절차가 환자의 바이탈 사인(활력 징후)와 건강에 미치는 영향을 분석하는 프로젝트를 추진했다.

칠드런스 헬스케어의 BI 및 데이터 웨어하우징 매니저인 토드 데이비스는 하둡에서의 POC 수행이 쉬웠다고 전했다. 그는 "1TB 드라이브 6개에 600달러를 투자했다. 하드웨어 교체 덕분에 놀고 있는 워크스테이션도 있었다. 또 주말을 활용하면 됐다"고 말했다.

데이비스는 클러스터에 프랭큰두프(Frankendoop)라는 별명을 붙였다고 설명했다. 개인 신용카드로 구매한 데스크톱 워크스테이션을 분해해 구축했기 때문이다. 또 "단 4주가 소요됐고, POC를 실시할 툴을 갖고 있었다"고 덧붙였다.

샌드박스 환경에서 생산 현장으로의 이전도 간단했다. 칠드런스 헬스케어는 8대의 HP 서버와 클라우데라 라이선스를 구입한 후, 생산 단계로 전환하기 이전에 몇 달 동안 시스템 업타임을 테스트하고, 성능을 검증했다. 여기에는 '많은 보수를 지불해야 하는' 데이터 과학자가 관여하지 않았다. 데이비스는 "매일 틈나는 대로 시간을 투자해 하둡 시스템의 구성요소와 기술을 학습했다"라고 말했다.

'하둡 간소화에서 인력 조직 재편으로'
하둡 테스트에 있어 새로운 소프트웨어 툴이자 신선한 방식인 앱 갤러리가 간소화의 '열쇠'다. 그러나 통합 및 빅 데이터 컨설팅 서비스를 제공하는 씽크 빅 애널리틱스(Think Big Analytics)의 설립자인 론 보드킨은 "하둡 도입에 있어 가장 큰 도전은 '조직구조'다. 비즈니스 문제 해결에 적합한 기술을 실제 활용하도록 인력을 재편하는 것이 중요하다”라고 말했다.

보드킨은 프로그래머들이 각자의 이해에 따라 경쟁을 하도록 방치하는 대신 하둡을 한 사람이 관리할 수 있도록 최고 데이터 책임자 자리를 만들었다고 설명했다. COE(Center of Excellence) 팀을 통해 중요한 조직적 변화를 도모할 수 있다. 비즈니스 애널리스트를 IT 전문가와 통합시킨 부서를 만들어 협력을 촉진하고, 업무를 조율하는 방식이다.

그러나 모든 회사가 하둡 수용을 위해 조직구조를 바꿀 의지를 갖고 있는 것은 아니다. 하지만 호튼웍스, 클라우데라, 맵R 등 벤더들이 자신들의 하둡 배포판에서 보안 기능, BI 툴, 관리 계층을 확대하면, 보안이나 '인재유치'에 대한 걱정 없이 하둡을 수용하는 기업들이 증가할 것으로 관측된다.

스미스는 "현재 많은 기업들은 하둡과 관련된 '내용 전문가'가 필요한 단계이다. 그러나 하둡을 쉽게 이용할 수 있는 애플리케이션이 등장하고 있다. 이는 기업에서의 하둡 도입을 견인하는 요소가 될 것이다. 이것이 미래의 모델이다"라고 강조했다.

*Waxer는 프리랜서 저널리스트다. 이코노미스트, MIT 테크놀로지 리뷰, CNN머니 등에 기고하고 있다. ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.