Offcanvas

데이터센터 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 신기술|미래 / 애플리케이션 / 운영체제

'코끼리처럼, 카멜레온처럼'··· 진단! 하둡의 오늘

2014.08.20 Cindy Waxer  |  Computerworld


이노발론은 수 개월에 걸쳐 프로토 타입을 운용하고, 하드웨어를 준비하고, 소프트웨어 아키텍처를 구축한 이후에야 피보탈의 오픈소스 기반 하둡 프레임워크를 생산 환경에 도입했으며, 현재 데이터 관리 및 배포에 이 기술을 사용하고 있다. 또 이 시스템의 예측 분석 기능을 통해 환자와 관련된 성과를 개선하고 있다.

피보탈의 소프트웨어는 이노발론이 제휴한 약국 체인인 월그린에 효과를 전달하고 있다. 전국의 월그린 약국들이 이노발이 개발한 e패스(ePass)라는 소프트웨어를 사용하고 있다. 예측 분석을 바탕으로 환자의 상태를 파악하고, 의료적인 처치가 필요하다고 경고를 해주는 소프트웨어다. 이노발론의 조 로스톡 CTO는 피보탈의 비즈니스 등급 기술이 있었기에 이런 기능을 구현할 수 있었다고 강조했다.

로스톡은 "헬스케어 생태계의 데이터 배포와 관리에 있어 하둡 같은 데이터베이스 기술은 그리 큰 영향력을 갖고 있지 않다. 그러나 우리 회사의 데이터 과학자들은 데이터 이용과 관리에, 생산 엔지니어들은 분석을 통한 데이터 처리에 피봇 툴을 사용하고 있다"라고 말했다.

'보안 문제'
앱 개발을 간소화 해주는 툴에서 비즈니스 정보를 추출하는 소프트웨어 계층으로 발전하는 하둡 생태계는 점점 더 비즈니스 친화적인 기술로 변신하고 있다. 그러나 여전히 보안 문제가 하둡 도입을 방해하는 양상이다.

일단 전통적인 빅 데이터 환경에서는 경계선 보안 툴이 필요하다. 그러나 분산형 아키텍처인 하둡은 그 특성상 복잡한 계층 하나를 새로 추가해 보안 처리를 더욱 어렵도록 만드는 특성을 지닌다.

더 나아가, 데이터는 하둡 노드 사이를 더 빠르게 이동한다. 누가 중요한 비밀 데이터를 이용할 수 있는지 관리하는 역할 기반 제어 및 정책 집행이 어려워지는 것이다. 마지막으로, 하둡에는 보안 애드온이 늦게 추가 됐는데, 이것이 보안을 중시하는 IT 종사자들에게 부정적인 인식을 심어주고 있다.

프로페셔널 하둡 솔루션스(Professional Hadoop Solutions)의 저자인 노베타 솔루션스(Novetta Solutions)의 케빈 스미스 기술 디렉터는 "아파치 하둡은 원래 보안을 염두에 두지 않고 개발됐다. 우리가 알고 있는 하둡의 보안 기능 대부분은 불과 몇 년 전 구현이 된 것들이다. 그 결과 하둡의 보안 기능에는 보안에 전문성이 없는 많은 IT 종사자들에게 혼동을 초래하는 복잡성이 자리잡고 있다"라고 지적했다.

다행히, 새롭고 이용하기 쉬운 보안 툴을 개발하는 벤더의 수가 증가하고 있는 추세다. 제타세트 오케스트레이터(Zettaset Orchestrator)를 예로 들 수 있다. 빅 데이터 관리 및 보안용 응용 소프트웨어인 오케스트레이터는 현재 호튼웍스의 데이터 플랫폼 2.1을 지원하고 있다.

오케스트레이터는 하둡 배치를 간소화하는 관리계층으로 기능을 하면서, 하둡의 보안성을 높이기 위해 암호화, 엑세스 제어, 정책 집행, 지속적인 데이터베이스 업타임을 전달한다.

제타세트의 짐 보그트 CEO는 "CIO와 CSO들이 보안에 단호한 태도를 취하고 있다. 하둡은 오늘 날 데이터센터 기술과 동일한 수준의 보안 기능을 제공할 수 있도록 강화되어야 한다"라고 강조했다.

하둡의 보안 성능 개선을 주도하는 또 다른 움직임도 있다. 최근 호튼웍스가 하둡용 보안 및 정책 관리 공급업체인 XA 시큐어(XA Secure)를 인수한 것이다. 호튼웍스는 XA 시큐어의 기술을 호튼웍스 데이터 플랫폼에 통합하고, 동시에 오픈소스 기반 아파치 공동체에 이를 제시할 계획을 갖고 있다. XA 시큐어 소프트웨어는 데이터 보안 기능을 중앙화해 거버넌스를 더 쉽게 만든다는 장점을 갖고 있다.

'새롭게 개선된 POC(Proof of Concept, 개념증명)'
호튼웍스 같은 회사들이 각자의 배포판을 강화하는 노력을 기울이고 있지만, 여전히 하둡 보안을 걱정하는 사용자들이 많다.

캘리포니아 산타모니카(Santa Monica)에서 흥정 없이 자동차를 구매할 수 있는 서비스를 제공하는 자동차 데이터 회사인 트루카(TrueCar)에서 플랫폼 운용 부문을 담당하는 존 윌리엄스 수석 부사장은 "하둡의 보안은 여전히 초기 단계다"라고 진단했다.

트루카는 소비자의 차량 결정을 도울 수 있는 데이터를 처리해 분석하고 있다. 이 회사는 매일 신차 모델, 중고차 재고, 경매 데이터 등 1차 비구조화 데이터 700 기가바이트와 1억 개의 이미지 데이터를 처리하고 있다. 윌리엄스는 "우리는 방대한 데이터 생태계를 보유하고 있다"고 말했다.

트루카는 처리 데이터의 해석과 분석을 개선하기 위해 호튼웍스의 하둡 배포판을 선택했다. 신제품 개발 프로세스를 앞당기고, 인프라스트럭처 경상비를 절감하는 등의 장점이 있었다. 더 중요하게, 제한된 크기의 SQL 인프라스트럭처에 데이터를 집어 넣을 필요가 없어졌다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.