Offcanvas

빅데이터 | 애널리틱스 / 신기술|미래 / 애플리케이션

"어떤 빅 데이터 패브릭에서도 앱 실행" 캐스케이딩 3.0 나온다

2014.05.14 Thor Olavsrud  |  CIO
이미 구축한 하둡 및 NoSQL 인프라 위에 기업 데이터 애플리케이션을 구축하려는 기업이 늘고 있다. 하지만 이러한 과정에서 하둡 자체는 더욱 다양해지고 복잡해지는 양상을 보이게 된다. 그리고 이는 애플리케이션 개발자들에게 잠재적 골칫거리로 작용한다.

그러나 오픈소스 캐스케이딩(Cascading) 애플리케이션 프레임워크를 후원하는 데이터 애플리케이션 플랫폼 전문기업 컨커런트(Concurrent)는 이러한 현상을 기회로 간주하고 있다.

원래 아파치 하둡은 하둡 분산형 파일 시스템(HDFS)와 맵리듀스(MapReduce)의 조합으로 시작됐다. 파일 저장에는 HDFS를, 연산에는 맵리듀스를 이용하는 구조였다.

그러나 이제는 하둡 내 연산 옵션이 다수 등장했다. 아파치 테즈(Tez ; 준 실시간 빅 데이터 처리 프레임워크), 아파치 스톰(스트림 처리를 위한 분산형 컴퓨테이션 프레이워크) 등이 그것이다. 맵알(MapR)의 경우 심어 HDFS 대안도 제시하고 있다.

컨커런트의 설립자이자 CTO이며 캐스케이딩 원저자인 크리스 윈슬은 "맵리듀스 내에서 생각하는 것과 테즈 내에서 생각해야만 하는 것은 완전히 별개다"라며, "거대한 도전 요소다"라고 말했다.

그는 이어 "하둡이 분열되고 있는 양상이다. 어쩌면 이제 하둡이란 없다. HDFS와 그 위에서도 구동되는 다양한 것들이 있을 뿐"이라고 말했다.

캐스케이딩, 하둡을 위한 고안된 소프트웨어 추상 계층
하둡용 소프트웨어 추상 계층인 캐스케이딩은 개발자들이 어떠한 빅 데이터 인프라스트럭처 상에서도 데이터 애플리케이션을 작성하고 배치할 수 있도록 해준다. 컨커런트가 이베이, 링크드인, 트위터, 핀터레이스와 같은 거대 웹 2.0 고객사를 유치할 수 있었던 이유이며, 월간 15만 명의 사용자가 다운로드하고 있는 이유다.

컨커런트 고객들은 이를 이용해 ETL이나 운영 분석과 같은 기업 IT 애플리케이션 에서부터 HR 애널리틱스, 위치 기반 서비스와 같은 통신 앱, 마케팅 앱, 추천 앱, 파이낸스 앱, 헬스 및 바이오테크 앱에 이르는 기업 애플리케이션을 구축하고 있다.

윈슬은 캐스케이딩을 작성한 이유에 대해 분개했기 때문이라고 설명했다. 맵리듀스를 사용한 이후, 이를 직접적으로 사용할 필요가 없도록 만들고 싶었다는 설명이다. 그는 캐스케이딩 3.0 버전에서는 또 한번의 진전이 이뤄졌다면서, 이제 더이상 맵리듀스에 관한 것이 아니라고 강조했다.

캐스케이딩 3.0, 부상 중인 빅 데이터 패브릭 지원
그에 따르면 캐스케이딩 3.0은 새로운 커스텀 가능한 쿼리 플래너를 지원한다. 이를 통해 데이터 앱은 기존 및 신규 패브릭에서 실행할 수 있게 된다.

윈슬은 또 출시 시점에는 캐스케이딩 3.0이 로컬 인메모리, 아파치 맵리듀스, 아파치 테크를 지원할 것이며, 아파치 스팍 및 아파치 스톰에 대한 지원도 곧 이뤄질 것이라고 전했다.

이는 기업이 다양한 비즈니스 문제를 위한 데이터 애플리케이션을 레이턴시나 규모에 관계 없이 단일 API 상에서 표준화할 수 있다는 의미다.

윈슬은 또 캐스케이딩 상에 구축된 써드파티 제품, 데이터 애플리케이션, 프레임워크, 다이나믹 프로그래밍 언어들이 간편성으로 인해 즉각적으로 효용을 발휘할 수 있다고 덧붙였다.

컨커런트에 따르면 캐스케이딩 3.0은 올 초여름께 공식 등장할 예정이며, 아파치 2.0 라이선스 아래 자유롭게 라이선스할 수 있다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.