Offcanvas

BI / How To / IoT / SNS / 개발자 / 모바일 / 빅데이터 | 애널리틱스 / 오픈소스

빅데이터 윤활유 '아파치 카프카', 왜 주목받나

2015.11.03 Katherine Noyes  |  IDG News Service


한편 콘플루언트는 사용료 모델로 대기업들이 카프카를 생산시스템에 사용하는데 도움을 주기 위한 고급 관리 소프트웨어를 제공하고 있다. 콘플루언트의 고객들로는 주요 대형 유통기업과 “미국 내 최대 규모의 신용카드 발행업체 중 하나”가 있다고 나케데는 이야기했다.

그 신용카드 발행업체는 실시간 사기 보호에 카프카를 활용하고 있다고 그녀는 이야기했다.

카프카는 “믿을 수 없을 정도로 빠른 메시징 버스”로 수많은 각기 다른 유형의 데이터를 빠르게 통합하는데 좋다고 451리서치(451 Research)의 애널리스트 제이슨 스탬퍼는 이야기했다. 이어서 그는 “그게 바로 카프카가 가장 인기 있는 선택지 중 하나로 떠오르는 이유”라고 덧붙였다.

액티브MQ와 래빗MQ 이외에 비슷한 기능성을 제공하는 다른 제품으로 아파치 플룸(Apache Flume)이 있다고 그는 이야기했다; 스톰(Storm)과 스파크 스트리밍(Spark Streaming) 역시 많은 부분에서 유사하다.

상업적으로 콘플루언트의 경쟁자로는 IBM 인포스피어 스트림(InfoSphere Streams), 인포매티카(Informatica)의 울트라 메시징 스트리밍 에디션(Ultra Messaging Streaming Edition), SAS의 스트림 프로세싱 엔진(Streaming Processing Engine)과 소프트웨어 AG(Software AG)의 아파마(Apama), 팁코의 스트림베이스(StreamBase), SAP의 알레리(Aleri)가 있다고 스탬퍼는 덧붙였다. 소규모 경쟁자들로는 데이터토렌트(DataTorrent), 스플렁크(Splunk), 로글리(Loggly), 로젠트리(Logentries), X15소프트웨어(X15Software), 수모 로직(Sumo Logic), 글래스빔(Glassbeam)이 있다.

클라우드에서 AWS의 키네시스 스트림-프로세싱 서비스는 “자체 레드시프트(Redshift) 데이터 웨어하우스와 S3 스토리지 플랫폼류와의 통합이라는 추가 혜택이 있다”고 그는 이야기했다.

포레스터의 부회장이자 수석 애널리스트인 브라이언 홉킨스는 테라데이타가 새로 발표한 리스너(Listner)의 또 다른 경쟁자로 카프카-기반을 지목했다.

일반적으로 실시간 데이터로 가는 뚜렷한 동향이 존재한다고 홉킨스는 이야기했다.

“2013년 정도까지 빅데이터는 하둡에 쌓인 막대한 양의 데이터를 의미했다”고 그는 이야기했다. “현재는 그렇게 하지 않으면 이미 경쟁에서 뒤쳐지고 있는 것이다”고 홉킨스는 전했다.

오늘날 스마트폰과 다른 소스들로부터의 데이터는 기업들이 실시간으로 고객과 소통하고 맥락적 경험을 제공하기 위한 기회를 준다고 그는 이야기했다. 이는 결과적으로 데이터를 더 빠르게 이해하는 능력에 달려있다.

홉킨스는 “사물인터넷이 모바일의 두 번째 물결과도 같다”며 “모든 IT업체들은 데이터의 눈사태에 대비하고 있다”고 강조했다.

그 결과 기술은 변화에 따라 적응하고 있다.

“2014년까지는 하둡이 전부였고 그 다음이 스파크였다. 현재는 하둡, 스파크, 카프카다. 이들은 분석 아키텍처에서 데이터 취합 파이프라인의 삼두마차다”고 홉킨스는 전했다. ciokr@idg.co.kr
 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.