Offcanvas

BI / CIO / IoT / 비즈니스|경제 / 빅데이터 | 애널리틱스

피보탈 젬파이어 주역들, 인메모리 하이브리드 거래 분석 DB 개발

2016.04.29 Thor Olavsrud   |  CIO
데이터 분석 분야 신생벤처가 시리즈 A 펀딩으로 365만 달러를 확보했다. 시리즈 A 펀딩은 피보탈 젬파이어(Pivotal GemFire) 인메모리 데이터 그리드 개발에 참여한 피보탈(Pivotal), GE 벤처스(GE Ventures), GTD 캐피탈(GTD Capital)이 주도하는 것으로 알려졌다.


이미지 출처 : Pixabay

스냅피데이터(SnappyData)라는 이 신생벤처는 지금까지 스트리밍, 거래, 분석 환경을 맞춤 통합하느라 고생하던 기업의 수고를 덜어주기 위해 OLTP, OLAP, 아파치 스파크를 한데 묶는 인메모리 하이브리드 거래 분석 데이터베이스를 개발했다.

스냅피데이터의 오픈소스 플랫폼은 실시간 운영 분석을 위한 통합된 엔진을 제공하여 스트림 분석과 쌍둥이 데이터 모델링 기술인 OLTP 및 OLAP를 하나의 통합된 클러스터로 묶는다. 리차드 램, 잭스 람나라야난과 함께 스냅피데이터를 설립한 사장 서더 메논은 해당 플랫폼이 머신러닝 기법을 이용해 사용자가 시스템에 쿼리 성능을 크게 개선할 수 있도록 데이터 샘플을 요청할 수 있는 종류의 쿼리를 파악하는 AQP(Approximate Query Processing)을 이용한다고 밝혔다.

메논은 "이러한 쿼리를 매우 빠르게 실행할 수 있을 뿐 아니라 오류도 정확히 예측할 수 있다"며 "샘플은 데이터가 변경되면서 업데이트된다. 우리는 성능 문제를 해결하여 사용자가 더 많은 쿼리를 실행하고 더 많은 통찰력을 더욱 빠르게 얻도록 한다"고 말했다.

메논은 해당 솔루션이 아파치 스파크 인메모리 디자인과 단일 고장 지점을 예측하는 ‘SN(Shared Nothing)’ 아키텍처의 빅데이터 연상 능력을 융합한다고 말했다. 성능 문제 외에 해당 솔루션은 복잡성을 다루며 스파크에 직접 장착되어 있어 인메모리 데이터베이스를 제공함으로써 총 소유 비용을 절감해 준다.

스냅피데이터 플랫폼(SnappyData Platform)은 하나의 통합된 확장형 데이터베이스 클러스터로 정적 데이터 세트(HDFS에서 수집)를 입수하고 기업 데이터베이스로부터 업데이트 가능한 기준 데이터를 획득하며 메모리의 스트림을 관리하면서 스트림에서 연속 SQL 분석 및 (스트림, HDFS, 기업 DB에서 획득한) 데이터세트 전체에서 상호 쿼리를 실시한다. 스냅피데이터는 아파치 스파크를 연산 프레임으로, 젬파이어를 인메모리 처리 스토어로 긴밀히 통합해 이러한 목표를 달성한다.

상호 대응 시간을 확보하기 위해 스냅피데이터의 쿼리 엔진에는 최신 AQP 기법과 다양한 데이터 시놉스(Synopse)가 장착되어 있어 대규모 스트리밍이나 배치 데이터세트에서 상호 분석을 확보한다.

메논은 AQP의 기본적인 아이디어는 정적 샘플링 기법과 확률 데이터 구조를 이용해 데이터 세트 전체를 저장하거나 연산할 필요 없이 통합 클래스 쿼리를 처리하는 것이라고 말했다. 이 접근방식은 쿼리 정확도와 더욱 빠른 응답 시간 사이의 균형을 맞추어 유의미하고 정확한 오류 정보로 대규모 데이터 세트에서 쿼리를 운용할 수 있도록 한다.

피보탈의 기업 개발 및 전략 수석 부사장 레오 스피겔은 27일 발표한 성명서에서 "스냅피데이터는 지속적인 성장과 복합적인 작업 부하에 대한 수요에 맞추어 개발되었으며, 이를 통해 시간이 소요되고 비용이 높은 여러 솔루션을 한데 묶을 수 있다"며 "스냅피데이터의 성공을 뒷받침하게 되어 기쁘다"고 말했다.

램, 라마라야난, 메논은 피보탈에서 약 10년 동안 근무하면서 피보탈 젬파이어를 개발했다.

메논은 "고객이 전혀 없는 상태에서 1,300명의 고객을 확보할 때까지 약 9년 동안 우리는 제품을 개발했다"고 언급했다.

피보탈은 지난 1월 해당 팀을 독립시켰으며 지금은 30여 명의 엔지니어가 오레건주의 포틀랜드에서 근무하고 있다.

메논은 GE 디지털이 GE의 자체 프리딕스 인더스트리얼 IoT(Predix Industrial IoT) 플랫폼의 핵심인 산업용 IoT 실시간 데이터 처리를 위해 해당 플랫폼을 고려하고 있다고 말했다. 또 히타치는 실시간 운영 분석을 제공하면서 아시아 내 금융 서비스 고객들의 총 소유 비용을 절감할 수 있는 잠재력 때문에 스냅피데이터와 협력하고 있다. 메논은 스냅피데이터가 또한 현재 사기 감지/관리와 위험 관리에 관심이 있는 다수의 금융 서비스 고객들과 개념 증명을 하고 있다고 전했다.

램은 27일 성명서에서 "우리는 피보탈 젬파이어를 통한 인메모리 거래와 마찬가지로 실시간 분석을 추구하고 있다"고 밝혔다. 이어서 "이 투자는 다양한 시장에서 고객들에게 실제적인 부담으로 작용하는 문제를 해결하도록 도울 것이다"고 덧붙였다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.