아이스버그 주도권 경쟁 심화··· 데이터브릭스, 오픈소스 스토리지 플랫폼 업체 ‘태뷸러’ 인수

스노우플레이크가 아이스버그 기반 기술인 폴라리스 카탈로그를 출시한데 이어, 데이터브릭스는 아이스버그 개발팀이 만든 태뷸러(Tabular)를 인수한다고 4일 밝혔다.
 

데이터브릭스가 아파치 아이스버그 개발팀이 만든 스토리지 플랫폼 벤더 태뷸러를 인수했다. 태뷸러 설립자 라이언 블루와 다니엘 윅스는 2017년 넷플릭스에서 아이스버그를 개발했으며, 2018년에 아파치 소프트웨어 재단에 이를 오픈소스 기술로 기부했다. 아파치 아이스버그는 동시성 제어에 어려움이 있어 보통 OLAP 쿼리에 사용된다. 비슷한 시기 데이터브릭스는 ACID 트랜잭션이나 OLTP 처리에 사용할 수 있는 데이터용 오픈소스 테이블 형식인 델타레이크를 개발했다.

데이터브릭스는 지난 6월 델타레이크 2.0 릴리즈의 일환으로 델타레이크의 모든 API를 오픈소스화했으며, 델타레이크의 모든 개선 사항을 리눅스 재단에 기여하겠다고 밝혔다.

델타레이크를 오픈소스화하기 전에 클라우데라, 드레미오, 구글(빅레이크), 마이크로소프트, 오라클, SAP, AWS 스노우플레이크, HPE(에즈메랄), 버티카 같은 경쟁사는 델타레이크가 오픈소스인지 독점인지 의문을 제기하며 잠재 고객을 빼앗았다고 비판한 바 있다.

데이터브릭스는 태뷸러 인수를 통해 레이크하우스를 위한 두 가지 주요 오픈소스 테이블 포맷을 지원하고, 자사 서비스인 ‘유니폼 테이블(UniForm Tables)’에 대한 지원도 확대할 것이라고 밝혔다.

데이터브릭스는 공식 보도자료를 통해 “데이터브릭스는 레이크하우스에 호환성을 높이기 위해 델타레이크 및 아이스버그 커뮤니티와 긴밀히 협력할 계획이다”라며 “단기적으로는 델타레이크 유니폼 기반에서 관련 작업을 진행하지만, 장기적으로는 개방적이고 단일 상호운용성 표준을 만드는 데 집중할 것”이라고 말했다.
 
유니폼(Universal Format, UniForm)은 2023년 6월에 출시된 새로운 테이블 포맷으로 델타레이크, 아이스버그, 후디에서 상호 운용성을 제공하며, 아이스버그 레스트풀 카탈로그 인터페이스를 지원한다.

스노우플레이크 및 아이스버그 테이블 vs 데이터브릭스 및 델타 라이브 테이블
애널리스트는 데이터브릭스가 태뷸러 인수를 통해 더욱 강력한 상호 운용성을 지원할 수 있을 것으로 보고 있다.

컨설팅 기업 옴디아(Omdia)의 수석 애널리스트 브래들리 심민은 “과거에도 일부 기업은 오픈소스 개발자 커뮤니티에서 강력한 목소리를 내기 위해 우수한 오픈소스 프로젝트를 인수하곤 했다”라며 “태뷸러의 창립자들이 데이터브릭스에 합류하면서, 델타레이크와 아이스버그 표준 간의 호환성 개선에 기여할 것이다. 이런 기술로 데이터브릭스는 스노우플레이크 플랫폼의 외부 데이터에 크게 의존하는 고객을 지원할 수 있기에 우위를 점할 수 있을 것”이라고 설명했다.

그러나 심민은 태뷸러 창립자가 아이스버그 프로젝트를 오픈소스로 공개하고 아파치 소프트웨어 재단에 기부한 지 오래됐기 때문에 이번 인수가 스노우플레이크의 아이스버그 사용에 지장을 줄 가능성은 작다고 지적했다.

컨설팅 기업 콘스텔레이션 리서치(Constellation Research)의 수석 애널리스트인 더그 헨첸은 “아파치 아이스버그가 이미 다른 모든 표준을 압도하고 있다”라며 “데이터브릭스가 테이블 형식의 상호운용성을 구축하기 위해 노력하면서 아이스버그는 주류 테이블 표준이 될 가능성은 더욱 커질 것”이라고 분석했다.

헨첸은 “태뷸러 인수 소식은 스노우플레이크 연례 컨퍼런스 행사 시기에 발표됐다는 점에서 두 회사가 개방성 영역에서 선두로 서기 위해 노력하고 있다는 것을 보여준다. 태뷸러 기술은 델타레이크뿐만 아니라 아이스버그 표준의 미래에 큰 영향을 미칠 것”이라고 말했다.

스노우플레이크 3일 폴라리스 카탈로그를 공개하고, 향후 90일 안에 기술을 모두 오픈소스화할 예정이라고 발표했다. 폴라리스 카탈로그는 아이스버그 위에 구축된 데이터 카탈로그로 데이터 거버넌스 기능과 함께 제공되고 상호 운용 가능한 쿼리 엔진을 지원하는 벤더 중립적인 기술을 제공한다.

업계 애널리스트는 데이터브릭스의 유니티 카탈로그와 유사한 폴라리스 카탈로그가 스노우플레이크가 자체 제품의 매력을 강화하면서 경쟁사인 데이터브릭스에서 데이터 카탈로그 사용자를 유인하기 위해 공개된 제품이라고 분석하고 있다.

컨설팅 기업 아말감 인사이트(Amalgam Insights)의 수석 애널리스트 현 박도 헨첸의 말에 동의하며, 레이크하우스 분야의 두 기업이 모두 다양한 데이터 형식과 유형에 걸쳐 엔터프라이즈 데이터 환경을 지원하는 데 더 적합하다는 것을 보여주려고 노력하고 있다고 설명했다.

박은 “데이터브릭스는 이번 인수를 통해 인기 테이블 형식인 아이스버그를 지원할 수 있다는 것을 보여줌으로써 이득을 얻었다”라며 “데이터브릭스도 자체 개발 프로젝트를 통해 오픈소스 커뮤니티에 적극 기여했지만, 현재 아이스버그 커뮤니티는 많은 대형 벤더가 참여면서 오픈소스 업계에서는 규모가 더 크다”라고 밝혔다.

그러나 헨첸은 태뷸러의 인수로 데이터브릭스가 아이스버그 전선에서 우위를 점할 수는 있겠지만, 그렇다고 아이스버그를 지배하기는 어렵다고 분석했다. 현재 아이스버그와 연관된 이해관계자가 너무 많기 때문이다.

데이터브릭스와 스노우플레이크의 인수 경쟁
데이터브릭스는 최근 여러 기업을 인수하고 있으며, 지난 3월 초에는 미국의 라일락 AI를 인수해 고객이 생성형 AI 기반 애플리케이션을 구축하기 위해 비정형 데이터를 탐색하고 사용할 수 있도록 지원했다.

그보다 앞서 데이터브릭스는 2023년 6월경 생성형 AI 제품군을 강화하기 위해 LLM 및 모델 훈련 소프트웨어 제공업체인 모자익ML(MosaicML)을 13억 달러에 인수했다.

또한 데이터브릭스는 작년 5월에 AI 중심 데이터 거버넌스 플랫폼 제공업체인 오케라(Okera)를 인수했다. 데이터브릭스는 오케라 기술력을 통해 데이터 거버넌스 역량을 강화하는 동시에 자체 개발한 오픈소스 돌리 2.0 LLM과 같은 대규모 언어 모델(LLM)을 훈련 및 관리하고 있다.

스노우플레이크 역시 생성형 AI 제품군을 강화할 뿐만 아니라 데이터 관리 역량을 강화하기 위해 여러 기업을 인수하고 있다. 가장 최근에 인수한 기업은 트루에라(TruEra)다. 트루에라는 머신러닝과 LLM의 수명주기 관리 기술을 제공하는 플랫폼 업체다. 또한 작년 5월에는 니바(Neeva)를 인수했다. 클라우드 기반 데이터 웨어하우스 회사였던 니바는 데이터 클라우드 플랫폼에 생성형 AI 기반 검색 기능을 강화한 서비스를 제공했다.

그 외에도 스노우플레이크는 2023년 2월에는 데이터 클린룸 역량을 강화하기 위해 립이어(LeapYear)를, 1월에는 AI 기반 시계열 예측 플랫폼 제공업체인 미스트AI(Myst AI)를 인수했다. 지난 3년간 스노우플레이크가 인수한 기업은 7개다.
ciokr@idg.co.kr