Offcanvas

빅데이터 | 애널리틱스 / 애플리케이션 / 클라우드

드레미오, 아파치 아이스버그 테이블 복사 및 백업 기능 강화

2023.03.03 Anirban Ghoshal  |  InfoWorld
드레미오가 1일 새로 공개한 기능에는 아파치 아이스버그 테이블의 데이터를 복사하고 변경 사항을 롤백하는 기능이 포함됐다.
 
ⓒ Getty Images Bank 

데이터 분석 기술 전문 업체 드레미오(Dremio)가 아파치 아이스버그(Apache Iceberg) 테이블 기반의 데이터를 복사하고 테이블 변경 사항을 취소하는 기능을 자사의 데이터 레이크하우스 서비스에 추가했다고 1일 밝혔다.

이번 업데이트로 드레미오 사용자는 ‘copy into SQL’라는 명령어를 이용해 데이터를 아이스버그 테이블로 복사할 수 있다. 참고로 아파치 아이스버그는 오픈소스 기술로 대규모 분석 데이터를 저장할 때 사용하는 테이블 형식이다.

드레미오는 보도자료를 통해 “사용자는 명령어 하나로 아마존 S3, 애저 데이터 레이크 스토리지(Azure Data Lake Storage, ADLS), HDFS 및 기타 인프라에 저장된 CSV와 JSON 파일에서 데이터를 복사하고 아파치 아이스버그 테이블에 넣을 수 있다. 이 과정에서 파케이(Parquet) 컬럼 형식을 이용해 성능을 높일 수 있을 것”이라고 설명했다.

드레미오는 복사 작업이 데이터 레이크하우스 전반에 걸쳐 있는 만큼 이번 기능으로 더 많은 데이터를 신속하게 가져올 수 있다고 기대하고 있다. 

드레미오는 기업을 위한 테이블 롤백 기능도 공개했다. 윈도우 시스템 복원 또는 맥 타임 머신(Mac Time Machine) 같은 백업 기능이라고 할 수 있다. 사용자는 ‘rollback’이라는 명령어를 입력해서 특정 시간 또는 스냅샷 ID를 기준으로 테이블을 백업할 수 있다. 드레미오는 “롤백 기능을 사용하면 단일 명령으로 테이블을 이전 상태로 쉽게 되돌릴 수 있다. 테이블을 롤백하면 이전 상태에서 새로운 아파치 아이스버그 스냅샷이 생성되며 이전 데이터를 다시 현재 테이블로 불러올 수 있다”라고 밝혔다.

최적화 명령어로 성능 향상
아이스버그 테이블의 성능을 높이기 위해, 드레미오는 ‘optimize’라는 새로운 명령어를 도입했다. 이 명령어를 이용하면 삽입, 업데이트, 삭제 같은 데이터 조작어(DML, Data Manipulation Language)를 입력할 때 생기는 작은 파일을 통합하고 최적화할 수 있다. 

드레미오는 "DML 작업을 하다보면 작은 파일이 많이 생긴다. 이런 파일은 테이블의 읽기 및 쓰기 성능에 안 좋은 영향을 미치고 스토리지 용량을 과도하게 차지할 수 있다”라며 "드레미오 소나(Dremio Sonar)에서 제공되는 최적화 명령어를 통해 성능을 일정 수준 이상으로 유지할 수 있다”라고 설명했다. 드레미오 소나는 SQL 엔진으로 데이터 웨어하우스 기능을 데이터 레이크하우스에 제공한다.

컨설팅 기업 컨스텔레이션 리서치(Constellation Research)의 수석 분석가인 더그 헨첸은 “드레미오의 새로운 기능은 데이터 엔지니어와 시스템 관리자에게 필요한 도구를 제공함으로써 생산성을 높일 것”이라고 평가했다. 

드레미오는 아파치 아이스버그에 대한 관심이 조금씩 확산되던 2021년 이를 빠르게 도입해 데이터 레이크하우스 시장에서 성장하고 있다. 드레미오의 경쟁 업체인 아하나(Ahana)와 스타버스트(Starburst)도 아파치 아이스버그 기반 기술로 서비스를 제공하고 있다. 스노우플레이크와 클라우데라 역시 2022년부터 아파치 아이스버그를 지원했다. 

드레미오의 새로운 데이터베이스와 BI 커넥터
아이스버그 외에도 드레미오는 마이크로소프트의 파워BI, 스노우플레이크, IBM Db2 인프라를 연결할 수 있는 기능을 공개했다. 

드레미오는 “드레미오 및 파워BI 고객은 이제 SSO(Single Sign-On)를 사용하여 파워BI에서 드레미오 클라우드와 드레미오 소프트웨어 엔진에 접근할 수 있다. 이를 통해 데이터 아키텍처 전반에서 액세스 제어 및 사용자 관리를 편리하게 할 수 있다”라고 설명했다. 또한 스노우플레이크의 데이터 웨어하우스와 IBM의 DB2에 있는 데이터베이스를 전용 커넥터를 통해 드레미오에 추가할 수 있다. 외부 데이터 계층을 드레미오 기술 상에서 탐색하고, 특정 데이터를 요청하고 확인할 수 있게 만든 셈이다.

헨센은 “새로운 커넥터로 데이터 분석 전문가는 마치 콘센트를 꼽고 실행하는 방식으로 간편하게 다양한 도구를 이용할 수 있을 것”이라고 설명했다.
ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.