Offcanvas

BI / How To / 빅데이터 | 애널리틱스 / 애플리케이션 / 클라우드

"빅데이터 알뜰 혁신"··· 맵알이 전하는 8가지 융합 요령

2016.08.08 Thor Olavsrud  |  CIO


HTAP를 고려
HTAP(Hybrid Transaction/Analytical Processing)는 조사 기관 가트너가 붙인 명칭이다. 데이터 복제 없이 OLTP(Online Transaction Processing)과 OLAP(Online Analytical Processing)가 가능한 차세대 데이터 플랫폼을 의미한다. 노리스는 다음과 같이 설명했다.

"하둡과 새로운 애널리틱스가 데이터 웨어하우스를 포위 공격하고 있는 양상이다. 심지어 일부 트랜젝션 워크로드용 관계형 데이터베이스를 대체하기 시작했다. 이미 몇몇 기업들은 HTAP를 향한 경로를 발견해내고 있다. 비싼 데이터 변환 단계 없이도 OLTP 및 OLAP 운영을 가능하게 하는 문서 데이터베이스 기술을 이용하는 것이다. 오라클이 위기에 처했다고 평가할 정도는 아니다. 그러나 OLTP와 [데이터 웨어하우스] 워크로드를 논리적, 물리적으로 분리하는 관점은 점차 새로운 데이터 관리 및 분석 기법들에게 자리를 내주게 될 것이다."

기록 시스템으로써 이벤트 스트림(Event Stream) 활용하기
DiM(Data in Motion)에 대한 수요가 지속적으로 증가하면서 이벤트 스트림에 집중하는 기업이 늘고 있다. 노리스는 다음과 같이 설명했다.

"오늘날 스트리밍 분석, 트리거(Trigger), 경보 및 CEP(Complex Event Processing)에 대한 많은 논의가 이뤄지고 있는 가운데, 일부 기업들은 데이터 스트림을 새롭게 바라보고 있다. 시스템과 기업 사이의 데이터 상호작용을 캡처할 수 있는 수단으로 보는 것이다. 데이터 출처, 계통, 지속성, 라이프 사이클 등과 같이 다소 덜 흥미로운 주제의 경우에는 데이터 상호작용에 관한 불변의 기록을 생성하는 것이 더 효율적일 수 있다.”

하이브리드 클라우드(Hybrid Cloud) 활용
하이브리드 클라우드는 이미 몇 년 전부터 눈길을 끌어왔던 개념이지만, 빅데이터 세계에서 더욱 중요해지고 있다. 노리스는 다음과 같이 설명했다.

"하둡과 분산형 컴퓨팅의 기본 원칙 중 하나는 연산이 데이터를 향한다는 생각이다. 그 반대의 방향성은 성립되지 않는다. 오늘날 수집되고 있는 데이터 용량으로도 하이브리드 클라우드를 검토할 이유가 충분하다. 하지만 또 다른 이유들이 있다. 바로 상용 데이터 소스의 강화와 기업들이 분석 및 애플리케이션을 위해 외부 데이터 소스에 의존하게 될 가능성의 증가다. 이 때문에 기업은 클라우드와 방화벽 안에서 원활히 공조될 수 있는 데이터 및 애플리케이션 플랫폼을 찾아야 한다."

로컬에서 분석
데이터 변환과 이동에는 많은 시간과 노력이 요구될 수 있다. 노리스는 이런 시간과 비용을 절감할 수 있는 상황이 있다며 다음과 같이 설명했다.

"스파크, 아파치 드릴(Apache Drill), 기타 인메모리(In-memory) 처리 기술을 이용하면 데이터 이동, ETL 연산, 기타 데이터 변환을 방지하는 기회를 제공하면서도 하둡 플랫폼의 특징이라 할 수 있는 분석에 대한 스키마 온 리드(Schema On Read)를 활용할 수 있다.”

"항상 그랬듯이 데이터를 메모리로 읽어 들일 때 작용하는 네트워크 그리고/또는 디스크 지연 속도가 있다. 만약 기업이 기업근 분산형 파일 시스템에 투자했다면, 그것은 기업 분석 역량 측면에서 또 하나의 흥미로운 무기가 될 수 있다." ciokr@idg.co.kr
 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.