Offcanvas

How To / 빅데이터 | 애널리틱스

빅 데이터 공급망 구축 방법

2014.04.23 New Tech Forum  |  InfoWorld

빅데이터가 커질수록 실행에 옮길 수 있는 비즈니스적 통찰력을 얻기 위한 관리와 분석이 더욱 힘들어진다. 빅데이터의 주된 장점이 계산 지향적인 거대 데이터 분석에 기초해 더 나은 비즈니스 의사 결정을 내릴 수 있도록 하는 것임을 감안할 때 다소 반어적으로 볼 수 있다.

이에 대한 해결책은 처음부터 비즈니스 목표를 확인해 공급망을 구축하고 이런 목표를 달성하는데 필요한 민첩한 인프라를 배치하는 것이다.

최근 뉴테크 포럼에서 인포매티카의 제품 마케팅 책임자 존 하다드는 적절히 구성된 빅데이터 아키텍처가 실제 세계에서 결과를 도출할 수 있는 방법을 설명하는데 도움이 되는 4가지 보편적인 활용 사례를 설명했다.

수십년 동안, IT는 잘 정의된 요건과 사전에 정의된 보고서를 통해 일반적인 BI와 데이터 웨어하우징(DW)에 의존해 왔다.

빅데이터 분석의 새로운 세계에서의 발견은 그 과정 가운데 일부이기 때문에 새로운 통찰이 발생하면서 목표가 바뀌게 된다.

이를 위해서는 데이터로부터 비즈니스 통찰과 실행에 옮길 수 있는 정보로 신속하면서도 원활하게 이동할 수 있는 인프라스트럭처와 프로세스가 필요하다.

데이터를 비즈니스 가치로 신속하게 변모시키기 위해 빅데이터 아키텍처는 데이터의 양, 다양성, 속도를 관리하고 처리할 수 있는 공급망으로 보일 수 있어야 한다. 우선, 모든 기업은 빅데이터 프로세스가 필요하다. 이 프로세스는 3단계로 나뉘어진다.

1. 비즈니스 목표 확인
그 누구도 무엇을 얻을 지에 대한 전반적인 비전 없이 빅데이터를 배치해서는 안 된다. 목표를 수립하기 위한 토대는 관련 주제 전문가와 긴밀히 협력하는 데이터 공학 및 분석팀이다. 데이터 공학자, 분석가, 개발자는 반드시 협업해 비즈니스 목표의 우선순위를 정립하고 통찰력을 생성하며 가설과 분석 모델을 검증해야 한다.

2. 빅데이터 통찰 실현
데이터 공학팀은 반드시 개발팀과 연계해 움직여야 한다. 두 그룹은 재현 가능한 프로세스와 방법을 통해 통찰과 목표를 실현하고 주주, 고객, 파트너에 실행에 옮길 수 있는 정보를 제공해야 한다.

3. 빅데이터 파이프라인 구축
데이터 관리 및 분석 시스템 아키텍처는 반드시 협업을 가능하게 하고, 수동 단계를 없애야 한다. 빅데이터 공급망은 미가공 데이터를 실행에 옮길 수 있는 정보로 변모시키는데 필요한 4가지 핵심 작업으로 이뤄져 있다.

- 습득과 저장(Acquire and store): 어댑터를 통해 배치, 실시간, 실시간 근접 모드로 데이터를 수집 및 저장할 수 있는 기능으로 어떤 지연시간 없이 모든 플랫폼부터 운영 및 레거시 시스템, 소셜 미디어, 기계 데이터까지 모든 종류의 데이터에 접근한다.

- 정제 및 농축(Refine and enrich): 분석을 위해 데이터를 통합, 정리, 준비하면서 기술 및 운영 메타데이터를 수집하여 데이터 세트를 태그(Tag) 처리하고 농축함으로써 검색과 재사용을 용이하게 한다.

- 탐색과 지원(Explore and curate): 데이터를 검색하고 패턴, 트렌드, 통찰을 시각적으로 표현하고 발견하며 잠재적인 비즈니스적 영향을 끼친다. 최고의 비즈니스 가치를 갖는 이런 데이터 세트를 지원하고 관리한다.

- 분배와 관리(Distribute and manage): 모바일 기기, 기업 애플리케이션, 기타 수단을 통해 최종 사용자에 실행에 옮길 수 있는 정보를 변형시키고 분배한다. 유연한 배치 아키텍처를 가진 SLA를 관리하고 지원한다.

일단 프로세스가 수립되면 빅데이터 레퍼런스 아키텍처는 데이터웨어하우스 최적화, 360도 고객 분석, 실시간 운영 인텔리전스, 관리형 데이터 호수(Managed data lake) 등 실행에 옮길 수 있는 비즈니스 인텔리전스를 가능하게 하는 이런 4가지의 보편적인 빅데이터 사용례 패턴을 지원할 수 있다.

데이터웨어하우스 최적화
데이터의 양이 늘어나면서 기업들은 데이터웨어하우스 환경에 점차 더 많은 금액을 지출하고 있다. 이 환경에서 용량이 너무 빨리 소모되면 문제가 발생하게 되어 결국 기관들이 저장 및 처리능력을 위해 값비싼 업그레이드를 실행에 옮길 수 밖에 없다.

대용량 데이터 성장에 대응하는 방법은 대규모 데이터를 저장하고 처리하기 위한 저렴한 솔루션을 제공하는 하둡을 배치하는 것이다. 자원 시스템으로부터 얻은 미가공 데이터를 웨어하우스로 옮기는 대신, 단순히 본래의 소스 데이터를 하둡에 저장할 수 있다.

여기에서 비즈니스 인텔리전스와 분석 보고를 위해 결과(훨씬 작은 데이터 세트)를 데이터웨어하우스로 다시 옮기기 전에 데이터를 준비하고 사전에 처리할 수 있다. 하둡은 전통적인 데이터웨어하우스를 대체하지는 않지만, 뛰어나면서 상호 보완적인 솔루션을 제공한다.
 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.