Offcanvas

How To / 리더십|조직관리 / 빅데이터 | 애널리틱스

‘신속하고 현명한 비즈니스 판단’ 빅 데이터로 구현하려면?

2013.01.15 Thor Olavsrud  |  CIO


1. 문제 및 필요한 해답의 명시화; 비즈니스 케이스 구축
2. 필요한 데이터 및 애널리시스 방법론 확인
3. 데이터 수집
4. 데이터 정리 및 표준화, 통합
5. 데이터 분석
6. 해답 확인
7. 해답 확인 및 결과 평가

뉴벤티지에 따르면 지금까지 기업들은 3, 4 단계를 진행하는데 80% 이상의 시간을 투자해왔다. 그러나 빅 데이터는 이들 단계에 접근하는 새로운 방법을 제시해줄 수 있다.

무엇보다 주목해야 할 점은, 빅 데이터 플랫폼이 담보하는 저비용과 고효율성으로 인해 기업들은 현재의 문제를 위한 특정 데이터만을 선별하지 않고 대신 소스 시스템(source system)으로부터 모든 데이터를 로드 할 수 있게 되었다는 사실이다.

뉴벤티지는 “낭비로 인식될 수도 있지만, 이는 두 가지 측면에서 효율성을 개선시켜 줄 것이다. 우선 이는 필요한 데이터만을 선별하는 프로그램의 필요성을 없애줄 것이며, 또한 새로운 문제가 발생할 때마다 필요한 새 데이터를 가져오려 소스 시스템을 들락거려야 하는 필요성 역시 없애줄 것이다. 전통적인 데이터 마트(data mart) 및 데이터 웨어하우스 구조는 매우 복잡하고 비쌌다. 하지만 이제는 유연성과 확장성을 갖춘 여러 오픈소스 시스템들이 환경을 조성하며 사용자들에게 비용 절감과 쿼리 타임(query time) 감소라는 가치를 안겨주고 있다”라고 설명했다.

바스는 판매나 이탈을 야기하는 요소를 이해하기 위해 고객 데이터에 대한 멀티 채널 패싱(multi-channel pathing) 분석을 진행하고자 했던 한 대형 금융 서비스 기관의 사례를 소개했다.

이 기관은 6개월 간의 세션 데이터(session data)를 다른 채널 데이터들과 통합할 필요가 있었다. 그들은 처음엔 전통적인 관계형 데이터베이스를 이용할 계획을 세웠다. 그러나 이는 수 만의 SQL 코드 라인을 다뤄야 하는 작업이었고 그들은 계획을 검토한 지 얼마 지나지 않아 이것이 6일 치 정도의 데이터를 다루는 용도로 밖에는 사용이 어려운 과정임을 확인할 수 있었다. 결국 이들 기관은 계산 작업에만 몇 주를 소모한 채 계획을 포기해야 했다.

바스는 “그들이 필요로 한 작업은 보유한 데이터를 분석해 고객들이 그들의 채널에서 어떤 일을 하는지를 이해함으로써 은행 활동에 대한 시각을 확보하는 것이었다. 만일 그들이 빅 데이터 환경에서 작업을 진행했다면 100개 미만의 코드 라인으로 작성과 실행이 가능했을 것이다. 여기에서는 수백 테라바이트의 세션 데이터 처리가 24시간 이내에 이뤄질 수 있다”라고 말했다.

그는 “핵심은 한 단계 더 나아가는 것이다. 눈 앞의 요소들을 이해하고 그것을 설명해 줄 모델을 개발해 비즈니스 개선안을 모색하는 것, 그것은 전통적 BI에서도 적용되던 아이디어다”라고 덧붙였다.

이어 뉴벤티지는 “‘새로운 것'과 ‘알려진 것'은 따로 떨어진 개념이 아니다. 둘은 서로 연결돼 서로에게 자양분을 공급하는 공생 관계를 이뤄야 한다. ‘새로운' 분석은 비즈니스의 현실을 드러내는 모든 ‘알려진' 데이터에 대한 신속한 접근을 필요로 한다. 역으로 설명하자면 기업들에겐 이미 ‘알려진' 데이터를 한 층 발전 시킬 새로운 시각과 데이터, 모델이 요구되는 것이다. 이러한 연결이 이뤄지지 않는다면 기업들은 시스템과 데이터가 분리되는 모순된 상황에 놓이게 될 것이고 자신들에게 이미 갖춰져 있는 값진 자산들을 통합하고 이해하는데 실패하게 될 것이다”라고 지적했다.

뉴벤티지는 마지막으로 다음과 같이 강조했다.

“하둡(Hadoop), 클라우데라(Cloudera), 데이터베이스 어플라이언스(database appliance), 액셀레이터(accelator), 자가 학습 및 발생적 알고리즘 등과 같은 신흥 테크놀로지와 방법론들은 TTA를 큰 폭으로 감소 시켜 줄 것이다. 비즈니스 문제 해결의 효율성을 확보하는 핵심은 발견 및 엔지니어링, 제작 과정을 신속하게 처리할 수 있도록 하는 적절한 애널리틱스 방법론을 선정하는데 있다. 기업들에 얼마나 좋은 데이터 자산과 이를 관리 감독할 역량이 갖춰져 있더라도, 이를 민첩하게 분석할 방안이 마련되어 있지 않다면 새로운 방식으로 데이터 개발을 진행하는 과정은 성공에 이르지 못할 것이다. 데이터 역학 발견 능력과 분석 실행 능력이 고루 확보된 기업만이 오늘날의 시장 경쟁에서 지속 가능한 우위를 점할 수 있음을 반드시 기억해야 한다.” ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.