2012.09.24

기고 | 빅 데이터 시대, 물 만난 BI

Allen Bernard | CIO

빅 데이터 덕분에 BI가 활기를 찾아가고 있다. 일상적인 업무 의사결정권자들이 빅 데이터에서 예측의 힘을 얻으면서 BI가 새롭게 주목받고 있기 때문이다.

예측분석(Predictive Analytics)은 현장의 경영자들이나 기업 의사 결정권자들과는 거리가 먼 상아탑의 통계학자들과 데이터 과학자들의 전유물에 지나지 않았다. 그러나 빅 데이터가 변화를 가져오고 있다.

더 많은 데이터가 온라인화되고 기존의 BI, CRM, ERP, 기타 중요 비즈니스 시스템으로 통합되면서 그동안 수익성이 높지만 찾기 불가능해 보였던 고객 중심의 시각을 갖게 됐다. 물론 대부분의 고객 서비스 담당자와 현장 영업 직원들은 아직 이런 변화를 느끼지 못하고 있다. 그러나 IBM과 마이크로스트레티지 같은 회사들이 이의 구현을 눈 앞에 두고 있다.

빅 데이터, 분석을 사무실 밖으로 가지고 나오다
고객 서비스 담당자가 자신의 컴퓨터 앞에 앉아 문제의 고객을 계속 유지할지, 아니면 포기할지 독자적으로 결정을 내릴 수 있는 세상이 온다고 상상해 보자. 또 현장 판매 직원이 이동 중에 페이스북과 트위터에 올라온 재즈 페스티벌에 참석하는 사람들의 글을 보고 어떤 와인이 잘 팔릴지 판단해 소매업체 고객의 재고를 그 즉시 맞춰줄 수 있다고 생각해 보자.

빅 데이터는 집단 분석과 회귀 분석에 주로 쓰이던 툴을 현장 관리자들이 사용할 수 있도록 바꿔놓고 있다. 그리고 이들은 이런 비트랜잭션(Non-transactional) 데이터를 사용해 언제 어떤 재고를 채워 넣을 지와 같은 전략적이고 장기적인 의사결정을 내릴 수 있다.

그러나 가트너의 BI 애널리스트 리타 살람은 빅 데이터가 기존의 BI 툴을 대신하지는 않을 것이라고 지적했다. 살람은 BI가 기업에 더욱 가치 있으면서도 유용한 툴이 될 것이라고 전망했다. 그는 "우리는 항상 과거를 조사해야 한다. 게다가 빅 데이터가 있다면 더 그래야 한다. BI는 사라지지는 않는다. 빅 데이터로 강화될 뿐이다"라고 말했다.

그렇다면, 초기에 발견한 사실이 과거를 입증하는지 어떻게 알 수 있을까? 예를 들어 미국 중서부 지역에서는 빨간 지갑이 파란 지갑보다 정말로 더 잘 팔릴까? 초기에 데이터를 조사해보니 지난 분기에 유례없이 빨간 지갑이 잘 팔렸다. 그래서 빨간 지갑이 더 잘 팔릴 것이라고 판단했다고 치자.

그러나 여기에는 아무런 상관관계가 없다. 지난 분기의 매출 호조가 원인이 될 수도 없다. BI 툴로 수집한 과거 트랜잭션 데이터를 이용해 더 자세히 조사를 하면 사실 빨간 지갑이 더 많이 팔린 이유는 소매업체가 빨간 지갑을 눈에 잘 띄는 곳에 놓도록 캠페인을 해서라는 사실을 발견할 수 있다.
 


IBM의 신기술 담당 이사 데이빗 반스가 하둡, 맵리듀스(Map/Reduce), R 같은 빅 데이터 기술을 이용한 분석 결과에 중대한 의미를 부여하기 꺼리는 이유도 여기에 있다. 즉 트위터 스트림 같은 감성 분석에 기초해 중요한 비즈니스 결정을 내리면 곤란하다는 의미다.

소셜 미디어의 비정형 데이터를 분석하면 즉각 보상받을 수 있다
그러나 소셜 미디어를 외면하기에는 그 가치가 매우 크다. 미국의 아이돌 팝 스타인 저스틴 비버의 팬들이 그가 지난 밤 콘서트에서 입었던 재킷을 맘에 들어 했다고 가정하자. 그리고 팬 중 한 명이 당신의 매장에서 그 재킷을 구했다고 트위터에 올렸다고 치자. 당신은 그 사실을 안 순간 비록 짧은 기간의 유행 품목에 머물 수는 있지만 유행할 것이라고 판단해 해당 도시로 재킷 재고를 더 보내기로 결정을 내릴 수 있다.

트위터 공간의 패턴을 조사해 당신의 브랜드와 지리적 위치, 기타 멘션의 수 같은 요소들을 연결시키는 예측 분석(PA) 패키지가 없었다면 아마도 기회를 놓쳤을지 모른다.

반스는 "기존에는 과거 데이터만 가지고 결정을 내렸을 것이다. 그러나 결정을 이행할 단계에 트렌드가 이미 없어져버렸을 수 있다. 이런 점에서 PA는 스테로이드 같이 속도를 높이는 역할을 하고 있다"라고 설명했다.

이것이 가능한 이유는 (최근 빅 데이터 플랫폼 대부분이 기반을 두고 있는) 과거 누구도 활용 방법을 몰라 폐기처분 되곤 했던 거대 용량의 비 트랜잭션 데이터를 수집 및 저장할 수 있는 기술, 오픈 소스 기술, 무어의 법칙, 하드웨어, 클라우드와의 결합 때문이다.

동영상과 이메일 같은 비정형 데이터는 이와 관련해 큰 역할을 못하는 빅 데이터 이면의 원동력으로 종종 언급되곤 한다. 물론 블로그 포스트와 사용자 포럼을 조사해, 특정 정보를 지리적 데이터와 연동한 후, 기존의 고객 구조화 데이터와 통합해 단층 파일로 만들거나 1,400만의 페이스북 사용자가 당신의 브랜드에 대해 어떤 말을 하고 있는지 추적하는 마이크로스트레티지 위즈덤(MicroStrategy Wisdom) 엔진 같은 새로운 소스에서 데이터를 가져오기는 했다. 그러나 이제는 여기에 새로우면서도 강력한 툴이 생긴 것이다.

 




2012.09.24

기고 | 빅 데이터 시대, 물 만난 BI

Allen Bernard | CIO

빅 데이터 덕분에 BI가 활기를 찾아가고 있다. 일상적인 업무 의사결정권자들이 빅 데이터에서 예측의 힘을 얻으면서 BI가 새롭게 주목받고 있기 때문이다.

예측분석(Predictive Analytics)은 현장의 경영자들이나 기업 의사 결정권자들과는 거리가 먼 상아탑의 통계학자들과 데이터 과학자들의 전유물에 지나지 않았다. 그러나 빅 데이터가 변화를 가져오고 있다.

더 많은 데이터가 온라인화되고 기존의 BI, CRM, ERP, 기타 중요 비즈니스 시스템으로 통합되면서 그동안 수익성이 높지만 찾기 불가능해 보였던 고객 중심의 시각을 갖게 됐다. 물론 대부분의 고객 서비스 담당자와 현장 영업 직원들은 아직 이런 변화를 느끼지 못하고 있다. 그러나 IBM과 마이크로스트레티지 같은 회사들이 이의 구현을 눈 앞에 두고 있다.

빅 데이터, 분석을 사무실 밖으로 가지고 나오다
고객 서비스 담당자가 자신의 컴퓨터 앞에 앉아 문제의 고객을 계속 유지할지, 아니면 포기할지 독자적으로 결정을 내릴 수 있는 세상이 온다고 상상해 보자. 또 현장 판매 직원이 이동 중에 페이스북과 트위터에 올라온 재즈 페스티벌에 참석하는 사람들의 글을 보고 어떤 와인이 잘 팔릴지 판단해 소매업체 고객의 재고를 그 즉시 맞춰줄 수 있다고 생각해 보자.

빅 데이터는 집단 분석과 회귀 분석에 주로 쓰이던 툴을 현장 관리자들이 사용할 수 있도록 바꿔놓고 있다. 그리고 이들은 이런 비트랜잭션(Non-transactional) 데이터를 사용해 언제 어떤 재고를 채워 넣을 지와 같은 전략적이고 장기적인 의사결정을 내릴 수 있다.

그러나 가트너의 BI 애널리스트 리타 살람은 빅 데이터가 기존의 BI 툴을 대신하지는 않을 것이라고 지적했다. 살람은 BI가 기업에 더욱 가치 있으면서도 유용한 툴이 될 것이라고 전망했다. 그는 "우리는 항상 과거를 조사해야 한다. 게다가 빅 데이터가 있다면 더 그래야 한다. BI는 사라지지는 않는다. 빅 데이터로 강화될 뿐이다"라고 말했다.

그렇다면, 초기에 발견한 사실이 과거를 입증하는지 어떻게 알 수 있을까? 예를 들어 미국 중서부 지역에서는 빨간 지갑이 파란 지갑보다 정말로 더 잘 팔릴까? 초기에 데이터를 조사해보니 지난 분기에 유례없이 빨간 지갑이 잘 팔렸다. 그래서 빨간 지갑이 더 잘 팔릴 것이라고 판단했다고 치자.

그러나 여기에는 아무런 상관관계가 없다. 지난 분기의 매출 호조가 원인이 될 수도 없다. BI 툴로 수집한 과거 트랜잭션 데이터를 이용해 더 자세히 조사를 하면 사실 빨간 지갑이 더 많이 팔린 이유는 소매업체가 빨간 지갑을 눈에 잘 띄는 곳에 놓도록 캠페인을 해서라는 사실을 발견할 수 있다.
 


IBM의 신기술 담당 이사 데이빗 반스가 하둡, 맵리듀스(Map/Reduce), R 같은 빅 데이터 기술을 이용한 분석 결과에 중대한 의미를 부여하기 꺼리는 이유도 여기에 있다. 즉 트위터 스트림 같은 감성 분석에 기초해 중요한 비즈니스 결정을 내리면 곤란하다는 의미다.

소셜 미디어의 비정형 데이터를 분석하면 즉각 보상받을 수 있다
그러나 소셜 미디어를 외면하기에는 그 가치가 매우 크다. 미국의 아이돌 팝 스타인 저스틴 비버의 팬들이 그가 지난 밤 콘서트에서 입었던 재킷을 맘에 들어 했다고 가정하자. 그리고 팬 중 한 명이 당신의 매장에서 그 재킷을 구했다고 트위터에 올렸다고 치자. 당신은 그 사실을 안 순간 비록 짧은 기간의 유행 품목에 머물 수는 있지만 유행할 것이라고 판단해 해당 도시로 재킷 재고를 더 보내기로 결정을 내릴 수 있다.

트위터 공간의 패턴을 조사해 당신의 브랜드와 지리적 위치, 기타 멘션의 수 같은 요소들을 연결시키는 예측 분석(PA) 패키지가 없었다면 아마도 기회를 놓쳤을지 모른다.

반스는 "기존에는 과거 데이터만 가지고 결정을 내렸을 것이다. 그러나 결정을 이행할 단계에 트렌드가 이미 없어져버렸을 수 있다. 이런 점에서 PA는 스테로이드 같이 속도를 높이는 역할을 하고 있다"라고 설명했다.

이것이 가능한 이유는 (최근 빅 데이터 플랫폼 대부분이 기반을 두고 있는) 과거 누구도 활용 방법을 몰라 폐기처분 되곤 했던 거대 용량의 비 트랜잭션 데이터를 수집 및 저장할 수 있는 기술, 오픈 소스 기술, 무어의 법칙, 하드웨어, 클라우드와의 결합 때문이다.

동영상과 이메일 같은 비정형 데이터는 이와 관련해 큰 역할을 못하는 빅 데이터 이면의 원동력으로 종종 언급되곤 한다. 물론 블로그 포스트와 사용자 포럼을 조사해, 특정 정보를 지리적 데이터와 연동한 후, 기존의 고객 구조화 데이터와 통합해 단층 파일로 만들거나 1,400만의 페이스북 사용자가 당신의 브랜드에 대해 어떤 말을 하고 있는지 추적하는 마이크로스트레티지 위즈덤(MicroStrategy Wisdom) 엔진 같은 새로운 소스에서 데이터를 가져오기는 했다. 그러나 이제는 여기에 새로우면서도 강력한 툴이 생긴 것이다.

 


X