주목! 비즈니스를 변화시키는 10가지 빅 데이터 트렌드

이제는 기계 데이터와 사물 인터넷이 중심으로 빅 데이터 세계의 주인공은 여전히 감정 분석과 클릭 스트림 데이터 해석이지만, 최근에는 기계 데이터(machine data)가 빠른 상승세로 시장의 중심을 향해 나아가고 있다. 싱크 빅의 론 보드킨은 “RFID 태그와 산업 설비에서 제트 엔진, 소비자 전자 기기까지, 세계는 전에 없이 막대한 데이터를 생산해내고 있다. 기업들은 이 데이터를 상품 개량, 효율성 향상, 결함 확인, 보안 개선 등에 적극적으로 이용하고 있다”라고 말했다.

데이터 셋을 결합해 가치를 창출하는 애플리케이션 새로이 쌓여가는 공공 데이터와 개인 데이터는 다수의 빅 데이터 셋을 혼합해 단일 빅 데이터 셋이 제공하는 것 이상의 새로운 시각을 확보할 기회를 제공한다. 보드킨은 “진정으로 큰 가치를 지니는 빅 데이터는 복수의 빅 데이터 셋을 결합함으로써 생겨난다. 일례로 작물 종자 및 보호 용품 공급 업체 랜드 오'레이크 윈필드(Land O' Lakes' WinField)는, 기상 데이터, 토양 습도 데이터, 종자 데이터 등 다양한 빅 데이터 셋을 결합해 최적의 재배 용품들을 개발했다”라고 설명했다.

빅 데이터 툴의 진짜 혁신은 오픈소스 환경에서 일어나고 있다 기업들의 빅 데이터 플랫폼 테크놀로지, 툴, 컴포넌트 개발은 오픈소스를 중심으로 이뤄지고 있다. 보드킨은 “오픈소스는 앞으로도 빅 데이터 활동의 중심 역할을 할 것이다. 단순히 오픈소스 모델의 적용이라는 측면이 아닌, 오픈소스 컴포넌트를 받아들인 기업들이 혁신을 주도한다는 측면에서도 오픈소스는 그 가치를 드러낸다”라고 말했다. 또 빅 데이터 솔루션 도입의 진통을 완화하기 위한 툴의 공급 역시 활발히 이뤄지고 있다. 제너럴 일렉트릭(General Electric)의 경우에는 제조사들의 데이터 보호를 지원키 위한 툴들을 공급하고 있고, 마이크로소프트는 하둡 배포 공급자 호튼웍스(Hortonworks)와의 협업을 통해 비즈니스 사용자 및 애널리스트들이 엑셀을 통해 빅 데이터 세트에 접근할 수 있도록 지원하고 있다.

빅 데이터가 어디 있는지 확인할 선행적 접근법을 받아들인 기업이 성공한다 초기의 빅 데이터 프로젝트들은 빅 데이터의 가치를 증명하기 위한 일종의 실험의 성격을 띠는 경우가 많았다. 하지만 이제 트렌드는 변하고 있다. 보드킨은 “시장의 곳곳에서 성공 신화가 들려오고 있다. 이제 기업들은 혁신 실험의 성공에 만족하지 못한다. 이제는 어느 곳에 빅 데이터가 있는지 주도적으로 확인하는 기업이 선두에 설 수 있을 것이다. 이런 동력 확보를 위해서는 검증된 테스트 사례의 역할이 중요하다. 경영진의 지원 역시 중요한 성공의 열쇠다”라고 말했다.

좀더 실질적인 빅 데이터 프로젝트들이 생겨나고 있다 지난 몇 해 간 빅 데이터 산업은 테스트 기반 프로젝트가 주를 이뤄왔다. 하지만 최근에는 실물 생산 프로젝트의 비율 역시 늘어나는 경향이 나타나고 있다. 보드킨은 “지금까지 빅 데이터 프로젝트들은 대부분 비용 억제와 데이터 확장성 실현에 집중돼 있다. 그러나 이젠 혁신가들을 중심으로 비즈니스 혁신을 위한 신형 애널리틱스 역량 증진 등의 영역으로 초점을 돌리는 모습들이 관찰되고 있다. 혁신가들은 데이터를 좇는 것이 아닌, 데이터를 관찰하고 그 속에서 해답을 발견하는데 보다 많은 역량에 투자하고 있다”라고 설명했다.

대기업들은 빅 데이터에 상당히 의지하고 있다 2012년 실시된 한 조사에서는 대기업들이 주요 과제로 빅 데이터를 꼽은 것으로 확인됐다. 타타 컨설팅 서비시즈(TCS, Tata Consulting Services)가 전 세계 1,217 곳의 대기업들을 대상으로 진행한 이 설문에서 응답자의 53%는 2012년 빅 데이터 프로젝트를 진행했다고 말했다. 프로젝트에 대한 확신 역시 높았다. 빅 데이터 프로젝트를 진행한 기업 가운데 43%는 이로 인한 ROI가 25%를 넘길 것으로 전망했다.

대부분의 기업은 눈곱만큼의, 소수의 기업들만이 막대한 돈을 투자하고 있다 빅 데이터 프로젝트에 대한 투자는 심한 양극화를 보였다. TCS의 설문에 따르면, 대기업들의 빅 데이터에 대한 투자 규모는 평균 1,000 만 달러 수준이었다. 하지만 25%의 기업은 프로젝트에 250 만 달러 미만의 예산을 투자한 것으로 나타났다. 이와 대비되게 15%의 기업들은 1억 달러 이상의 예산을 투자했고, 투자 예산 규모가 5억 달러를 상회하는 기업도 7%에 달했다. 적극적인 투자를 진행 하는 산업으로는 통신, 여행, 하이테크, 은행 등이 있었으며 반대로 생명 과학, 소매, 에너지/자원 부문은 가장 소극적인 투자 태도를 보여줬다.

투자의 초점은 수익 발생 및 유지에 있다 그다지 놀라운 결과는 아니지만 TCS의 설문은 빅 데이터 프로젝트에 있어 가장 적극적인 투자 대상이 되는 비즈니스 기능은 수익을 발생시키고 그것을 유지하는 것들임을 다시 한 번 확인했다. 전체 투자 금액 가운데 55%가 판매(15.2%), 마케팅(15%), 고객 서비스(13.3%), 연구 개발 및 신제품 개발(11.3%) 4부문에 집중될 정도였다. 반면 IT(11.1%), 재무(7.7%), 인사관리(5%) 등 수익 창출과 직접적인 관련이 없는 영역들에서는 투자 역시 소극적으로 이뤄지고 있었다.

최고의 빅 데이터 ROI를 기록한 분야는 물류와 재무다 판매나 마케팅과 같은 수익 발생 기능이 빅 데이터 투자의 주요 영역으로 여겨지는 것이 현실이지만(위 두 부문 만으로도 전체 예산의 32%를 운용하고 있다), 가장 큰 ROI를 기록하는 부서는 물류와 재무 부서였다(두 부서에 투자되는 예산 총 합은 14.4%다)고 TCS는 소개했다. TCS의 설문은 8개 현업에 포함되는 75 개 활동의 잠재적 효용을 평가하는 방식으로 이뤄졌는데, 물류 활동을 상위 25 개 활동 가운데 포함 시킨 기업의 수는 판매 활동을 해당 범주에 포함 시킨 기업의 수와 동일했다.

진짜 문제는 기술이 아닌 문화다 많은 기업들이 빅 데이터 프로젝트를 진행하며 기술적 어려움을 겪는 것은 사실이다. 하지만, TCS의 설문을 통해 확인된 빅 데이터 프로젝트 성공의 가장 큰 걸림돌은 기술 문제가 아닌, 현업 부서들 간의 정보 공유 체계를 활성화하는 것이었다. 물론 데이터의 규모와 속도, 다양성을 다뤄야 하는 기술적 어려움 역시 지적됐으나, 일단 데이터를 획득해야 다음 단계로 나아갈 수 있다는 것이 기업들의 생각이었다. 비즈니스 의사 결정에 필요한 데이터를 선정하는 문제도 기업들이 고민하는 사항 중 하나였다.