빅 데이터, 이제 관리가 아니라 활용에 초점을 - 빅 데이터 월드 2011 컨퍼런스

ITWorld KR
‘빅 데이터가 클까, 클라우드가 클까?’ 
 
물론 비교할 수 있는 대상은 아니지만 그 영향력을 묻는 질문이라 생각해보자. 
이번 빅 데이터 월드 2011 컨퍼런스에서 의장을 맡은 EMC 그린플럼 아태지역 솔루션 및 전략 책임자 제임슨 호튼은 빅 데이터 시대에서의 10대 도전 과제에 대해 설파하면서 클라우드와 빅 데이터의 상관 관계를 얘기했다. 
정답은 ‘빅 데이터는 클라우드보다 크다’다.
클라우드 컴퓨팅을 통해 빅 데이터가 커지고 있는데, 빅 데이터는 클라우드보다 더 큰 의미와 범위를 갖고 있다는 것이 제임슨 호튼의 설명이었다. 빅 데이터를 통해 클라우드로 나아갈 수 있지만, 그 반대로는 안된다고 부연했다.

호튼은 “무엇보다 빅 데이터는 우리에게 사고하는 방식을 근본적으로 바꿔야 한다고 말하고 있다”고 주장했다. 
빅 데이터는 이미 우리네 삶과 산업을 변화시키고 있다. 다양한 정보 기기들이 소비자의 행태를 바꾸고 있으며, 이는 산업계에서는 비즈니스 경쟁의 룰조차 바꾸고 있다.

이제 빅 데이터는 피할 수 있는 것이 아니며, 누가 먼저 빅 데이터를 활용하느냐가 향후 비즈니스를 판가름하는 척도가 된다는 것이 호튼의 설명이다. 
 
10년 이래 가장 중요한 기술, 빅 데이터 기술
지난 11월 2일, 국내외 빅 데이터 관련 전문가와 300여 명의 IT 관리자들이 모인 이번 컨퍼런스를 개최한 한국IDG의 박형미 대표는 “2008년 이후 데이터가 폭증하고 있는데, 이는 5년만에 44배에 이를 것으로 예상된다”고 말했다.

박형미 대표는 “이는 단순한 데이터량의 증가가 아니라 데이터의 다양성, 속도 등을 함께 아우르는 의미이며, 특히 모바일 기기나 소셜 미디어 등에서 생산되는 비정형 데이터의 증가가 한 몫을 하고 있다”며, “이미 서구의 많은 기업들은 이런 변화를 새로운 기회요소로 보고 활용에 나서고 있다”고.
 
제임스 호튼은 “이렇게 폭증하는 데이터 문제를 해결하기에는 전통적인 데이터 처리 기술은 한계에 다다랐으며, 빅 데이터 기술은 과거 10년이래로 가장 중요한 기술이 될 것”이라고 말했다. 그렇다고 빅 데이터가 언제나 옳은 것은 아니며, 확률적인 문제기 때문에 IT 관리자들은 이를 잘 가려야 한다고 충고했다. 

한국IBM 소프트웨어그룹의 정보관리사업부 이지은 실장은 지난 데이터베이스 기술의 연혁을 설명하면서 “1970~80년대 RDBMS, 90년대 데이터웨어하우스 시대를 지나 이제 현재의 빅 데이터 시대가 도래한 것”이라고 말했다. 
 
아마존, 12개 기술팀 인터뷰 통해 얻어낸 노하우 전수 
기조 연설에 나선 아마존 수석 엔지니어인 존 라우저 데이터마이너는 빅 데이터로 인해 데이터 경제학이 변화하는데, 아마존은 어떻게 대응했으며, 이를 통해 어떤 서비스와 이익을 창출하고 있는지를 상세히 설명했다.
  
존 라우저는 “데이터 양의 폭증으로 인해 기존 데이터 처리 기술로는 도저히 데이터를 처리할 수 없는, 빅 데이터의 의미를 되짚어 본다면, 빅 데이터는 데이터 가운데 아주 적은 부분”이라며, “빅 데이터 기술은 서버 한 두대를 더 설치해야 하는 상황을 지연시킬 뿐만 아니라 향후 데이터센터를 추가적으로 건립해야 하는 시점까지도 연기시킬 수 있다”고 밝혔다.

라우저는 이번 컨퍼런스를 위해 아마존의 12개 각 기술팀에게 인터뷰하면서 알아낸 성공 노하우와 경험담을 설파했다. 
 
아마존은 빅 데이터 기술을 통해 분산시스템을 개발하는 비용과 운영 비용을 줄이는 것은 물론 과거 인간의 경험에 의해 좌우되었던 데이터마이닝의 역량 또한 기존에는 신과 같은 능력이 필요했다면, 이제는 재능있는 엔지니어만 있으면 폭증하는 데이터를 마이닝할 수 있게 됐다고. 
 
또한 아마존은 자사의 데이터 트래픽을 연구하면서 4분기 트래픽은 평소 트래픽의 3배이상으로 증가하기 때문에 레드라인을 피크 타임의 15% 위에 두고 몇 개월 전에 서버 증설 예약을 하곤 했는데, 실제로는 서버의 24%밖에 활용하지 못하며, 76%는 낭비되고 있는 상황을 파악했다. 
 
이 상황에서 아마존은 빅 데이터 기술을 통해 자사의 데이터센터 혁신을 물론 새로운 비즈니스를 만들었다. 아마존은 최근 아마존 일랙스틱 컴퓨트 클라우드라는 서비스를 선보였다. 라우저는 "트래픽이 폭증하면 몇분만에 서버를 추가할 수 있으며, 추가된 만큼의 비용만 지불하면 되는 서비스"라고 밝혔다. 
 
라우저는 데이터웨어하우스는 비법이 될 수 없다며, “데이터웨어하우스는 데이터가 죽는 곳”이라고 단언했다. 이를 통해 비즈니스 요건이 충족되더라도 이를 운영하는 사람과, 데이터웨어하우스를 통해 마이닝이 되는 것과 되지 않는 것을 설명해야 하는 번거로운 프로세스만 늘어나게 된다고 주장했다. 
 
빅 데이터 시대에 맞는 분석 방법 필요
이에 대해 이지은 실장은 전통적인 데이터 분석 방법과 빅 데이터 기술을 통한 분석 방법을 구분하면서, “현재 비즈니스 상황에서 정보기반의 통찰력을 얻기 위해서는 두 가지 분석 방법이 모두 필요하다”고 설명했다. 
 
전통적인 데이터 분석 방법은 비즈니스 요구사항을 정의하고 이에 기반한 데이터 모델링을 만들고, IT를 통해 이를 구조화하고 솔루션을 디자인한다. 
 
이에 비즈니스 현업은 쿼리를 수행해 반복적으로 질문에 대한 답을 얻는다. 이런 과정 속에서 현업은 변경해야 할 사안이나 새로운 비즈니스 요구가 발생하면, 다시 디자인하거나 재구축에 나서는 수순이다. 
 
이지은 실장은 “이런 발견 위주의 접근 방법은 빅 데이터 시대에는 맞지 않다. 새로운 빅 데이터 식 분석 방법은 비즈니스와 IT가 함께 가용할 수 있는 정보 소스를 확인한다. IT는 가용한 모든 데이터와 콘텐츠에 대해 창의적인 탐색이 가능하도록 플랫폼을 제공하면 비즈니스 현업은 데이터와 데이터의 상관 관계를 탐색하면서 얻은 통찰력을 통해 요구 사항들을 결정하고, 기존 기술과 연계해 적용하는 방식”이라고 설명했다. 
 
이지은 실장은 “빅 데이터는 데이터웨어하우스의 굉장히 확장된 형태의 정보 통합으로도 볼 수 있다"며, 빅 데이터를 문제로 인식하기 보다는 새로운 비즈니스 기회로 정의하는 게 옳으며, 이제는 누가 빨리 정보를 활용하느냐가 중요하다"고 주장했다. 
 
IBM은 이런 변화를 한 마디로 '스마트한 세상'이라 규정하고 이의 중심에는 정보라는 것이 있으며, IBM은 스마트한 세상에서 빅 데이터를 어떻게 활용하는지에 초점을 맞추고 있다. 
 
이지은 실장은 "IBM는 다양성(Variety). 속도(Velocity), 크기(Volume) 등 3V 전략을 내세우고 있다"며, "이와 함께 중요한 것은 바로 비용 효율적인 측면도 고려해야 한다"고.  
 
빅 데이터, 관리보다 이제는 활용이다
다음 커뮤니케이션 비즈 기획 유닛의 김민석 이사는 “데이터가 많다고, 잘 쌓았다고, 성공 사례가 있다고, 상급자가 시킨다고 잘 사용하는 것이 아니”라며, "데이터를 체계적으로 저장하고 효과적으로 구축하는 것도 중요하지만 데이터를 활용해 실제 비즈니스에 적용하는 것이 빅 데이터에서 가치를 창출하는 중요한 일"이라고 주장했다.
 
대우조선해양 IT기획그룹 소승욱 그룹장은 “전세계에 걸쳐 있는 사업장과 복잡 다난한 프로세스를 갖고 있는 조선산업, 에너지 사업 및 다양한 산업에도 역량을 확대하고 있는 대우조선해양에서 IT 관리는 이전에도 세상에 존재하는 모든 종류의 조달, 협업, 물류 프로세스를 감내하고 있었다”며, “2007년 이후 비정형 데이터의 폭증 시대를 맞이하면서 더더욱 힘든 상황에 봉착할 것을 예상했다”고. 
 
2011년 10월 기준으로 대우조선해양의 인터페이스 개수는 약 400개. SAP와 비SAP 데이터베이스 간 송수신되는 평균 데이터 건수가 하루에 600~700만 건에 이른다. 대우조선해양은 2007년 조선 비즈니스 1위를 달성한다는 목표를 가진 F1 전략을 출범하면서 이에 뒷받침하는 클라우드 시스템 체계를 구성하기로 했다. 
 
소승욱 그룹장은 빅 데이터를 효율적으로 관리하기 위해 고민했던 효과적인 툴과 이를 이용해 비즈니스 가치 창출을 실제로 달성하기까지의 로드맵을 상세히 소개했다. 
 
델 코리아 IDM 사업부장을 맡고 있는 권일선 이사는 “델이 오랫동안 기업 시장에 진출하기 위해 엄청난 노력을 해왔는데, 그 결실의 하나로 스토리지 솔루션의 라인업을 완성하고 국내에 선보이게 됐다” 고 밝혔다. 
마이크로스트레티지 김연희 부장은 빠른 의사결정을 지원하는 초고속 대용량 BI 기술, 즉 하이-퍼포먼스를 위한 6가지 기술을 설명하면서 다양한 기업 적용 사례들을 소개했다. 
 
한편 라우저는 “아마존의 이런 변화들이 결과적으로 설명은 쉽게 할 수 있었지만, 이를 실행하기까지는 정말 어려웠다”면서 “혁신은 때때로 불가능할지도 모른다. 그러나 급박한 상황이 되었을 때 누군가가 아이디어를 내지 않으면 혁신을 이룰 수 없다”고 말하면서 IT 관리자의 역할이 변하고 있다고 설명했다. editor@itworld.co.kr