Offcanvas

BI / How To / 데이터센터 / 리더십|조직관리 / 빅데이터 | 애널리틱스 / 애플리케이션

빅 데이터 구축과 활용 ‘사례 속의 교훈들’

2012.04.20 Elana Varon   |  Computerworld

수용량과 속도에 투자하라
2010년 에픽 어드버타이징(Epic Advertising )과 코넥서스(Connexus)는 인수합병을 통해 에픽 미디어 그룹(Epic Media Group)으로 탈바꿈했다. 합병 당시 이들은 데이터 폭발의 문제로 골치를 썩고 있었다. 당시 코넥서스가 여러 웹사이트들에 전달하는 광고는 매일 3억 건에 달했지만, 그들에겐 더 이상의 스토리지가 없었다.

기업의 CIO 릭 오킨은 “인프라는 구식이었으며, 어떤 조치를 취해야 할 지 고민하고 있었다. 수 많은 데이터들이 그저 탁자 위에 쌓여 있었다. 애널리스트들이 어떤 광고 캠페인을 검토하고자 할 경우, 그들은 IT에 이를 확인해 줄 것을 요청해야 했다. 또 광고와 관련한 소비자 행동 세부 사항을 파악하는 작업이 완벽하게 이뤄지지 못했다”라고 당시를 회상했다.

이와 같은 문제는 이 비공개 기업의 운용에 많은 어려움을 안겼다.  방치된다면 이는 기업의 성장에 걸림돌로 작용했을 것이다. 물론 이들 기업은 서버를 구입해 여기에 광고들을 집어넣을 수도 있었다.

오킨은 그러나 각각의 광고에서 최대한의 효과를 끌어낼 방법을 연구하고 소비자들에게 다가갈 새로운 아이디어를 수집하는 것이야말로 고객에게 제공할 수 있는 가치였다고 설명하며, “애널리틱스 툴을 사용하면 어떤 요소가 효과적이고 어떤 요소가 제 기능을 못하고 있는지 확인할 수 있게 될 것이다. 때로 도구는 인간의 눈으로 볼 수 없는 것들을 찾아낼 것으로 기대했다”라고 전했다.

결국 그들은 새로운 인프라 테크놀로지 평가 작업에 들어갔다. 이 과정에서 최우선적으로 고려된 사항은 확장성(네트워크 퍼포먼스를 훼손하지 않으면서 서버와 스토리지를 추가할 수 있는 능력)이었다.

오킨은 “질문과 응답은 신속하게 이루어져야 했다. 데이터가 두 배로 증가할 경우 이를 처리하는데 소요되는 시간 역시 두 배로 증가한다. 그러나 하드웨어 또한 두 배로 늘린다면, 시간은 늘어나지 않을 것이다”라고 설명했다.
 
에픽 미디어가 추진한 코넥서스 프라이빗 클라우드 인프라(Connexus private cloud infrastructure) 개발 계획에는 버티카(Vertica)의 데이터 웨어하우스(data warehouse )와 마이크로스트레티지(Microstrategy)의 비즈니스 인텔리전스 소프트웨어, 그리고 조이엔트(Joyent)의 네트워크와 컴퓨팅, 스토리지 플랫폼이 사용됐다. 이들 기업은 버티카에 기반해 가동되는 전용 예측 모델링(predictive modeling) 애플리케이션을 구축하기도 했다.

확보된 프로세싱 파워(processing power)와 전용 툴을 통해 에픽 미디어는 고객에게 캠페인 개발에 활용할 수 있는 각종 정보나 광고를 보는 고객들에 대한 분석 정보들을 제공할 수 있게 됐다. 오킨은 “이로써 우리는 우리와 함께하는 기관이나 광고주들에게 보다 가까이 다가갈 수 있었다. 그리고 그 결과 고객들의 불만 역시 감소하게 되었다”라고 소개했다.

트랜젝션과 애널리틱스 시스템은 구별된다
하드웨어와 스토리지의 가격이 하락하면서 CIO들은 보다 경제적으로 기존의 애널리틱스 지원 시스템에 용량을 추가할 수 있게 됐다. 그러나 빅 데이터를 분석하는 과정에서는 트랜잭션 시스템과 애널리틱스 시스템을 개별적으로 유지하는 것이 각각의 프로세스를 올바르게 진행하는데 도움이 된다고 오킨은 조언했다.

에픽 미디어의 오킨은, 트랜잭션 용 데이터베이스는 일반적으로 대량의 고속 처리 작업을 수행할 수 있도록 구성되지 않기에, 그러한 작업을 진행할 경우 시스템의 퍼포먼스에 지장을 줄 수도 있기 때문이라고 설명했다.
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.