빅 데이터의 기대주 '인메모리 컴퓨팅'

빅 데이터의 출현과 더불어 주목 받는 기술이 바로 인메모리 컴퓨팅이다. 인메모리 컴퓨팅은 전통적으로 디스크 기반 스토리지에 상주하는 워크로드를 메인 메모리로 옮기는 기술이다. 이는 기존 방식에 비해 수 배에 달하는 성능 개선 효과를 가져온다.

하지만 이 기술은 데이터를 추출해 관계형 데이터 웨어하우스로 옮기는 데 따른 장점보다는 트랜잭셔널 시스템에서 실시간으로 이벤트를 분석하는데 따른 장점이 더 크다.

인메모리 컴퓨팅은 클릭테크(QlickTech)가 클릭뷰(Qlikview) 인메모리 비즈니스 분석 툴을 이용해 개척했다. 팁코(TIBCO)와 SAP 같은 대형 IT업체도 이런 솔루션을 제공하고 있으며, SAP는 올해 HANA 인메모리 비즈니스 분석 어플라이언스를 시장에 소개하기도 했다.

SAP 비즈니스 애널리틱스 부문의 글로벌 매니저인 스티브 루카스는 "현재 25개 기업들이 베타 사용자로 HANA를 이용하고 있으며, 또 다른 수 천 기업들이 많은 관심을 보이고 있다"라고 밝혔다.

"대형 소비재 기업의 경우, 재고 확보나 마케팅 같은 대용량 데이터가 발생하는 분야에서 분석 방법을 모색하고 있다. 또 ‘사기 행위’를 분석하고 싶어하는 금융 회사들도 있다”라고 루카스는 덧붙였다.

심지어 HANA를 이용해 가정에서 시청하는 TV 프로그램이 무엇인지 실시간으로 분석하고자 하는 모색하는 기업들도 있다. 루카스는 HANA를 통해 예측하지 못한 유형의 활동을 살펴보기 원하는 회사들도 있다고 전했다.

이들 회사가 추구하는 것은 속도다. 인메모리 기술과 데이터베이스 최적화는 기업들이 기존에 가능했던 방법보다 수 천 배 빠른 속도로 분석하게 해준다. 따라서 개별 기록에 대한 손상 없이 한층 크고 복잡한 데이터 세트를 처리할 수 있다.

빅 데이터로 탄생한 새로운 비즈니스
빅 데이터가 일부 기업들에게 새 기회를 제공하고 있지만, 이와 동시에 완전히 새로운 비즈니스 모델도 만들고 있다. 미국에서는 인포침프스(Infor Chimps)와 팩츄얼(Factual) 같은 신생 기업들이 DaaS(Dat-as-a-Service)로 알려진 모델을 통해 (유료 또는 무료로) 다양한 데이터를 수집해 이용하고 있다. 그 외 팔라티르 테크놀로지(Palantir Technologies)도 빅 데이터 관련 툴을 제공하고 있다.

새로운 애플리케이션을 개발하기 위해 인포침프스와 팩츄얼의 기술을 이용하는 개발자들이 늘고 있다. 특히 보관소에서 저장된 위치 데이터를 요청하는 개발자들이 많은 것으로 알려졌다. 팔라티르 테크놀로지는 기업들이 구조화, 비구조화, 관계형, 시간, 지리공간 데이터 등의 여러 데이터 유형을 통합하고 가시화해 분석하도록 지원하는 업체다.

이들 업체들이 제공하는 일부 서비스 경우, 새롭다고 하기는 어렵다. 하지만 빅 데이터 툴은 제공 서비스를 한층 정교하도록 만들었다. 호주 멜버른에 있는 더블IQ(DoubleIQ)는 분석을 위해 데이터 유형을 일치시킴으로써 십 년 간 풀지 못했던 고객들의 데이터 문제를 해결했다. 대표적인 것이 고객 행동에 대한 통합적인 시각을 제공하는 된 점이다.

이 회사의 공동 설립자인 데니스 클라리지는 많은 데이터를 처리할 수 있는 가능성이 열렸다고 강조했다. “데이터 채널이 10배로 증가했지만 데이터 량은 백배로 증가했다. 수 십 억 트랜잭션을 분석할 수 있는 수준이다”라고 클라리지는 말했다.

데이터 고속 처리
클라리지는 "디지털화의 결과로 더 많은 데이터가 생성되고 있다. 여기에는 웹 로그와 구매 행동 같은 웹 데이터가 많다. 트랜잭션 데이터가 많이 늘었고, 사용되는 채널이 더 많이 쪼개진 상태다. 우리에게는 바람직한 현상이다. 이들을 섞고, 포장하고, 다시 통합해 사용할 수 있는 더 많은 기회가 생겼기 때문이다"라고 전했다.

더블IQ는 또 더 많은 데이터 고속 처리할 목적으로 상용 하드웨어에서 그린플럼(Greenplum)을 실행하며 분석에 필요한 하드웨어 비용을 억제하고 있다. 이는 더블IQ가 더 많은 기업들을 대상으로 다양한 서비스를 제공하도록 해주고 있다.

클라리지는 "10년 전에는 비용 때문에 시도하지 못했을 것이다. 하지만 지금은 적은 비용을 들여 합리적으로 개발을 할 수 있게 됐다. 사용할 수 있는 데이터가 늘어나면서 여러 산업에서 더 많은 기회가 열렸기 때문이다. 또 특정 산업 내부에서도 이를 적용해 사용 범위가 확대되고 있다"라고 설명했다.

더블IQ는 장기적으로 고객 데이터를 자신들의 클라우드에 보관해 분석하고, 이를 고객들이 다시 이용할 수 있도록 하는 서비스를 계획하고 있다. 그리고 이를 구현하려면, 고객들이 자신들의 데이터 자산에서 최대한의 가치를 확보할 수 있도록 지원하는 목표에 발맞춰 발전을 해야 한다. 이는 많은 회사들이 실패한 부분이기도 하다.

클라리지는 "기업들은 정보를 제대로 활용하지 못하고 있다. 게다가 시간이 지나면 이를 잃어버리게 된다. 이런 기업들에서는 데이터에 대한 가치가 제대로 매겨질 수 없다"라고 강조했다. 빅 데이터 시대에는 데이터를 관리하지 못해 그 가치를 얻지 못하는 기업들도 늘어날 것이라고 클라리지는 전망했다. ciokr@idg.co.kr