2013.11.08

이베이의 선택 '하둡 유연성, 그리고 테라데이타'

Matthew Finnegan | Computerworld UK
이베이가 고객 데이터에 대한 통찰력을 얻기 위한 노력으로 테라데이타와 함께 하둡 같은 NoSQL 툴의 유연성을 선호한다고 밝혔다.

이베이의 데이터 아키텍트이자 수석 매니저인 마크 욱서스먼은 최근 영국 런던에서 열린 재무 정보 관리(FIMA) 행사에서 이베이가 테라데이타를 도입한 가장 큰 고객 중 하나라고 강조했다. 이베이가 도입한 제품에는 테라데이타의 2가지 주요 클러스터가 포함됐다. 하나는 정형 데이터와 관련해 전통적인 리포팅 시스템용인 일반 데이터웨어하우스(DW)이며 다른 하나는 다른 하나는 심도 있는 분석과 데이터 발견을 위해 개발된 싱귤래러티(Sigularity)라는 맞춤 플랫폼이다.

그는 이러한 하둡, 몽고DB, 카산드라 같은 오픈소스 데이터베이스 소프트웨어가 관계형 데이터베이스보다 데이터를 분석하는데 더 많은 혜택을 제공한다고 말했다.

"이베이는 세계에서 가장 큰 테라테이타 도입 사례 중 하나로, 90PB의 데이터를 처리하고 있다"라고 욱서스먼은 전했다. "그러나 우리가 100% 최적화됐다고 말할 수 있을까? 아마도 그렇게 말할 수 없을 것이다. 어쩌면 우리는 우리의 DW 최적화에 대해 생각해야 할 지도 모른다. 그리고 테라데이타를 좀더 유연하고 데이터 발굴용으로 잘 개발된 하둡 환경으로 넘겨버려야 할 지도 모른다"라고 그는 설명했다.

욱서스먼는 하둡 같은 툴이 실시간 분석 같은 영역에서 확실히 성과를 낸다 해도 NoSQL 데이터베이스는 특정 활용사례를 위한 것으로만 여길 뿐이며 여전히 가능한 관계형 데이터베이스로 향하려는 경향이 있다고 부연했다.

"비 관계형 데이터베이스를 사용하면서 100% 적합한 솔루션이라고 말하고 싶지 않다. 당신이 만약 데이터 관리를 보장하고 기록이 정확한지 같은 보안 트랜잭션에 대해 이야기하고 싶다면, 여기에 대해 우리는 여전히 오라클, 테라데이타 등 관계형 데이터베이스 관리시스템을 사용하고 있다고 답하겠다”라고 욱서스먼은 밝혔다.

"하지만 데이터 검색에 대한 무언가를 찾고 있다면, 정보가 날아다니면서 빠르게 처리하고 분석하는 것들을 좋아할 것이다. 그리고 비정형 정보의 일부도 수행해주면 더욱 좋아할 것이다. 그리고 이것이 바로 NoSQL 기술이 거기에 있는 이유다"라고 그는 강조했다.

이러한 툴의 사용은 이베이가 생성하고 처리하는 대용량 데이터로 더 나은 통찰력을 얻도록 해주고 있다. 욱서스먼는 소셜 미디어 피드와 같은 비정형 데이터의 분석과 함께 이는 수 페타바이트의 데이터로 실행한다고 말했다.

"이베이에서는 더 이상 수백 테라바이트에 대해 말하지 않는다. 우리가 다른 채널에서 처리하는 수백 페타바이트에 대해서만 이야기한다"라고 그는 밝혔다.

이베이 데이터 과학자팀이 얻은 정보는 고객의 행동에 대한 통찰력을 가져 오는데 쓰이며 예측 마케팅을 가능하게 했다.

전자상거래로 출발해 경매 사이트로 확장한 이베이의 경우, 정가 유통으로 가고 페이팔 플랫폼과 스텁허브(StubHub) 예매 사이트 같은 서비스 확장으로 연결하려 할 때 혜택을 얻을 수 있었다.

"지금 이순간에도 우리는 서로 다른 회사들과 더 많이 통합하고 있다. 기업들에는 이미 내력, 기존 시스템, 데이터 플랫폼이 있기 때문에 이는 큰 도전이 될 것이다. 따라서 통합은 우리에게 엄청난 프로젝트다"라고 욱스먼스는 주장했다.

"우리는 당신이 스텁허브(StubHub)나 페이팔에 가는지 알고 싶고 당신이 이베이의 고객인지 아닌지 궁금하다. 당신이 이베이의 고객이라면 우리는 당신에게 이베이닷컴에서 뭔가를 제공할 수 있을 것이다. 당신이 스텁허브StubHub에서 티켓을 구매할 수도 있다"라고 그는 설명했다.

그는 “우리의 고객을 360도로 바라볼 수 있는지 확인하는 것은 매우 중요하며, 빅 데이터가 실제로 우리가 이 고민을 해결하도록 도왔다"라고 덧붙였다. ciokr@idg.co.kr



2013.11.08

이베이의 선택 '하둡 유연성, 그리고 테라데이타'

Matthew Finnegan | Computerworld UK
이베이가 고객 데이터에 대한 통찰력을 얻기 위한 노력으로 테라데이타와 함께 하둡 같은 NoSQL 툴의 유연성을 선호한다고 밝혔다.

이베이의 데이터 아키텍트이자 수석 매니저인 마크 욱서스먼은 최근 영국 런던에서 열린 재무 정보 관리(FIMA) 행사에서 이베이가 테라데이타를 도입한 가장 큰 고객 중 하나라고 강조했다. 이베이가 도입한 제품에는 테라데이타의 2가지 주요 클러스터가 포함됐다. 하나는 정형 데이터와 관련해 전통적인 리포팅 시스템용인 일반 데이터웨어하우스(DW)이며 다른 하나는 다른 하나는 심도 있는 분석과 데이터 발견을 위해 개발된 싱귤래러티(Sigularity)라는 맞춤 플랫폼이다.

그는 이러한 하둡, 몽고DB, 카산드라 같은 오픈소스 데이터베이스 소프트웨어가 관계형 데이터베이스보다 데이터를 분석하는데 더 많은 혜택을 제공한다고 말했다.

"이베이는 세계에서 가장 큰 테라테이타 도입 사례 중 하나로, 90PB의 데이터를 처리하고 있다"라고 욱서스먼은 전했다. "그러나 우리가 100% 최적화됐다고 말할 수 있을까? 아마도 그렇게 말할 수 없을 것이다. 어쩌면 우리는 우리의 DW 최적화에 대해 생각해야 할 지도 모른다. 그리고 테라데이타를 좀더 유연하고 데이터 발굴용으로 잘 개발된 하둡 환경으로 넘겨버려야 할 지도 모른다"라고 그는 설명했다.

욱서스먼는 하둡 같은 툴이 실시간 분석 같은 영역에서 확실히 성과를 낸다 해도 NoSQL 데이터베이스는 특정 활용사례를 위한 것으로만 여길 뿐이며 여전히 가능한 관계형 데이터베이스로 향하려는 경향이 있다고 부연했다.

"비 관계형 데이터베이스를 사용하면서 100% 적합한 솔루션이라고 말하고 싶지 않다. 당신이 만약 데이터 관리를 보장하고 기록이 정확한지 같은 보안 트랜잭션에 대해 이야기하고 싶다면, 여기에 대해 우리는 여전히 오라클, 테라데이타 등 관계형 데이터베이스 관리시스템을 사용하고 있다고 답하겠다”라고 욱서스먼은 밝혔다.

"하지만 데이터 검색에 대한 무언가를 찾고 있다면, 정보가 날아다니면서 빠르게 처리하고 분석하는 것들을 좋아할 것이다. 그리고 비정형 정보의 일부도 수행해주면 더욱 좋아할 것이다. 그리고 이것이 바로 NoSQL 기술이 거기에 있는 이유다"라고 그는 강조했다.

이러한 툴의 사용은 이베이가 생성하고 처리하는 대용량 데이터로 더 나은 통찰력을 얻도록 해주고 있다. 욱서스먼는 소셜 미디어 피드와 같은 비정형 데이터의 분석과 함께 이는 수 페타바이트의 데이터로 실행한다고 말했다.

"이베이에서는 더 이상 수백 테라바이트에 대해 말하지 않는다. 우리가 다른 채널에서 처리하는 수백 페타바이트에 대해서만 이야기한다"라고 그는 밝혔다.

이베이 데이터 과학자팀이 얻은 정보는 고객의 행동에 대한 통찰력을 가져 오는데 쓰이며 예측 마케팅을 가능하게 했다.

전자상거래로 출발해 경매 사이트로 확장한 이베이의 경우, 정가 유통으로 가고 페이팔 플랫폼과 스텁허브(StubHub) 예매 사이트 같은 서비스 확장으로 연결하려 할 때 혜택을 얻을 수 있었다.

"지금 이순간에도 우리는 서로 다른 회사들과 더 많이 통합하고 있다. 기업들에는 이미 내력, 기존 시스템, 데이터 플랫폼이 있기 때문에 이는 큰 도전이 될 것이다. 따라서 통합은 우리에게 엄청난 프로젝트다"라고 욱스먼스는 주장했다.

"우리는 당신이 스텁허브(StubHub)나 페이팔에 가는지 알고 싶고 당신이 이베이의 고객인지 아닌지 궁금하다. 당신이 이베이의 고객이라면 우리는 당신에게 이베이닷컴에서 뭔가를 제공할 수 있을 것이다. 당신이 스텁허브StubHub에서 티켓을 구매할 수도 있다"라고 그는 설명했다.

그는 “우리의 고객을 360도로 바라볼 수 있는지 확인하는 것은 매우 중요하며, 빅 데이터가 실제로 우리가 이 고민을 해결하도록 도왔다"라고 덧붙였다. ciokr@idg.co.kr

X