아마존 CTO가 말하는 빅데이터의 쟁점들

IDG News Service
빅데이터에 대해 고민하고 있는 기업들은 빅데이터가 방대한 양의 데이터 분석뿐 아니라 정보를 어떻게 정보를 저장할 지에 대해서도 알아야 한다는 주장이 제기됐다. 독일 하노버에서 열리는 세빗에 기조연설자로 참가한 아마존 CTO 베르너 보겔스의 지적이다.

보겔스의 기조 연설의 주제는 ‘무제한의 데이터’로 빅데이터에 대해 큰 그림을 그리 기업들을 독려하는 것이었다. 그는 아마존의 클라우드가 빅데이터 시스템을 구축하는 어려움을 부분적으로나마 해결할 수 있는 청사진도 제시했다.

"빅데이터 하면, 흔히 분석만을 떠올리는데 사실 빅데이터가 곧 분석이라는 공식은 잘못됐다. 빅데이터는 전체 파이프라인으로 이해해야 한다. 빅데이터 솔루션이란 데이터의 수집, 저장, 정리, 분석, 공유로 이뤄진 각각의 단계에 대해 고려해야 한다”라고 보겔스는 말했다.

증가하는 엄청난 양의 데이터를 십분 활용하기 위해 많은 기업들이 데이터를 수집하고 있다. 경쟁 우위를 얻기 위해 혁신은 분석에서만 필요한 게 아니라 이 모든 분야에서 일어나야 한다고 보겔스는 강조했다.

아마존은 고객의 의견들을 오랫동안 분석하고 빅데이터를 처리해 왔다. 보겔스는 아마존이 그러한 방법으로 얻은 교훈은 데이터가 많으면 많을수록 좋다는 것이라고 밝혔다. 보겔스에 따르면, 실수란 고객 의견에 대한 충분한 데이터를 확보하지 못했을 때 발생한다고 한다.

“하지만 아마존이 빅데이터만 사용한 것은 아니다. 아마존은 빅데이터 시장의 원동력이 되는 기업으로서 클라우드의 수요를 주도하고 있다”라고 보겔스는 설명했다.

"손 안에 무한한 가능성을 쥐게 해줄 빅데이터 세계로 들어가는 것은 정말 중요하다. 우리는 무엇인가를 저장하는 방식이나 이를 처리하는 방법을 제한해서는 안된다”라고 보겔스는 강조했다

아마존 웹 서비스(AWS)는 기업이 데이터를 수집, 저장, 정리, 분석하고 이를 공유하도록 많은 서비스를 제공하고 있다.

예를 들어, 다이렉트 커넥트(Direct Connect)로 기업은 고객의 사이트와 아마존을 연결하는 전용 네트워크를 설치할 수 있다. 정말 데이터량이 방대하다면, AWS 가져오기/내보내기 서비스를 사용하면 된다. 이 서비스는 아마존의 클라우드 스토리지에 업로드돼 기업은 휴대용 저장 장치의 데이터를 아마존으로 보낼 수 있다.

빅데이터에 적합한 다른 서비스로는 데이터 집약적인 분석 작업을 수행하는 데 사용할 수 있는 아마존의 심플 스토리지 서비스(include Amazon's Simple Storage Service), 다이나모DB NoSQL(DynamoDB NoSQL) 데이터베이스, 아파치 하둡 기반의 엘라스틱 맵리듀스(Elastic MapReduce) 등이 있다.

아마존이 주장하는 이점들은 다른 분야에서 클라우드를 사용할 때 얻는 것과 비슷하다. 예를 들면 자원을 사용한 만큼 지불하고 신속하게 구축하며 덜 관리해도 되고 더 많은 컴퓨팅 파워를 빠르게 추가할 수 있는 장점들은 다른 클라우드 서비스를 통해서도 얻을 수 있다.

보겔스는 기존연설을 마치며 세빗의 청중들에게 빅데이터의 기원에 대해 말해줄 ‘제4의 패러다임 : 데이터 집약적인 과학의 발견’이라는 책을 읽어보라고 권했다. ciokr@idg.co.kr