2014.02.12

빅데이터와 NoSQL에 대한 숨겨진 진실

Andrew Oliver | InfoWorld
빅데이터 고객의 특징을 물으면 대부분 막대한 양의 데이터를 가진 고객이라고 말할 것이다. NoSQL의 고객 특징을 물으면 대부분 높은 수준의 동시성이 필요한 고객이라고 말할 것이다.

이것이 NoSQL과 빅데이터 시장의 전부라면 몽고DB, Inc.와 하둡을 지원하는 여러 업체들은 지금 문을 닫고 사업을 접어야 할 것이다.

사실 하둡 도입은 경제적인 측면에서 결정된 경향이 있다. 충분한 자금과 엄청난 양의 데이터, 두 가지 모두 가진 기업이라면 IBM, SAP 또는 테라데이터의 최고급 MPP 솔루션에 돈을 투자할 가능성이 높다.

대부분의 대기업들은 이미 그렇게 해왔다. 그러나 우리 모두가 100달러짜리 지폐로 담배 불을 붙이는 상위 1% 무리와 어울려 지내진 않는다. 설령 그런 사람이라 해도 데이터를 보관하고 이 데이터로 무엇을 할지는 나중에 결정하는 막대한 비용에 대한 결정을 "먼저" 내려야 한다.

이 외에 우리 같은 보통 사람에게 하둡은 이전에는 이용할 수 없었던 분석 기능을 제공한다. 상업적으로 지원되는 "엔터프라이즈" 하둡 배포판의 비용이라 해봤자 예를 들어 IBM 네티자(Netezza)와 같은 것에 비교하면 극히 미미한 수준이다.

또한 몽고DB 또는 Neo4j와 같은 NoSQL 기술은 사실상 경제적인 의사 결정이다. 막강한 고성능 서버를 구입하고 개발자 인건비에 충분히 투자한다면 원하는 RDBMS에서 거의 모든 문서 또는 그래프 데이터베이스 작업을 실행할 수 있다.

그러나 개발자 인건비는 결코 싸지 않고 서버 라이선스 비용도 높다. 게다가 고가용성과 재해복구를 지원하도록 RDBMS를 확장하기 위한 인프라스트럭처에도 큰 비용이 든다. 따라서 현명한 운영자라면 NoSQL 대안을 반기는 것이 당연하다. 즉, 보편적인 하드웨어를 사용해 비용을 절약하고 필요에 따라 서버를 추가로 가동하면 된다.

아주 작은 기업을 제외하면 데이터가 "작고" 동시성을 요구하지 않는 기업이란 없다. 하둡과 몽고DB가 이미 막대한 양의 데이터를 보관하고 있고 수백만 명의 사용자를 가진 기업들만 상대했다면, 시장은 몽고DB 하나의 평가 가치보다도 훨씬 더 작은 규모가 되었을 것이다.

숨겨진 비밀은 빅데이터와 NoSQL 개발업체들이 페이스북, 구글과 같이 소비자를 상대로 하는 B2C 대기업만 목표로 하지 않는다는 점이다. 이 기술은 훨씬 더 광범위하게 적용된다.

높은 동시성, 낮은 비용, 유연한 데이터 스토리지의 공급이 증가하면 이에 따라 수요도 증가하게 된다. 그 모든 데이터를 저렴하게 모아둘 수 있다면 마이닝도 저렴하게 해서 큰 기업들과 경쟁하면 되지 않겠는가?

게다가 조직이 성숙해짐에 따라 RDBMS 스키마 디자인(그리고 더 중요한 스키마 업데이트)에는 막대한 조정 작업이 필요하게 된다. 막대한 조정이 필요한 일이란 드물수록 좋다.

반면 NoSQL과 같이 유연한 기술은 변덕스러운 고객 수요와 확장되고 변화하는 시장에 적용하기 위한 방법을 모색하는, 치열하게 경쟁하는 기업들의 필요에 잘 맞는다.

오해는 하지 마라. 엄청난 양의 데이터를 갖고 엄청난 확장성을 지닌 기업은 NoSQL 데이터베이스와 빅데이터 도구를 배포할 수 있고 실제로 그렇게 한다.

그러나 지금까지 독자들의 IT 부서는 당면한 관련성이 없는 데이터는 내다 버리도록 스스로를 교육시켜왔을 것이다. 빅데이터와 NoSQL 기술은 모두에게 유용하며 데이터에 대한 사고 방식을 바꾸어 놓는다. 즉, 일단 보관하고 분석은 나중에 한다는 것이다. 이 시장은 생각보다 훨씬 더 큰 시장이다. editor@itworld.co.kr



2014.02.12

빅데이터와 NoSQL에 대한 숨겨진 진실

Andrew Oliver | InfoWorld
빅데이터 고객의 특징을 물으면 대부분 막대한 양의 데이터를 가진 고객이라고 말할 것이다. NoSQL의 고객 특징을 물으면 대부분 높은 수준의 동시성이 필요한 고객이라고 말할 것이다.

이것이 NoSQL과 빅데이터 시장의 전부라면 몽고DB, Inc.와 하둡을 지원하는 여러 업체들은 지금 문을 닫고 사업을 접어야 할 것이다.

사실 하둡 도입은 경제적인 측면에서 결정된 경향이 있다. 충분한 자금과 엄청난 양의 데이터, 두 가지 모두 가진 기업이라면 IBM, SAP 또는 테라데이터의 최고급 MPP 솔루션에 돈을 투자할 가능성이 높다.

대부분의 대기업들은 이미 그렇게 해왔다. 그러나 우리 모두가 100달러짜리 지폐로 담배 불을 붙이는 상위 1% 무리와 어울려 지내진 않는다. 설령 그런 사람이라 해도 데이터를 보관하고 이 데이터로 무엇을 할지는 나중에 결정하는 막대한 비용에 대한 결정을 "먼저" 내려야 한다.

이 외에 우리 같은 보통 사람에게 하둡은 이전에는 이용할 수 없었던 분석 기능을 제공한다. 상업적으로 지원되는 "엔터프라이즈" 하둡 배포판의 비용이라 해봤자 예를 들어 IBM 네티자(Netezza)와 같은 것에 비교하면 극히 미미한 수준이다.

또한 몽고DB 또는 Neo4j와 같은 NoSQL 기술은 사실상 경제적인 의사 결정이다. 막강한 고성능 서버를 구입하고 개발자 인건비에 충분히 투자한다면 원하는 RDBMS에서 거의 모든 문서 또는 그래프 데이터베이스 작업을 실행할 수 있다.

그러나 개발자 인건비는 결코 싸지 않고 서버 라이선스 비용도 높다. 게다가 고가용성과 재해복구를 지원하도록 RDBMS를 확장하기 위한 인프라스트럭처에도 큰 비용이 든다. 따라서 현명한 운영자라면 NoSQL 대안을 반기는 것이 당연하다. 즉, 보편적인 하드웨어를 사용해 비용을 절약하고 필요에 따라 서버를 추가로 가동하면 된다.

아주 작은 기업을 제외하면 데이터가 "작고" 동시성을 요구하지 않는 기업이란 없다. 하둡과 몽고DB가 이미 막대한 양의 데이터를 보관하고 있고 수백만 명의 사용자를 가진 기업들만 상대했다면, 시장은 몽고DB 하나의 평가 가치보다도 훨씬 더 작은 규모가 되었을 것이다.

숨겨진 비밀은 빅데이터와 NoSQL 개발업체들이 페이스북, 구글과 같이 소비자를 상대로 하는 B2C 대기업만 목표로 하지 않는다는 점이다. 이 기술은 훨씬 더 광범위하게 적용된다.

높은 동시성, 낮은 비용, 유연한 데이터 스토리지의 공급이 증가하면 이에 따라 수요도 증가하게 된다. 그 모든 데이터를 저렴하게 모아둘 수 있다면 마이닝도 저렴하게 해서 큰 기업들과 경쟁하면 되지 않겠는가?

게다가 조직이 성숙해짐에 따라 RDBMS 스키마 디자인(그리고 더 중요한 스키마 업데이트)에는 막대한 조정 작업이 필요하게 된다. 막대한 조정이 필요한 일이란 드물수록 좋다.

반면 NoSQL과 같이 유연한 기술은 변덕스러운 고객 수요와 확장되고 변화하는 시장에 적용하기 위한 방법을 모색하는, 치열하게 경쟁하는 기업들의 필요에 잘 맞는다.

오해는 하지 마라. 엄청난 양의 데이터를 갖고 엄청난 확장성을 지닌 기업은 NoSQL 데이터베이스와 빅데이터 도구를 배포할 수 있고 실제로 그렇게 한다.

그러나 지금까지 독자들의 IT 부서는 당면한 관련성이 없는 데이터는 내다 버리도록 스스로를 교육시켜왔을 것이다. 빅데이터와 NoSQL 기술은 모두에게 유용하며 데이터에 대한 사고 방식을 바꾸어 놓는다. 즉, 일단 보관하고 분석은 나중에 한다는 것이다. 이 시장은 생각보다 훨씬 더 큰 시장이다. editor@itworld.co.kr

X