2012.01.11

하둡으로 가는 길 | 제1부 기술과 훈련

Brian Proffitt | ITWorld
빅 데이터는 클라우드 컴퓨팅만큼이나 널리 확산되고 있는 개념이다. 그러나 빅 데이터의 역량과 한계에 관해서는 사람들이 잘못 알고 있는 부분들이 많다. 특히 빅 데이터와 관련해 사람들은 다음의 질문들에 대한 내용들을 제대로 이해하지 못하고 있다.

->하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용
->하둡으로 가는 길 | 제3부 RDBMS에서 하둡으로 전환

-어떻게 기존의 데이터베이스들이 사실상 비관계형(non-relational)인 데이터 저장 엔진들과 함께 사용될 수 있는가?

-관계형 DBMS(RDBMS)에서 분산시스템으로 데이터를 옮기려면 무엇이 필요한가?

-IT직원들이 더 큰 관심을 보일만한 질문인, 조직 내에서 가장 잘 활용하려면 이러한 빅 데이터 시스템들을 어떻게 배워야 가장 잘 배울 수 있나?

현재로서는 비관계형 DBMS(NDBMS)의 가장 인기 있는 예로 아파치 하둡(Apache Hadoop)을 들 수 있다. 분산형 데이터 프레임워크인 하둡은 빅 데이터와 소위 NoSQL 데이터베이스의 전형으로 여겨진다. 그러나 위의 설명들이 하둡의 실제 모습이나 그것의 작동 원리를 설명해주지는 않는다.

-하둡은 진정 무엇이며 기업들과 IT직원들은 어떻게 그것을 활용할 수 있나?

-어떤 기업들이 하둡을 이용해야 하며 그것을 도입할만한 자원들은 어디서 구할 수 있나?

이러한 질문들에 대한 대답은 ‘하둡으로 가는 길’이라는 3부작 연재 기사를 통해 자세히 다룰 예정이다. 제1부에서는 주로 하둡이 어떻게 만들어지는지를 살펴볼 것이다. 하둡이 대체로 어떻게 작동하는지를 이해해야 DB관리자들과 데이터 분석가들이 하둡 프레임워크를 이용해 일하는데 구체적으로 어떠한 능력들을 필요로 하는지를 더 정확하게 파악할 수 있을 것이다. 또한 하둡의 생태계에 속해 있는 사람들을 알게 됨으로써 하둡 교육에 필요한 훌륭한 자원들을 찾아낼 수 있을 것이다.

->인터뷰 | 하둡 창안자 더크 커팅 “폭발적인 관심 지속될 것”

하둡에 대한 오해
하둡에 대한 다음의 두 요소들은 분명하게 알아둬야 한다: 하둡은 빅 데이터에만 배타적으로 사용되는 시스템이 아니며, 진정한 의미의 NoSQL 툴도 아니다.

하둡이 비관계형 DBMS에 속하는 것은 맞지만, 그렇다고 해서 SQL 쿼리언어를 사용하지 못하는 것은 아니다. 이는 심지어 NoSQL의 의미로도 적절치 않다; NoSQL이란 SQL 뿐 아니라 다른 쿼리 시스템도 사용될 수 있는 데이터베이스들을 표현하는 용어다. 사실 하둡에서는 SQL과 유사한 쿼리언어들을 상당히 쉽게 이용할 수 있다.

그리고 빅 데이터에 관한 다음의 개념도 수정돼야 한다. 많은 사람들은 하둡이라고 하면 방대한 양의 데이터부터 연상한다. 여기에는 물론 나름대로 합당한 이유가 있다: 하둡 저장공간은 누구나 막대한 양의 데이터를 떠올릴만한 페이스북과 야후가 사용하고 있기 때문이다.

그러나 하둡의 활용은 빅 데이터를 훨씬 넘어선다. 하둡의 가장 강력한 능력 중 하나는 확장성이다. 바로 이를 바탕으로 야후와 페이스북과의 관계를 유지하고 있을 뿐 아니라 얼마든지 규모를 축소시켜 저렴한 저장소와 데이터 관리를 원하는 기업들에게도 맞출 수 있다.

하둡의 이러한 광범위한 확장성 기능과 그 의미를 파악하기 위해서는 우선 하둡이 어떻게 작동하는지부터 이해해야 한다.




2012.01.11

하둡으로 가는 길 | 제1부 기술과 훈련

Brian Proffitt | ITWorld
빅 데이터는 클라우드 컴퓨팅만큼이나 널리 확산되고 있는 개념이다. 그러나 빅 데이터의 역량과 한계에 관해서는 사람들이 잘못 알고 있는 부분들이 많다. 특히 빅 데이터와 관련해 사람들은 다음의 질문들에 대한 내용들을 제대로 이해하지 못하고 있다.

->하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용
->하둡으로 가는 길 | 제3부 RDBMS에서 하둡으로 전환

-어떻게 기존의 데이터베이스들이 사실상 비관계형(non-relational)인 데이터 저장 엔진들과 함께 사용될 수 있는가?

-관계형 DBMS(RDBMS)에서 분산시스템으로 데이터를 옮기려면 무엇이 필요한가?

-IT직원들이 더 큰 관심을 보일만한 질문인, 조직 내에서 가장 잘 활용하려면 이러한 빅 데이터 시스템들을 어떻게 배워야 가장 잘 배울 수 있나?

현재로서는 비관계형 DBMS(NDBMS)의 가장 인기 있는 예로 아파치 하둡(Apache Hadoop)을 들 수 있다. 분산형 데이터 프레임워크인 하둡은 빅 데이터와 소위 NoSQL 데이터베이스의 전형으로 여겨진다. 그러나 위의 설명들이 하둡의 실제 모습이나 그것의 작동 원리를 설명해주지는 않는다.

-하둡은 진정 무엇이며 기업들과 IT직원들은 어떻게 그것을 활용할 수 있나?

-어떤 기업들이 하둡을 이용해야 하며 그것을 도입할만한 자원들은 어디서 구할 수 있나?

이러한 질문들에 대한 대답은 ‘하둡으로 가는 길’이라는 3부작 연재 기사를 통해 자세히 다룰 예정이다. 제1부에서는 주로 하둡이 어떻게 만들어지는지를 살펴볼 것이다. 하둡이 대체로 어떻게 작동하는지를 이해해야 DB관리자들과 데이터 분석가들이 하둡 프레임워크를 이용해 일하는데 구체적으로 어떠한 능력들을 필요로 하는지를 더 정확하게 파악할 수 있을 것이다. 또한 하둡의 생태계에 속해 있는 사람들을 알게 됨으로써 하둡 교육에 필요한 훌륭한 자원들을 찾아낼 수 있을 것이다.

->인터뷰 | 하둡 창안자 더크 커팅 “폭발적인 관심 지속될 것”

하둡에 대한 오해
하둡에 대한 다음의 두 요소들은 분명하게 알아둬야 한다: 하둡은 빅 데이터에만 배타적으로 사용되는 시스템이 아니며, 진정한 의미의 NoSQL 툴도 아니다.

하둡이 비관계형 DBMS에 속하는 것은 맞지만, 그렇다고 해서 SQL 쿼리언어를 사용하지 못하는 것은 아니다. 이는 심지어 NoSQL의 의미로도 적절치 않다; NoSQL이란 SQL 뿐 아니라 다른 쿼리 시스템도 사용될 수 있는 데이터베이스들을 표현하는 용어다. 사실 하둡에서는 SQL과 유사한 쿼리언어들을 상당히 쉽게 이용할 수 있다.

그리고 빅 데이터에 관한 다음의 개념도 수정돼야 한다. 많은 사람들은 하둡이라고 하면 방대한 양의 데이터부터 연상한다. 여기에는 물론 나름대로 합당한 이유가 있다: 하둡 저장공간은 누구나 막대한 양의 데이터를 떠올릴만한 페이스북과 야후가 사용하고 있기 때문이다.

그러나 하둡의 활용은 빅 데이터를 훨씬 넘어선다. 하둡의 가장 강력한 능력 중 하나는 확장성이다. 바로 이를 바탕으로 야후와 페이스북과의 관계를 유지하고 있을 뿐 아니라 얼마든지 규모를 축소시켜 저렴한 저장소와 데이터 관리를 원하는 기업들에게도 맞출 수 있다.

하둡의 이러한 광범위한 확장성 기능과 그 의미를 파악하기 위해서는 우선 하둡이 어떻게 작동하는지부터 이해해야 한다.


X