2012.04.03

하둡 위한 데이터 전송 툴 '스쿱 프로젝트', 아파치 전력 지원키로

Joab Jackson | IDG News Service
하둡을 도입하는 기업이 늘어나면서 대규모의 데이터를 하둡과 기존 데이터베이스나 데이터 웨어하우스 간에 전송하는 방법에 대한 수요 또한 늘어나고 있다. 이를 위한 새로운 커넥터를 개발하는 자원 개발자들은 이제 아파치 소프트웨어 재단으로부터 전격적인 지원을 받게 됐다.
 
아파치 소프트웨어 재단(Apache Software Foundation, ASF)은 대용량 데이터 전송 툴인 스쿱(Sqoop)을 최상위 프로젝트(TLP ; Top Level Project) 로 추진한다고 발표했다.
 
TLP가 되면서 스쿱은 아파치의 지원 인프라로부터 메일링 리스트, 협업 작업 공간, 법적 지원, 코드 저장소 등 완전한 지원을 받게 된다. TLP 상태는 또한 스쿱 워킹그룹이 소프트웨어 개발과 유지보수에 있어서 ASF의 프로세스와 원칙을 따른다는 것을 의미한다.
 
스쿱은 하둡 데이터 처리 플랫폼과 관계형 데이터베이스, 데이터 웨어하우스, 기타 비관계형 데이터 저장소 간에 대용량 데이터를 신속하게 전송할 수 있는 방법을 제공한다. MySQL, 포스트그레스SQL 등의 오픈소스 데이터베이스는 물론, 오라클, 마이크로소프트 SQL 서버, IBM DB2 등의 상용 DBMS, 기업 데이터 웨어하우스 등을 폭넓게 지원한다.
 
아파치 스쿱 프로젝트 책임자인 아빈드 프라브하카르는 스쿱은 수십억 줄의 데이터를 빠른 병렬처리 방식으로 하둡에 전송하기 위해 개발됐다고 설명했다. 스쿱은 또 데이터를 HDFS(Hadoop Distributed File System) 기반의 스토리지 공간에 직접 저장할 수도 있으며, HBase와 하이브(Hive)같은 다른 하둡 애플리케이션으로 전송할 수도 있다.
 
현재 1.4버전인 스쿱은 이미 몇몇 하둡 사이트에서 사용되고 있다. 온라인 마케팅 업체인' Coupons.com'은 스쿱을 하둡과 IBM 네테자 데이터 웨어하우스 어플라이언스 간의 데이터 교환에 사용하고 있다. 자상의 구조화된 데이터베이스에서 쿼리를 수행하고, 스쿱을 이용해 그 결과치를 하둡으로 전송하는 것이다.

교육 관련 기업인 아폴로 그룹 역시 스쿱을 데이터베이스에서 데이터를 추출하는 데 뿐만 아니라 하둡 작업의 결과물을 관계형 데이터베이스로 보내는 데도 사용하고 있다.
 
스쿱은 지난 2011년에 ASF 인큐베이터 프로젝트로 정해졌던 바 있다.
 
1999년 설립된 비영리 단체인 ASF는 150여 개 이상의 오픈소스 프로젝트를 지원하고 있는데, 아파치 웹 서버, 톰캣 애플리케이션 서버, 카산드라 데이터베이스, 루신 검색엔진, 펄 프로그래밍 언어, 하둡 데이터 분석 플랫폼 등이 대표적이다. 페이스북, 구글, IBM, HP, 마이크로소프트, VM웨어, 야후 등이 ASF의 주요 후원 업체이다.  editor@itworld.co.kr



2012.04.03

하둡 위한 데이터 전송 툴 '스쿱 프로젝트', 아파치 전력 지원키로

Joab Jackson | IDG News Service
하둡을 도입하는 기업이 늘어나면서 대규모의 데이터를 하둡과 기존 데이터베이스나 데이터 웨어하우스 간에 전송하는 방법에 대한 수요 또한 늘어나고 있다. 이를 위한 새로운 커넥터를 개발하는 자원 개발자들은 이제 아파치 소프트웨어 재단으로부터 전격적인 지원을 받게 됐다.
 
아파치 소프트웨어 재단(Apache Software Foundation, ASF)은 대용량 데이터 전송 툴인 스쿱(Sqoop)을 최상위 프로젝트(TLP ; Top Level Project) 로 추진한다고 발표했다.
 
TLP가 되면서 스쿱은 아파치의 지원 인프라로부터 메일링 리스트, 협업 작업 공간, 법적 지원, 코드 저장소 등 완전한 지원을 받게 된다. TLP 상태는 또한 스쿱 워킹그룹이 소프트웨어 개발과 유지보수에 있어서 ASF의 프로세스와 원칙을 따른다는 것을 의미한다.
 
스쿱은 하둡 데이터 처리 플랫폼과 관계형 데이터베이스, 데이터 웨어하우스, 기타 비관계형 데이터 저장소 간에 대용량 데이터를 신속하게 전송할 수 있는 방법을 제공한다. MySQL, 포스트그레스SQL 등의 오픈소스 데이터베이스는 물론, 오라클, 마이크로소프트 SQL 서버, IBM DB2 등의 상용 DBMS, 기업 데이터 웨어하우스 등을 폭넓게 지원한다.
 
아파치 스쿱 프로젝트 책임자인 아빈드 프라브하카르는 스쿱은 수십억 줄의 데이터를 빠른 병렬처리 방식으로 하둡에 전송하기 위해 개발됐다고 설명했다. 스쿱은 또 데이터를 HDFS(Hadoop Distributed File System) 기반의 스토리지 공간에 직접 저장할 수도 있으며, HBase와 하이브(Hive)같은 다른 하둡 애플리케이션으로 전송할 수도 있다.
 
현재 1.4버전인 스쿱은 이미 몇몇 하둡 사이트에서 사용되고 있다. 온라인 마케팅 업체인' Coupons.com'은 스쿱을 하둡과 IBM 네테자 데이터 웨어하우스 어플라이언스 간의 데이터 교환에 사용하고 있다. 자상의 구조화된 데이터베이스에서 쿼리를 수행하고, 스쿱을 이용해 그 결과치를 하둡으로 전송하는 것이다.

교육 관련 기업인 아폴로 그룹 역시 스쿱을 데이터베이스에서 데이터를 추출하는 데 뿐만 아니라 하둡 작업의 결과물을 관계형 데이터베이스로 보내는 데도 사용하고 있다.
 
스쿱은 지난 2011년에 ASF 인큐베이터 프로젝트로 정해졌던 바 있다.
 
1999년 설립된 비영리 단체인 ASF는 150여 개 이상의 오픈소스 프로젝트를 지원하고 있는데, 아파치 웹 서버, 톰캣 애플리케이션 서버, 카산드라 데이터베이스, 루신 검색엔진, 펄 프로그래밍 언어, 하둡 데이터 분석 플랫폼 등이 대표적이다. 페이스북, 구글, IBM, HP, 마이크로소프트, VM웨어, 야후 등이 ASF의 주요 후원 업체이다.  editor@itworld.co.kr

X