2016.07.08

장단점·생태계·활용사례로 살펴보는 '하둡 vs. 스파크'

Scott Carey | Computerworld UK
기업 내 데이터 업무가 점점 증가하고 있다. 이에 따라 오픈소스 빅데이터 프레임워크인 하둡과 스파크 중 무엇을 고를 것인지가 점점 중요한 문제로 대두되고 있다. 하둡과 스파크의 장단점, 벤더 정보 고객사 활용 사례를 범주별로 분류해 살펴본다.



하둡(Hadoop)과 스파크(Spark)는 다른 점이 많은 기술이다. 사용 사례도 크게 다르다. 두 기술을 공개한 ASF(Apache Software Foundation)는 심지어 이 둘을 다른 범주로 분류하고 있다. 하둡은 데이터베이스이고 스파크는 빅데이터 툴이다.

아파치(Apache)의 말을 빌리자면 하둡은 ‘분산형 컴퓨팅 플랫폼’으로, 다음과 같이 설명된다.

“단순한 프로그래밍 모델을 사용하는 컴퓨터 클러스터에서 대형 데이터 세트의 분산형 처리를 가능하게 하는 프레임워크다. 단일 서버에서 각각 로컬 연산 및 저장 기능을 제공하는 수천 대의 장비로 스케일업(Scale Up)되도록 설계됐다. 하드웨어에 의존해 높은 가용성을 제공하는 대신, 라이브러리 자체가 애플리케이션 계층에서 고장을 감지하고 처리할 수 있도록 설계됐다.”

하둡에 관해 이야기할 때는 대부분 “애플리케이션 데이터에 대해 대용량 접근(high-throughput access )을 제공하는 분산형 파일 시스템”인 HDFS(Hadoop Distributed File System)를 의미한다. 하지만 이 밖에도 작업 일정관리 및 클러스터 자원 관리 툴인 하둡 얀(YARN)과 대형 데이터 세트 병렬 처리를 위한 하둡 맵리듀스가 존재한다.

한편, 스파크는 “대규모 데이터 처리를 위한 고속 일반 엔진이다. 자바(Java), 스칼라(Scala), 파이썬(Python)의 고수준 API뿐만이 아니라 스트림 처리, 기계 학습, 그래프 분석 등을 포함해 일련의 풍부한 라이브러리를 제공한다”라고 기술돼 있다.

그렇다면 이들을 어떻게 조합할 수 있을까?
둘 다 빅데이터 프레임워크이다. 기본적으로 데이터 풀(Pool)이 빠르게 성장하는 기업이라면, 하둡은 이 데이터를 신뢰할 수 있는 안전한 방법으로 저장할 수 있게 해줄 수 있는 도구다. 스파크는 이 데이터를 이해하기 위한 툴이다. 하둡이 러시아어로 쓴 성경이라면 스파크는 러시아어 사전이자 상용 회화집인 셈이다.

스파크는 HDFS나 NoSQL 데이터베이스 등의 다른 파일 시스템 상에서 구동될 수 있다. 몽고DB(MongoDB), 카우치베이스(Couchbase), 테라데이터(Teradata) 등의 스파크 커넥터를 활용해서다. (참조: 벤더 섹션)

카우치베이스의 제품 관리 책임자 윌 가델라는 “하둡의 경우 단일 기술이랄 게 없다. 거대한 기술군이다. 기본적으로 모두가 좋아하는 분산형 파일 네트워크를 갖게 된다. HDFS는 따분하면서도 어려운 문제를 잘 해결하며 원하는 만큼 많은 것을 저장할 수 있게 해주면서도 오류 걱정을 덜어준다. 이 점만큼은 확실하다”라고 말했다.

결국 데이터와 IT 인원의 기술을 통해 무엇을 하려는 지가 중요하다. 데이터를 하둡에 적용한 후에는 다양한 방법으로 가치를 얻을 수 있다. 표준 분석 업무는 데이터 청소(Cleansing), 쿼리(querying), 시각화용 데이터 레이크(Data Lake)에 툴을 연결시킴으로써 진행해나갈 수 있다.

분석 및 비즈니스 인텔리전스(Business Intelligence) 시장의 주요 기업(스플렁크 등)은 하둡 통합 제품을 공급하고 있다. 타블로(Tableau) 같은 데이터 시각화 기업은 이 데이터를 데이터 비전문가들에게 보여줄 수 있는 솔루션을 제시하고 있다.

한편, 가델라가 이야기했듯이 스파크는 "직원들이 실시간 데이터를 기준으로 의사를 결정할 수 있도록 하고자 할 때" 유용하다.

즉 데이터가 의료 기록 데이터베이스 등과 같이 단순히 방대한 용량의 구조화된 데이터라면 스파크의 스트리밍 역량은 그리 빛을 발하지 않는다.

하둡 vs 스파크: 장/단점
신뢰성: 하둡의 뚜렷한 이점은 분산형 플랫폼이기 때문에 고장에 덜 취약하여 기본 데이터를 항상 이용할 수 있다는 점이다. 상시 서비스 역량이 요구되는 웹 기업들이 이 데이터베이스를 선택하고 있는 이유다.

비용: 하둡과 스파크는 ASF의 프로젝트이기 때문에 오픈소스이며 기본적으로 무료다. 하지만 최종 가격은 이행 방식, 총 소유 비용, 필요한 기술과 하드웨어에 따른 이행 관련 시간 및 자원에 따라 달라질 수 있다. 이 밖에 데이터 레이크가 성장할지라도 고도의 확장성을 만끽할 수 있다.

오라클(Oracle)과 SAP 등의 전통적인 데이터베이스 제공자의 라이선스 제공 모델은 많은 CIO들에게 골칫거리였다. 반면 대부분의 하둡/스파크 전문 기업들이 제공하는 SaaS(Software-as-a-Service) 가격 모델은 기업 적합성을 살펴보기에 충분한 유연성을 제공해준다. .

속도: 아파치 재단에 따르면 스파크는 하둡 맵리듀스보다 최대 100배 더 빠르다고 한다. 왜냐하면 스파크는 하드 드라이브로 읽고 쓰는 대신에 인 메모리(IN-memory)로 동작하기 때문이다. 맵리듀스는 클러스터로부터 데이터를 읽고 연산을 수행하며 클러스터에 다시 결과를 작성하기 때문에 시간이 소요되는 반면에 스파크는 이 과정을 한 곳에서 수행한다.

보편성: 카우치베이스의 가델라는 이렇게 말했다. "스파크는 카우치베이스, MySQL, 아마존 S3(Amazon S3), HDFS 등 모든 곳에서 데이터를 불러올 수 있다. 예상 가능한 모든 포맷(Format)을 HBase에서 불러오는 된다. 스파크를 다재다능하게 만드는 특징이다.”

요구 역량: 벤더가 어떻게 이야기 하든 스파크는 사용이 쉽지 않은 툴이다. 데이터 분석가 및 전문가들을 위한 것으로 봐야 한다. 일반적으로 매우 복잡하고 지속적으로 변화하는 스트리밍 데이터 세트에 적용된다.

---------------------------------------------------------------
빅데이터 기술 인기기사
-> 빅데이터 분야 스파크 매력의 원천··· '주요 툴 7종' 가이드
-> 하둡과 아파치 스파크, 무엇이 어떻게 다른가? 5가지 궁금증
-> 칼럼 | 아파치 스파크에서 마음에 들지 않는 5가지
-> 빅데이터 윤활유 '아파치 카프카', 왜 주목받나
-> 하둡 이후 빅데이터의 미래··· 일괄 처리와 실시간 스트리밍 기술의 향방은?
-> 빅데이터 업체들, 하둡 기반 공통 플랫폼 만든다
-> '진화하는 하둡 툴을 한눈에' 빅 데이터 처리를 위한 18가지 필수 도구
-> 추천! 최고의 오픈소스 빅 데이터 툴 20선
-> 하둡 이후 빅데이터의 미래··· 일괄 처리와 실시간 스트리밍 기술의 향방은?
CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.
2016.07.08

장단점·생태계·활용사례로 살펴보는 '하둡 vs. 스파크'

Scott Carey | Computerworld UK
기업 내 데이터 업무가 점점 증가하고 있다. 이에 따라 오픈소스 빅데이터 프레임워크인 하둡과 스파크 중 무엇을 고를 것인지가 점점 중요한 문제로 대두되고 있다. 하둡과 스파크의 장단점, 벤더 정보 고객사 활용 사례를 범주별로 분류해 살펴본다.



하둡(Hadoop)과 스파크(Spark)는 다른 점이 많은 기술이다. 사용 사례도 크게 다르다. 두 기술을 공개한 ASF(Apache Software Foundation)는 심지어 이 둘을 다른 범주로 분류하고 있다. 하둡은 데이터베이스이고 스파크는 빅데이터 툴이다.

아파치(Apache)의 말을 빌리자면 하둡은 ‘분산형 컴퓨팅 플랫폼’으로, 다음과 같이 설명된다.

“단순한 프로그래밍 모델을 사용하는 컴퓨터 클러스터에서 대형 데이터 세트의 분산형 처리를 가능하게 하는 프레임워크다. 단일 서버에서 각각 로컬 연산 및 저장 기능을 제공하는 수천 대의 장비로 스케일업(Scale Up)되도록 설계됐다. 하드웨어에 의존해 높은 가용성을 제공하는 대신, 라이브러리 자체가 애플리케이션 계층에서 고장을 감지하고 처리할 수 있도록 설계됐다.”

하둡에 관해 이야기할 때는 대부분 “애플리케이션 데이터에 대해 대용량 접근(high-throughput access )을 제공하는 분산형 파일 시스템”인 HDFS(Hadoop Distributed File System)를 의미한다. 하지만 이 밖에도 작업 일정관리 및 클러스터 자원 관리 툴인 하둡 얀(YARN)과 대형 데이터 세트 병렬 처리를 위한 하둡 맵리듀스가 존재한다.

한편, 스파크는 “대규모 데이터 처리를 위한 고속 일반 엔진이다. 자바(Java), 스칼라(Scala), 파이썬(Python)의 고수준 API뿐만이 아니라 스트림 처리, 기계 학습, 그래프 분석 등을 포함해 일련의 풍부한 라이브러리를 제공한다”라고 기술돼 있다.

그렇다면 이들을 어떻게 조합할 수 있을까?
둘 다 빅데이터 프레임워크이다. 기본적으로 데이터 풀(Pool)이 빠르게 성장하는 기업이라면, 하둡은 이 데이터를 신뢰할 수 있는 안전한 방법으로 저장할 수 있게 해줄 수 있는 도구다. 스파크는 이 데이터를 이해하기 위한 툴이다. 하둡이 러시아어로 쓴 성경이라면 스파크는 러시아어 사전이자 상용 회화집인 셈이다.

스파크는 HDFS나 NoSQL 데이터베이스 등의 다른 파일 시스템 상에서 구동될 수 있다. 몽고DB(MongoDB), 카우치베이스(Couchbase), 테라데이터(Teradata) 등의 스파크 커넥터를 활용해서다. (참조: 벤더 섹션)

카우치베이스의 제품 관리 책임자 윌 가델라는 “하둡의 경우 단일 기술이랄 게 없다. 거대한 기술군이다. 기본적으로 모두가 좋아하는 분산형 파일 네트워크를 갖게 된다. HDFS는 따분하면서도 어려운 문제를 잘 해결하며 원하는 만큼 많은 것을 저장할 수 있게 해주면서도 오류 걱정을 덜어준다. 이 점만큼은 확실하다”라고 말했다.

결국 데이터와 IT 인원의 기술을 통해 무엇을 하려는 지가 중요하다. 데이터를 하둡에 적용한 후에는 다양한 방법으로 가치를 얻을 수 있다. 표준 분석 업무는 데이터 청소(Cleansing), 쿼리(querying), 시각화용 데이터 레이크(Data Lake)에 툴을 연결시킴으로써 진행해나갈 수 있다.

분석 및 비즈니스 인텔리전스(Business Intelligence) 시장의 주요 기업(스플렁크 등)은 하둡 통합 제품을 공급하고 있다. 타블로(Tableau) 같은 데이터 시각화 기업은 이 데이터를 데이터 비전문가들에게 보여줄 수 있는 솔루션을 제시하고 있다.

한편, 가델라가 이야기했듯이 스파크는 "직원들이 실시간 데이터를 기준으로 의사를 결정할 수 있도록 하고자 할 때" 유용하다.

즉 데이터가 의료 기록 데이터베이스 등과 같이 단순히 방대한 용량의 구조화된 데이터라면 스파크의 스트리밍 역량은 그리 빛을 발하지 않는다.

하둡 vs 스파크: 장/단점
신뢰성: 하둡의 뚜렷한 이점은 분산형 플랫폼이기 때문에 고장에 덜 취약하여 기본 데이터를 항상 이용할 수 있다는 점이다. 상시 서비스 역량이 요구되는 웹 기업들이 이 데이터베이스를 선택하고 있는 이유다.

비용: 하둡과 스파크는 ASF의 프로젝트이기 때문에 오픈소스이며 기본적으로 무료다. 하지만 최종 가격은 이행 방식, 총 소유 비용, 필요한 기술과 하드웨어에 따른 이행 관련 시간 및 자원에 따라 달라질 수 있다. 이 밖에 데이터 레이크가 성장할지라도 고도의 확장성을 만끽할 수 있다.

오라클(Oracle)과 SAP 등의 전통적인 데이터베이스 제공자의 라이선스 제공 모델은 많은 CIO들에게 골칫거리였다. 반면 대부분의 하둡/스파크 전문 기업들이 제공하는 SaaS(Software-as-a-Service) 가격 모델은 기업 적합성을 살펴보기에 충분한 유연성을 제공해준다. .

속도: 아파치 재단에 따르면 스파크는 하둡 맵리듀스보다 최대 100배 더 빠르다고 한다. 왜냐하면 스파크는 하드 드라이브로 읽고 쓰는 대신에 인 메모리(IN-memory)로 동작하기 때문이다. 맵리듀스는 클러스터로부터 데이터를 읽고 연산을 수행하며 클러스터에 다시 결과를 작성하기 때문에 시간이 소요되는 반면에 스파크는 이 과정을 한 곳에서 수행한다.

보편성: 카우치베이스의 가델라는 이렇게 말했다. "스파크는 카우치베이스, MySQL, 아마존 S3(Amazon S3), HDFS 등 모든 곳에서 데이터를 불러올 수 있다. 예상 가능한 모든 포맷(Format)을 HBase에서 불러오는 된다. 스파크를 다재다능하게 만드는 특징이다.”

요구 역량: 벤더가 어떻게 이야기 하든 스파크는 사용이 쉽지 않은 툴이다. 데이터 분석가 및 전문가들을 위한 것으로 봐야 한다. 일반적으로 매우 복잡하고 지속적으로 변화하는 스트리밍 데이터 세트에 적용된다.

---------------------------------------------------------------
빅데이터 기술 인기기사
-> 빅데이터 분야 스파크 매력의 원천··· '주요 툴 7종' 가이드
-> 하둡과 아파치 스파크, 무엇이 어떻게 다른가? 5가지 궁금증
-> 칼럼 | 아파치 스파크에서 마음에 들지 않는 5가지
-> 빅데이터 윤활유 '아파치 카프카', 왜 주목받나
-> 하둡 이후 빅데이터의 미래··· 일괄 처리와 실시간 스트리밍 기술의 향방은?
-> 빅데이터 업체들, 하둡 기반 공통 플랫폼 만든다
-> '진화하는 하둡 툴을 한눈에' 빅 데이터 처리를 위한 18가지 필수 도구
-> 추천! 최고의 오픈소스 빅 데이터 툴 20선
-> 하둡 이후 빅데이터의 미래··· 일괄 처리와 실시간 스트리밍 기술의 향방은?
CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.
X