Offcanvas

������������

기고 | 이동의 자유, 마침내 클라우드 2.0에서 실현되다

데이터와 애플리케이션이 퍼블릭 클라우드, 프라이빗 클라우드, 온프레미스 내 어디든 막힘없이 이동하는 멀티 클라우드에 대해 CIO들의 생각을 물어보면 크게 두 부류로 나뉜다.   먼저 경험이 없는 부류다. 아직 AWS, 애저, 구글 클라우드와 같은 퍼블릭 클라우드로 컴퓨팅 기능을 옮기지 않은 부류로서 그 개념을 그다지 대단하게 생각하지 않는다. 어차피 클라우드는 다 그런 식으로 작동하는 것 아니냐는 착각에 빠져 있기 때문이다. 다른 부류는 한때 이들과 똑같은 착각을 했지만, 데이터와 워크로드를 공용 플랫폼으로 옮긴 사람들이다. 이제 이들은 진정한 멀티 클라우드가 가능하기는 한지 의아해하는 상황에 놓여 있다. 사실 진정한 멀티 클라우드는 분명히 가능하다. 실제로 오늘날 멀티 클라우드의 단점을 보완할 새로운 종류의 제품들이 등장하기 시작했다. 이 새로운 제품군을 위해 가트너는 올해 1월 ‘클라우드 데이터 생태계’라는 용어를 만들었고 애널리스트 회사 451리서치는 작년 말 ‘엔터프라이즈 인텔리전스 플랫폼’이라는 말을 쓰기 시작했으며, 이 분야에서 가장 포괄적인 플랫폼을 자랑하는 클라우데라는 지난여름 이 분야를 ‘엔터프라이즈 데이터 클라우드’라고 명명했다. 필자는 이를 클라우드 2.0이라고 부른다. 결국에는 클라우드 1.0에서 기대한 모든 것을 갖출 것이기 때문이다. 들어가며… 데이터센터 활용 결정을 버리기가 불안했던 많은 얼리어답터는 저장공간과 컴퓨팅 기능을 무한정 제공한다는 유혹에 넘어가 클라우드 모델에 적극적으로 뛰어들었다. 그러나 곧 두 발이 묶여버린 경우가 많았다. 그 이유는 2가지다. 첫째, 장기 계약에 묶였기 때문이다. 실제로 어느 정도의 기능이 필요할지 모르는 상태로 그저 가격 우대 혜택을 받으려고 덜컥 장기 계약을 체결해 버린 것이다. 고정 요금이지만 사실상 필요 이상으로 많이 내는 셈이 되었다. 약정한 기능 중 극히 일부만 사용하게 된 경우도 있었고, 어느 정도의 저장공간과 컴퓨팅이 필요할지 과소평가하는 바람에 화들짝 놀랄 정도로...

CIO 451리서치 HPE 애저 스택 클라우드 2.0 ML 멀티 클라우드 아웃포스트 구글 안토스 엔터프라이즈 데이터 클라우드 엔터프라이즈 인텔리전스 플랫폼 아마존웹서비스 마이크로소프트 애저 뉴타닉스 오라클 가트너 IBM AWS 레드햇 컨테이너 클라우데라 호튼웍스 구글 클라우드 클라우드 데이터 생태계

2020.03.05

데이터와 애플리케이션이 퍼블릭 클라우드, 프라이빗 클라우드, 온프레미스 내 어디든 막힘없이 이동하는 멀티 클라우드에 대해 CIO들의 생각을 물어보면 크게 두 부류로 나뉜다.   먼저 경험이 없는 부류다. 아직 AWS, 애저, 구글 클라우드와 같은 퍼블릭 클라우드로 컴퓨팅 기능을 옮기지 않은 부류로서 그 개념을 그다지 대단하게 생각하지 않는다. 어차피 클라우드는 다 그런 식으로 작동하는 것 아니냐는 착각에 빠져 있기 때문이다. 다른 부류는 한때 이들과 똑같은 착각을 했지만, 데이터와 워크로드를 공용 플랫폼으로 옮긴 사람들이다. 이제 이들은 진정한 멀티 클라우드가 가능하기는 한지 의아해하는 상황에 놓여 있다. 사실 진정한 멀티 클라우드는 분명히 가능하다. 실제로 오늘날 멀티 클라우드의 단점을 보완할 새로운 종류의 제품들이 등장하기 시작했다. 이 새로운 제품군을 위해 가트너는 올해 1월 ‘클라우드 데이터 생태계’라는 용어를 만들었고 애널리스트 회사 451리서치는 작년 말 ‘엔터프라이즈 인텔리전스 플랫폼’이라는 말을 쓰기 시작했으며, 이 분야에서 가장 포괄적인 플랫폼을 자랑하는 클라우데라는 지난여름 이 분야를 ‘엔터프라이즈 데이터 클라우드’라고 명명했다. 필자는 이를 클라우드 2.0이라고 부른다. 결국에는 클라우드 1.0에서 기대한 모든 것을 갖출 것이기 때문이다. 들어가며… 데이터센터 활용 결정을 버리기가 불안했던 많은 얼리어답터는 저장공간과 컴퓨팅 기능을 무한정 제공한다는 유혹에 넘어가 클라우드 모델에 적극적으로 뛰어들었다. 그러나 곧 두 발이 묶여버린 경우가 많았다. 그 이유는 2가지다. 첫째, 장기 계약에 묶였기 때문이다. 실제로 어느 정도의 기능이 필요할지 모르는 상태로 그저 가격 우대 혜택을 받으려고 덜컥 장기 계약을 체결해 버린 것이다. 고정 요금이지만 사실상 필요 이상으로 많이 내는 셈이 되었다. 약정한 기능 중 극히 일부만 사용하게 된 경우도 있었고, 어느 정도의 저장공간과 컴퓨팅이 필요할지 과소평가하는 바람에 화들짝 놀랄 정도로...

2020.03.05

의료 기업의 난제 '데이터 복잡성'··· 영국 '바빌론 헬스'는 이렇게 풀었다

바빌론 헬스(Babylon Health)는 영국에서 가장 빠르게 성장 중인 의료 스타트업이다. 이 기업의 앱을 이용하면 화상 통화로 국민건강보험(NHS) 보건의(General Practitioner, GP)와 신속하게 연결해 진단 데이터를 확인할 수 있다. 챗봇 방식의 상호작용형 증상 확인 기능도 지원한다. 바빌론은 2013년 알리 파사가 설립한 이후 현재까지 8,000만 달러 이상 투자 받았다. 바빌론, 푸시 닥터(Push Doctor) 같은 앱 덕분에 영국 소비자가 의료 장비에 접근하는 방식이 빠르게 바뀌고 있다. 심지어 보건 장관 매트 핸콕마저 이런 변화를 긍정적으로 평가했다. 단, 의료 업계의 비판도 만만치 않다. 증상 확인 기능과 헬스체크(Healthcheck, 사용자에게 몇 가지 질문을 한 후 건강 보고서를 작성하는 바빌론의 또 다른 서비스)는 기본적으로 대형 의료 데이터베이스와 함께 일련의 알고리즘을 통해 개인화된 추천을 제공한다. 바빌론 헬스는 이런 과정에서 표준 운영 BI부터 더 복잡한 스트리밍 분석, 머신러닝 또는 데이터 사이언스 주도적 사례까지 모든 분석 방법을 사용한다. 이를 지원하기 위해 이 기업은 2017년 10월 네일 윈터스를 비즈니스 인텔리전스 이사로 영입했다. 윈터스는 BBC 월드와이드에서 BI 프로젝트 관리자로 근무한 후 마이크로소프트의 수석 BI 프로젝트 관리자, 애플 EMEA BI 관리자 등을 거쳤다.  윈터스가 화려한 경력에도 불구하고 바빌론 같은 스타트업에 합류한 이유는 무엇일까? 그는 최근 바르셀로나에서 열린 데이터웍스 총회에서 "처음부터 무엇인가를 주도할 좋은 기회였다. 바빌론에서 좋은 점은 기업이 아직 젊기 때문에 레거시 프로세스가 많지 않고 빠르고 현명하며 혁신적인 스타트업의 문화만 있다는 것이다"라고 말했다. 확장 가능한 분석 플랫폼 구축하기 윈터스의 당면 과제는 기업과 함께 안전하게 성장하는 확장 가능한 한 분석 플랫폼을 구축하는 것이었다. 그는 "우리는 매우 큰...

빅데이터 호튼웍스 바빌론헬스

2019.03.29

바빌론 헬스(Babylon Health)는 영국에서 가장 빠르게 성장 중인 의료 스타트업이다. 이 기업의 앱을 이용하면 화상 통화로 국민건강보험(NHS) 보건의(General Practitioner, GP)와 신속하게 연결해 진단 데이터를 확인할 수 있다. 챗봇 방식의 상호작용형 증상 확인 기능도 지원한다. 바빌론은 2013년 알리 파사가 설립한 이후 현재까지 8,000만 달러 이상 투자 받았다. 바빌론, 푸시 닥터(Push Doctor) 같은 앱 덕분에 영국 소비자가 의료 장비에 접근하는 방식이 빠르게 바뀌고 있다. 심지어 보건 장관 매트 핸콕마저 이런 변화를 긍정적으로 평가했다. 단, 의료 업계의 비판도 만만치 않다. 증상 확인 기능과 헬스체크(Healthcheck, 사용자에게 몇 가지 질문을 한 후 건강 보고서를 작성하는 바빌론의 또 다른 서비스)는 기본적으로 대형 의료 데이터베이스와 함께 일련의 알고리즘을 통해 개인화된 추천을 제공한다. 바빌론 헬스는 이런 과정에서 표준 운영 BI부터 더 복잡한 스트리밍 분석, 머신러닝 또는 데이터 사이언스 주도적 사례까지 모든 분석 방법을 사용한다. 이를 지원하기 위해 이 기업은 2017년 10월 네일 윈터스를 비즈니스 인텔리전스 이사로 영입했다. 윈터스는 BBC 월드와이드에서 BI 프로젝트 관리자로 근무한 후 마이크로소프트의 수석 BI 프로젝트 관리자, 애플 EMEA BI 관리자 등을 거쳤다.  윈터스가 화려한 경력에도 불구하고 바빌론 같은 스타트업에 합류한 이유는 무엇일까? 그는 최근 바르셀로나에서 열린 데이터웍스 총회에서 "처음부터 무엇인가를 주도할 좋은 기회였다. 바빌론에서 좋은 점은 기업이 아직 젊기 때문에 레거시 프로세스가 많지 않고 빠르고 현명하며 혁신적인 스타트업의 문화만 있다는 것이다"라고 말했다. 확장 가능한 분석 플랫폼 구축하기 윈터스의 당면 과제는 기업과 함께 안전하게 성장하는 확장 가능한 한 분석 플랫폼을 구축하는 것이었다. 그는 "우리는 매우 큰...

2019.03.29

새로운 클라우데라 CEO에게 듣는 '클라우드와 오픈소스 전략'

클라우데라(Cloudera)와 호튼웍스(Hortonworks)가 합병해 탄생한 새로운 회사는 클라우데라 브랜드로 활동하게 된다. 새 합병 회사는 고객들을 새로운 통합 클라우데라 데이터 플랫폼으로 이전하도록 하는 데 목표를 두고 있다. 이와 동시에 하이브리드 및 멀티클라우드 배포 상품과 서비스에 계속 전념을 할 계획이다. 또한 100% 오픈소스를 유지할 계획이다. 지난 해 10월, 두 경쟁 회사는 주식을 동일하게 통합하는 방식의 합병 발표를 했다. 당시 두 회사는 벤처캐피탈리스트로부터 많은 투자를 유치했지만, 오픈소스 기반 데이터 솔루션의 효과적인 ‘수익화’에 애를 먹고 있었다. 당시에는 새 합병 회사가 사용할 ‘브랜드’를 몰랐다. 그러나 이제 그 브랜드가 클라우데라로 결정된 것을 알게 되었다. 호튼웍스 브랜드는 폐기 처분될 것이다. 당시 <컴퓨터월드UK>가 작성한 기사에 이런 미래가 반영되어 있었다. “이번 합병 협상에서 ‘알파독(우위를 점한)’에 해당되는 회사는 클라우데라다. 클라우데라 주주들이 합병 회사의 자본 60%를 갖게 될 것이다. 클라우데라의 톰 라일리 CEO(아래 사진)가 합병 회사의 경영을 책임지며, 비어든은 이사회 이사로 합류한다” 라일리는 10일(현지 시각) ‘사전 녹화한’ 웨비나에서 ‘새로운 클라우데라’가 새로운 클라우데라 데이터 플랫폼에 고객들을 유치하는 일에 초점을 맞출 계획이라고 강조했다. 또 머신러닝과 엣지 기술에 우선 투자할 계획이라고 벍혔다. 그리고 벤더 종속을 우려하는 고객들을 위해 하이브리드와 멀티클라우드 배포 옵션을 계속 제공하고 오픈소스 커뮤니티에 지속해서 주력하며 기여할 예정이라고 덧붙였다. 그는 “클라우데라와 호튼웍스는 최근 몇 년간 각자 서로 다른, 그렇지만 보완적인 분야에 투자했다. 호튼웍스는 엣지에서의 IoT 데이터 처리, 실시간 스트리밍에 투자했고, 클...

CEO 록인 호튼웍스 Lock-in CPO 쿠버네티스 GCP 구글 클라우드 플랫폼 멀티클라우드 애런 머피 최고 제품 책임자 클라우데라 종속 엣지 M&A 마이크로소프트 매출 AWS 애저 표준 하이브리드 컨테이너 합병 하둡 톰 라일리

2019.01.15

클라우데라(Cloudera)와 호튼웍스(Hortonworks)가 합병해 탄생한 새로운 회사는 클라우데라 브랜드로 활동하게 된다. 새 합병 회사는 고객들을 새로운 통합 클라우데라 데이터 플랫폼으로 이전하도록 하는 데 목표를 두고 있다. 이와 동시에 하이브리드 및 멀티클라우드 배포 상품과 서비스에 계속 전념을 할 계획이다. 또한 100% 오픈소스를 유지할 계획이다. 지난 해 10월, 두 경쟁 회사는 주식을 동일하게 통합하는 방식의 합병 발표를 했다. 당시 두 회사는 벤처캐피탈리스트로부터 많은 투자를 유치했지만, 오픈소스 기반 데이터 솔루션의 효과적인 ‘수익화’에 애를 먹고 있었다. 당시에는 새 합병 회사가 사용할 ‘브랜드’를 몰랐다. 그러나 이제 그 브랜드가 클라우데라로 결정된 것을 알게 되었다. 호튼웍스 브랜드는 폐기 처분될 것이다. 당시 <컴퓨터월드UK>가 작성한 기사에 이런 미래가 반영되어 있었다. “이번 합병 협상에서 ‘알파독(우위를 점한)’에 해당되는 회사는 클라우데라다. 클라우데라 주주들이 합병 회사의 자본 60%를 갖게 될 것이다. 클라우데라의 톰 라일리 CEO(아래 사진)가 합병 회사의 경영을 책임지며, 비어든은 이사회 이사로 합류한다” 라일리는 10일(현지 시각) ‘사전 녹화한’ 웨비나에서 ‘새로운 클라우데라’가 새로운 클라우데라 데이터 플랫폼에 고객들을 유치하는 일에 초점을 맞출 계획이라고 강조했다. 또 머신러닝과 엣지 기술에 우선 투자할 계획이라고 벍혔다. 그리고 벤더 종속을 우려하는 고객들을 위해 하이브리드와 멀티클라우드 배포 옵션을 계속 제공하고 오픈소스 커뮤니티에 지속해서 주력하며 기여할 예정이라고 덧붙였다. 그는 “클라우데라와 호튼웍스는 최근 몇 년간 각자 서로 다른, 그렇지만 보완적인 분야에 투자했다. 호튼웍스는 엣지에서의 IoT 데이터 처리, 실시간 스트리밍에 투자했고, 클...

2019.01.15

클라우데라-호튼웍스 합병이 빅데이터 업계에 의미하는 바는?

클라우데라-호튼웍스 합병은 엔터프라이즈급 오픈소스 데이터 솔루션으로 계속해서 수익을 수익 창출하고자 분투하는 빅데이터 업계를 놀라게 했다. 또한 이번 합병을 두고 ‘피할 수 없는 선택’이라는 시각도 일부 있다. 클라우데라와 호튼웍스은 한때 벤처캐피탈 투자에서 주목받던 ‘유니콘’이었다. 이 두 업체는 오픈소스 지원 솔루션으로 수익을 낸다는 공통점이 있다. ->클라우데라-호튼웍스, 전격 합병··· '52억 달러' 거대 데이터 기업 탄생 이번 합병에 관해 호튼웍스 CEO 롭 베어든은 "두 회사 주주들의 가치 창출을 물론이고 고객, 파트너, 직원, 오픈소스 공동체가 이 제품에 내재된 강화된 제품, 더 큰 규모 및 향상된 비용 경쟁력의 혜택을 누리게 될 것이다"라고 밝혔다. 새로운 합병 회사에서 클라우데라는 주식의 약 60%를 보유하게 되며 클라우데라의 CEO인 톰 레일리는 새로운 합병 회사의 CEO를 맡을 예정이다. 규제 및 주주 승인을 조건으로 이 합병은 2019년 1분기에 마무리될 것으로 예상된다. 재무 현황 두 회사의 재무 상태는 상당히 비슷하다. 클라우데라는 2017년에 2억 6,100만 달러의 매출을 올렸고, 2억 8,000만 달러의 영업 손실을 기록했다. 호튼웍스는 2017년에 2억 6,200만 달러의 매출을 올렸고, 1억 9,000만 달러의 영업 손실을 기록했다. 클라우데라의 IPO 과정은 인텔의 엄청난 투자 때문에 순탄하지 못했다. 인텔이 클라우데라의 20% 이상을 소유할 수 없다는 조항 때문이었다. 시킹 알파(Seeking Alpha)에 따르면 올해 초 클라우데라는 "충분한 매출을 올리지 못하는 고객에 초점을 맞춤으로써 영업 전략을 잘못 이해했다"며 "목표 시장을 벗어난 새로운 고객을 유치하는 데 주력했기 때문에 기존 고객의 확대가 부족했다"고 밝힌...

M&A 멀티 클라우드 데이터 과학 사물인터넷 호튼웍스 클라우데라 하둡 데이터웨어하우스 합병 매출 DW 빅데이터 재무 영업 손실

2018.10.10

클라우데라-호튼웍스 합병은 엔터프라이즈급 오픈소스 데이터 솔루션으로 계속해서 수익을 수익 창출하고자 분투하는 빅데이터 업계를 놀라게 했다. 또한 이번 합병을 두고 ‘피할 수 없는 선택’이라는 시각도 일부 있다. 클라우데라와 호튼웍스은 한때 벤처캐피탈 투자에서 주목받던 ‘유니콘’이었다. 이 두 업체는 오픈소스 지원 솔루션으로 수익을 낸다는 공통점이 있다. ->클라우데라-호튼웍스, 전격 합병··· '52억 달러' 거대 데이터 기업 탄생 이번 합병에 관해 호튼웍스 CEO 롭 베어든은 "두 회사 주주들의 가치 창출을 물론이고 고객, 파트너, 직원, 오픈소스 공동체가 이 제품에 내재된 강화된 제품, 더 큰 규모 및 향상된 비용 경쟁력의 혜택을 누리게 될 것이다"라고 밝혔다. 새로운 합병 회사에서 클라우데라는 주식의 약 60%를 보유하게 되며 클라우데라의 CEO인 톰 레일리는 새로운 합병 회사의 CEO를 맡을 예정이다. 규제 및 주주 승인을 조건으로 이 합병은 2019년 1분기에 마무리될 것으로 예상된다. 재무 현황 두 회사의 재무 상태는 상당히 비슷하다. 클라우데라는 2017년에 2억 6,100만 달러의 매출을 올렸고, 2억 8,000만 달러의 영업 손실을 기록했다. 호튼웍스는 2017년에 2억 6,200만 달러의 매출을 올렸고, 1억 9,000만 달러의 영업 손실을 기록했다. 클라우데라의 IPO 과정은 인텔의 엄청난 투자 때문에 순탄하지 못했다. 인텔이 클라우데라의 20% 이상을 소유할 수 없다는 조항 때문이었다. 시킹 알파(Seeking Alpha)에 따르면 올해 초 클라우데라는 "충분한 매출을 올리지 못하는 고객에 초점을 맞춤으로써 영업 전략을 잘못 이해했다"며 "목표 시장을 벗어난 새로운 고객을 유치하는 데 주력했기 때문에 기존 고객의 확대가 부족했다"고 밝힌...

2018.10.10

클라우데라-호튼웍스, 전격 합병··· '52억 달러' 거대 데이터 기업 탄생

머신러닝과 분석 플랫폼의 전문성을 가진 클라우데라(Cloudera)와 호튼웍스(Hortonworks)가 합병하는 데 최종 합의했다. 합병한 신생 회사의 시가 총액은 52억 달러에 달한다. 이번 인수를 통해 양사는 '세계 최고의 차세대 데이터 플랫폼 제공 업체'로 발돋움한다는 구상이다. 합병 방식은 양사의 주식을 동일하게 통합하는 방식이 된다. 이에 따라 합병 기업의 주식의 약 60%가 클라우데라 주식, 40%가 호튼웍스가 될 전망이다. 합병 이후 매출은 약 7억 2000만 달러, 고객사는 2500개 이상으로 늘어나게 된다. 이번 합병은 양사 이사회에서 만장일치로 승인됐다. 클라우데라 CEO 톰 레일리가 합병 회사의 CEO를 맡을 예정이다. 그는 "엔드투엔드 데이터 관리에 대한 호튼웍스의 전문성과 데이터 웨어하우스와 머신러닝에 대한 클라우데라의 전문성을 결합하면 엣지부터 AI까지 업계 최초의 엔터프라이즈 데이터 클라우드를 제공할 수 있게 될 것이다"라고 말했다. 한편 호튼웍스의 CEO 롭 베어든은 통합 기업의 이사회에 참여한다. COO 스콧 데이비슨, CPO 아런 머시도 통합 회사에서 같은 업무를 맡는다. 베어든은 "이번 합병으로 우리 두 기업은 계속해서 성장할 수 있는 발판을 마련했다. 또한, 스트리밍과 IoT, 데이터 관리, 데이터 웨어하우스, 머신러닝/AI, 하이브리드 클라우드 시장에서 경쟁력도 강화하게 됐다. 더 중요한 것은 더 폭넓은 제품과 서비스를 제공할 수 있다는 점이다. 기업 고객이 그들의 데이터의 가치를 더 잘 활용하도록 지원할 수 있을 것이다"라고 말했다. 또한, 양사는 이번 합병으로 퍼블릭 클라우드 업체나 시스템 통합 업체 등과의 협력도 더 강화할 수 있을 것으로 기대하고 있다. 이번 합병은 주주 승인과 정부의 반독점 심사 등을 거쳐서 최종 완료된다. 이런 절차는 내년 1분기 중 완료될 것으로 보인다. ciokr@idg.co.kr

합병 클라우데라 호튼웍스

2018.10.05

머신러닝과 분석 플랫폼의 전문성을 가진 클라우데라(Cloudera)와 호튼웍스(Hortonworks)가 합병하는 데 최종 합의했다. 합병한 신생 회사의 시가 총액은 52억 달러에 달한다. 이번 인수를 통해 양사는 '세계 최고의 차세대 데이터 플랫폼 제공 업체'로 발돋움한다는 구상이다. 합병 방식은 양사의 주식을 동일하게 통합하는 방식이 된다. 이에 따라 합병 기업의 주식의 약 60%가 클라우데라 주식, 40%가 호튼웍스가 될 전망이다. 합병 이후 매출은 약 7억 2000만 달러, 고객사는 2500개 이상으로 늘어나게 된다. 이번 합병은 양사 이사회에서 만장일치로 승인됐다. 클라우데라 CEO 톰 레일리가 합병 회사의 CEO를 맡을 예정이다. 그는 "엔드투엔드 데이터 관리에 대한 호튼웍스의 전문성과 데이터 웨어하우스와 머신러닝에 대한 클라우데라의 전문성을 결합하면 엣지부터 AI까지 업계 최초의 엔터프라이즈 데이터 클라우드를 제공할 수 있게 될 것이다"라고 말했다. 한편 호튼웍스의 CEO 롭 베어든은 통합 기업의 이사회에 참여한다. COO 스콧 데이비슨, CPO 아런 머시도 통합 회사에서 같은 업무를 맡는다. 베어든은 "이번 합병으로 우리 두 기업은 계속해서 성장할 수 있는 발판을 마련했다. 또한, 스트리밍과 IoT, 데이터 관리, 데이터 웨어하우스, 머신러닝/AI, 하이브리드 클라우드 시장에서 경쟁력도 강화하게 됐다. 더 중요한 것은 더 폭넓은 제품과 서비스를 제공할 수 있다는 점이다. 기업 고객이 그들의 데이터의 가치를 더 잘 활용하도록 지원할 수 있을 것이다"라고 말했다. 또한, 양사는 이번 합병으로 퍼블릭 클라우드 업체나 시스템 통합 업체 등과의 협력도 더 강화할 수 있을 것으로 기대하고 있다. 이번 합병은 주주 승인과 정부의 반독점 심사 등을 거쳐서 최종 완료된다. 이런 절차는 내년 1분기 중 완료될 것으로 보인다. ciokr@idg.co.kr

2018.10.05

'하둡' 아성에 도전하는 빅데이터 슈퍼루키 3선

하둡(Hadoop)은 분산 파일 시스템, 맵리듀스 프로그래밍 프레임워크, 대규모 상용 하드웨어 클러스터 상의 거대한 데이터 세트를 처리하는 다양한 툴 집합을 앞세워 10년이 넘는 기간 동안 빅데이터의 대명사로 군림해왔다. 그러나 세상에 영원히 각광받는 기술은 없다. 하둡은 여전히 빅데이터 플랫폼의 필수지만, 클라우데라(Cloudera), 호튼웍스(Hortonworks), 맵알(MapR) 같은 대형 하둡 업체들은 꾸준히 자사 플랫폼을 발전시켜 왔다. 이 과정에서 아파치 스파크(Apache Spark), 아파치 카프카(Apache Kafka) 등 새로운 스타가 나타났고, 데이터를 파헤쳐 인사이트를 추출하는 대안도 등장하기 시작했다. 여기서는 3대 빅데이터 플랫폼을 간단히 살펴보고, 각 플랫폼이 차별화를 위해 하둡 기술에 무엇을 추가했는지 살펴본다. 이들이 컨테이너, 쿠버네티스, 머신 러닝, 딥 러닝의 새 시대를 맞이해 어떻게 진화하고 있는지도 알아본다. 클라우데라 엔터프라이즈 데이터 허브 클라우데라(Cloudera)는 상용 하둡 배포판(Hadoop distribution)을 내놓은 첫 업체다. 이 업체의 핵심 구성원이 야후, 구글, 페이스북 등에서 하둡을 이용했던 엔지니어임을 떠올려보면 새삼스러울 게 없다. 하둡의 초기 개발자 중 한명인 더그 커팅이 최고 아키텍트로 일하고 있다. 클라우데라의 대표 제품은 클라우데라 엔터프라이즈 데이터 허브(Cloudera Enterprise Data Hub, EDH)다. 이 업체의 전략은 하둡 생태계 안에서 오픈 소스 프로젝트를 ‘육성하고 확대해’, 가격에 걸맞은 기업 등급의 지원과 서비스를 갖춘 상용 플랫폼을 제공하는 것이다. 이에 따라 클라우데라 데이터 허브(CDH)라는 오픈 소스, 무료 하둡 배포판도 제공한다. 여기에 EDH의 60일 시험판까지 선택할 수 있다. CDH는 업체 홈페이지에서 다운로드할 수 있다. VM과 도커 이미지를 이용해 EDH를 로컬로 실행할 수 있고...

하둡 클라우데라 호튼웍스 맵알

2018.07.20

하둡(Hadoop)은 분산 파일 시스템, 맵리듀스 프로그래밍 프레임워크, 대규모 상용 하드웨어 클러스터 상의 거대한 데이터 세트를 처리하는 다양한 툴 집합을 앞세워 10년이 넘는 기간 동안 빅데이터의 대명사로 군림해왔다. 그러나 세상에 영원히 각광받는 기술은 없다. 하둡은 여전히 빅데이터 플랫폼의 필수지만, 클라우데라(Cloudera), 호튼웍스(Hortonworks), 맵알(MapR) 같은 대형 하둡 업체들은 꾸준히 자사 플랫폼을 발전시켜 왔다. 이 과정에서 아파치 스파크(Apache Spark), 아파치 카프카(Apache Kafka) 등 새로운 스타가 나타났고, 데이터를 파헤쳐 인사이트를 추출하는 대안도 등장하기 시작했다. 여기서는 3대 빅데이터 플랫폼을 간단히 살펴보고, 각 플랫폼이 차별화를 위해 하둡 기술에 무엇을 추가했는지 살펴본다. 이들이 컨테이너, 쿠버네티스, 머신 러닝, 딥 러닝의 새 시대를 맞이해 어떻게 진화하고 있는지도 알아본다. 클라우데라 엔터프라이즈 데이터 허브 클라우데라(Cloudera)는 상용 하둡 배포판(Hadoop distribution)을 내놓은 첫 업체다. 이 업체의 핵심 구성원이 야후, 구글, 페이스북 등에서 하둡을 이용했던 엔지니어임을 떠올려보면 새삼스러울 게 없다. 하둡의 초기 개발자 중 한명인 더그 커팅이 최고 아키텍트로 일하고 있다. 클라우데라의 대표 제품은 클라우데라 엔터프라이즈 데이터 허브(Cloudera Enterprise Data Hub, EDH)다. 이 업체의 전략은 하둡 생태계 안에서 오픈 소스 프로젝트를 ‘육성하고 확대해’, 가격에 걸맞은 기업 등급의 지원과 서비스를 갖춘 상용 플랫폼을 제공하는 것이다. 이에 따라 클라우데라 데이터 허브(CDH)라는 오픈 소스, 무료 하둡 배포판도 제공한다. 여기에 EDH의 60일 시험판까지 선택할 수 있다. CDH는 업체 홈페이지에서 다운로드할 수 있다. VM과 도커 이미지를 이용해 EDH를 로컬로 실행할 수 있고...

2018.07.20

히타치 밴타라, 실시간 데이터 처리 기능 제공하는 펜타호 8.0 출시

히타치 그룹(이하 히타치)의 자회사인 히타치 밴타라가 차세대 펜타호 데이터 통합 및 분석 플랫폼 소프트웨어를 출시했다고 효성인포메이션시스템이 밝혔다. 펜타호 8.0은 스파크(Spark) 및 카프카(Kafka)를 지원해 실시간 데이터 처리 기능을 강화했으며, 컴퓨팅 리소스를 비즈니스 요구에 따라 실시간으로 손쉽게 배치할 수 있는 기능도 제공한다. 히타치 밴타라는 펜타호 8.0을 출시해 고객이 비즈니스에 대한 준비를 보다 잘 갖출 수 있도록 지원한다고 밝혔다. 고객은 펜타호 8.0을 통해 자사의 데이터 분석 파이프라인을 현대화 및 최적화하고 기존 팀의 생산성을 증진해 대량의 실시간 데이터를 처리할 수 있다고 덧붙였다. 펜타호 8.0 플랫폼이 제공하는 새로운 기능은 ▲스트리밍 데이터 소스 접근성 향상 ▲스파크(Spark) 기반의 실시간 데이터 처리 ▲카프카(Kafka) 스트림에 대한 연결 ▲처리 리소스 최적화 ▲엔터프라이즈 워크로드의 스케일 아웃을 위한 워커 노드(Worker nodes) ▲적응형 실행(adaptive execution) 기능의 향상 ▲아브로(Avro) 및 파케이(Parquet) 기본 지원 ▲팀 생산성 향상 등이다. 펜타호 8.0은 이제 자체 엔진 또는 스파크를 활용해 실시간 데이터를 수집하고 처리할 수 있다. 이 새로운 기능은 기존의 SQL, MLlib을 통한 스파크 통합 및 펜타호의 적응형 실행 계층(adaptive execution layer)에 추가된다. 카프카는 인기 있는 스트림 데이터 적재, 추출(publish/subscribe) 메시징 시스템으로서, 빅데이터 및 IoT 환경에서 발생하는 대용량 데이터를 처리한다. 펜타호 8.0은 PDI(Pentaho Data Integration)를 카프카로 연결하는 특수 스탭을 거쳐 데이터를 실시간으로 처리할 수 있게 한다. 펜타호 8.0은 클라우데라(Cloudera) 및 호튼웍스(Hortonworks)를 위한 펜타호의 기존 엔터프라이즈급 보안 기능을 기반으로 하며, 하...

클라우데라 호튼웍스 효성인포메이션시스템 디지털 변혁 히타치 밴타라

2017.11.03

히타치 그룹(이하 히타치)의 자회사인 히타치 밴타라가 차세대 펜타호 데이터 통합 및 분석 플랫폼 소프트웨어를 출시했다고 효성인포메이션시스템이 밝혔다. 펜타호 8.0은 스파크(Spark) 및 카프카(Kafka)를 지원해 실시간 데이터 처리 기능을 강화했으며, 컴퓨팅 리소스를 비즈니스 요구에 따라 실시간으로 손쉽게 배치할 수 있는 기능도 제공한다. 히타치 밴타라는 펜타호 8.0을 출시해 고객이 비즈니스에 대한 준비를 보다 잘 갖출 수 있도록 지원한다고 밝혔다. 고객은 펜타호 8.0을 통해 자사의 데이터 분석 파이프라인을 현대화 및 최적화하고 기존 팀의 생산성을 증진해 대량의 실시간 데이터를 처리할 수 있다고 덧붙였다. 펜타호 8.0 플랫폼이 제공하는 새로운 기능은 ▲스트리밍 데이터 소스 접근성 향상 ▲스파크(Spark) 기반의 실시간 데이터 처리 ▲카프카(Kafka) 스트림에 대한 연결 ▲처리 리소스 최적화 ▲엔터프라이즈 워크로드의 스케일 아웃을 위한 워커 노드(Worker nodes) ▲적응형 실행(adaptive execution) 기능의 향상 ▲아브로(Avro) 및 파케이(Parquet) 기본 지원 ▲팀 생산성 향상 등이다. 펜타호 8.0은 이제 자체 엔진 또는 스파크를 활용해 실시간 데이터를 수집하고 처리할 수 있다. 이 새로운 기능은 기존의 SQL, MLlib을 통한 스파크 통합 및 펜타호의 적응형 실행 계층(adaptive execution layer)에 추가된다. 카프카는 인기 있는 스트림 데이터 적재, 추출(publish/subscribe) 메시징 시스템으로서, 빅데이터 및 IoT 환경에서 발생하는 대용량 데이터를 처리한다. 펜타호 8.0은 PDI(Pentaho Data Integration)를 카프카로 연결하는 특수 스탭을 거쳐 데이터를 실시간으로 처리할 수 있게 한다. 펜타호 8.0은 클라우데라(Cloudera) 및 호튼웍스(Hortonworks)를 위한 펜타호의 기존 엔터프라이즈급 보안 기능을 기반으로 하며, 하...

2017.11.03

하둡 택한 신용 평가 기업 '1천 건 기록을 6시간에 처리'

익스페리언은 오픈소스 소프트웨어, 마이크로서비스, API 기술 덕분에 페타바이트 규모의 데이터를 신속하게 처리해 고객에게 제공할 수 있게 됐다. Images Credit: GettyImages 전 세계 수억 고객으로부터 수집되는 페타바이트 규모의 데이터 처리 작업은 정보서비스 기업인 익스페리언(Experian)에게 수개월이 걸리던 부담스러운 일이었다. 그러나 새로운 데이터 분석 시스템을 도입해 이제는 단 몇 시간 만에 작업을 처리할 수 있게 됐다. 이 회사는 현재 하둡(Hadoop) 파일 프로세싱 시스템 기반 데이터 패브릭 레이어를 마이크로서비스 및 API 플랫폼과 함께 구축하고 있다. 이를 통해 기업 고객 및 소비자들이 신용 평가 보고서와 정보에 더욱 빠르게 접근할 수 있도록 하는 것이 익스페리언의 목표다. 익스페리언의 CIO 베리 리벤슨(왼쪽 사진)은 “새로운 솔루션을 통해 구현된 실시간 정보 접근 역량은 기존의 처리 시간을 큰 폭으로 줄여주며 고객에게 새로운 가치를 전달할 가능성을 열어줬다”라고 이야기했다. 빅데이터 파일럿 프로젝트용 오픈소스 툴로서 하둡은 고객에게 정보 기반 상품 및 서비스를 전달할 방법을 고민하는 CIO들에게 필수적인 분석 전략 구현 도구로 받아들여지고 있다. 이 테크놀로지는 병렬 프로세싱 테크닉을 활용해 소프트웨어 엔지니어들이 SQL 기반 데이터 관리 툴을 이용할 때보다 신속하게 대량의 데이터를 처리할 수 있도록 지원한다. 하둡을 통한 보다 빠른 데이터 프로세싱 2015년 익스페리언에 합류한 리벤슨은 이들 기업이 여전히 메인프레임 시스템을 통해 데이터를 처리하고 있다는 사실을 알게 됐다. 기업의 데이터 규모가 기하급수적으로 늘어나는 상황 속에서, 소프트웨어 엔지니어들은 데이터 파일들을 단편적으로 소화해 처리하고 별도의 정보 정상화, 청소 과정까지 거친 후에야 현업에 전달할 수 있었던 것이다. 새로운 데이터 관리 요청이 전달되면 더 많은 MIPS를 추가하는 방식으로 대응했다. 리벤...

CIO Experian API 기술 신용 평가 마이크로서비스 아마존웹서비스 익스페리언 맵알 하이브리드 클라우드 호튼웍스 클라우데라 페타바이트 하둡 IDC 데이터 패브릭 레이어

2017.01.09

익스페리언은 오픈소스 소프트웨어, 마이크로서비스, API 기술 덕분에 페타바이트 규모의 데이터를 신속하게 처리해 고객에게 제공할 수 있게 됐다. Images Credit: GettyImages 전 세계 수억 고객으로부터 수집되는 페타바이트 규모의 데이터 처리 작업은 정보서비스 기업인 익스페리언(Experian)에게 수개월이 걸리던 부담스러운 일이었다. 그러나 새로운 데이터 분석 시스템을 도입해 이제는 단 몇 시간 만에 작업을 처리할 수 있게 됐다. 이 회사는 현재 하둡(Hadoop) 파일 프로세싱 시스템 기반 데이터 패브릭 레이어를 마이크로서비스 및 API 플랫폼과 함께 구축하고 있다. 이를 통해 기업 고객 및 소비자들이 신용 평가 보고서와 정보에 더욱 빠르게 접근할 수 있도록 하는 것이 익스페리언의 목표다. 익스페리언의 CIO 베리 리벤슨(왼쪽 사진)은 “새로운 솔루션을 통해 구현된 실시간 정보 접근 역량은 기존의 처리 시간을 큰 폭으로 줄여주며 고객에게 새로운 가치를 전달할 가능성을 열어줬다”라고 이야기했다. 빅데이터 파일럿 프로젝트용 오픈소스 툴로서 하둡은 고객에게 정보 기반 상품 및 서비스를 전달할 방법을 고민하는 CIO들에게 필수적인 분석 전략 구현 도구로 받아들여지고 있다. 이 테크놀로지는 병렬 프로세싱 테크닉을 활용해 소프트웨어 엔지니어들이 SQL 기반 데이터 관리 툴을 이용할 때보다 신속하게 대량의 데이터를 처리할 수 있도록 지원한다. 하둡을 통한 보다 빠른 데이터 프로세싱 2015년 익스페리언에 합류한 리벤슨은 이들 기업이 여전히 메인프레임 시스템을 통해 데이터를 처리하고 있다는 사실을 알게 됐다. 기업의 데이터 규모가 기하급수적으로 늘어나는 상황 속에서, 소프트웨어 엔지니어들은 데이터 파일들을 단편적으로 소화해 처리하고 별도의 정보 정상화, 청소 과정까지 거친 후에야 현업에 전달할 수 있었던 것이다. 새로운 데이터 관리 요청이 전달되면 더 많은 MIPS를 추가하는 방식으로 대응했다. 리벤...

2017.01.09

써티웨어, 호튼웍스 데이터 랩 개설

써티웨어와 호튼웍스가 서울에 호튼웍스 데이터 랩(Hortornworks Data Lab)을 개설했다고 밝혔다. 이번 랩 개설은 국내 빅 데이터 도입 확대에 맞물려 전문 인력 수요와 빅 데이터 도입 사전 검증을 위한 시설에 대한 기업의 요구 증가에 대응하기 위한 목적으로 추진되었다고 업체 측은 설명했다. 써티웨어는 기업들이 다양한 빅 데이터 활용 시나리오를 실제 하둡 클러스터 환경에서 검증해 볼 수 있도록 호튼웍스 데이터 랩의 문호를 개방할 예정이다. 더불어 기업 내에 전문 인력이 없다는 것이 빅 데이터 도입의 걸림돌이 되지 않도록 호튼웍스 자격증 관련 실무자 교육의 구심점으로 랩을 활용한다는 방침이다. 써티웨어는 빅 데이터 인력 수급 불균형에 대한 사회적 인식이 확산되고 있지만 유행에 편승하지 않는다는 방침이다. 써티웨어는 호튼웍스 자격증이 국내 기업의 빅 데이터 도입과 운영 방식에 잘 맞는다고 보고, 차별화 전략으로 기업의 빅 데이터 전문가 수요에 발맞춰 갈 계획이라고 밝혔다. 써티웨어는 주요 교육 대상을 기업에서 데이터 관련 업무를 맞고 있는 전문가로 삼고, 이들이 실제 빅 데이터 클러스터 환경에서 직접 실습(Hands-on)을 할 수 있도록 도울 예정이다. 이번에 써티웨어가 설립한 호튼웍스 데이터 랩은 현재 대부분의 교육 기관이 가상 머신을 활용한 간이 체험 위주의 학습을 하는 것과 달리 실제로 물리적인 클러스터를 교육생에게 제공할 수 있다. 따라서 실제 클러스터를 눈 앞에 두고 하둡 플랫폼을 설치하고, 실시간 분석 등 다양한 서비스를 배포하고, 각종 분석 애플리케이션을 개발하고, 최신 기계 학습 알고리즘을 적용하고, 모든 환경을 단일 관점(view)에서 관리하는 것을 배울 수 있다. 써티웨어는 주요 교육 대상이 현직 데이터 전문가인 점을 고려해 전문가 눈높이에 맞춰 그들이 평소 접하는 실제 운영 환경에 버금가는 교육 여건을 제공하는 것으로 차별화를 꾀한다는 것을 교육 서비스 전략의 핵심으로 내세우고 있다. 한편, 써티웨...

호튼웍스 써티웨어

2016.11.28

써티웨어와 호튼웍스가 서울에 호튼웍스 데이터 랩(Hortornworks Data Lab)을 개설했다고 밝혔다. 이번 랩 개설은 국내 빅 데이터 도입 확대에 맞물려 전문 인력 수요와 빅 데이터 도입 사전 검증을 위한 시설에 대한 기업의 요구 증가에 대응하기 위한 목적으로 추진되었다고 업체 측은 설명했다. 써티웨어는 기업들이 다양한 빅 데이터 활용 시나리오를 실제 하둡 클러스터 환경에서 검증해 볼 수 있도록 호튼웍스 데이터 랩의 문호를 개방할 예정이다. 더불어 기업 내에 전문 인력이 없다는 것이 빅 데이터 도입의 걸림돌이 되지 않도록 호튼웍스 자격증 관련 실무자 교육의 구심점으로 랩을 활용한다는 방침이다. 써티웨어는 빅 데이터 인력 수급 불균형에 대한 사회적 인식이 확산되고 있지만 유행에 편승하지 않는다는 방침이다. 써티웨어는 호튼웍스 자격증이 국내 기업의 빅 데이터 도입과 운영 방식에 잘 맞는다고 보고, 차별화 전략으로 기업의 빅 데이터 전문가 수요에 발맞춰 갈 계획이라고 밝혔다. 써티웨어는 주요 교육 대상을 기업에서 데이터 관련 업무를 맞고 있는 전문가로 삼고, 이들이 실제 빅 데이터 클러스터 환경에서 직접 실습(Hands-on)을 할 수 있도록 도울 예정이다. 이번에 써티웨어가 설립한 호튼웍스 데이터 랩은 현재 대부분의 교육 기관이 가상 머신을 활용한 간이 체험 위주의 학습을 하는 것과 달리 실제로 물리적인 클러스터를 교육생에게 제공할 수 있다. 따라서 실제 클러스터를 눈 앞에 두고 하둡 플랫폼을 설치하고, 실시간 분석 등 다양한 서비스를 배포하고, 각종 분석 애플리케이션을 개발하고, 최신 기계 학습 알고리즘을 적용하고, 모든 환경을 단일 관점(view)에서 관리하는 것을 배울 수 있다. 써티웨어는 주요 교육 대상이 현직 데이터 전문가인 점을 고려해 전문가 눈높이에 맞춰 그들이 평소 접하는 실제 운영 환경에 버금가는 교육 여건을 제공하는 것으로 차별화를 꾀한다는 것을 교육 서비스 전략의 핵심으로 내세우고 있다. 한편, 써티웨...

2016.11.28

많은 하둡 업체가 모르는 진실··· "기업은 단순한 제품을 원한다"

최근 아일랜드 더블린에서 열린 하둡 서밋(Hadoop Summit) 행사에서 호튼웍스(Hortonworks)를 비롯한 업계 관계자들이 기업용 오픈소스 빅데이터 툴 관련해서 기업 고객이 가장 원하는 것에 대해 의미 있는 인사이트를 공유했다. 이들에 따르면 업체는 머신러닝, 실시간 예측 애널리틱스인 스파크(Spark)의 유연한 기능에 관해 이야기하고 싶어했지만, 정작 기업이 가장 원하는 것은 자신의 아이디어에서 가치를 끌어낼 수 있는 단순성이었다. 이미지 출처 : flickr / Yuko Honda 단순성 많은 기업이 현재 데이터 과학자 부족에 시달리고 있다. 그래서 이들은 빅데이터 전략에서 코딩과 프로그래밍에 대한 의존도를 낮추려고 하고 있다. 이는 단순하면서도 기업 환경에 적합한 하둡이 기업이 원하는 오픈소스 빅데이터 솔루션이라는 의미다. 실제로 호튼웍스의 기업 전략 부회장 숀 코놀리은 이 업체의 핵심 경쟁력으로 아파치 기술을 상용화된 기업 기술로 상품화하는 것을 꼽았다. EMC의 기술 마케팅 디렉터 스테판 보스도 “단순성은 우리가 기업 고객에게서 듣는 가장 중요한 트렌드"라며 "많은 기업이 멋지고 새로운 프로젝트를 추구하지만 결국 이를 기존 시스템과 통합하는 복잡함 때문에 어려움을 겪고 있다"고 말했다. 이 때문에 그는 자신의 기업고객에 통합된 기업용 솔루션을 추천한다. 많이 사용하지 않는 데이터에는 HDP(Hortonworks DataPlatform)을, 현재 사용하는 데이터에는 HDF(Hortonworks DataFlow)를 각각 제안한다. 그는 "이 제품은 데이터 과학자가 데이터 스트림에 기반해 어떤 툴이 필요한지 선택해 빠르게 배치할 수 있도록 지원한다"고 말했다. 보스는 사물인터넷을 위해 더 많은 하둡용 산업 특화 툴이 개발될 것으로 보고 있다. 특히 헬스케어 산업에서는 간편하게 바로 설치해 사용할 수 있는 데이터 분석 툴이 등장할 것으로 예상했다. 그는 &quo...

마이크로소프트 하둡 호튼웍스

2016.04.19

최근 아일랜드 더블린에서 열린 하둡 서밋(Hadoop Summit) 행사에서 호튼웍스(Hortonworks)를 비롯한 업계 관계자들이 기업용 오픈소스 빅데이터 툴 관련해서 기업 고객이 가장 원하는 것에 대해 의미 있는 인사이트를 공유했다. 이들에 따르면 업체는 머신러닝, 실시간 예측 애널리틱스인 스파크(Spark)의 유연한 기능에 관해 이야기하고 싶어했지만, 정작 기업이 가장 원하는 것은 자신의 아이디어에서 가치를 끌어낼 수 있는 단순성이었다. 이미지 출처 : flickr / Yuko Honda 단순성 많은 기업이 현재 데이터 과학자 부족에 시달리고 있다. 그래서 이들은 빅데이터 전략에서 코딩과 프로그래밍에 대한 의존도를 낮추려고 하고 있다. 이는 단순하면서도 기업 환경에 적합한 하둡이 기업이 원하는 오픈소스 빅데이터 솔루션이라는 의미다. 실제로 호튼웍스의 기업 전략 부회장 숀 코놀리은 이 업체의 핵심 경쟁력으로 아파치 기술을 상용화된 기업 기술로 상품화하는 것을 꼽았다. EMC의 기술 마케팅 디렉터 스테판 보스도 “단순성은 우리가 기업 고객에게서 듣는 가장 중요한 트렌드"라며 "많은 기업이 멋지고 새로운 프로젝트를 추구하지만 결국 이를 기존 시스템과 통합하는 복잡함 때문에 어려움을 겪고 있다"고 말했다. 이 때문에 그는 자신의 기업고객에 통합된 기업용 솔루션을 추천한다. 많이 사용하지 않는 데이터에는 HDP(Hortonworks DataPlatform)을, 현재 사용하는 데이터에는 HDF(Hortonworks DataFlow)를 각각 제안한다. 그는 "이 제품은 데이터 과학자가 데이터 스트림에 기반해 어떤 툴이 필요한지 선택해 빠르게 배치할 수 있도록 지원한다"고 말했다. 보스는 사물인터넷을 위해 더 많은 하둡용 산업 특화 툴이 개발될 것으로 보고 있다. 특히 헬스케어 산업에서는 간편하게 바로 설치해 사용할 수 있는 데이터 분석 툴이 등장할 것으로 예상했다. 그는 &quo...

2016.04.19

"대기업 100%, 하둡 도입할 것"··· 포레스터, 5대 하둡 배포판 선정

포레스터 리서치(Forrester Research)의 빅데이터 분석가들이 내놓은 새로운 보고서에 따르면, 데이터에 대해 고급 분석을 수행하고 실용적인 시야를 얻고자 하는 조직에게 하둡 도입은 "필수"다. Credit: thinkstock 포레스터는 기업이 보유한 데이터의 60~73%가 비즈니스 인텔리전스와 분석에 사용되지 못하고 방치된다고 추산했다. 분석가 마이크 괄티에리와 노엘 유한나는 지난주 공개한 하둡 배포판에 대한 웨이브(Wave) 보고서에서 "이는 특히 고객에 대한 심층적이고 실용적인 시야가 경쟁을 위한 필수 요소인 시대에서 용납할 수 없는 수준"이라고 말했다. 또한 애플리케이션 개발자와 제공 전문가가 '일제히' 하둡을 수용 중이라면서, 대기업들은 결국 100% 하둡을 도입하게 될 것으로 예측했다. 다만 포레스터는 하둡이 복잡한 시장임을 지적했다. 그렇다면 어느 벤더를 선택해야 할까? 하둡 시장에는 절대적이고 유일한 승자는 없다. 대신 각자 강점과 서로 다른 경쟁력을 가진 벤더들이 있고 물론 특정 분야에서 자신만의 매력을 가진 벤더들도 있다. 하둡 최상위 계층에는 클라우데라(Cloudera), 호튼웍스(Hortonworks), 맵R(MapR), 그리고 IBM과 피보탈(Pivotal)이 있다. 이 5개 업체가 포레스터가 선정한 최상위 하둡 소프트웨어 배포 업체다. 포레스터는 이 업체들이 모두 보안, 스케일, 통합, 거버넌스, 성능과 같은 주요 엔터프라이즈 기능에 초점을 두고 있다고 전했다. 고객사에 배포하거나, 프라이빗 또는 퍼블릭 클라우드에 배포하고 소프트웨어 관리를 고객이 직접 하는 방법도 가능하다. 아마존 웹 서비스의 엘라스틱 맵리듀스(Elastic MapReduce) 또는 마이크로소프트 애저의 HD인사이트(HDInsight)와 같은 클라우드 기반 하둡 배포판은 고객이 자체 하드웨어에서 실행할 수 없는 퍼블릭 클라우드 전용 제품이므로 포레스터의 웨이브 보고...

BI 기업 맵R 피보탈 호튼웍스 데이터 분석 클라우데라 하둡 포레스터 IBM 배포판

2016.01.26

포레스터 리서치(Forrester Research)의 빅데이터 분석가들이 내놓은 새로운 보고서에 따르면, 데이터에 대해 고급 분석을 수행하고 실용적인 시야를 얻고자 하는 조직에게 하둡 도입은 "필수"다. Credit: thinkstock 포레스터는 기업이 보유한 데이터의 60~73%가 비즈니스 인텔리전스와 분석에 사용되지 못하고 방치된다고 추산했다. 분석가 마이크 괄티에리와 노엘 유한나는 지난주 공개한 하둡 배포판에 대한 웨이브(Wave) 보고서에서 "이는 특히 고객에 대한 심층적이고 실용적인 시야가 경쟁을 위한 필수 요소인 시대에서 용납할 수 없는 수준"이라고 말했다. 또한 애플리케이션 개발자와 제공 전문가가 '일제히' 하둡을 수용 중이라면서, 대기업들은 결국 100% 하둡을 도입하게 될 것으로 예측했다. 다만 포레스터는 하둡이 복잡한 시장임을 지적했다. 그렇다면 어느 벤더를 선택해야 할까? 하둡 시장에는 절대적이고 유일한 승자는 없다. 대신 각자 강점과 서로 다른 경쟁력을 가진 벤더들이 있고 물론 특정 분야에서 자신만의 매력을 가진 벤더들도 있다. 하둡 최상위 계층에는 클라우데라(Cloudera), 호튼웍스(Hortonworks), 맵R(MapR), 그리고 IBM과 피보탈(Pivotal)이 있다. 이 5개 업체가 포레스터가 선정한 최상위 하둡 소프트웨어 배포 업체다. 포레스터는 이 업체들이 모두 보안, 스케일, 통합, 거버넌스, 성능과 같은 주요 엔터프라이즈 기능에 초점을 두고 있다고 전했다. 고객사에 배포하거나, 프라이빗 또는 퍼블릭 클라우드에 배포하고 소프트웨어 관리를 고객이 직접 하는 방법도 가능하다. 아마존 웹 서비스의 엘라스틱 맵리듀스(Elastic MapReduce) 또는 마이크로소프트 애저의 HD인사이트(HDInsight)와 같은 클라우드 기반 하둡 배포판은 고객이 자체 하드웨어에서 실행할 수 없는 퍼블릭 클라우드 전용 제품이므로 포레스터의 웨이브 보고...

2016.01.26

피보탈코리아, 클라우드 빅데이터 제안… 초기 투자비 부담 ↓

기업이 사용료 기반 모델(Subscription)을 적용해 적은 투자 비용으로도 빅데이터를 분석할 수 있게 됐다. 지난해 말 국내 시장에 지사를 설립하고 본격 영업을 시작한 피보탈코리아는 자사의 오픈소스 기반 플랫폼인 ‘피보탈 빅데이터 스위트’를 출시하고 호튼웍스, SAS, IBM 등 관련 기업들과 협력해 공동 플랫폼을 개발한다는 전략을 발표했다. 피보탈코리아 이영수 대표는 “작은 빅데이터로 시작할 수 있다”며 “기업이 현재 준비된 장비에서 할 수 있는 만큼 시도해 보고 점차 이를 확대할 수 있도록 하겠다”고 말했다. 이 대표는 “오픈소스 기반의 사용료 기반 모델로 빅데이터를 클라우드 원스톱 솔루션을 이용해 기업이 빅데이터 도입을 주저하는 주된 고민인 많은 투자비용과 대규모 인프라 문제를 해결할 수 있다”라고 덧붙였다. 또 이 대표는 빅데이터에 대한 국내 시장의 가장 큰 변화에 대해 “빅데이터에 눈을 뜨기 시작했다”고 말했다. 이 대표에 따르면, 데이터 모델링 전문가가 IT전문가가 아닌 문제를 해결하는 데 필요한 현업 지식을 많이 아는 사람이 데이터 과학자가 돼야 하며 기업 스스로가 데이터 과학자를 양성해야 한다. 이 대표가 말한 시장의 두번째 변화는 빅데이터 프로젝트를 IT과제가 아닌 현업의 과제로 생각하고 벤치마크테스트에서 개념입증(POC)나 파일럿 프로젝트로 접근하고 있다는 점이다. 그에 따라 빅데이터 프로젝트 발주가 IT와 현업이 한 팀이 돼서 공동으로 진행하는 것이 특징이다. 빅데이터 기술의 변화로는 데이터베이스를 사용하듯 쉽게 빅데이터를 사용할 수 있게 됐다고 피보탈코리아는 전했다. 피보탈 빅데이터 스위트에 포함된 HWAQ는 9개월 이상 걸리는 빅데이터 개발 프로젝트를 3개월로 단축시킬 수 있다는 것이다. 또다른 기술의 변화로는 공동 플랫폼 개발이다. 지난 17일 피보탈 본사의 발표에 따르면, 빅데이터 플랫폼을 공동으로 개...

오픈소스 빅데이터 호튼웍스 피보탈 피보탈 빅데이터 스위트 클라우드 파운드리 사용료 기반 모델 섭스크립션

2015.02.26

기업이 사용료 기반 모델(Subscription)을 적용해 적은 투자 비용으로도 빅데이터를 분석할 수 있게 됐다. 지난해 말 국내 시장에 지사를 설립하고 본격 영업을 시작한 피보탈코리아는 자사의 오픈소스 기반 플랫폼인 ‘피보탈 빅데이터 스위트’를 출시하고 호튼웍스, SAS, IBM 등 관련 기업들과 협력해 공동 플랫폼을 개발한다는 전략을 발표했다. 피보탈코리아 이영수 대표는 “작은 빅데이터로 시작할 수 있다”며 “기업이 현재 준비된 장비에서 할 수 있는 만큼 시도해 보고 점차 이를 확대할 수 있도록 하겠다”고 말했다. 이 대표는 “오픈소스 기반의 사용료 기반 모델로 빅데이터를 클라우드 원스톱 솔루션을 이용해 기업이 빅데이터 도입을 주저하는 주된 고민인 많은 투자비용과 대규모 인프라 문제를 해결할 수 있다”라고 덧붙였다. 또 이 대표는 빅데이터에 대한 국내 시장의 가장 큰 변화에 대해 “빅데이터에 눈을 뜨기 시작했다”고 말했다. 이 대표에 따르면, 데이터 모델링 전문가가 IT전문가가 아닌 문제를 해결하는 데 필요한 현업 지식을 많이 아는 사람이 데이터 과학자가 돼야 하며 기업 스스로가 데이터 과학자를 양성해야 한다. 이 대표가 말한 시장의 두번째 변화는 빅데이터 프로젝트를 IT과제가 아닌 현업의 과제로 생각하고 벤치마크테스트에서 개념입증(POC)나 파일럿 프로젝트로 접근하고 있다는 점이다. 그에 따라 빅데이터 프로젝트 발주가 IT와 현업이 한 팀이 돼서 공동으로 진행하는 것이 특징이다. 빅데이터 기술의 변화로는 데이터베이스를 사용하듯 쉽게 빅데이터를 사용할 수 있게 됐다고 피보탈코리아는 전했다. 피보탈 빅데이터 스위트에 포함된 HWAQ는 9개월 이상 걸리는 빅데이터 개발 프로젝트를 3개월로 단축시킬 수 있다는 것이다. 또다른 기술의 변화로는 공동 플랫폼 개발이다. 지난 17일 피보탈 본사의 발표에 따르면, 빅데이터 플랫폼을 공동으로 개...

2015.02.26

빅데이터 업체들, 하둡 기반 공통 플랫폼 만든다

IBM, 호튼웍스, 피보탈 등 다수의 대형 빅데이터 업체들이 오픈소스 하둡 데이터 처리 소프트웨어를 위한 하둡 기반 공통 플랫폼을 만들고자 손잡았다. 오픈 데이터 플랫폼은 복잡한 하둡 기반의 데이터 분석 시스템을 구축하고 유지하기 위해 기업의 각 부문들에 필요한 작업을 줄이면서 전체적으로 원활하게 함께 실행할 아파치 하둡과 아파치 하둡의 지원 소프트웨어의 특정 버전을 파악하게 될 것이다. 하둡 업체인 알티스케일(Altiscale)의 CEO 레이미 스타타는 성명서에서 "점점 더 많은 기업들이 아파치 하둡의 비즈니스 가치를 알게 됨에 따라 까다로운 테스팅과 잘 정의된 배포판에 대한 요구가 늘고 있다”라고 밝혔다. 오픈 데이터 플랫폼은 빅데이터 솔루션 및 서비스 업체들이 엔터프라이즈 급 솔루션을 인증할 수 있는 데 대한 입증된 자료를 제공할 것이라고 스타타는 전했다. 하둡의 코드베이스는 아파치 소프트웨어 재단에서 관리한다. 리눅스 운영체제 커널과 마찬가지로 하둡은 다양한 업체들이 상용 배포판으로 패키지를 만들었으며 모든 배포판들이 상호 호환되는 것은 아니다. 복잡성이 더해지면서 하이브, 앱바리, 주키퍼(ZooKeeper)같은 많은 관련 하둡 프로그램들이 생겨났으며 이들을 하둡으로 통합하려면 별도의 작업이 필요할 수 있다. 이러한 접근 방식은 공통 핵심 컴포넌트인 리눅스 표준 기반을 개발하는 리눅스재단의 취한 방법과 비슷하다. 오픈 데이터 플랫폼은 하둡용 공통 라이브러리를 만들어 어떤 기술이 간편하게 사용될 수 있고 이 기술을 이용한 어떤 업체들이 서로 잘 맞는지를 이해하는 프로세스를 간소화할 것이다. 기업들은 각기 다른 업체에서 가져온 다양한 하둡 콤포넌트를 골라서 사용하면서, 커스터마이징 없이 바로 쓸 수 있는 소프트웨어를 자사의 하둡 시스템으로 더욱 쉽게 통합할 수 있게 된다. --------------------------------------------------------------- 하둡 ...

SAS 공통 플랫폼 버라이즌 엔터프라이즈 솔루션 알티스케일 캡제미니 피보탈 호튼웍스 스플렁크 하둡 인포시스 테라데이타 퀘스트 VM웨어 EMC IBM 빅데이터 제너럴일렉트릭(GE)

2015.02.23

IBM, 호튼웍스, 피보탈 등 다수의 대형 빅데이터 업체들이 오픈소스 하둡 데이터 처리 소프트웨어를 위한 하둡 기반 공통 플랫폼을 만들고자 손잡았다. 오픈 데이터 플랫폼은 복잡한 하둡 기반의 데이터 분석 시스템을 구축하고 유지하기 위해 기업의 각 부문들에 필요한 작업을 줄이면서 전체적으로 원활하게 함께 실행할 아파치 하둡과 아파치 하둡의 지원 소프트웨어의 특정 버전을 파악하게 될 것이다. 하둡 업체인 알티스케일(Altiscale)의 CEO 레이미 스타타는 성명서에서 "점점 더 많은 기업들이 아파치 하둡의 비즈니스 가치를 알게 됨에 따라 까다로운 테스팅과 잘 정의된 배포판에 대한 요구가 늘고 있다”라고 밝혔다. 오픈 데이터 플랫폼은 빅데이터 솔루션 및 서비스 업체들이 엔터프라이즈 급 솔루션을 인증할 수 있는 데 대한 입증된 자료를 제공할 것이라고 스타타는 전했다. 하둡의 코드베이스는 아파치 소프트웨어 재단에서 관리한다. 리눅스 운영체제 커널과 마찬가지로 하둡은 다양한 업체들이 상용 배포판으로 패키지를 만들었으며 모든 배포판들이 상호 호환되는 것은 아니다. 복잡성이 더해지면서 하이브, 앱바리, 주키퍼(ZooKeeper)같은 많은 관련 하둡 프로그램들이 생겨났으며 이들을 하둡으로 통합하려면 별도의 작업이 필요할 수 있다. 이러한 접근 방식은 공통 핵심 컴포넌트인 리눅스 표준 기반을 개발하는 리눅스재단의 취한 방법과 비슷하다. 오픈 데이터 플랫폼은 하둡용 공통 라이브러리를 만들어 어떤 기술이 간편하게 사용될 수 있고 이 기술을 이용한 어떤 업체들이 서로 잘 맞는지를 이해하는 프로세스를 간소화할 것이다. 기업들은 각기 다른 업체에서 가져온 다양한 하둡 콤포넌트를 골라서 사용하면서, 커스터마이징 없이 바로 쓸 수 있는 소프트웨어를 자사의 하둡 시스템으로 더욱 쉽게 통합할 수 있게 된다. --------------------------------------------------------------- 하둡 ...

2015.02.23

씨이랩, 호튼웍스와 교육 사업 파트너 계약 체결

씨이랩이 호튼웍스와 교육 사업 파트너 계약을 체결했다고 밝혔다. 이로써 씨이랩은 호튼웍스가 제공하는 빅데이터 교육을 국내에서 정식으로 서비스할 수 있는 자격을 획득했다. 씨이랩은 호튼웍스와 파트너 계약을 통해 점차 수요가 증가하고 있는 빅데이터 교육 시장을 보다 적극적으로 공략할 계획이다. 호튼웍스는 빅데이터 분석의 실질적 표준으로 자리잡은 오픈 소스 프레임워크인 하둡 프로젝트를 개발, 진행했던 야후 하둡 개발자들이 분사해 설립한 기업이다. 특히 호튼웍스 대학이라는 이름으로 빅데이터 교육 사업을 진행하며 하둡 생태계의 확산과 빅데이터의 실질적인 활용을 지원하고 있다. 씨이랩이 제공하는 호튼웍스 교육 프로그램은 데이터 분석 전문가 양성을 위한 분석가 과정, 개발자 양성을 위한 자바 개발자 과정, 시스템 설치부터 관리· 감시· 유지보수를 수행하는 시스템 관리 전문가 과정 등 각 분야의 빅데이터 전문가 양성 과정으로 구성돼 있다. 해당 교육 프로그램을 이수하면 호튼웍스에서 인증하는 국제 자격증인 호튼웍스 하둡 자격증(Hortonworks Certifications)을 취득하기 위한 대비도 가능해, 빅데이터 전문가를 꿈꾸는 직장인 및 대학생들의 높은 관심을 얻을 것으로 씨이랩은 기대하고 있다. 씨이랩 이우영 대표는 “국내에서 빅데이터 전문가 양성을 위한 관심과 수요가 계속 증가하고 있지만 기업의 실질적인 빅데이터 활용을 위한 전문적인 하둡 교육 프로그램은 사실상 전무한 상황”이라며 “씨이랩은 호튼웍스와의 교육파트너 체결을 통해 정통성 있는 하둡 교육을 지원해 기업이 보유하고 있는 빅데이터를 바로 활용할 수 있는 데이터 분석가, 개발자, 관리자를 양성해나갈 계획”이라고 밝혔다. 씨이랩은 올 해 빅데이터 교육 사업을 시작해 경기도 빅데이터 전문가 양성 과정인 D-스쿨 사업에 참여했으며, 한국생산성본부, 삼성 SDS, HP, 웹타임 등과 함께 빅데이터 전문가...

호튼웍스 씨이랩

2014.12.02

씨이랩이 호튼웍스와 교육 사업 파트너 계약을 체결했다고 밝혔다. 이로써 씨이랩은 호튼웍스가 제공하는 빅데이터 교육을 국내에서 정식으로 서비스할 수 있는 자격을 획득했다. 씨이랩은 호튼웍스와 파트너 계약을 통해 점차 수요가 증가하고 있는 빅데이터 교육 시장을 보다 적극적으로 공략할 계획이다. 호튼웍스는 빅데이터 분석의 실질적 표준으로 자리잡은 오픈 소스 프레임워크인 하둡 프로젝트를 개발, 진행했던 야후 하둡 개발자들이 분사해 설립한 기업이다. 특히 호튼웍스 대학이라는 이름으로 빅데이터 교육 사업을 진행하며 하둡 생태계의 확산과 빅데이터의 실질적인 활용을 지원하고 있다. 씨이랩이 제공하는 호튼웍스 교육 프로그램은 데이터 분석 전문가 양성을 위한 분석가 과정, 개발자 양성을 위한 자바 개발자 과정, 시스템 설치부터 관리· 감시· 유지보수를 수행하는 시스템 관리 전문가 과정 등 각 분야의 빅데이터 전문가 양성 과정으로 구성돼 있다. 해당 교육 프로그램을 이수하면 호튼웍스에서 인증하는 국제 자격증인 호튼웍스 하둡 자격증(Hortonworks Certifications)을 취득하기 위한 대비도 가능해, 빅데이터 전문가를 꿈꾸는 직장인 및 대학생들의 높은 관심을 얻을 것으로 씨이랩은 기대하고 있다. 씨이랩 이우영 대표는 “국내에서 빅데이터 전문가 양성을 위한 관심과 수요가 계속 증가하고 있지만 기업의 실질적인 빅데이터 활용을 위한 전문적인 하둡 교육 프로그램은 사실상 전무한 상황”이라며 “씨이랩은 호튼웍스와의 교육파트너 체결을 통해 정통성 있는 하둡 교육을 지원해 기업이 보유하고 있는 빅데이터를 바로 활용할 수 있는 데이터 분석가, 개발자, 관리자를 양성해나갈 계획”이라고 밝혔다. 씨이랩은 올 해 빅데이터 교육 사업을 시작해 경기도 빅데이터 전문가 양성 과정인 D-스쿨 사업에 참여했으며, 한국생산성본부, 삼성 SDS, HP, 웹타임 등과 함께 빅데이터 전문가...

2014.12.02

HP, 호튼웍스의 하둡에 투자하다

HP가 자사 고객들이 하둡 데이터 프로세싱 플랫폼의 가치를 발견할 수 있도록 하둡 배포업체인 호튼웍스에 5,000만 달러를 투자했다. 또한 양사는 판매를 위한 전략적 제휴를 맺고 HP 데이터 프로세싱 플랫폼인 헤븐(HAVEn)에 호튼웍스의 하둡 배포판을 결합시키기 위한 아키텍처를 만든다고 밝혔다. HP의 버티카 분석 데이터베이스 소프트웨어 부장 콜린 마호니는 "우리는 실제 하둡을 팔기보다는 이를 직접 지원한다. 지금까지 우리는 하둡 개발업체들을 만나왔으며 시장에서 관계를 맺어왔다"며, "이번 전략적 제휴가 다른 점은 헤븐의 일부분으로서 호튼웍스 데이터 플랫폼을 재판매하고 이를 아주 제대로 지원할 것을 약속하는 것이다"고 설명했다. 마호니는 "대기업들은 큰 규모의 데이터 프로세싱 플랫폼을 구축할 때 보통 전체 시스템에서 각 부문을 맡는 다수의 개발업체보다는 하나의 개발업체와 거래 우선권을 준다"고 말했다. 게다가 이번 투자와 조인트 엔지니어링 작업에는 HP CTO 마틴 핑크가 호튼웍스의 이사회에 참여하기 때문에 하둡 전략을 만드는데 양사는 상당히 밀접하게 일할 수 있다. 야후에서 처음 개발된 하둡은 분석이 가능한 대용량 비정형 데이터를 저장하는 방법을 제공한다. 사용자의 데이터를 수집하는 대형 인터넷 서비스업체들은 전통적인 SQL 데이터베이스 기술과 상용 DW로는 이 데이터들을 저장하고 분석하는 것이 불가능하다는 점을 알아차리고 자체적인 방법을 모색했다. 대표적인 하둡 배포자 가운데 하나인 호튼웍스는 야후에서 하둡을 만들어온 다수의 엔지니어들에 의해 설립했다. 2011년 설립된 이후 호튼웍스는 마이크로소프트, SAP, 레드햇 등 다른 기업용 소프트웨어 개발업체들과 협력 관계를 맺고 있었다. 호튼웍스 CEO 롭 비어든은 이번 전략적 제휴를 통해 호튼웍스에게 잠재 고객층을 더 확보하게 됐다고 의미를 부여했다. 또한 이번 제휴를 통해 HP의 헤븐 플랫폼은 좀더 풍성해진다....

HP 버티카 하둡 호튼웍스

2014.07.25

HP가 자사 고객들이 하둡 데이터 프로세싱 플랫폼의 가치를 발견할 수 있도록 하둡 배포업체인 호튼웍스에 5,000만 달러를 투자했다. 또한 양사는 판매를 위한 전략적 제휴를 맺고 HP 데이터 프로세싱 플랫폼인 헤븐(HAVEn)에 호튼웍스의 하둡 배포판을 결합시키기 위한 아키텍처를 만든다고 밝혔다. HP의 버티카 분석 데이터베이스 소프트웨어 부장 콜린 마호니는 "우리는 실제 하둡을 팔기보다는 이를 직접 지원한다. 지금까지 우리는 하둡 개발업체들을 만나왔으며 시장에서 관계를 맺어왔다"며, "이번 전략적 제휴가 다른 점은 헤븐의 일부분으로서 호튼웍스 데이터 플랫폼을 재판매하고 이를 아주 제대로 지원할 것을 약속하는 것이다"고 설명했다. 마호니는 "대기업들은 큰 규모의 데이터 프로세싱 플랫폼을 구축할 때 보통 전체 시스템에서 각 부문을 맡는 다수의 개발업체보다는 하나의 개발업체와 거래 우선권을 준다"고 말했다. 게다가 이번 투자와 조인트 엔지니어링 작업에는 HP CTO 마틴 핑크가 호튼웍스의 이사회에 참여하기 때문에 하둡 전략을 만드는데 양사는 상당히 밀접하게 일할 수 있다. 야후에서 처음 개발된 하둡은 분석이 가능한 대용량 비정형 데이터를 저장하는 방법을 제공한다. 사용자의 데이터를 수집하는 대형 인터넷 서비스업체들은 전통적인 SQL 데이터베이스 기술과 상용 DW로는 이 데이터들을 저장하고 분석하는 것이 불가능하다는 점을 알아차리고 자체적인 방법을 모색했다. 대표적인 하둡 배포자 가운데 하나인 호튼웍스는 야후에서 하둡을 만들어온 다수의 엔지니어들에 의해 설립했다. 2011년 설립된 이후 호튼웍스는 마이크로소프트, SAP, 레드햇 등 다른 기업용 소프트웨어 개발업체들과 협력 관계를 맺고 있었다. 호튼웍스 CEO 롭 비어든은 이번 전략적 제휴를 통해 호튼웍스에게 잠재 고객층을 더 확보하게 됐다고 의미를 부여했다. 또한 이번 제휴를 통해 HP의 헤븐 플랫폼은 좀더 풍성해진다....

2014.07.25

기고 | 하둡 배포판 3종의 현재와 미래

하둡(Hadoop)은 방대한 데이터 세트를 간단히 분석할 수 있는 새로운 방법을 제시하면서, 빅 데이터 시장을 순식간에 탈바꿈시켰다. 최근 하둡과 빅 데이터가 동의어로 사용되는 경우가 많은 이유다. 하둡은 오픈소스 프로젝트다. 따라서 많은 벤더들이 새 기능을 추가하거나 코드 기반을 개선하는 방식으로 독자적인 배포판(distributions)을 개발해 공급하고 있다. 빅 데이터 전문 기업 알토로스(Altoros)가 작성한 이번 기사는 하둡 표준판과의 차이와 함께 중요 배포판을 개략적으로 설명하고 있다. 표준 오픈소스 하둡 배포판(아파치 하둡)에는 다음이 포함되어 있다. - 병렬 컴퓨팅을 실행시키는 하둡 맵리듀스(MapReduce) - 하둡 분산형 파일 시스템(HDFS: Hadoop Distributed File System) - 다른 하둡 모듈이 사용하는 유틸리티와 라이브러리 세트인 하둡 커먼(Hadoop Common). 이들는 하둡의 기본 구성 요소에 불과하다. 이 밖에 특정 작업을 처리하고, 연산 속도를 높이고, 반복 작업을 최적화하는데 많이 쓰이는 아파치 하이브(Apache Hive), 아파치 피그(Apache Pig), 아파치 주키퍼(Apache Zookeeper) 등 다른 솔루션들도 있다. 벤더 배포판은 대개 오픈소스의 문제를 극복하고, 고객에게 추가적인 가치를 제공하기 위해 설계됐다. 특히 다음에 중점을 두고 있다. - 신뢰성. 벤더들은 버그가 발견됐을 때 더 빨리 대응을 한다. 즉시 픽스와 패치를 배포해, 솔루션을 더 안정적으로 만든다. - 지원. 기업 사명 달성에 아주 중요한 플랫폼 도입과 엔터프라이즈급 작업 처리가 가능하도록 기술 지원 서비스를 제공하는 회사들이 많다. - 완성도. 특정 작업을 처리하기 위해, 다른 툴로 기능을 보강한 하둡 배포판이 아주 많다. 여기에 더해, 벤더들은 하둡 표준 배포판을 개선하는데 공헌하고 있다. 오픈소스 저장소에 업데이트한 코드를...

하둡 클라우데라 호튼웍스 맵알 하둡 2.0. 배포판

2014.07.01

하둡(Hadoop)은 방대한 데이터 세트를 간단히 분석할 수 있는 새로운 방법을 제시하면서, 빅 데이터 시장을 순식간에 탈바꿈시켰다. 최근 하둡과 빅 데이터가 동의어로 사용되는 경우가 많은 이유다. 하둡은 오픈소스 프로젝트다. 따라서 많은 벤더들이 새 기능을 추가하거나 코드 기반을 개선하는 방식으로 독자적인 배포판(distributions)을 개발해 공급하고 있다. 빅 데이터 전문 기업 알토로스(Altoros)가 작성한 이번 기사는 하둡 표준판과의 차이와 함께 중요 배포판을 개략적으로 설명하고 있다. 표준 오픈소스 하둡 배포판(아파치 하둡)에는 다음이 포함되어 있다. - 병렬 컴퓨팅을 실행시키는 하둡 맵리듀스(MapReduce) - 하둡 분산형 파일 시스템(HDFS: Hadoop Distributed File System) - 다른 하둡 모듈이 사용하는 유틸리티와 라이브러리 세트인 하둡 커먼(Hadoop Common). 이들는 하둡의 기본 구성 요소에 불과하다. 이 밖에 특정 작업을 처리하고, 연산 속도를 높이고, 반복 작업을 최적화하는데 많이 쓰이는 아파치 하이브(Apache Hive), 아파치 피그(Apache Pig), 아파치 주키퍼(Apache Zookeeper) 등 다른 솔루션들도 있다. 벤더 배포판은 대개 오픈소스의 문제를 극복하고, 고객에게 추가적인 가치를 제공하기 위해 설계됐다. 특히 다음에 중점을 두고 있다. - 신뢰성. 벤더들은 버그가 발견됐을 때 더 빨리 대응을 한다. 즉시 픽스와 패치를 배포해, 솔루션을 더 안정적으로 만든다. - 지원. 기업 사명 달성에 아주 중요한 플랫폼 도입과 엔터프라이즈급 작업 처리가 가능하도록 기술 지원 서비스를 제공하는 회사들이 많다. - 완성도. 특정 작업을 처리하기 위해, 다른 툴로 기능을 보강한 하둡 배포판이 아주 많다. 여기에 더해, 벤더들은 하둡 표준 배포판을 개선하는데 공헌하고 있다. 오픈소스 저장소에 업데이트한 코드를...

2014.07.01

'아직은 막상막하' 하둡 서비스 업체 9곳 장단점 정리

당신의 회사가 막대한 데이터를 다루고 있다면 하둡을 반드시 고려해봐야 한다. 한때 구글과 야후와 같은 글로벌 인터넷 기업의 전유물이던 가장 인기있고 잘 알려진 빅데이터 관리 시스템이 이제 다른 기업에까지 확산되고 있다. 거기에는 두 가지 이유가 있다. 첫째, 기업이 관리해야 될 데이터가 훨씬 많아졌고, 하둡은 기존의 정형 데이터와 새로운 비정형 데이터를 혼합하는데 탁월한 플랫폼이라는 점이다. 둘째, 수많은 개발업체가 하둡 지원과 서비스를 제공하는데 뛰어들어 기업 입장에서 선택의 폭이 늘어났다는 것이다. 포레스터 2013년 4분기 소프트웨어 조사 보고서에 따르면, 대부분의 기업들은 이미 보유한 데이터 가운데 단 12%만을 분석하고 있으며, 나머지 88%는 그냥 방치해두고 있다. 포레스터 애널리스트 마이크 갈티에리와 노엘 유하나는 "하둡은 자체 오픈소스 기반이 기업 데이터 관리 아키텍처로 넓고 깊게 성장함에 따라 더 이상 멈출 수 없는 흐름이 됐다"며, 최근 포레스터 웨이브 리포트(Wave Report)에서 하둡 시장에 대해 평가했다. 이 보고서는 "포레스터는 하둡이 대기업에게는 갖춰야 할(Must-have) 데이터 플랫폼이며, 모든 유연한 미래 데이터 관리 플랫폼의 초석을 형성하고 있다고 파악했다. 만약 자신의 조직에 정형, 비정형 혹은 바이너리 데이터가 많다면 하둡이 제 역할을 제대로 해낼 수 있다"고 설명했다. 그러면 어디서부터 시작할까? 포레스터는 다양한 분야 가운데 아홉 곳의 하둡 서비스 개발업체를 평가해 각각의 장단점을 밝혔다. 포레스터는 현 시점에서 빅데이터 벤처 업체들이 상당한 서비스 제공을 무기로 IT 업계를 대표하는 거대기업들과 우열을 가리기 힘든 경쟁을 하고있다고 결론내렸다. 우선 배경부터 정리해보자. 하둡은 오픈소스 아파치(Apache) 프로젝트로 누구든 무료로 하둡 커먼(Hadoop Common), HDFS(Hadoop Distributed File System), 하둡 ...

인텔 피보탈 호튼웍스 클라우데라 하둡 테라데이타 포레스터 AWS 마이크로소프트 IBM 맵R

2014.03.20

당신의 회사가 막대한 데이터를 다루고 있다면 하둡을 반드시 고려해봐야 한다. 한때 구글과 야후와 같은 글로벌 인터넷 기업의 전유물이던 가장 인기있고 잘 알려진 빅데이터 관리 시스템이 이제 다른 기업에까지 확산되고 있다. 거기에는 두 가지 이유가 있다. 첫째, 기업이 관리해야 될 데이터가 훨씬 많아졌고, 하둡은 기존의 정형 데이터와 새로운 비정형 데이터를 혼합하는데 탁월한 플랫폼이라는 점이다. 둘째, 수많은 개발업체가 하둡 지원과 서비스를 제공하는데 뛰어들어 기업 입장에서 선택의 폭이 늘어났다는 것이다. 포레스터 2013년 4분기 소프트웨어 조사 보고서에 따르면, 대부분의 기업들은 이미 보유한 데이터 가운데 단 12%만을 분석하고 있으며, 나머지 88%는 그냥 방치해두고 있다. 포레스터 애널리스트 마이크 갈티에리와 노엘 유하나는 "하둡은 자체 오픈소스 기반이 기업 데이터 관리 아키텍처로 넓고 깊게 성장함에 따라 더 이상 멈출 수 없는 흐름이 됐다"며, 최근 포레스터 웨이브 리포트(Wave Report)에서 하둡 시장에 대해 평가했다. 이 보고서는 "포레스터는 하둡이 대기업에게는 갖춰야 할(Must-have) 데이터 플랫폼이며, 모든 유연한 미래 데이터 관리 플랫폼의 초석을 형성하고 있다고 파악했다. 만약 자신의 조직에 정형, 비정형 혹은 바이너리 데이터가 많다면 하둡이 제 역할을 제대로 해낼 수 있다"고 설명했다. 그러면 어디서부터 시작할까? 포레스터는 다양한 분야 가운데 아홉 곳의 하둡 서비스 개발업체를 평가해 각각의 장단점을 밝혔다. 포레스터는 현 시점에서 빅데이터 벤처 업체들이 상당한 서비스 제공을 무기로 IT 업계를 대표하는 거대기업들과 우열을 가리기 힘든 경쟁을 하고있다고 결론내렸다. 우선 배경부터 정리해보자. 하둡은 오픈소스 아파치(Apache) 프로젝트로 누구든 무료로 하둡 커먼(Hadoop Common), HDFS(Hadoop Distributed File System), 하둡 ...

2014.03.20

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.5