Offcanvas

EDW

익스피디아, 호텔스닷컴, 테슬라 공통점은 '하둡'··· 12가지 사례

지난 2015년 포레스터는 기업의 하둡 도입이 필수가 되고, 데이터에서 가치를 끌어내고자 하는 모든 기업은 최소한 하둡을 고려해야 한다고 예측한 바 있다. 하둡이란 무엇인가? 오픈소스 아파치 소프트웨어 재단은 하둡을 ‘분산 컴퓨팅 플랫폼’ 또는 ‘간단한 프로그래밍 모델을 사용해 여러 대의 컴퓨터에서 대규모 데이터 세트를 분산 처리할 수 있는 프레임워크’라고 설명하고 있다. 재단에 따르면, 고가용성을 제공하기 위해 하드웨어에 의존하는 게 아니라 라이브러리 자체는 애플리케이션 계층에서 오류를 감지하고 처리하여 컴퓨터 클러스터 상단에 고가용성 서비스를 제공하도록 설계했다. 하둡은 속도, 신뢰성, 비용 절감 등의 장점으로 기업에 침투했으며 기업은 다양한 규모로 기술을 도입하기 시작했다. 현재 통신사, 대기업 은행, 항공사, 소매/유통 등의 기업이 하둡을 도입해 사용하고 있으며 그 가운데 12개 사례를 소개한다. 1. BT BT는 아파치 하둡이 제공하는 클라우데라 엔터프라이즈 데이터 허브를 사용하여 엔지니어에 대한 요청-응대를 줄였다. 네트워크의 특성을 분석함으로써 BT는 느린 인터넷 속도가 네트워크나 고객 문제 때문인지를 확인할 수 있다. 그런 다음 엔지니어가 문제를 해결할 가능성이 있는지 평가할 수 있다. 클라우데라 허브는 하둡 환경에 저장된 고객 데이터의 통일된 뷰를 제공한다. BT는 도입 후 1년 이내에 200~250%의 투자 수익을 올렸다. 또한 BT는 고객이 엔지니어의 위치를 추적할 수 있게 해주는 SMS 및 이메일 알림 시스템인 ‘내 엔지니어 보기(View My Engineer)’ 같은 새로운 서비스를 만드는데도 하둡을 사용했다. 이 회사는 현재 예측 분석을 사용하여 차량 유지 보수를 개선하고자 한다. 2. 스코틀랜드 왕립 은행 스코틀랜드 왕립 은행(RBS)은 실리콘밸리의 트리팩타(Trifacta...

BT 호텔스닷컴 스코틀랜드 왕립 은행 엔터프라이즈 데이터웨어하우스 CERN 데이터 레이크 익스피디아 브리티시 텔레콤 영국항공 테슬라 EDW 클라우데라 하둡 야후 빅데이터 웨스턴유니온

2017.12.21

지난 2015년 포레스터는 기업의 하둡 도입이 필수가 되고, 데이터에서 가치를 끌어내고자 하는 모든 기업은 최소한 하둡을 고려해야 한다고 예측한 바 있다. 하둡이란 무엇인가? 오픈소스 아파치 소프트웨어 재단은 하둡을 ‘분산 컴퓨팅 플랫폼’ 또는 ‘간단한 프로그래밍 모델을 사용해 여러 대의 컴퓨터에서 대규모 데이터 세트를 분산 처리할 수 있는 프레임워크’라고 설명하고 있다. 재단에 따르면, 고가용성을 제공하기 위해 하드웨어에 의존하는 게 아니라 라이브러리 자체는 애플리케이션 계층에서 오류를 감지하고 처리하여 컴퓨터 클러스터 상단에 고가용성 서비스를 제공하도록 설계했다. 하둡은 속도, 신뢰성, 비용 절감 등의 장점으로 기업에 침투했으며 기업은 다양한 규모로 기술을 도입하기 시작했다. 현재 통신사, 대기업 은행, 항공사, 소매/유통 등의 기업이 하둡을 도입해 사용하고 있으며 그 가운데 12개 사례를 소개한다. 1. BT BT는 아파치 하둡이 제공하는 클라우데라 엔터프라이즈 데이터 허브를 사용하여 엔지니어에 대한 요청-응대를 줄였다. 네트워크의 특성을 분석함으로써 BT는 느린 인터넷 속도가 네트워크나 고객 문제 때문인지를 확인할 수 있다. 그런 다음 엔지니어가 문제를 해결할 가능성이 있는지 평가할 수 있다. 클라우데라 허브는 하둡 환경에 저장된 고객 데이터의 통일된 뷰를 제공한다. BT는 도입 후 1년 이내에 200~250%의 투자 수익을 올렸다. 또한 BT는 고객이 엔지니어의 위치를 추적할 수 있게 해주는 SMS 및 이메일 알림 시스템인 ‘내 엔지니어 보기(View My Engineer)’ 같은 새로운 서비스를 만드는데도 하둡을 사용했다. 이 회사는 현재 예측 분석을 사용하여 차량 유지 보수를 개선하고자 한다. 2. 스코틀랜드 왕립 은행 스코틀랜드 왕립 은행(RBS)은 실리콘밸리의 트리팩타(Trifacta...

2017.12.21

"하둡은 사라진다" 데이터 인프라로 통합될 전망... 클라우데라 창업자

지난 몇 년 간 클라우드와 모바일와 더불어 크게 주목받은 하둡과 빅데이터가 변화하고 있다는 주장이 제기됐다. 뉴욕에서 개최된 세계 최대 빅데이터 행사인 ‘오라일리 스트라타 컨퍼런스 + 하둡 월드(O'Reilly Strata Conference + Hadoop World)’에서 기조 연설자로 나선 클라우데라 공동창업자인 마이크 올슨은 “행사에 적절한 발언은 아니지만, 올해 하둡이 사라진다고 내다본다”고 말했다. 올슨이 ‘제 1회 하둡 월드 2009(2012년부터 오라일리 스트라타 컨퍼런스와 병합됐다)’에서 연설자로 나선 당시 관객 규모는 400명 수준에 불과했다. 그로부터 6년이 지난 이번 행사의 관객석은 5,000석을 훌쩍 넘는 등 하둡에 대한 전세계적인 관심이 높아지고 있는 상황이다. ‘하둡의 종말’에 대해 언급한 이유에 대해, 올슨은 ”하둡 월드에서 처음으로 기조 연설자로 나섰을 때만 하더라도, 아파치 하둡(Apache Hadoop)의 로고인 ‘노란 코끼리’에 대해 아는 사람은 없었다”며, “지난 몇 년 간은 하둡 개발자 프로젝트가 무엇인지에 대한 이야기를 나눴다면, 이제 이 프로젝트가 무엇을 하는지에 대한 논의가 필요하다”고 설명했다. 이 때문에 올슨은 하둡이 올해 ‘사라진다’고 표현한 것이다. 하둡은 데이터를 분석하는 애플리케이션이 탑재된 데이터 인프라의 기초가 될 전망이다. 올슨은 “대다수 기업 고객은 데이터가 테라데이타 엔터프라이즈 데이터 웨어하우스(EDW)인지, 오라클 데이터베이스인지에 대해서는 신경쓰지 않는다”며, “하둡이라면 진정한 의미의 데이터 인프라를 만들 수 있을 것”이라고 말했다. “테라데이타, EMC, 오라클 그리고 나머지 데이터베이스는 실제로도 사라지고 있다”며,...

CIO 빅데이터 데이터베이스 하둡 클라우데라 EDW

2014.10.17

지난 몇 년 간 클라우드와 모바일와 더불어 크게 주목받은 하둡과 빅데이터가 변화하고 있다는 주장이 제기됐다. 뉴욕에서 개최된 세계 최대 빅데이터 행사인 ‘오라일리 스트라타 컨퍼런스 + 하둡 월드(O'Reilly Strata Conference + Hadoop World)’에서 기조 연설자로 나선 클라우데라 공동창업자인 마이크 올슨은 “행사에 적절한 발언은 아니지만, 올해 하둡이 사라진다고 내다본다”고 말했다. 올슨이 ‘제 1회 하둡 월드 2009(2012년부터 오라일리 스트라타 컨퍼런스와 병합됐다)’에서 연설자로 나선 당시 관객 규모는 400명 수준에 불과했다. 그로부터 6년이 지난 이번 행사의 관객석은 5,000석을 훌쩍 넘는 등 하둡에 대한 전세계적인 관심이 높아지고 있는 상황이다. ‘하둡의 종말’에 대해 언급한 이유에 대해, 올슨은 ”하둡 월드에서 처음으로 기조 연설자로 나섰을 때만 하더라도, 아파치 하둡(Apache Hadoop)의 로고인 ‘노란 코끼리’에 대해 아는 사람은 없었다”며, “지난 몇 년 간은 하둡 개발자 프로젝트가 무엇인지에 대한 이야기를 나눴다면, 이제 이 프로젝트가 무엇을 하는지에 대한 논의가 필요하다”고 설명했다. 이 때문에 올슨은 하둡이 올해 ‘사라진다’고 표현한 것이다. 하둡은 데이터를 분석하는 애플리케이션이 탑재된 데이터 인프라의 기초가 될 전망이다. 올슨은 “대다수 기업 고객은 데이터가 테라데이타 엔터프라이즈 데이터 웨어하우스(EDW)인지, 오라클 데이터베이스인지에 대해서는 신경쓰지 않는다”며, “하둡이라면 진정한 의미의 데이터 인프라를 만들 수 있을 것”이라고 말했다. “테라데이타, EMC, 오라클 그리고 나머지 데이터베이스는 실제로도 사라지고 있다”며,...

2014.10.17

‘일신우일신’ 오픈소스와 빅 데이터

빅 데이터용 오픈소스 플랫폼은 폭발적인 성장세를 보여왔다. 그러나 한편으로 지난 몇 달 간 시장이 보여준 변화는 많은 이들을 당혹스럽게 만들기도 했다. 우선 오픈소스 열풍을 불러 일으킨 요인들로는, 비용과 유연성, 그리고 훈련된 인력 확보의 용이성이 있다. 또한 하둡과 R, NoSQL은 비정형 데이터를 관리하고 복잡한 통계학적 분석을 진행하는 기업들에게 다양한 빅 데이터 전략을 지원하는 든든한 기둥이 되어 주고 있다. 시장의 진보 역시 계속되고 있다. SAP AG는 최근 자신들의 신제품 ‘SAP 비즈니스오브젝트 예측 애널리시스’(SAP BusinessObjects Predictive Analysis)를 공개했다. 이 소프트웨어는 학계에서 고급 통계적 모델링(statistical modelling) 작업에 사용되고 있는 오픈소스 R 언어(R language)로부터 알고리즘을 통합하는 과정을 지원한다. 그보다 몇 주 앞서 테라데이터는 R 기능성 포함과 자바 기반 오픈소스 위치부호 플랫폼 지오서버(GeoServer)에 연결을 특징으로 하는 새로운 통합 애널리틱스 포트폴리오(integrated analytics portfolio)를 발표한 바 있다. 이들 이외에도 수 많은 기업들이 하둡과의 연결 구축에 박차를 가하고 있다. 광범위한 적용, 열띤 개발 포레스터 리서치의 전 애널리스트 제임스 코베일러스(현재는 IBM의 빅 데이터 애널리틱스 솔루션 상품 마케팅 사업부의 선임 프로그램 디렉터)는 “오픈소스 방식의 도입과 개발은 속도를 더해가고 있다”라고 말했다. 그러나 서두를 필요는 없다. 그의 설명은 다음과 같다. 코베일러스는 우선 오픈소스 시장의 상황을 설명했다. 그는 모질라나 안드로이드와 같은 오픈소스 상품들이 초기 약간의 산통을 겪긴 했지만 이제는 IT 커뮤니티에 일반적으로 받아 들여지게 되었고, 오픈소스 데이터 스토리지나 애널리틱스 소프트웨어 시장 역시 충분히 성숙한...

SAP SAS 예측 애널리틱스 그린플럼 EDW

2012.06.01

빅 데이터용 오픈소스 플랫폼은 폭발적인 성장세를 보여왔다. 그러나 한편으로 지난 몇 달 간 시장이 보여준 변화는 많은 이들을 당혹스럽게 만들기도 했다. 우선 오픈소스 열풍을 불러 일으킨 요인들로는, 비용과 유연성, 그리고 훈련된 인력 확보의 용이성이 있다. 또한 하둡과 R, NoSQL은 비정형 데이터를 관리하고 복잡한 통계학적 분석을 진행하는 기업들에게 다양한 빅 데이터 전략을 지원하는 든든한 기둥이 되어 주고 있다. 시장의 진보 역시 계속되고 있다. SAP AG는 최근 자신들의 신제품 ‘SAP 비즈니스오브젝트 예측 애널리시스’(SAP BusinessObjects Predictive Analysis)를 공개했다. 이 소프트웨어는 학계에서 고급 통계적 모델링(statistical modelling) 작업에 사용되고 있는 오픈소스 R 언어(R language)로부터 알고리즘을 통합하는 과정을 지원한다. 그보다 몇 주 앞서 테라데이터는 R 기능성 포함과 자바 기반 오픈소스 위치부호 플랫폼 지오서버(GeoServer)에 연결을 특징으로 하는 새로운 통합 애널리틱스 포트폴리오(integrated analytics portfolio)를 발표한 바 있다. 이들 이외에도 수 많은 기업들이 하둡과의 연결 구축에 박차를 가하고 있다. 광범위한 적용, 열띤 개발 포레스터 리서치의 전 애널리스트 제임스 코베일러스(현재는 IBM의 빅 데이터 애널리틱스 솔루션 상품 마케팅 사업부의 선임 프로그램 디렉터)는 “오픈소스 방식의 도입과 개발은 속도를 더해가고 있다”라고 말했다. 그러나 서두를 필요는 없다. 그의 설명은 다음과 같다. 코베일러스는 우선 오픈소스 시장의 상황을 설명했다. 그는 모질라나 안드로이드와 같은 오픈소스 상품들이 초기 약간의 산통을 겪긴 했지만 이제는 IT 커뮤니티에 일반적으로 받아 들여지게 되었고, 오픈소스 데이터 스토리지나 애널리틱스 소프트웨어 시장 역시 충분히 성숙한...

2012.06.01

하둡에 대한 수요•투자•관심 ↑

초대용량 데이터의 저장, 처리, 분석에 자사의 능력을 쏟고자 하는 IT 업체들에서 하둡이 생산적인 역할을 하고 있다. 그러나 오픈소스 플랫폼이 비교적 새로운 영역인데다 하둡에 대한 경험을 가진 인재들이 부족한 탓에 기업 IT 팀들이 해결해야 할 기술적인 문제들이 제기되고 있다. 하둡은 더그 커팅과 마이크 카파렐라의 작업에서 비롯됐으며, 그들은 애초에 오픈소스 검색엔진인 아파치 넛치(Apache Nutch)를 지원하려는 목적으로 그것을 개발했다. 커팅과 야후의 엔지니어팀이 하둡을 만들기 위해 넛치 크롤러(crawler)에서 나온 분산 컴퓨팅 코드를 나누면서 아파치의 프로젝트가 됐다. 오늘날 하둡은 하둡 생산환경을 4만 2,000 노드도 넘게 확장시킨 야후에서 모든 클릭을 관리하고 있다. 이런 종류의 확장성은 하둡의 가장 큰 장점으로, 하둡은 수천 개의 노드들과 엑사바이트 단위의 데이터에 걸쳐 있는 데이터 집약적인 분산형 애플리케이션을 처리하기 위해 설계됐다. 이베이, 페이스북, 링크드인, 넷플릭스(Netflix), 트위터 등을 비롯한 온라인에서 주로 활동하던 하둡의 개척자들은 다른 데이터 집약적 산업들, 예를 들면 금융, 기술, 통신, 정부 등으로 진출하고 있다. 점점 더 많은 IT 업체들이 자신들의 데이터 아키텍처 전략에서 하둡의 자리를 마련해 놓고 있다. 간단히 말하자면 하둡의 장점은 저렴한 상용 서비스들에서도 대규모로 병렬 컴퓨팅을 할 수 있게 해준다는 점이다. 기업들은 더 많은 데이터를 수집할 수 있고, 더 오래 데이터를 보유할 수 있으며, 과거에는 비용, 복잡성, 도구의 부족 때문에 불가능했던 분석들을 처리할 수 있게 된다. 주문형 비디오(VOD) 시스템 제공업체 컨커런트 컴퓨터(Concurrent Computer)가 하둡을 이용하기로 결정한 것은 많은 부분 그것의 엄청난 용량에 기인하고 있었다. 컨커런트는 시청자와 콘텐츠 소비, 플랫폼 운영과 관련해 하루에 수십억 개의 기록들을 처리하고 있다. 컨커런트...

페이스북 빅데이터 분석 이베이 아파치 하둡 클라우데라 EDW

2012.02.15

초대용량 데이터의 저장, 처리, 분석에 자사의 능력을 쏟고자 하는 IT 업체들에서 하둡이 생산적인 역할을 하고 있다. 그러나 오픈소스 플랫폼이 비교적 새로운 영역인데다 하둡에 대한 경험을 가진 인재들이 부족한 탓에 기업 IT 팀들이 해결해야 할 기술적인 문제들이 제기되고 있다. 하둡은 더그 커팅과 마이크 카파렐라의 작업에서 비롯됐으며, 그들은 애초에 오픈소스 검색엔진인 아파치 넛치(Apache Nutch)를 지원하려는 목적으로 그것을 개발했다. 커팅과 야후의 엔지니어팀이 하둡을 만들기 위해 넛치 크롤러(crawler)에서 나온 분산 컴퓨팅 코드를 나누면서 아파치의 프로젝트가 됐다. 오늘날 하둡은 하둡 생산환경을 4만 2,000 노드도 넘게 확장시킨 야후에서 모든 클릭을 관리하고 있다. 이런 종류의 확장성은 하둡의 가장 큰 장점으로, 하둡은 수천 개의 노드들과 엑사바이트 단위의 데이터에 걸쳐 있는 데이터 집약적인 분산형 애플리케이션을 처리하기 위해 설계됐다. 이베이, 페이스북, 링크드인, 넷플릭스(Netflix), 트위터 등을 비롯한 온라인에서 주로 활동하던 하둡의 개척자들은 다른 데이터 집약적 산업들, 예를 들면 금융, 기술, 통신, 정부 등으로 진출하고 있다. 점점 더 많은 IT 업체들이 자신들의 데이터 아키텍처 전략에서 하둡의 자리를 마련해 놓고 있다. 간단히 말하자면 하둡의 장점은 저렴한 상용 서비스들에서도 대규모로 병렬 컴퓨팅을 할 수 있게 해준다는 점이다. 기업들은 더 많은 데이터를 수집할 수 있고, 더 오래 데이터를 보유할 수 있으며, 과거에는 비용, 복잡성, 도구의 부족 때문에 불가능했던 분석들을 처리할 수 있게 된다. 주문형 비디오(VOD) 시스템 제공업체 컨커런트 컴퓨터(Concurrent Computer)가 하둡을 이용하기로 결정한 것은 많은 부분 그것의 엄청난 용량에 기인하고 있었다. 컨커런트는 시청자와 콘텐츠 소비, 플랫폼 운영과 관련해 하루에 수십억 개의 기록들을 처리하고 있다. 컨커런트...

2012.02.15

유니레버, 글로벌 EDW 사업자로 캡제미니 선정

소비재 기업 유니레버가 3년간의 글로벌 BI 고도화 고도화 사업자로 캡제미니를 채택했다. 유니레버는 글로벌 고객, 시장, 운영 데이터를 실시간으로 취합하기 위해 최초의 엔터프라이즈 데이터 웨어하우스(EDW)를 구축할 계획이다. 유니레버는 180개국에서 자사 제품을 판매하며 매일 20억 명이 이 제품들을 사용하고 있다. 캡제미니는 유니레버의 내부 조직이 기존의 DW에서 새 EDW로 이전하도록 지원하며 모든 경영진들이 더 빠르고 객관적인 의사 결정을 내릴 수 있도록 새로운 데이터 마이닝 및 분석 도구를 제공 할 예정이다. EDW 프로젝트는 IT와 유니레버 글로벌 사업 운영 전반에 걸친 진행중인 비용 절감을 제공하는 중요한 역할을 할 것으로 기대된다. 유니레버의 글로벌 CIO 윌렘 엘만은 이 프로젝트에 대해 “회사가 전략적으로 추진하는 우선 사업 중 하나며 IT만을 위한 것이 아니라 글로벌 사업을 위한 것”이라고 설명했다. 유니레버는 고도화된 통찰력과 일관성을 통해 글로벌 사업 방향을 전환하며 정보를 활용할 방침이다. “캡제미니는 강력한 글로벌 비즈니스 정보 관리 경험을 제공해온 유니레버의 오랜 협력사로 누구보다도 유니레버 비즈니스를 잘 이해하고 있다”라며 엘만은 사업 선정 이유를 밝혔다. 캡제미니에서 비즈니스 정보 관리를 담당하는 글로벌 리더 폴 나네티는 "유니레버는 이미 우리의 가장 중요한 글로벌 고객 중 하나며 우리는 이 새롭고 중요한 프로그램을 제공하기 위해 그들과 함께 일하게 돼서 기쁘게 생각한다"라고 전했다. 올해 초 유니레버는 SAP ERP 기반의 글로벌 공급망과 조달 시스템 구축을 완료했다. 유니레버는 현재 오라클 데이터베이스와 CA 데이터베이스 관리 툴을 사용하고 있다. 한편, 캡제미니는 지난 5년 동안 유니레버의 재무 업무에 대해 비즈니스 프로세스 아웃소싱(BPO)을 수행했다. 유니레버는 다른 선도적인 글로벌 IT업체와의 경쟁 입찰을 통해 캡제미니를 선택했...

BI CIO DW 소비재 유니레버 글로벌 BI EDW

2011.12.07

소비재 기업 유니레버가 3년간의 글로벌 BI 고도화 고도화 사업자로 캡제미니를 채택했다. 유니레버는 글로벌 고객, 시장, 운영 데이터를 실시간으로 취합하기 위해 최초의 엔터프라이즈 데이터 웨어하우스(EDW)를 구축할 계획이다. 유니레버는 180개국에서 자사 제품을 판매하며 매일 20억 명이 이 제품들을 사용하고 있다. 캡제미니는 유니레버의 내부 조직이 기존의 DW에서 새 EDW로 이전하도록 지원하며 모든 경영진들이 더 빠르고 객관적인 의사 결정을 내릴 수 있도록 새로운 데이터 마이닝 및 분석 도구를 제공 할 예정이다. EDW 프로젝트는 IT와 유니레버 글로벌 사업 운영 전반에 걸친 진행중인 비용 절감을 제공하는 중요한 역할을 할 것으로 기대된다. 유니레버의 글로벌 CIO 윌렘 엘만은 이 프로젝트에 대해 “회사가 전략적으로 추진하는 우선 사업 중 하나며 IT만을 위한 것이 아니라 글로벌 사업을 위한 것”이라고 설명했다. 유니레버는 고도화된 통찰력과 일관성을 통해 글로벌 사업 방향을 전환하며 정보를 활용할 방침이다. “캡제미니는 강력한 글로벌 비즈니스 정보 관리 경험을 제공해온 유니레버의 오랜 협력사로 누구보다도 유니레버 비즈니스를 잘 이해하고 있다”라며 엘만은 사업 선정 이유를 밝혔다. 캡제미니에서 비즈니스 정보 관리를 담당하는 글로벌 리더 폴 나네티는 "유니레버는 이미 우리의 가장 중요한 글로벌 고객 중 하나며 우리는 이 새롭고 중요한 프로그램을 제공하기 위해 그들과 함께 일하게 돼서 기쁘게 생각한다"라고 전했다. 올해 초 유니레버는 SAP ERP 기반의 글로벌 공급망과 조달 시스템 구축을 완료했다. 유니레버는 현재 오라클 데이터베이스와 CA 데이터베이스 관리 툴을 사용하고 있다. 한편, 캡제미니는 지난 5년 동안 유니레버의 재무 업무에 대해 비즈니스 프로세스 아웃소싱(BPO)을 수행했다. 유니레버는 다른 선도적인 글로벌 IT업체와의 경쟁 입찰을 통해 캡제미니를 선택했...

2011.12.07

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.5