2011.10.10

사례 | 클라우드로 대용량 데이터를 저장하는 기업들 - 2부

David Braue | Computerworld
'사례 | 라우드로 대용량 데이터를 저장하는 기업들 - 1부'에 이어 2부에서는 스토리지 카드로부터 기업을 구원해줄 수단으로 클라우드를 도입한 기업들을 소개한다.

운영 데이터, 운영 위험
데이터 관리 책임의 문제는 대규모 데이터 집합이 클라우드로 이전될 때 해결돼야 하는 여러 가지 위험 중 일부에 지나지 않는다. 클라우드가 기업에 미치는 영향이 증가함에 따라 기업의 통제를 넘어서는 클라우드의 운영 중단 혹은 보안 침해 사고로 발생한 데이터 손실의 영향력도 점점 더 커지고 있다.

클라우드에 민감한 데이터를 이전하면 그게 끝이다. 공은 이제 클라우드 제공업체의 손으로 넘어가게 되는 것이다. 그리고 최근에는 보안 침해 사고로 인해 호스팅 제공업체 디스트리뷰트IT(Distribute.IT)가 관리 중이던 4,800개 이상 사이트의 교체 불가 콘텐트가 삭제된 것과 같은 사고가 발생하기도 했다.

그러한 사고 그리고 유사 사고로 인해 호스팅 계정 SaaS 제공업체 사수(Saasu)는 보안을 최우선 과제로 삼고 수 기가 바이트에 달하는 고객들의 신상정보와 금융 정보가 담긴 데이터베이스를 맥쿼리 텔레콤(Macquarie Telecom)의 자회사 나인폴드(Ninefold)의 클라우드 스토리지에 정기적으로 백업하고 있다.

60GB에 달하는 사수 데이터베이스의 증분 백업(Incremental backups)은 알싱크(rSync)와 싱크파이드(Syncified)를 사용하여 15분 마다 클라우드로 복사되고 완전 백업은 2일 마다 전세계의 여러 위치로 저장된다. 이러한 작업을 위한 총 비용은 월 사용료로 약 12달러(호주)다.

사수의 CTO 폴 글라비치는 "클라우드에 데이터를 저장하는 것은 매우 쉽다"며 "그것은 우리 회사가 지난 십 년간 해온 일이고 우리는 그러한 작업에 매우 자신이 있다. 몇몇 기업들은 이러한 것을 까다로운 작업으로 여기고 자체적으로 데이터를 보유할 때 좀 더 안전하다고 느낀다. 그러나 그것이 안전을 보장하지는 않는다. 그리고 서비스 제공업체들이 투자한 것과 같은 대규모의 투자를 집행하지 않아도 된다는 장점이 있다"라고 말했다.

사수는 자사의 위험 프로파일에 만족하고 있지만, 클라우드에 대한 투자가 증가함에 따라 다른 기업들은 자사의 위험 프로파일이 증가하는 것을 발견할 수 있다.

오스트레일리안 유니티(Australian Unity)의 미가엘은 "기업에서 클라우드 컴퓨팅의 발전은 IT 위험 관리와 기업 위험 관리 사이를 연결할 수 있는 기회로 사용되어야 한다"며 "기술뿐만 아니라 클라우드 위험은 IT에 대한 대규모의 지속적인 재정 투자라는 측면으로 고려돼야 한다"라고 말했다.

이러한 위험에 무게를 둔 기업들은 좀더 복잡한 데이터 스토리지 모델을 공격적으로 채택하고 클라우드 호스팅 분석 툴과 다른 애플리케이션에서 클라우드에 저장된 데이터를 활용하기 시작할 것이다. 이것이 마이크로소프트의 애저, 그리고 아마존의 통합 EC2 애플리케이션과 S3 스토리지 등 클라우드 플랫폼이 가지고 있는 비전이다.

마이크로소프트 애저 마켓플레이스(Azure Marketplace)의 데이터마켓(DataMarket) 섹션에 상업용 수준의 부가 데이터 저장소를 제공하면 기업 데이터를 저장할 수 있을 뿐만 아니라 대규모 정보 데이터베이스에 손쉽게 접근할 수 있는 API를 제공하는 하이브리드 클라우드 기반 모델을 상대적으로 저렴한 비용으로 이용할 수 있다.

이미 데이터마켓을 사용하고 있는 고객사로는 지리 데이터 제공업체 에스리(ESRI), 신용 정보 제공업체 던앤브래드스트리트(Dun & Bradstreet), UN 국제 통신 협회(International Telecommunications Union)의 세계 통신/ICT 지표 통계, 그리고 부동산 데이터 정보센터 질로닷컴(Zillo.com) 등이 있다.

마이크로소프트 호주의 애저 제품 책임자 팀 번텔은 "클라우드를 이용하는 모든 기업들은 시간에 따른 추적이 가능한 정보를 생성할 수 있다. 시장에는 수 많은 정보가 있지만 과거에는 사람들이 그것을 이용하는 것이 상대적으로 어려웠다. 그러나 이제 기업들은 정보를 데이터마트에 저장할 수 있고 그러한 대규모의 데이터 집합을 손쉽게 이용하기 위한 과금 네트워크 또는 배포 네트워크 구축에 대해 걱정할 필요가 없다"라고 말했다.


데이터 입•출력
새로운 형태의 데이터 관리를 제공하는 것은 이제 막 초기 단계이다. 클라우드에 호스팅된 데이터가 생성되고 저장될 때 실시간 접속 기능을 제공하는 복잡한 분석 툴을 제공하기 위해 독자적인 업체들이 클라우드 플랫폼 구축 작업을 진행하고 있다.

클라우드가 스토리지 기능과 함께 분석 기능을 제공하는 것은 대규모 스토리지와 분석 플랫폼 구축의 필요성을 줄여주기 때문에 IT 책임자들에게 좋은 기회가 될 수 있다. 예를 들어, 데이터를 활용하는 완전한 분석 플랫폼을 손쉽게 이용할 수 있기 때문에 클라우드 CRM 툴에서 점점 더 많은 데이터를 생성하는 판매 책임자와 같은 사용자에게 이상적이라 할 수 있다.

지역 업체 매쿼리얼(Mercurial)은 지난 몇 년간 제약업체 고객사들을 위한 웹포커스(WebFOCUS) 기반 비즈니스 인텔리전스 호스팅 플랫폼을 구축해 클라우드 분석을 제공하는 업체 중 한 곳이다. 최근 매쿼리얼은 나머지 고객사들을 완전히 호스팅된 BI 플랫폼으로 통합했다.

매쿼리얼의 관리 책임자 아담 호킨스에 따르면, 과거 이러한 업체들은 영업인력들에게 여러 분산 데이터 소스 상단에 분석 기능을 제공했다. 호킨스는 “고객들 중 몇몇은 모든 곳의 데이터를 수집하기 위해 4-6주가 걸렸고, 그때가 되면 데이터는 구식이 되곤 했다. 클라우드에서 제공되는 분석 기능을 사용함으로써 그들은 기저 요인 분석을 수행하고 더 나은 성과를 위해 어느 고객을 방문해야 하는 지를 사전에 파악할 수 있게 됐다"라고 말했다.

실제 이익을 추구하기 위한 것이던지 아니면 단순히 대규모 데이터 집합을 더 잘 파악하기 위한 것이던지 간에 클라우드 기반 분석은 BI 시장과는 다른 시장 분류고, 직원들에게 관련 데이터에 대한 시기 적절한 접근을 제공하기 위해 필요한 데이터 표준화, 삭제, 그리고 책임을 위해 지난 이십 년 간 사투를 벌여왔다.

개발자들이 완전한 클라우드 기반 BI 솔루션을 이용하지 않고 클라우드 개발자의 API를 사용하는 경우에도 데이터와 분석을 클라우드에서 제공하는 것은 그러한 모든 것을 변화시킨다.

손쉽게 스토리지에 접근해 클라우드에 모든 연구 자료를 저장하고자 하는 대학이 증가함에 따라나인폴드는 수 PB 용량의 고객 정보와 계정에 대한 준비를 갖추게 됐다. 나인폴드의 관리 책임자 피터 제임스는 "이것은 기업들에게 실제적인 문제다. 우리는 단지 어떠한 기회가 있는가를 살펴보기 위해 우리의 클라우드에 데이터를 시험하고 있는 수 많은 주요 업체를 확보하고 있다. 그것은 일부는 데이터 관할권 문제로 그리고 일부는 좀 더 효과적인 스토리지 수단에 대한 필요성으로 견인되고 있다. 그리고 나는 우리가 최정점에 서 있다고 생각한다"라고 밝혔다.

공유 데이터에 대한 내부 접근 개선 노력은 클라우드 데이터와 분석 프로젝트를 자연스럽게 보완하게 될 것이다. 클라우드 데이터 프로젝트의 폭발적 성장에서 한 몫을 잡기 위해 주력하고 있는 여러 벤더 중 한 곳이자 최근 빅 데이터 전문업체 그린플럼(Greenplum)을 인수한 EMC의 최고 기술 책임자 척 홀리스는 "아무 것도 없는 상태에서 데이터 과학자들은 일할 수 없다"라고 말했다.

그리고 그는 "지속적으로 데이터를 공유하고 이를 통해 데이터 과학자들은 PB 규모의 데이터 집합을 전송하고서는 '어떻게 생각해?"라고 묻는다. 데이터 과학자들은 PB급의 정보를 다뤄야 하기 때문에 우리는 새로운 위크플로우를 만들어내고 그러한 데이터 과학자들이 협력할 수 있는 새로운 방법을 개발하는 것에서 기회가 있을 것으로 생각한다"라고 덧붙였다.

데이터를 클라우드로 이전하는 것에 대한 보안을 우려하는 기업들에게 제임스는 나인폴드의 데이터센터가 ASIO T4와 디펜스 시그널 디렉터럿(Defence Signals Directorate) 인증을 받았고 99.9%의 이용성을 갖는 SLA를 제공하며 지리적으로 떨어져 있는 지역에 여러 고객 데이터 사본을 분산시켜 저장함으로써 아마존과 구글의 아키텍처를 미러링(mirroring)한다고 강조했다.

그러한 보호는 데이터를 클라우드에 호스팅함으로써 나타날 수 있는 위험 프로파일에 대한 우려의 간단한 답이 된다. 그리고 제임스는 기업 고객 사이에서 그러한 개념이 일반화됨에 따라 편안함의 수준이 현저히 그리고 빠르게 증가할 것으로 전망했다.

그리고 그는 "GFC는 여러 기술 모델을 변화시켰다. 재산권 체계에 종속적인 설비투자에 따른 자산 지출이라는 최근의 개념은 사라지고 있다. 사람들은 자본의 좀 더 효율적인 사용과 더 나은 해결책을 원하고 있다. 향후 3년, 4년, 또는 5년 내에 이러한 모든 것이 나타날지는 아무도 모른다"라고 설명했다. ciokr@idg.co.kr




2011.10.10

사례 | 클라우드로 대용량 데이터를 저장하는 기업들 - 2부

David Braue | Computerworld
'사례 | 라우드로 대용량 데이터를 저장하는 기업들 - 1부'에 이어 2부에서는 스토리지 카드로부터 기업을 구원해줄 수단으로 클라우드를 도입한 기업들을 소개한다.

운영 데이터, 운영 위험
데이터 관리 책임의 문제는 대규모 데이터 집합이 클라우드로 이전될 때 해결돼야 하는 여러 가지 위험 중 일부에 지나지 않는다. 클라우드가 기업에 미치는 영향이 증가함에 따라 기업의 통제를 넘어서는 클라우드의 운영 중단 혹은 보안 침해 사고로 발생한 데이터 손실의 영향력도 점점 더 커지고 있다.

클라우드에 민감한 데이터를 이전하면 그게 끝이다. 공은 이제 클라우드 제공업체의 손으로 넘어가게 되는 것이다. 그리고 최근에는 보안 침해 사고로 인해 호스팅 제공업체 디스트리뷰트IT(Distribute.IT)가 관리 중이던 4,800개 이상 사이트의 교체 불가 콘텐트가 삭제된 것과 같은 사고가 발생하기도 했다.

그러한 사고 그리고 유사 사고로 인해 호스팅 계정 SaaS 제공업체 사수(Saasu)는 보안을 최우선 과제로 삼고 수 기가 바이트에 달하는 고객들의 신상정보와 금융 정보가 담긴 데이터베이스를 맥쿼리 텔레콤(Macquarie Telecom)의 자회사 나인폴드(Ninefold)의 클라우드 스토리지에 정기적으로 백업하고 있다.

60GB에 달하는 사수 데이터베이스의 증분 백업(Incremental backups)은 알싱크(rSync)와 싱크파이드(Syncified)를 사용하여 15분 마다 클라우드로 복사되고 완전 백업은 2일 마다 전세계의 여러 위치로 저장된다. 이러한 작업을 위한 총 비용은 월 사용료로 약 12달러(호주)다.

사수의 CTO 폴 글라비치는 "클라우드에 데이터를 저장하는 것은 매우 쉽다"며 "그것은 우리 회사가 지난 십 년간 해온 일이고 우리는 그러한 작업에 매우 자신이 있다. 몇몇 기업들은 이러한 것을 까다로운 작업으로 여기고 자체적으로 데이터를 보유할 때 좀 더 안전하다고 느낀다. 그러나 그것이 안전을 보장하지는 않는다. 그리고 서비스 제공업체들이 투자한 것과 같은 대규모의 투자를 집행하지 않아도 된다는 장점이 있다"라고 말했다.

사수는 자사의 위험 프로파일에 만족하고 있지만, 클라우드에 대한 투자가 증가함에 따라 다른 기업들은 자사의 위험 프로파일이 증가하는 것을 발견할 수 있다.

오스트레일리안 유니티(Australian Unity)의 미가엘은 "기업에서 클라우드 컴퓨팅의 발전은 IT 위험 관리와 기업 위험 관리 사이를 연결할 수 있는 기회로 사용되어야 한다"며 "기술뿐만 아니라 클라우드 위험은 IT에 대한 대규모의 지속적인 재정 투자라는 측면으로 고려돼야 한다"라고 말했다.

이러한 위험에 무게를 둔 기업들은 좀더 복잡한 데이터 스토리지 모델을 공격적으로 채택하고 클라우드 호스팅 분석 툴과 다른 애플리케이션에서 클라우드에 저장된 데이터를 활용하기 시작할 것이다. 이것이 마이크로소프트의 애저, 그리고 아마존의 통합 EC2 애플리케이션과 S3 스토리지 등 클라우드 플랫폼이 가지고 있는 비전이다.

마이크로소프트 애저 마켓플레이스(Azure Marketplace)의 데이터마켓(DataMarket) 섹션에 상업용 수준의 부가 데이터 저장소를 제공하면 기업 데이터를 저장할 수 있을 뿐만 아니라 대규모 정보 데이터베이스에 손쉽게 접근할 수 있는 API를 제공하는 하이브리드 클라우드 기반 모델을 상대적으로 저렴한 비용으로 이용할 수 있다.

이미 데이터마켓을 사용하고 있는 고객사로는 지리 데이터 제공업체 에스리(ESRI), 신용 정보 제공업체 던앤브래드스트리트(Dun & Bradstreet), UN 국제 통신 협회(International Telecommunications Union)의 세계 통신/ICT 지표 통계, 그리고 부동산 데이터 정보센터 질로닷컴(Zillo.com) 등이 있다.

마이크로소프트 호주의 애저 제품 책임자 팀 번텔은 "클라우드를 이용하는 모든 기업들은 시간에 따른 추적이 가능한 정보를 생성할 수 있다. 시장에는 수 많은 정보가 있지만 과거에는 사람들이 그것을 이용하는 것이 상대적으로 어려웠다. 그러나 이제 기업들은 정보를 데이터마트에 저장할 수 있고 그러한 대규모의 데이터 집합을 손쉽게 이용하기 위한 과금 네트워크 또는 배포 네트워크 구축에 대해 걱정할 필요가 없다"라고 말했다.


데이터 입•출력
새로운 형태의 데이터 관리를 제공하는 것은 이제 막 초기 단계이다. 클라우드에 호스팅된 데이터가 생성되고 저장될 때 실시간 접속 기능을 제공하는 복잡한 분석 툴을 제공하기 위해 독자적인 업체들이 클라우드 플랫폼 구축 작업을 진행하고 있다.

클라우드가 스토리지 기능과 함께 분석 기능을 제공하는 것은 대규모 스토리지와 분석 플랫폼 구축의 필요성을 줄여주기 때문에 IT 책임자들에게 좋은 기회가 될 수 있다. 예를 들어, 데이터를 활용하는 완전한 분석 플랫폼을 손쉽게 이용할 수 있기 때문에 클라우드 CRM 툴에서 점점 더 많은 데이터를 생성하는 판매 책임자와 같은 사용자에게 이상적이라 할 수 있다.

지역 업체 매쿼리얼(Mercurial)은 지난 몇 년간 제약업체 고객사들을 위한 웹포커스(WebFOCUS) 기반 비즈니스 인텔리전스 호스팅 플랫폼을 구축해 클라우드 분석을 제공하는 업체 중 한 곳이다. 최근 매쿼리얼은 나머지 고객사들을 완전히 호스팅된 BI 플랫폼으로 통합했다.

매쿼리얼의 관리 책임자 아담 호킨스에 따르면, 과거 이러한 업체들은 영업인력들에게 여러 분산 데이터 소스 상단에 분석 기능을 제공했다. 호킨스는 “고객들 중 몇몇은 모든 곳의 데이터를 수집하기 위해 4-6주가 걸렸고, 그때가 되면 데이터는 구식이 되곤 했다. 클라우드에서 제공되는 분석 기능을 사용함으로써 그들은 기저 요인 분석을 수행하고 더 나은 성과를 위해 어느 고객을 방문해야 하는 지를 사전에 파악할 수 있게 됐다"라고 말했다.

실제 이익을 추구하기 위한 것이던지 아니면 단순히 대규모 데이터 집합을 더 잘 파악하기 위한 것이던지 간에 클라우드 기반 분석은 BI 시장과는 다른 시장 분류고, 직원들에게 관련 데이터에 대한 시기 적절한 접근을 제공하기 위해 필요한 데이터 표준화, 삭제, 그리고 책임을 위해 지난 이십 년 간 사투를 벌여왔다.

개발자들이 완전한 클라우드 기반 BI 솔루션을 이용하지 않고 클라우드 개발자의 API를 사용하는 경우에도 데이터와 분석을 클라우드에서 제공하는 것은 그러한 모든 것을 변화시킨다.

손쉽게 스토리지에 접근해 클라우드에 모든 연구 자료를 저장하고자 하는 대학이 증가함에 따라나인폴드는 수 PB 용량의 고객 정보와 계정에 대한 준비를 갖추게 됐다. 나인폴드의 관리 책임자 피터 제임스는 "이것은 기업들에게 실제적인 문제다. 우리는 단지 어떠한 기회가 있는가를 살펴보기 위해 우리의 클라우드에 데이터를 시험하고 있는 수 많은 주요 업체를 확보하고 있다. 그것은 일부는 데이터 관할권 문제로 그리고 일부는 좀 더 효과적인 스토리지 수단에 대한 필요성으로 견인되고 있다. 그리고 나는 우리가 최정점에 서 있다고 생각한다"라고 밝혔다.

공유 데이터에 대한 내부 접근 개선 노력은 클라우드 데이터와 분석 프로젝트를 자연스럽게 보완하게 될 것이다. 클라우드 데이터 프로젝트의 폭발적 성장에서 한 몫을 잡기 위해 주력하고 있는 여러 벤더 중 한 곳이자 최근 빅 데이터 전문업체 그린플럼(Greenplum)을 인수한 EMC의 최고 기술 책임자 척 홀리스는 "아무 것도 없는 상태에서 데이터 과학자들은 일할 수 없다"라고 말했다.

그리고 그는 "지속적으로 데이터를 공유하고 이를 통해 데이터 과학자들은 PB 규모의 데이터 집합을 전송하고서는 '어떻게 생각해?"라고 묻는다. 데이터 과학자들은 PB급의 정보를 다뤄야 하기 때문에 우리는 새로운 위크플로우를 만들어내고 그러한 데이터 과학자들이 협력할 수 있는 새로운 방법을 개발하는 것에서 기회가 있을 것으로 생각한다"라고 덧붙였다.

데이터를 클라우드로 이전하는 것에 대한 보안을 우려하는 기업들에게 제임스는 나인폴드의 데이터센터가 ASIO T4와 디펜스 시그널 디렉터럿(Defence Signals Directorate) 인증을 받았고 99.9%의 이용성을 갖는 SLA를 제공하며 지리적으로 떨어져 있는 지역에 여러 고객 데이터 사본을 분산시켜 저장함으로써 아마존과 구글의 아키텍처를 미러링(mirroring)한다고 강조했다.

그러한 보호는 데이터를 클라우드에 호스팅함으로써 나타날 수 있는 위험 프로파일에 대한 우려의 간단한 답이 된다. 그리고 제임스는 기업 고객 사이에서 그러한 개념이 일반화됨에 따라 편안함의 수준이 현저히 그리고 빠르게 증가할 것으로 전망했다.

그리고 그는 "GFC는 여러 기술 모델을 변화시켰다. 재산권 체계에 종속적인 설비투자에 따른 자산 지출이라는 최근의 개념은 사라지고 있다. 사람들은 자본의 좀 더 효율적인 사용과 더 나은 해결책을 원하고 있다. 향후 3년, 4년, 또는 5년 내에 이러한 모든 것이 나타날지는 아무도 모른다"라고 설명했다. ciokr@idg.co.kr


X