2018.04.19

블로그 | 데이터 분석을 클라우드로 옮기는 것이 어려운 이유

David Linthicum | InfoWorld
클라우드라는 새로운 플랫폼으로 데이터 웨어하우스와 데이터마트를 현대화하고자 한다면, 주의해야 한다. 생각보다 쉽지 않을 수 있다.

과거의 데이터 웨어하우스와 데이터 마트가 잘 사용되지 않았다는 것을 이해하는 것은 어렵지 않다. 이들 환경의 데이터는 보통 너무 오래 됐고, 처리하기도 성가시고 비용도 너무 많이 든다.

오늘날의 클라우드 기반 데이터 분석은 실시간으로 이런 작업을 처리할 수 있는 역량이 있으며, 데이터베이스 역시 “필요한 만큼의 속도”로 운영할 수 있다. 또한, 아무리 작은 규모의 기업이라도 데이터 분석 처리를 머신러닝이나 예측 알고리즘 같은 최신 기술과 결합해 사용할 수 있다.

Image Credit : GettyImagesBank

이런 멋진 가능성에 찬물을 끼얹기는 싫지만, 클라우드 기반 데이터 분석으로 가는 길이 많은 기업이 생각했던 것보다 멀고 험하다는 것이 드러났다. 이런저런 실패 사례가 필자의 레이더에 걸려들기 시작했는데, IT 부서가 과도한 비용에 직면하거나 기술이 기대치를 만족하지 못하기도 하며, 단지 데이터의 규모 자체가 문제인 것으로 드러나기도 했다.

우선 데이터를 기업에서 퍼블릭 클라우드로 전송하는 것이 예상 밖의 힘든 일인데, 대부분 수작업이라는 특성이 이를 더욱 악화시킨다. AWS나 구글, 마이크로소프트 등은 이를 위한 자체 기술을 갖추고 있다. 하지만 이런 툴을 이용해도 페타바이트급 데이터를 옮기는 과정은 매우 까다롭다.

두번째, 데이터 통합은 클라우드에서는 여전히 문젯거리다. 데이터를 옮긴다고 통합이라는 과제가 저절로 해결되는 것은 아니다. 기록 시스템은 여전히 온프레미스에 남고, 그래서 이제 클라우드에 저장된 데이터를 시의적절한 방식으로 최신 결과치와 동기화해야 할 필요도 있다. 이는 신구 데이터 통합 기술을 섞어 사용해야 하고, 데이터 이전과 구조 변환을 포함한 프로세스를 마련해야 한다는 의미이다.

마지막으로 클라우드 기반 분석 데이터베이스 자체가 복잡하고 설정하기 어렵다는 점이다. 이런 복잡성 중 일부는 데이터베이스의 보안 하위시스템 때문인데, 필수적인 요소이지만 반드시 데이터베이스와 데이터 분석 맥락에서 파악해야만 한다. 보안은 또한 데이터 분석 시스템이 건드리는 다른 모든 시스템에도 체계적으로 적용되어야 하며, 클라우드와 온프레미스 모두에 적용해야 한다. 그리고 이는 분석 시스템의 정보를 받는 다른 대부분 운영 시스템에 실시간으로 적용해야 한다는 의미이다.

물론 이런 클라우드 분석의 과제는 모두 극복할 수 있지만, IT는 노력의 수준이 5 정도 필요할 것으로 생각했거나 그렇게 들었다면 실제로는 8이 필요할 수도 있다는 것을 알아야 한다. 다시 말해, 프로젝트가 더 오래 걸리고 예산도 더 빨리 소진되고 이런 문제 때문에 프로젝트가 실패할 수도 있다는 데 대비해야만 한다.  editor@itworld.co.kr



2018.04.19

블로그 | 데이터 분석을 클라우드로 옮기는 것이 어려운 이유

David Linthicum | InfoWorld
클라우드라는 새로운 플랫폼으로 데이터 웨어하우스와 데이터마트를 현대화하고자 한다면, 주의해야 한다. 생각보다 쉽지 않을 수 있다.

과거의 데이터 웨어하우스와 데이터 마트가 잘 사용되지 않았다는 것을 이해하는 것은 어렵지 않다. 이들 환경의 데이터는 보통 너무 오래 됐고, 처리하기도 성가시고 비용도 너무 많이 든다.

오늘날의 클라우드 기반 데이터 분석은 실시간으로 이런 작업을 처리할 수 있는 역량이 있으며, 데이터베이스 역시 “필요한 만큼의 속도”로 운영할 수 있다. 또한, 아무리 작은 규모의 기업이라도 데이터 분석 처리를 머신러닝이나 예측 알고리즘 같은 최신 기술과 결합해 사용할 수 있다.

Image Credit : GettyImagesBank

이런 멋진 가능성에 찬물을 끼얹기는 싫지만, 클라우드 기반 데이터 분석으로 가는 길이 많은 기업이 생각했던 것보다 멀고 험하다는 것이 드러났다. 이런저런 실패 사례가 필자의 레이더에 걸려들기 시작했는데, IT 부서가 과도한 비용에 직면하거나 기술이 기대치를 만족하지 못하기도 하며, 단지 데이터의 규모 자체가 문제인 것으로 드러나기도 했다.

우선 데이터를 기업에서 퍼블릭 클라우드로 전송하는 것이 예상 밖의 힘든 일인데, 대부분 수작업이라는 특성이 이를 더욱 악화시킨다. AWS나 구글, 마이크로소프트 등은 이를 위한 자체 기술을 갖추고 있다. 하지만 이런 툴을 이용해도 페타바이트급 데이터를 옮기는 과정은 매우 까다롭다.

두번째, 데이터 통합은 클라우드에서는 여전히 문젯거리다. 데이터를 옮긴다고 통합이라는 과제가 저절로 해결되는 것은 아니다. 기록 시스템은 여전히 온프레미스에 남고, 그래서 이제 클라우드에 저장된 데이터를 시의적절한 방식으로 최신 결과치와 동기화해야 할 필요도 있다. 이는 신구 데이터 통합 기술을 섞어 사용해야 하고, 데이터 이전과 구조 변환을 포함한 프로세스를 마련해야 한다는 의미이다.

마지막으로 클라우드 기반 분석 데이터베이스 자체가 복잡하고 설정하기 어렵다는 점이다. 이런 복잡성 중 일부는 데이터베이스의 보안 하위시스템 때문인데, 필수적인 요소이지만 반드시 데이터베이스와 데이터 분석 맥락에서 파악해야만 한다. 보안은 또한 데이터 분석 시스템이 건드리는 다른 모든 시스템에도 체계적으로 적용되어야 하며, 클라우드와 온프레미스 모두에 적용해야 한다. 그리고 이는 분석 시스템의 정보를 받는 다른 대부분 운영 시스템에 실시간으로 적용해야 한다는 의미이다.

물론 이런 클라우드 분석의 과제는 모두 극복할 수 있지만, IT는 노력의 수준이 5 정도 필요할 것으로 생각했거나 그렇게 들었다면 실제로는 8이 필요할 수도 있다는 것을 알아야 한다. 다시 말해, 프로젝트가 더 오래 걸리고 예산도 더 빨리 소진되고 이런 문제 때문에 프로젝트가 실패할 수도 있다는 데 대비해야만 한다.  editor@itworld.co.kr

X