Offcanvas

빅데이터 | 애널리틱스 / 클라우드

클라우데라 기고 | 데이터 과제, 클라우드의 변화를 요구하다

2023.05.04 Daniel Hand  |  CIO KR
기업은 데이터를 관리하고 데이터로부터 비즈니스의 통찰력을 얻고자 할 때 많은 문제에 직면한다. 더욱이 최근 들어 데이터가 다양한 장소에서 생성, 저장되면서 서로 다른 데이터들을 관리하고 조정하기 위해 ‘하이브리드 데이터 전략’을 채택하는 기업이 크게 증가하는 상황이다.

그저 새로운 기술로 기업들이 안고 있는 데이터의 문제를 모두 해결할 수는 없다. 이를 해결하기 위해서는 명확한 원칙과 정책을 마련해야 한다. 그렇다면 하이브리드 데이터 클라우드 환경에서 데이터로부터 비즈니스 통찰력을 확보하려면 어떻게 해야 할까.

첫째는 혁신과 비즈니스 민첩성의 확보다. 여기에는 데이터, 데이터 자산에 대한 접근 권한을 더 많은 사람에게 부여하는 데이터의 대중화도 포함된다. 혁신과 비즈니스 민첩성을 갖추면, 접근 권한이 있는 직원들을 거치지 않고도 보유하고 있는 데이터를 더 잘 활용할 수 있다.

혁신의 또 다른 요소는 데이터 제품과 서비스를 새로운 시장으로 신속히 확장, 제공하는 것이다. 데이터센터에 새로운 분석 클러스터를 구축해야 하는 경우 사전 처리 작업이 늘어나는 경우가 많다. 특히 새로운 나라에 데이터센터에 분석 클러스터를 구축할 때 그 작업은 더 길어진다. 퍼블릭 클라우드에서 데이터 관리, 분석을 실행하면 시간을 크게 단축할 수 있지만, 위험과 운영의 복잡성을 고려해야 한다.

그리고 실시간으로 통찰력을 얻는 것과 기존의 배치 분석(batch analytical: 시간 경과에 따라 수집된 데이터를 일괄 처리) 접근 방식 사이에는 뚜렷한 차이가 있다. 데이터에서 얻는 통찰력의 가치는 시간이 지날수록 감소하므로 실시간에 가까운 스트리밍 처리로 배치 분석을 보완해야 한다.

둘째는 기업이 여러 클라우드 환경에서 보안 정책과 통제를 어떻게 일관되고 안정적으로 유지 적용할 수 있도록 보장하는 방법을 포함한 운영의 위험관리다. 이에 대한 또다른 변화는 전체 데이터 라이프사이클에 걸쳐 데이터 리니지(계통)와 출처를 확보해야 한다는 것이다. 데이터의 출처와 함께 데이터 라이프사이클 기간 동안 누가, 무엇이 데이터에 접근해 데이터를 수정했는지 파악해야 한다. 그렇지 않으면 데이터에서 얻은 통찰력의 가치가 떨어진다.

그리고 수집된 데이터 양이 기하급수적으로 증가함에 따라 데이터를 자동으로 프로파일링하고 분류하며 적절하게 제어해야 할 필요성도 늘고 있다. 예를 들어 새로운 데이터세트에 민감한 개인식별정보(PII)가 포함돼 있는지, 수 페타바이트 규모의 데이터를 효율적으로 관리하고 분석할 수 있는지 확인해야 하는 과제도 있다.

기업은 또한 규제, 거버넌스 변화에 대응해 클라우드 환경 간에 데이터와 애플리케이션을 안전하고 효율적으로 전환해야 한다. 이는 클라우드에서 온프레미스로의 이전 가능성을 시사할 뿐 아니라 두 퍼블릭 클라우드 제공업체 중 한 업체가 규제 기관의 정책 변경에 대응하지 못할 경우 생기는 두 업체 간의 문제이기도 하다.

마지막은 서로 다른 데이터들과 분석 워크로드로 인한 운영 복잡성의 관리다. 퍼블릭 클라우드 플랫폼, 온프레미스에서 서로 다른 솔루션을 채택하면 운영 비용과 충분한 기술을 갖춘 팀을 유지하는 데 상당한 부담이 된다. 이는 운영 리스크를 증가시키고 민첩성에 영향을 끼친다.

앞서 제시한 세 가지 과제를 기반으로, 기업이 강력한 데이터 전략을 구축할 때 문제를 극복할 수 있도록 지원하는 몇 가지 원칙과 정책을 소개하면 다음과 같다. 

먼저, 기술을 고려할 때 조직은 하이브리드 멀티 클라우드 인프라를 지원하고, 데이터 라이프사이클 전반에 걸쳐 통합 분석 서비스 세트를 채택할 수 있는 옵션을 제공하는 동시에 처리 엔진의 에코시스템을 개방하는 이점을 염두에 둬야야 한다. 그리고 지원되는 각 클라우드 환경에서 일관성 있게 적용할 수 있는 보안 정책과 통제 기능을 정의해야 한다.

이상적인 것은 기술은 현재와 더불어 미래의 데이터 관리와 분석 요구사항도 지원할 수 있도록 확장 가능해야 한다. 또한 컴퓨팅과 스토리지가 독립적으로 확장 가능하도록 클라우드에 적합하게 기술을 설계해야 한다.

데이터 패브릭, 데이터 레이크하우스, 데이터 메시 등 최신 데이터 아키텍처를 지원하는 기능은 현재 기업에 제공되는 솔루션에 지속적인 영향을 주고 있다. 데이터 레이크와 데이터 웨어하우스의 통합과 함께 제품, 도메인 소유권, 셀프서비스로서의 데이터 지원을 통해 여러 환경에서 서로 다른 데이터들을 일관되게 관리할 수 있는 플랫폼이 요구된다.

이를 위한 대표적인 해결책으로는 클라우데라 데이터 플랫폼(CDP)을 꼽을 수 있다. 엔터프라이즈 데이터 플랫폼인 CDP는 공유된 보안과 거버넌스 패브릭을 통해 퍼블릭과 프라이빗 클라우드 전반에 걸쳐 전체 데이터 라이프사이클을 일관되게 관리한다. 이미 세계 최대 규모 기업들이 유연한 데이터 전략을 구축하고 실행하는 데 이를 채용하고 있다. 이것이 클라우드 환경이 하이브리드 데이터 플랫폼으로 진화해야 하는 이유다.

* 저자 Diniel Hand는 클라우데라 APAC 필드 CTO다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.