Offcanvas

��������� ������

칼럼ㅣ데이터를 통제할 수 없게 됐는가?

데이터부터 빅데이터, 더 큰 데이터 웨어하우스, 더욱더 큰 데이터 레이크까지 데이터의 ‘얼굴’은 수년에 걸쳐 다양한 형태를 취해왔다. 저장 위치가 변경됐고, 사용 방법도 변경됐다. 추적하기도 어려워졌다. 수십 년 동안 축적된 데이터와 다양한 프로세스가 그야말로 ‘데이터 혼돈(data chaos)’을 불러왔다. 데이터를 적절한 경로로 되돌릴 수 있는 사고방식의 전환이 필요한 때다.  기업 데이터의 ‘얼굴’은 수년에 걸쳐 확장돼 왔으며, 계속해서 빠르게 발전하고 있다. (이에 따라) 기업 내에서 데이터를 저장하는 위치가 변화했다. 사용 방법도 마찬가지다. 추적하기도 어려워졌다.  축적된 데이터 볼륨, 스토리지 아키텍처, 이를 둘러싼 여러 프로세스로 인해 ‘데이터 혼돈(data chaos)’이 발생했다. 현재의 데이터 아키텍처는 모놀리식이고, 중앙집중화돼 있기 때문에 길을 잃었다. 기업들은 통제권을 되찾기 위해 사고방식을 전환해야 한다. 그리고 많은 사람이 오늘날 데이터 분야에서 가장 핫한 트렌드인 ‘데이터 메시’가 해답일 것이라고 이야기한다.    데이터 메시(mesh)? 데이터 메스(mess)? ‘데이터 메시(Data Mesh)’는 아직 초기 단계이긴 하지만 빅데이터를 잇는 개념으로 간주된다. 그렇다면 데이터 메시란 무엇인가? 모든 데이터를 불분명한 소유 형태로 한곳에 보관하는 게 아니라, ‘제품으로써의 데이터(data-as-a-product)’를 제공하는 일종의 연합 모델이다. 이 모델은 여러 데이터 도메인에서 협업 가능한 범용 데이터 표준 웹으로 연결된다. 하지만 데이터 메시의 ‘왜(why)’와 ‘어떻게(how)’에 초점을 맞춰야 한다. 그래야 ‘무엇(what)’에 정신이 팔리거나 이 아키텍처의 기술적 설명에 얽매이는 것보다 훨씬 더 유용할 수 있다. ‘소속 기업에서 데이터 관리를 변경하고 싶은 이유는 무엇이며, 어떻게 해야 할까?’라고 자문하라. 막대한 자금을 지원받는 스타트업에서 일하지 않는 한, 텅 빈 도면과...

데이터 빅데이터 데이터 웨어하우스 데이터 레이크 데이터 메시 사일로

2022.05.24

데이터부터 빅데이터, 더 큰 데이터 웨어하우스, 더욱더 큰 데이터 레이크까지 데이터의 ‘얼굴’은 수년에 걸쳐 다양한 형태를 취해왔다. 저장 위치가 변경됐고, 사용 방법도 변경됐다. 추적하기도 어려워졌다. 수십 년 동안 축적된 데이터와 다양한 프로세스가 그야말로 ‘데이터 혼돈(data chaos)’을 불러왔다. 데이터를 적절한 경로로 되돌릴 수 있는 사고방식의 전환이 필요한 때다.  기업 데이터의 ‘얼굴’은 수년에 걸쳐 확장돼 왔으며, 계속해서 빠르게 발전하고 있다. (이에 따라) 기업 내에서 데이터를 저장하는 위치가 변화했다. 사용 방법도 마찬가지다. 추적하기도 어려워졌다.  축적된 데이터 볼륨, 스토리지 아키텍처, 이를 둘러싼 여러 프로세스로 인해 ‘데이터 혼돈(data chaos)’이 발생했다. 현재의 데이터 아키텍처는 모놀리식이고, 중앙집중화돼 있기 때문에 길을 잃었다. 기업들은 통제권을 되찾기 위해 사고방식을 전환해야 한다. 그리고 많은 사람이 오늘날 데이터 분야에서 가장 핫한 트렌드인 ‘데이터 메시’가 해답일 것이라고 이야기한다.    데이터 메시(mesh)? 데이터 메스(mess)? ‘데이터 메시(Data Mesh)’는 아직 초기 단계이긴 하지만 빅데이터를 잇는 개념으로 간주된다. 그렇다면 데이터 메시란 무엇인가? 모든 데이터를 불분명한 소유 형태로 한곳에 보관하는 게 아니라, ‘제품으로써의 데이터(data-as-a-product)’를 제공하는 일종의 연합 모델이다. 이 모델은 여러 데이터 도메인에서 협업 가능한 범용 데이터 표준 웹으로 연결된다. 하지만 데이터 메시의 ‘왜(why)’와 ‘어떻게(how)’에 초점을 맞춰야 한다. 그래야 ‘무엇(what)’에 정신이 팔리거나 이 아키텍처의 기술적 설명에 얽매이는 것보다 훨씬 더 유용할 수 있다. ‘소속 기업에서 데이터 관리를 변경하고 싶은 이유는 무엇이며, 어떻게 해야 할까?’라고 자문하라. 막대한 자금을 지원받는 스타트업에서 일하지 않는 한, 텅 빈 도면과...

2022.05.24

칼럼ㅣ데이터 레이크 저물고 '데이터 패브릭' 떠오른다

데이터 레이크와 데이터 웨어하우스가 여전히 유용하긴 하지만 이제 데이터 관리에 새로운 접근법을 취할 때다.  지난 20년 동안 CIO, CDO, 애널리스트가 기업 인프라에 저장된 데이터에 관해 의사결정을 내리면서 중앙 집중화를 강조하는 문화를 조성했다. IT 팀의 보호 아래에서 데이터를 처리할 때 (데이터가) 가장 잘 통제되고 유용하다는 것이었다.  이 기간에는 해당 논리에 관한 논쟁이 있을 수 없었다. 이로 인해 데이터 웨어하우징을 통한 첫 번째 데이터 통합의 물결이 일었다. 1990년대에 이는 데이터를 사전 정의된 사용 사례에 맞춰 고정된 구조적 형태로 사전 처리 및 저장하여 여러 비즈니스 인텔리전스 플랫폼을 단일 솔루션으로 연결하는 효과적인 방법이었다.    하지만 시간이 지나면서 이러한 아키텍처에 광범위한 사용자 정의 및 데이터 유지관리가 필요하다는 게 명확해졌고, 확장 요건에도 어려움을 겪었다. 게다가 데이터 프로젝트의 소유권을 부서별로 가져가기 어려웠기 때문에 데이터가 비즈니스에 미치는 전반적인 영향도 감소했다.  그리고 이 문제를 해결하기 위해 새로운 유형의 아키텍처 ‘데이터 레이크’가 등장했다. 기업들은 데이터 레이크를 통해 모든 정형 및 비정형 데이터를 규모에 상관없이 중앙 저장소에 저장할 수 있었다.  데이터 웨어하우징과 마찬가지로 데이터 레이크는 데이터 처리 방식을 변화시켜 실시간 스트리밍 기능과 정형 및 비정형 데이터 처리 기능을 제공했다. 또 데이터 레이크는 데이터 웨어하우스보다 데이터 소비, 저장, 출력을 더욱더 잘 처리하고 메타데이터를 적용하여 데이터 웨어하우스보다 유연한 성능을 제공할 수 있었다.  하지만 이런 발전에도 불구하고 한계점은 남아 있었다. 기업 내의 데이터 팀은 보유한 데이터로 더 많은 일을 할 수 있었지만 서로 다른 요구사항을 가진 비즈니스 내 여러 부서로부터 받은 임시 요청을 처리하느라 진땀을 빼고 있었다.  데이터 플랫폼 아키텍처...

데이터 관리 데이터 거버넌스 마스터 데이터 관리 데이터 레이크 데이터 웨어하우스 데이터 패브릭 데이터 메시

2021.09.10

데이터 레이크와 데이터 웨어하우스가 여전히 유용하긴 하지만 이제 데이터 관리에 새로운 접근법을 취할 때다.  지난 20년 동안 CIO, CDO, 애널리스트가 기업 인프라에 저장된 데이터에 관해 의사결정을 내리면서 중앙 집중화를 강조하는 문화를 조성했다. IT 팀의 보호 아래에서 데이터를 처리할 때 (데이터가) 가장 잘 통제되고 유용하다는 것이었다.  이 기간에는 해당 논리에 관한 논쟁이 있을 수 없었다. 이로 인해 데이터 웨어하우징을 통한 첫 번째 데이터 통합의 물결이 일었다. 1990년대에 이는 데이터를 사전 정의된 사용 사례에 맞춰 고정된 구조적 형태로 사전 처리 및 저장하여 여러 비즈니스 인텔리전스 플랫폼을 단일 솔루션으로 연결하는 효과적인 방법이었다.    하지만 시간이 지나면서 이러한 아키텍처에 광범위한 사용자 정의 및 데이터 유지관리가 필요하다는 게 명확해졌고, 확장 요건에도 어려움을 겪었다. 게다가 데이터 프로젝트의 소유권을 부서별로 가져가기 어려웠기 때문에 데이터가 비즈니스에 미치는 전반적인 영향도 감소했다.  그리고 이 문제를 해결하기 위해 새로운 유형의 아키텍처 ‘데이터 레이크’가 등장했다. 기업들은 데이터 레이크를 통해 모든 정형 및 비정형 데이터를 규모에 상관없이 중앙 저장소에 저장할 수 있었다.  데이터 웨어하우징과 마찬가지로 데이터 레이크는 데이터 처리 방식을 변화시켜 실시간 스트리밍 기능과 정형 및 비정형 데이터 처리 기능을 제공했다. 또 데이터 레이크는 데이터 웨어하우스보다 데이터 소비, 저장, 출력을 더욱더 잘 처리하고 메타데이터를 적용하여 데이터 웨어하우스보다 유연한 성능을 제공할 수 있었다.  하지만 이런 발전에도 불구하고 한계점은 남아 있었다. 기업 내의 데이터 팀은 보유한 데이터로 더 많은 일을 할 수 있었지만 서로 다른 요구사항을 가진 비즈니스 내 여러 부서로부터 받은 임시 요청을 처리하느라 진땀을 빼고 있었다.  데이터 플랫폼 아키텍처...

2021.09.10

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.13