Offcanvas

데이터센터 / 비즈니스|경제 / 신기술|미래 / 인문학|교양 / 클라우드

‘해변 모래알 vs. 디지털 데이터’ 어느 쪽이 많을까?

2012.12.13 Lucas Mearian  |  Computerworld

앞으로 8년 동안, 총 디지털 데이터의 양이 40 제타바이트를 초과할 것으로 관측된다. 전세계 인구 1명당 5,200 GB씩의 데이터에 해당되는 분량이다. 지난 12일 발표된 디지털 유니버스(Digital Universe) 연구 결과다.

보고서에 따르면 모든 데이터가 매 2년마다 두 배씩 증가한다고 보면, 2020년까지 40조 기가바이트에 도달하게 된다. 40 제타바이트는 40조 GB로, 대략 지구상 모든 해변 모래알 전체 수의 57배에 달하는 숫자다. 한편 현재와 2020년 사이 생성되는 데이터의 대부분은 인간이 아닌 기계들이 데이터 네트워크상에서 서로 통신하며 생산하는 데이터일 것으로 관측된다.

그러나 현재까지는 그 생산되는 데이터의 극히 일부만이 데이터 분석을 통해 그 가치가 탐사되었을 뿐이다. IDC는 2020년까지, 분석을 통해 가치를 지닐 정보가 모든 데이터의 33%에 달할 것으로 추정하고 있다.

디지털 유니버스에 대한 설명
디지털 유니버스에는 이미지, 휴대폰에서 유튜브(YouTube)로 업로드된 비디오, 디지털 영화, 고속도로 톨게이트의 트랜스폰더(transponder) 기록 등이 모두 포함된다. 또한 전통적인 기업 데이터인 현금인출기에서 쓰이는 은행 데이터, 공항의 보안 기록, 올림픽 같은 주요 행사, 유럽 원자핵 공동 연구소(CERN)의 거대 입자가속기(Large Hadrom Collider:LHC)의 이원자 충돌 기록 등도 포함된다.

BI(business intelligence)를 이용하여 데이터를 분석하면, 소셜 미디어 이용 양식, 별개 연구들에서 얻어지는 과학적 데이터 사이의 연관성, 소사회학적 데이터와 교차하는 의학 정보, 보안 기록상의 얼굴 등이 드러날 수 있다.

IDC는 연구보고서에는 “빅 데이터 혹은 맵리듀스(MapReduce) 기술의 약속했던 바가 있다. 손대지 않은 막대한 양의 데이터 풀로부터 가치의 추출이 현실화되는 것”이라고 밝했다.

추출된 데이터는 전후사정을 포함하기 위해 메타 데이터와 함께 “태그”되어야 한다. 거기에는, 예를 들어 감시 비디오에 날짜 표시를 더한다던지, 스마트폰 사진과 비디오에 위치 정보를 추가하는 것 등이 그것이다.

이와 관련해 EMC의 글로벌 마케팅 CTO인 척 홀리스는 “기본적으로, 우리가 만들어내는 데이터의 전후사정을 알려주는 몇몇 데이터를 말한다”라며, “그 데이터에서 가치를 추출하고 싶다면, 우리는 더 많은 태그를 해야할 뿐 아니라, 시간이 지남에 따라 업데이트된 정보를 태그해야만 한다”라고 말했다.

이를 계기로 거대한 데이터 스토어에서 소비자 구매 트렌드같은 유용한 정보를 추론할 수 있는 데이터 과학자들의 기회 크게 증가할 것으로 예상되고 있다.

증가하는 속도
EMC가 후원한 디지털 유니버스 연구는 2005년 처음 시작되었다. 첫 3년 간은 매년 새로이 연구가 갱신되었다. 그러나 이번 최신 업데이트는 연구 결과와 18개월간의 시간차를 보이는데, 이로 인해 예측값도 크게 달라졌다.

예를 들어, 2011년 6월 발표된 마지막 버전에서는 2020년까지 생산될 데이터의 양을 40제타바이트가 아닌 35제타바이트로 예측했었다.

새로운 IDC 연구에서, 서버 회사들이 현재 보유한 모든 물리적 혹은 가상화 서버가 2020년까지 10배까지 늘어날 것이라고 홀리스는 말했다.

홀리스는 “당신이 현재 보유한 데이터 테라바이트가 2020년까지 14배로 늘어난다는 이야기다. IT 분야 대부분의 사람들은 이런 일이 일어나고 있다는 사실을 인지하고 있다”라고 말했다. 그는 그러나  이를 관리하는 IT 전문가들의 수의 증가는 1.5배에도 미치지 못할 것이라고 예측했다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.