Offcanvas

CIO / IoT / 검색|인터넷 / 빅데이터 | 애널리틱스

기고 | 빅 데이터 길들이기

2014.10.14 Shayum Rahim  |  CIO Australia


신생벤처의 확산
시장에서 빅 데이터 현상이 시작된 이후로 많은 순수 빅 데이터 프로젝트가 등장했다. 여기에 기여한 요소는 크게 2가지로 볼 수 있다.

우선, 오픈소스 환경 하둡과 NoSQL 기술을 사용할 수 있다는 점이다. 시장은 더 이상 상표권이 등록된 기술에 의해 제약을 받지 않고 있다. 이 덕분에 프로젝트에서 새로운 아이디어를 시험하고 프로젝트에 기여하며 협업할 수 있게 되었다. 그 결과, 매우 정교한 시스템과 솔루션이 탄생했다.

둘째로 개인 투자가와 벤처캐피탈(Venture Capital) 기업들이 이런 정교한 솔루션을 시장에 출시할 수 있는 엄청난 기회를 포착하면서, 전 세계 대학에서 얻을 수 있는 신선한 아이디어를 지원할 수 있는 준비가 완료되었다. 기업가를 꿈꾸는 젊은 '매니아'들은 자신의 아이디어에 날개를 달기 위한 자금 확보에 크게 어려움이 없는 것으로 보이며, 많은 투자자들이 확실한 보상을 얻고 있다.

더욱 흥미로운 것은 이런 스타트업들이 수 년 동안 발전해 온 방식이다. 스타트업이 확산되면서 경쟁이 매우 심화될 수 있고, 업체들도 상당히 합병될 것으로 예상된다.

하지만 과거 상표권을 등록한 벤더들의 경쟁적인 속성과는 달리 새로운 트렌드가 등장하고 있다. 새로운 빅 데이터 업체들은 전통적인 경쟁자들보다 더욱 민첩하고 날렵하며 기업들의 사업 방식에 대한 신선한 관점으로 새로운 세대를 이끌고 있다. 이런 조직들은 오픈소스 프로젝트 실험과 마찬가지로 더욱 협업적인 접근방식을 취하고 있다. 이런 특징이 기업적인 차원에서도 발견되고 있으며, 여러 조직들이 시장에 솔루션을 제공하기 위해 협력하는 모습을 보이고 있다.

전통적인 업체들은 한 곳에서 모든 것을 제공하기 위해 제국을 건설하고 솔루션을 개발하며 다른 기업을 인수하는 것이 목표였지만, 새로운 업체들은 현재까지 자신의 강점에 집중하고 있다. 그리고 그들은 빅 데이터 부문에서 특정 분야에 좀 더 전문적인 사람들과 협력하여 자체 솔루션으로 해결할 수 없는 문제들을 해결하고 있다. 그 결과, 하둡과 NoSQL 플랫폼은 업체들의 솔루션에 기초하여 점차 보완되고 있다.

더 나아가 합병에는 한계가 있지만, 오픈소스 플랫폼이 제공하는 '모두를 위한 무료' 개발 환경이 새로운 혁신을 불러 일으킬 것이다.

기술 부족
빅 데이터의 등장과 성장을 둘러 싼 가장 큰 우려는 빅 데이터 기술의 부족이다. 빅 데이터는 전통적인 데이터베이스 기술로는 다룰 수 없는 것으로 여겨졌으며, 기술을 쉽게 발전시킬 수도 없다.

하지만 현재의 환경에서 이루어지고 있는 혁신으로 이런 프로세스 중 많은 부분을 자동화하고 기존의 IT 기술에 좀 더 친숙해질 수 있다는 점을 보여주고 있다. 여러 순수한 빅 데이터 조직들이 SQL 데이터베이스를 하둡 또는 NoSQL 기반으로 비정형 자체 플랫폼에서 네이티브(Native) 상태로 운용할 수 있는 새로운 역량을 갖추고 있다. 이는 자사의 빅 데이터 계획을 위해 관련된 기술을 찾고자 노력하는 조직들에게 좋은 소식이다.

또한, '서비스형 상품'을 제공하는 클라우드 기반의 기업들이 증가하고 있다. 서비스 형태로 제공되는 소프트웨어, 인프라, 플랫폼을 통해 진입 장벽이 낮아졌다. 이로 인해 이전에는 빅 데이터 기술에 접근하기가 쉽지 않았다고 생각하는 사람들에게 큰 도움이 될 것이다. 더 이상 소프트웨어와 인프라에 막대한 초기 투자비용을 지불할 이유가 없다.

지난 해, 관련 주제에 대해 빅인사이트(BigInsights)가 설문조사를 실시했는데 그 결과 기업의 30%는 기술 인프라의 비용을 빅 데이터 투자의 가장 큰 장애물이라고 답했다. 클라우드 컴퓨팅이 이미 설치형 솔루션에 대한 투자를 크게 변화시키고 있으며, 빅 데이터 솔루션과 역량 제공으로까지 확장되자 시장 내에서 조직들에 가치를 더욱 빨리 제공할 수 있게 되었다.

“피할 수 없으면 즐겨라”
기업이 이해하고 수용하는 속도보다 훨씬 빠르게 빅 데이터가 시장에 뿌리를 내리면서 처음에는 일정 수준의 회의론, 우려, 공포가 나타났다. 하지만 그 이점이 불안감을 상쇄하면서 기술과 서비스 생태계 전체가 성장하여 모든 조직들이 데이터로 제공할 수 있는 풍부한 통찰력을 얻게 되었다. 우리는 중요한 시점에 맞닥뜨리고 있으며 앞으로 더 많은 것들을 보게 될 것이다. 빅 데이터 부흥의 시기가 이제 막 시작됐다.

*Shayum Rahim는 BigInsights의 리서치 담당 이사며 그전에는 IDC에서 리서치를 담당 애널리스트였다. ciokr@idg.co.kr
 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.