Offcanvas

���������

김진철의 How-to-Big Data | 빅데이터 괴담

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

김진철 빅데이터 데이터 과학 데이터 과학자 시행착오 데이터 레이크 하둡 스타트업 스파크 플링크 에어플로우 데이터웨어하우스 도커 서비스메시 쿠버네티스

2021.03.29

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

2021.03.29

플링크, 브라우저에서 사용하는 온디맨드 커뮤니케이션 서비스 '페이지콜' 베타 출시

플링크가 온디맨드 커뮤니케이션 서비스 '페이지콜' 베타 서비스를 선보인다고 밝혔다. 페이지콜은 원거리에서도 전화처럼 상대방을 쉽게 연결하며, 만나서 설명해야 하는 문서나 사진 등을 함께 보며 소통할 수 있는 서비스다. 기존 화상회의 서비스는 많은 기능을 제공하기 때문에 서비스가 무겁고 접속이 어렵다. 하지만 페이지콜은 가입과 설치 없이 간편하게 웹 브라우저에서 사용 가능해 기존 서비스보다 범용성이 높다고 업체 측은 설명했다. 플링크는 우선 페이지콜을 통해 교육 업계에 의미 있는 변화를 만들고자 하고 있다고 밝혔다. 최근 온라인 교육 업체의 이슈는 온라인에서도 오프라인처럼 현장감 있는 교육을 제공하는 것이다. 화상교육 솔루션을 도입하고 있으나 업체의 기존 서비스와 연동되지 않고, 높은 솔루션 비용 때문에 교육의 퀄리티 향상과 사업 성장에는 크게 기여하지 못했다. 플링크는 온라인 교육업체가 페이지콜을 도입함으로써 쉽게 현장감 있는 원격 교육을 제공하고 솔루션 도입 비용을 절감해 온라인 교육 시장에서 성장할 수 있을 것이라고 기대하고 있다. 플링크 최필준 대표이사는 “플링크는 멀티 디바이스 통신 환경을 유지하고 데이터 처리비용을 낮추는 기술 개발에 다년간 매진했다”며, “이번 페이지콜 출시는 온디맨드 커뮤니케이션 솔루션을 직접 개발하기 어려웠던 업체들과 함께 성장할 수 있는 토대가 될 것”이라고 말했다. ciokr@idg.co.kr

플링크

2018.04.03

플링크가 온디맨드 커뮤니케이션 서비스 '페이지콜' 베타 서비스를 선보인다고 밝혔다. 페이지콜은 원거리에서도 전화처럼 상대방을 쉽게 연결하며, 만나서 설명해야 하는 문서나 사진 등을 함께 보며 소통할 수 있는 서비스다. 기존 화상회의 서비스는 많은 기능을 제공하기 때문에 서비스가 무겁고 접속이 어렵다. 하지만 페이지콜은 가입과 설치 없이 간편하게 웹 브라우저에서 사용 가능해 기존 서비스보다 범용성이 높다고 업체 측은 설명했다. 플링크는 우선 페이지콜을 통해 교육 업계에 의미 있는 변화를 만들고자 하고 있다고 밝혔다. 최근 온라인 교육 업체의 이슈는 온라인에서도 오프라인처럼 현장감 있는 교육을 제공하는 것이다. 화상교육 솔루션을 도입하고 있으나 업체의 기존 서비스와 연동되지 않고, 높은 솔루션 비용 때문에 교육의 퀄리티 향상과 사업 성장에는 크게 기여하지 못했다. 플링크는 온라인 교육업체가 페이지콜을 도입함으로써 쉽게 현장감 있는 원격 교육을 제공하고 솔루션 도입 비용을 절감해 온라인 교육 시장에서 성장할 수 있을 것이라고 기대하고 있다. 플링크 최필준 대표이사는 “플링크는 멀티 디바이스 통신 환경을 유지하고 데이터 처리비용을 낮추는 기술 개발에 다년간 매진했다”며, “이번 페이지콜 출시는 온디맨드 커뮤니케이션 솔루션을 직접 개발하기 어려웠던 업체들과 함께 성장할 수 있는 토대가 될 것”이라고 말했다. ciokr@idg.co.kr

2018.04.03

김진철의 How-to-Big Data | 연재를 시작하며

* SK텔레콤에서 데이터 과학자로 재직중인 김진철 박사의 칼럼 '김진철의 How-to-Big Data'를 1월부터 연재합니다. 빅데이터 – 실재인가, 허상인가? 전 세계적 IT 트렌드로 조명받게 된 빅데이터가 우리나라에서 큰 관심을 받아 급격하게 성장하기 시작한 2011년을 많은 사람들이 우리나라 빅데이터 비즈니스의 원년으로 보고 있다. 그 이후로 국내 스타트업과 주요 기업들의 빅데이터 시스템 도입 및 활용 사례가 많이 알려졌으며, 빅데이터 활용으로 인해 사회가 크게 변할 것이라는 긍정적인, 또는 부정적인 예측이 넘쳐났다. 2014년 당시에는 전 세계 빅데이터 비즈니스 시장이 501억 달러까지 성장하는 금맥으로 예측되기도 했다(Wikibon, 2014년 2월, http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue_and_Market_Forecast_2013-2017). 3년이 흐른 지금도 여전히 빅데이터의 중요성에 대해서 많이 언급되고 있지만 우리나라에서 이런 전망을 뒷받침할 만한 빅데이터 활용 사례는 나오지 않고 있다. 빅데이터 시스템을 도입, 활용한 사례들이 주요 솔루션 벤더들의 자사 제품 활용 홍보 사례로서 많이 소개되고 있지만, 상당수의 사례들이 명백한 비즈니스 영향력을 보여주는 사례라고 보기는 어렵다. 심지어 최근에는 지금까지 빅데이터 비즈니스의 꽃으로 여겨졌던 데이터 과학자의 수요가 2017년부터 정체되거나 줄 것이라는 어두운 전망까지 나오고 있다(CIO Korea, 2016년 12월 14일, http://www.ciokorea.com/news/32359). 왜 이런 일이 나타나고 있는 것일까? 정말 빅데이터 활용이 기업 경영에 미치는 영향이 크지 않기 때문일까? 빅데이터가 IT 솔루션 기업들의 마케팅 용어에 불과하기 때문일까? 아니면, 일부 사람들이 주장하는 것같이 빅데이터는 허상이고 실체가 없기 때문일까? 혹은 빅데이터라는 것이 주목할 만한 가치가 없었던 현상이었던 것...

빅데이터 플링크 데이터 그리드 시스템 LHC 대형강입자가속기 CERN 유럽입자물리학연구소 김진철 스파크 데이터 사이언티스트 HANA 하둡 데이터 과학자 SQL-on-Hadoop

2017.01.23

* SK텔레콤에서 데이터 과학자로 재직중인 김진철 박사의 칼럼 '김진철의 How-to-Big Data'를 1월부터 연재합니다. 빅데이터 – 실재인가, 허상인가? 전 세계적 IT 트렌드로 조명받게 된 빅데이터가 우리나라에서 큰 관심을 받아 급격하게 성장하기 시작한 2011년을 많은 사람들이 우리나라 빅데이터 비즈니스의 원년으로 보고 있다. 그 이후로 국내 스타트업과 주요 기업들의 빅데이터 시스템 도입 및 활용 사례가 많이 알려졌으며, 빅데이터 활용으로 인해 사회가 크게 변할 것이라는 긍정적인, 또는 부정적인 예측이 넘쳐났다. 2014년 당시에는 전 세계 빅데이터 비즈니스 시장이 501억 달러까지 성장하는 금맥으로 예측되기도 했다(Wikibon, 2014년 2월, http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue_and_Market_Forecast_2013-2017). 3년이 흐른 지금도 여전히 빅데이터의 중요성에 대해서 많이 언급되고 있지만 우리나라에서 이런 전망을 뒷받침할 만한 빅데이터 활용 사례는 나오지 않고 있다. 빅데이터 시스템을 도입, 활용한 사례들이 주요 솔루션 벤더들의 자사 제품 활용 홍보 사례로서 많이 소개되고 있지만, 상당수의 사례들이 명백한 비즈니스 영향력을 보여주는 사례라고 보기는 어렵다. 심지어 최근에는 지금까지 빅데이터 비즈니스의 꽃으로 여겨졌던 데이터 과학자의 수요가 2017년부터 정체되거나 줄 것이라는 어두운 전망까지 나오고 있다(CIO Korea, 2016년 12월 14일, http://www.ciokorea.com/news/32359). 왜 이런 일이 나타나고 있는 것일까? 정말 빅데이터 활용이 기업 경영에 미치는 영향이 크지 않기 때문일까? 빅데이터가 IT 솔루션 기업들의 마케팅 용어에 불과하기 때문일까? 아니면, 일부 사람들이 주장하는 것같이 빅데이터는 허상이고 실체가 없기 때문일까? 혹은 빅데이터라는 것이 주목할 만한 가치가 없었던 현상이었던 것...

2017.01.23

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.13