Offcanvas

���������������

김진철의 How-to-Big Data | 빅데이터 괴담

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

김진철 빅데이터 데이터 과학 데이터 과학자 시행착오 데이터 레이크 하둡 스타트업 스파크 플링크 에어플로우 데이터웨어하우스 도커 서비스메시 쿠버네티스

2021.03.29

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

2021.03.29

김진철의 How-to-Big Data | 빅데이터의 미래 (9)

지난 서른다섯 번째 글부터는 빅데이터 비즈니스와 기술의 미래를 현재 기술들의 동향과 전망을 가지고 같이 엿보고 있다. 빅데이터 비즈니스와 기술의 미래로서, 사이버 물리 시스템(CPS)으로 발전해가는 미래 정보통신 기술과 지능형 서비스의 미래를 소개하였고, 앞으로의 빅데이터 비즈니스와 기술의 발전은 이 사이버 물리 시스템(CPS)으로 구현되는 다양한 지능형 서비스들을 중심으로 이루어질 것이라고 설명하였다. 이와 함께, 이 사이버 물리 시스템(CPS)의 기반이 되는 다양한 기술들의 현재와 미래, 이들의 사이버 물리 시스템과의 관련성에 대해서 살펴보고 있다. 지금까지 클라우드 컴퓨팅 기술, 5G 이동통신과 모바일 에지 컴퓨팅으로 대표되는 미래 통신 기술, 사물인터넷(IoT)과 에지 컴퓨팅 기술들이 어떻게 사이버 물리 시스템(CPS) 기반의 지능형 서비스와 관련이 있는지 같이 살펴보았다.   인공지능 기술에 대한 우리들의 오해 (1) – 지나친 낙관론과 과대평가 이번 글부터 두, 세 편의 글에서는 사이버 물리 시스템(CPS) 기반 지능형 서비스의 가장 핵심이 될 것으로 보이는 인공지능 기술의 현재와 미래, 전망에 대해서 같이 살펴보고자 한다. 우리나라 대기업들이 앞다투어 인공지능 기술에 대한 대규모 투자 계획을 발표하고 있고, 우리나라 정부를 포함한 세계 각국 정부들도 인공지능 기술 경쟁에서 앞서 나가기 위해 다양한 계획들을 발표하고 있는 현 상황에서 과연 이런 인공지능 기술에 대한 열기가 기대하는 만큼의 물질적인 번영과 부를 가져다줄 수 있을지, 그렇다면 어느 정도로 광범위하고 다양하게 우리 사회에 영향을 끼칠지 같이 생각해보는 시간을 가지려고 한다. 2016년 1월 “알파고(AlphaGo)”가 이세돌 9단을 이긴 사건을 계기로 최근 5년간은 IT 기술 매체의 많은 지면과 영역을 인공지능 관련 기술들에 관한 내용이 채워왔다. “알파고”를 만든 구글의 “딥마인드(DeepMind)”는 여전히 수익을 내지 못하고 2019년 8월 기준으로 1조 5천억 원이 ...

김진철 빅데이터 빅데이터 비즈니스 인공지능 사이버 물리 시스템 지능형 서비스 텐서플로우 파이토치 딥러닝 머신러닝 기계학습 알파고 딥마인드 이세돌 우버 튜링테스트 시냅스 신경망 에어플로우 쿠브플로우 폰 노이만 반도체 4차 산업혁명

2020.07.27

지난 서른다섯 번째 글부터는 빅데이터 비즈니스와 기술의 미래를 현재 기술들의 동향과 전망을 가지고 같이 엿보고 있다. 빅데이터 비즈니스와 기술의 미래로서, 사이버 물리 시스템(CPS)으로 발전해가는 미래 정보통신 기술과 지능형 서비스의 미래를 소개하였고, 앞으로의 빅데이터 비즈니스와 기술의 발전은 이 사이버 물리 시스템(CPS)으로 구현되는 다양한 지능형 서비스들을 중심으로 이루어질 것이라고 설명하였다. 이와 함께, 이 사이버 물리 시스템(CPS)의 기반이 되는 다양한 기술들의 현재와 미래, 이들의 사이버 물리 시스템과의 관련성에 대해서 살펴보고 있다. 지금까지 클라우드 컴퓨팅 기술, 5G 이동통신과 모바일 에지 컴퓨팅으로 대표되는 미래 통신 기술, 사물인터넷(IoT)과 에지 컴퓨팅 기술들이 어떻게 사이버 물리 시스템(CPS) 기반의 지능형 서비스와 관련이 있는지 같이 살펴보았다.   인공지능 기술에 대한 우리들의 오해 (1) – 지나친 낙관론과 과대평가 이번 글부터 두, 세 편의 글에서는 사이버 물리 시스템(CPS) 기반 지능형 서비스의 가장 핵심이 될 것으로 보이는 인공지능 기술의 현재와 미래, 전망에 대해서 같이 살펴보고자 한다. 우리나라 대기업들이 앞다투어 인공지능 기술에 대한 대규모 투자 계획을 발표하고 있고, 우리나라 정부를 포함한 세계 각국 정부들도 인공지능 기술 경쟁에서 앞서 나가기 위해 다양한 계획들을 발표하고 있는 현 상황에서 과연 이런 인공지능 기술에 대한 열기가 기대하는 만큼의 물질적인 번영과 부를 가져다줄 수 있을지, 그렇다면 어느 정도로 광범위하고 다양하게 우리 사회에 영향을 끼칠지 같이 생각해보는 시간을 가지려고 한다. 2016년 1월 “알파고(AlphaGo)”가 이세돌 9단을 이긴 사건을 계기로 최근 5년간은 IT 기술 매체의 많은 지면과 영역을 인공지능 관련 기술들에 관한 내용이 채워왔다. “알파고”를 만든 구글의 “딥마인드(DeepMind)”는 여전히 수익을 내지 못하고 2019년 8월 기준으로 1조 5천억 원이 ...

2020.07.27

구글∙페이스북∙넷플릭스∙에어비앤비의 공통점 '오픈소스'

오픈소스 컴퓨팅 프로젝트는 여러 커뮤니티 회원과 공동 작업을 필요로 한다. 초기에는 리눅스재단의 후원으로 개발된 오픈소스 컴퓨팅 프로젝트가 많았다. 하지만 최근 몇 년 동안 페이스북, 마이크로소프트, 구글 등 거대 기술회사가 다양한 오픈소스 프로젝트를 크라우드 소싱하면서 오픈소스 시장에 뛰어들었다. 때로는 내부 문제를 해결하기 위해 더 넓은 커뮤니티에 도움을 구하기도 했다. 전 세계에서 가장 큰 데이터센터를 소유하고 있는 이들 회사는 전례 없는 규모로 데이터를 관리해야 하며 선구적인 기술 개발이 필요한 상태다. 그렇다면 왜 대형 기술회사가 자사의 지적 재산을 더 넓은 세상과 공유할까? 다른 사람들에게 내부 프로젝트를 보여주고 그 대가로 자사의 기술을 무료로 개선할 수 있는 역동적인 개발자 커뮤니티에 접근할 수 있다. 예를 들어 페이스북은 오픈 컴퓨트 프로젝트로 미화 20억 달러의 데이터센터 비용을 절감했다고 밝혔다. 대형 기술회사의 혁신적이고 흥미진진한 오픈소스 프로젝트를 소개한다. 1. 구글 – 쿠버네티스 구글은 오픈소스 기술에 가장 적극적으로 관여하는 세계적인 기업 중 하나다. 오픈소스 개발자 플랫폼인 깃허브(GitHub)에는 900명이 넘는 구글 소속 공여자와 1,000개가 넘는 구글 관련 저장소가 있다. 최근 몇 년간 컨테이너화가 가장 유행하는 IT용어 중 하나였는데 구글은 데이터센터의 애플리케이션을 관리하기 위해 약 20억 개의 컨테이너를 사용했다. 이 회사는 보그(Borg)와 오메가(Omega)의 숨겨진 기술을 사용하여 수년간 내부적으로 워크로드를 실행했다. 그리고 이 플랫폼은 2014년 6월 이후 공개된 구글의 오픈소스 쿠버네티스 컨테이너 클러스터 관리 플랫폼의 기초를 제공했다. 쿠버네티스는 가상 머신 대신 좀더 가벼운 대체품을 찾고 있는 다양한 대기업에서 채택됐다. 원래 구글에서 개발했지만 클라우드 네이티브 컴퓨팅 재단(Cloud Native Computing Foundation)에서 관리...

혁신 카프카 에어비앤비 요세미티 텐서플로 쿠버네티스 오로라 파이토치 카오스 멍키 에어플로우 링크드인 깃허브 구글 페이스북 마이크로소프트 트위터 오픈 컴퓨트 프로젝트 OCP 넷플릭스 네뷸라 리눅스 재단 카옌타

2018.07.12

오픈소스 컴퓨팅 프로젝트는 여러 커뮤니티 회원과 공동 작업을 필요로 한다. 초기에는 리눅스재단의 후원으로 개발된 오픈소스 컴퓨팅 프로젝트가 많았다. 하지만 최근 몇 년 동안 페이스북, 마이크로소프트, 구글 등 거대 기술회사가 다양한 오픈소스 프로젝트를 크라우드 소싱하면서 오픈소스 시장에 뛰어들었다. 때로는 내부 문제를 해결하기 위해 더 넓은 커뮤니티에 도움을 구하기도 했다. 전 세계에서 가장 큰 데이터센터를 소유하고 있는 이들 회사는 전례 없는 규모로 데이터를 관리해야 하며 선구적인 기술 개발이 필요한 상태다. 그렇다면 왜 대형 기술회사가 자사의 지적 재산을 더 넓은 세상과 공유할까? 다른 사람들에게 내부 프로젝트를 보여주고 그 대가로 자사의 기술을 무료로 개선할 수 있는 역동적인 개발자 커뮤니티에 접근할 수 있다. 예를 들어 페이스북은 오픈 컴퓨트 프로젝트로 미화 20억 달러의 데이터센터 비용을 절감했다고 밝혔다. 대형 기술회사의 혁신적이고 흥미진진한 오픈소스 프로젝트를 소개한다. 1. 구글 – 쿠버네티스 구글은 오픈소스 기술에 가장 적극적으로 관여하는 세계적인 기업 중 하나다. 오픈소스 개발자 플랫폼인 깃허브(GitHub)에는 900명이 넘는 구글 소속 공여자와 1,000개가 넘는 구글 관련 저장소가 있다. 최근 몇 년간 컨테이너화가 가장 유행하는 IT용어 중 하나였는데 구글은 데이터센터의 애플리케이션을 관리하기 위해 약 20억 개의 컨테이너를 사용했다. 이 회사는 보그(Borg)와 오메가(Omega)의 숨겨진 기술을 사용하여 수년간 내부적으로 워크로드를 실행했다. 그리고 이 플랫폼은 2014년 6월 이후 공개된 구글의 오픈소스 쿠버네티스 컨테이너 클러스터 관리 플랫폼의 기초를 제공했다. 쿠버네티스는 가상 머신 대신 좀더 가벼운 대체품을 찾고 있는 다양한 대기업에서 채택됐다. 원래 구글에서 개발했지만 클라우드 네이티브 컴퓨팅 재단(Cloud Native Computing Foundation)에서 관리...

2018.07.12

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.6