Offcanvas

���������

김진철의 How-to-Big Dataㅣ에필로그 – 맺는 글

LHC 빅데이터의 미래 – FCC와 새로운 입자 물리학 실험들 LHC 실험은 2018년까지 13TeV, 190fb-1의 목표 성능에 대한 계획된 실험을 마치고 현재 가동을 잠시 중단한 상태다. 2027년 9월로 예정되어 있는 고광도 LHC(High-Luminosity LHC; HL-LHC) 실험을 위해 LHC 주 가속기와 ATLAS, CMS, ALICE, LHCb의 주요 검출기들의 성능을 높이기 위해서는 목표 성능을 낼 수 있도록 많은 부품과 장치들을 새롭게 제작, 교체해야 한다. 지금은 시운전, 테스트를 준비하며 LHC 주 가속기와 검출기들을 업그레이드하고 있다.   COVID-19 바이러스는 CERN의 LHC 실험에도 영향을 미쳐서 LHC 실험의 일정을 지연시켰다. 원래 HL-LHC 실험을 위한 검출기들의 1차 업그레이드를 완료하고 첫 빔 테스트와 시운전을 진행할 예정이었던 2021년 5월에서 4개월 지연된 2021년 9월에 첫 빔 테스트를 진행할 예정이다. 예상치 못했던 COVID-19 바이러스 사태때문에 앞으로 COVID-19 바이러스 확산 상태에 따라 LHC 실험 일정이 다시 변경될 가능성도 있지만, 현재까지의 상황을 보면 2022년 5월부터 원래 예정되었던 LHC 세 번째 실험(Run3)이 진행될 가능성이 높다. LHC 주 가속기가 업그레이드되어 양성자 빔이 14TeV의 목표 에너지와 3000fb-1의 반응 크로스 섹션(cross section)에 도달하면, LHC 실험 초반에 20 ~ 40PB 규모의 3차원 영상 이벤트 데이터를 쏟아냈던 ATLAS, CMS, ALICE, LHCb 네 개의 검출기들은 LHC 빔 충돌 지점(interaction point)에서 일어날 수 이벤트의 빈도가 LHC 건설 당시 100배이상 높아지게 되면서 이에 따라 각 검출기들이 생산해내는 이벤트 영상 데이터의 양도 크게 증가할 것으로 보인다.  HL-LHC 업그레이드에 따른 LHC 가속기와 주요 검출기들의 성능 향상도 LHC 빅데이터의 증가에 영향...

김진철 빅데이터 데이터 과학 입자 물리학 양자 컴퓨팅 인공지능 딥러닝 5G

2021.07.29

LHC 빅데이터의 미래 – FCC와 새로운 입자 물리학 실험들 LHC 실험은 2018년까지 13TeV, 190fb-1의 목표 성능에 대한 계획된 실험을 마치고 현재 가동을 잠시 중단한 상태다. 2027년 9월로 예정되어 있는 고광도 LHC(High-Luminosity LHC; HL-LHC) 실험을 위해 LHC 주 가속기와 ATLAS, CMS, ALICE, LHCb의 주요 검출기들의 성능을 높이기 위해서는 목표 성능을 낼 수 있도록 많은 부품과 장치들을 새롭게 제작, 교체해야 한다. 지금은 시운전, 테스트를 준비하며 LHC 주 가속기와 검출기들을 업그레이드하고 있다.   COVID-19 바이러스는 CERN의 LHC 실험에도 영향을 미쳐서 LHC 실험의 일정을 지연시켰다. 원래 HL-LHC 실험을 위한 검출기들의 1차 업그레이드를 완료하고 첫 빔 테스트와 시운전을 진행할 예정이었던 2021년 5월에서 4개월 지연된 2021년 9월에 첫 빔 테스트를 진행할 예정이다. 예상치 못했던 COVID-19 바이러스 사태때문에 앞으로 COVID-19 바이러스 확산 상태에 따라 LHC 실험 일정이 다시 변경될 가능성도 있지만, 현재까지의 상황을 보면 2022년 5월부터 원래 예정되었던 LHC 세 번째 실험(Run3)이 진행될 가능성이 높다. LHC 주 가속기가 업그레이드되어 양성자 빔이 14TeV의 목표 에너지와 3000fb-1의 반응 크로스 섹션(cross section)에 도달하면, LHC 실험 초반에 20 ~ 40PB 규모의 3차원 영상 이벤트 데이터를 쏟아냈던 ATLAS, CMS, ALICE, LHCb 네 개의 검출기들은 LHC 빔 충돌 지점(interaction point)에서 일어날 수 이벤트의 빈도가 LHC 건설 당시 100배이상 높아지게 되면서 이에 따라 각 검출기들이 생산해내는 이벤트 영상 데이터의 양도 크게 증가할 것으로 보인다.  HL-LHC 업그레이드에 따른 LHC 가속기와 주요 검출기들의 성능 향상도 LHC 빅데이터의 증가에 영향...

2021.07.29

김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (3)

이번 글은 지난 쉰세 번째 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용의 핵심들을 다시 정리해보는 마지막 글이다. 지난 쉰세 번째 글에서는 필자가 독자들로부터 가장 많은 문의를 받았던 내용인 빅데이터 비즈니스 조직의 조직 및 운영에 관한 22회부터 34회까지의 글을 요약 정리했다. How-to-Big Data의 주요 내용을 요약 정리하는 글의 마지막 편인 이번 글에서 빅데이터 비즈니스의 미래를 다루었던 35회부터 51회까지 글의 핵심 내용을 다시 짚어보려고 한다.     --> 김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1) --> 김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)   35회: 빅데이터의 미래 (1) (2019년 11월 27일 게재) 34회까지 CERN의 LHC 빅데이터 사례를 통해 배운 빅데이터 비즈니스의 교훈을 앞으로 어떻게 적용하는 것이 좋을지 생각해보기 위해 빅데이터 비즈니스의 미래를 살펴보는 글의 첫 번째 글이었다. 빅데이터 기술과 비즈니스가 앞으로 어떻게 변화해갈지 생각해보는 데 도움이 될 수 있도록 빅데이터 현상이 왜 일어나는지 그 근본 배경에 대해서 같이 생각해보았다. 빅데이터 현상은 컴퓨터 기술이 그 시대에 필요로 하는 데이터 처리의 요구사항을 극복하지 못할 때 나타나는 필연적인 현상이며, 현재 우리가 경험하는 빅데이터 현상 전에도 다른 양상으로 여러 번 나타났다.  이런 맥락에서 빅데이터 기술의 역사는 컴퓨터 기술 발전의 역사와 맥을 같이 한다. 다만 현재 우리가 겪는 빅데이터 현상이 이전과 다른 것은 베오울프 클러스터 기술로 시작된 분산 컴퓨팅 기술의 발전과 수평적 확장성의 발전, 이런 분산 컴퓨팅과 수평적 확장성을 지원하는 기술로 처리가능한 데이터의 양이 폭증하는 것과 함께 중요해진 데이터 수...

김진철 빅 데이터 데이터 과학 사이버 물리 시스템 클라우드 컴퓨팅 5G 6G 인공지능 머신러닝 모바일 엣지 컴퓨팅 자율 컴퓨팅 데브옵스 고랭 엣지 컴퓨팅 딥러닝 데이터 과학자 ESG 경영

2021.06.29

이번 글은 지난 쉰세 번째 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용의 핵심들을 다시 정리해보는 마지막 글이다. 지난 쉰세 번째 글에서는 필자가 독자들로부터 가장 많은 문의를 받았던 내용인 빅데이터 비즈니스 조직의 조직 및 운영에 관한 22회부터 34회까지의 글을 요약 정리했다. How-to-Big Data의 주요 내용을 요약 정리하는 글의 마지막 편인 이번 글에서 빅데이터 비즈니스의 미래를 다루었던 35회부터 51회까지 글의 핵심 내용을 다시 짚어보려고 한다.     --> 김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1) --> 김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)   35회: 빅데이터의 미래 (1) (2019년 11월 27일 게재) 34회까지 CERN의 LHC 빅데이터 사례를 통해 배운 빅데이터 비즈니스의 교훈을 앞으로 어떻게 적용하는 것이 좋을지 생각해보기 위해 빅데이터 비즈니스의 미래를 살펴보는 글의 첫 번째 글이었다. 빅데이터 기술과 비즈니스가 앞으로 어떻게 변화해갈지 생각해보는 데 도움이 될 수 있도록 빅데이터 현상이 왜 일어나는지 그 근본 배경에 대해서 같이 생각해보았다. 빅데이터 현상은 컴퓨터 기술이 그 시대에 필요로 하는 데이터 처리의 요구사항을 극복하지 못할 때 나타나는 필연적인 현상이며, 현재 우리가 경험하는 빅데이터 현상 전에도 다른 양상으로 여러 번 나타났다.  이런 맥락에서 빅데이터 기술의 역사는 컴퓨터 기술 발전의 역사와 맥을 같이 한다. 다만 현재 우리가 겪는 빅데이터 현상이 이전과 다른 것은 베오울프 클러스터 기술로 시작된 분산 컴퓨팅 기술의 발전과 수평적 확장성의 발전, 이런 분산 컴퓨팅과 수평적 확장성을 지원하는 기술로 처리가능한 데이터의 양이 폭증하는 것과 함께 중요해진 데이터 수...

2021.06.29

김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

김진철 빅데이터 데이터 과학 데이터 과학자 빅데이터 비즈니스 아파치 하둡 스파크 데이터 레이크 인공지능 딥러닝 해석가능성 클라우드 운영 지능화

2021.05.31

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

2021.05.31

김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1)

이번 글과 다음 글에서는 지난 2017년 1월부터 지금까지 필자가 정리했던 빅데이터 활용 교훈의 핵심을 정리해보는 시간을 가지려고 한다. 필자가 기고를 시작했던 2017년부터 지금까지 빅데이터 기술이나 데이터 과학 활용 양상이 많이 발전했어도 많은 기업이 빅데이터를 차별화된 비즈니스 성공으로 이끈 사례는 생각보다 많지 않다. 필자가 CERN의 LHC 실험을 통해 살펴보았던 빅데이터 활용의 교훈들은 시간이 지나도 여전히 유효하다. 지금까지 살펴본 내용들을 같이 보면서 앞으로 빅데이터를 어떻게 활용해야 시행착오를 덜 겪으면서 비즈니스를 성공으로 이끌 수 있을지 같이 정리해보자.   --> 1회: 연재를 시작하며 (2017년 1월 23일 게재) 필자가 연재를 시작할 당시 데이터 과학 무용론이 고개를 들기 시작하던 때였다. 소위 하둡(Hadoop)과 같은 빅데이터 기술을 도입했지만 비즈니스 효과가 없다는 얘기도 있었고, 빅데이터와 데이터 과학이 실체가 없고 주요 IT 기업들의 솔루션 판매를 위한 마케팅 용어일 뿐이라는 주장도 나타났다.  많은 기업들이 빅데이터의 효과를 확인하지 못하는 이유는 빅데이터를 처리하는 기술, 특히 당시에는 아파치 하둡(Hadoop)과 스파크(Spark)기술 중심의 빅데이터 기술을 도입하는 데에 관심을 보이고, 빅데이터 기술이 도입된 후 정작 해야 하는 데이터 과학을 제대로 하지 않았기 때문이라고 설명했다. 빅데이터와 데이터 과학을 잘 활용해서 효용을 얻기 위해 필요한 것을 데이터, 인프라, 조직 및 시스템, 사람의 네 가지 관점에서 살펴보겠다고 소개했다. 빅데이터와 데이터 과학을 활용하기 위해 가장 중요한 것이 데이터 수집이다. 우선 어떤 데이터를 어떻게 획득할 것인가하는 문제가 빅데이터 비즈니스 모델의 설계와 성공에 많은 영향을 미치기 때문이고, 데이터가 없는데 빅데이터 비즈니스 모델이 작동할 리 없기 때문이다. 데이터는 빅데이터 비즈니스 모델의 연료와 같다. --> 2회: 빅데이터 활용의 근본적인 ...

김진철 빅 데이터 데이터 과학 아파치 하둡 스파크 데이터 레이크 인공지능 딥러닝 해석가능성 클라우드 운영 지능화

2021.04.27

이번 글과 다음 글에서는 지난 2017년 1월부터 지금까지 필자가 정리했던 빅데이터 활용 교훈의 핵심을 정리해보는 시간을 가지려고 한다. 필자가 기고를 시작했던 2017년부터 지금까지 빅데이터 기술이나 데이터 과학 활용 양상이 많이 발전했어도 많은 기업이 빅데이터를 차별화된 비즈니스 성공으로 이끈 사례는 생각보다 많지 않다. 필자가 CERN의 LHC 실험을 통해 살펴보았던 빅데이터 활용의 교훈들은 시간이 지나도 여전히 유효하다. 지금까지 살펴본 내용들을 같이 보면서 앞으로 빅데이터를 어떻게 활용해야 시행착오를 덜 겪으면서 비즈니스를 성공으로 이끌 수 있을지 같이 정리해보자.   --> 1회: 연재를 시작하며 (2017년 1월 23일 게재) 필자가 연재를 시작할 당시 데이터 과학 무용론이 고개를 들기 시작하던 때였다. 소위 하둡(Hadoop)과 같은 빅데이터 기술을 도입했지만 비즈니스 효과가 없다는 얘기도 있었고, 빅데이터와 데이터 과학이 실체가 없고 주요 IT 기업들의 솔루션 판매를 위한 마케팅 용어일 뿐이라는 주장도 나타났다.  많은 기업들이 빅데이터의 효과를 확인하지 못하는 이유는 빅데이터를 처리하는 기술, 특히 당시에는 아파치 하둡(Hadoop)과 스파크(Spark)기술 중심의 빅데이터 기술을 도입하는 데에 관심을 보이고, 빅데이터 기술이 도입된 후 정작 해야 하는 데이터 과학을 제대로 하지 않았기 때문이라고 설명했다. 빅데이터와 데이터 과학을 잘 활용해서 효용을 얻기 위해 필요한 것을 데이터, 인프라, 조직 및 시스템, 사람의 네 가지 관점에서 살펴보겠다고 소개했다. 빅데이터와 데이터 과학을 활용하기 위해 가장 중요한 것이 데이터 수집이다. 우선 어떤 데이터를 어떻게 획득할 것인가하는 문제가 빅데이터 비즈니스 모델의 설계와 성공에 많은 영향을 미치기 때문이고, 데이터가 없는데 빅데이터 비즈니스 모델이 작동할 리 없기 때문이다. 데이터는 빅데이터 비즈니스 모델의 연료와 같다. --> 2회: 빅데이터 활용의 근본적인 ...

2021.04.27

김진철의 How-to-Big Data | 빅데이터 괴담

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

김진철 빅데이터 데이터 과학 데이터 과학자 시행착오 데이터 레이크 하둡 스타트업 스파크 플링크 에어플로우 데이터웨어하우스 도커 서비스메시 쿠버네티스

2021.03.29

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

2021.03.29

김진철의 How-to-Big Data | CPS와 ESG 경영

빅데이터 기술과 데이터 과학이 나아갈 미래의 모습으로서 사이버 물리 시스템 기반의 지능형 서비스를 소개하면서, 사이버 물리 시스템 기술을 비즈니스에 접목하고 활용하는데 관련된 다양한 이슈들을 지금까지 돌아보았다. 특히 지난 마흔 여덟 번째, 마흔 아홉 번째 두 번의 글에 걸쳐 소개했던 디지털 전환(Digital Transformation)과 빅데이터, 데이터 과학, 사이버 물리 시스템과의 관련성과 활용 트렌드에 대한 글에서는 지금까지 필자가 빅데이터와 데이터 과학과 관련해서 소개한 모든 요소들이 디지털 전환이라는 하나의 말로 수렴되어 가는 경향을 볼 수 있었다. 전통적인 제조업조차도 디지털 전환을 통해 구독형 서비스 비즈니스 모델을 추구할 수 있고, 디지털 트윈을 이용한 제조 기술과 프로세스의 변화를 통해 사이버 물리 시스템이 제조업의 미래를 어떻게 바꾸어 놓을지, 예측 분석과 미래 연구, 빅데이터와 데이터 과학이 디지털 전환에서 어떤 의미를 갖는지 살펴보았다. 빅데이터의 미래에 대한 마지막 글로, 최근 많은 관심을 받고 있는 ESG 경영에서 빅데이터, 데이터 과학, 사이버 물리 시스템이 어떤 역할을 할 수 있고 왜 중요한지 살펴보려고 한다.   사회적 가치를 추구하는 비즈니스 모델, 빅데이터, 데이터 과학, 사이버 물리 시스템 얼핏 들어서는 ESG 경영과 같은 경영 트렌드가 빅데이터, 데이터 과학, 사이버 물리 시스템과 어떤 관련이 있을지 머리에 떠올리기 어려운 분들이 많을 것 같다. 디지털 전환은 기업의 비즈니스를 디지털 기술, 특히 소프트웨어를 통해 변화시키는 내용이 핵심이기 때문에 빅데이터, 데이터 과학, 사이버 물리 시스템과의 관련성을 이해하기가 조금 쉬웠다.  그렇지만 ESG 경영과 이들 기술과는 어떤 관계가 있을까? 데이터 과학자로서 ESG 경영에 대비한 역량을 키우는 것이 왜 중요할까? 이번 글에서 빅데이터의 마지막 미래 트렌드로서 ESG 경영과 이들 기술과의 관계를 살펴보기로 하자. ESG 경영에 대한 얘기를 하...

김진철 빅 데이터 디지털 트랜스포메이션 사이버 물리 시스템 데이터 과학 사회적 가치 주주 자본주의 신자본주의 장기자본주의 에듀테크 모빌리티 서비스 ESG 경영 SK텔레콤 지속가능성

2021.02.26

빅데이터 기술과 데이터 과학이 나아갈 미래의 모습으로서 사이버 물리 시스템 기반의 지능형 서비스를 소개하면서, 사이버 물리 시스템 기술을 비즈니스에 접목하고 활용하는데 관련된 다양한 이슈들을 지금까지 돌아보았다. 특히 지난 마흔 여덟 번째, 마흔 아홉 번째 두 번의 글에 걸쳐 소개했던 디지털 전환(Digital Transformation)과 빅데이터, 데이터 과학, 사이버 물리 시스템과의 관련성과 활용 트렌드에 대한 글에서는 지금까지 필자가 빅데이터와 데이터 과학과 관련해서 소개한 모든 요소들이 디지털 전환이라는 하나의 말로 수렴되어 가는 경향을 볼 수 있었다. 전통적인 제조업조차도 디지털 전환을 통해 구독형 서비스 비즈니스 모델을 추구할 수 있고, 디지털 트윈을 이용한 제조 기술과 프로세스의 변화를 통해 사이버 물리 시스템이 제조업의 미래를 어떻게 바꾸어 놓을지, 예측 분석과 미래 연구, 빅데이터와 데이터 과학이 디지털 전환에서 어떤 의미를 갖는지 살펴보았다. 빅데이터의 미래에 대한 마지막 글로, 최근 많은 관심을 받고 있는 ESG 경영에서 빅데이터, 데이터 과학, 사이버 물리 시스템이 어떤 역할을 할 수 있고 왜 중요한지 살펴보려고 한다.   사회적 가치를 추구하는 비즈니스 모델, 빅데이터, 데이터 과학, 사이버 물리 시스템 얼핏 들어서는 ESG 경영과 같은 경영 트렌드가 빅데이터, 데이터 과학, 사이버 물리 시스템과 어떤 관련이 있을지 머리에 떠올리기 어려운 분들이 많을 것 같다. 디지털 전환은 기업의 비즈니스를 디지털 기술, 특히 소프트웨어를 통해 변화시키는 내용이 핵심이기 때문에 빅데이터, 데이터 과학, 사이버 물리 시스템과의 관련성을 이해하기가 조금 쉬웠다.  그렇지만 ESG 경영과 이들 기술과는 어떤 관계가 있을까? 데이터 과학자로서 ESG 경영에 대비한 역량을 키우는 것이 왜 중요할까? 이번 글에서 빅데이터의 마지막 미래 트렌드로서 ESG 경영과 이들 기술과의 관계를 살펴보기로 하자. ESG 경영에 대한 얘기를 하...

2021.02.26

김진철의 How-to-Big Data | CPS와 Digital Transformation (2)

소위 GAFA(Google, Amazon, Facebook, Apple)로 불리는 플랫폼 기업들의 성공을 벤치마크하고 기업 경영에 접목시켜 성장을 꾀하는 디지털 전환이 이 시대의 새로운 경영 마인드로 붐을 일으키고 있는 가운데, 이런 디지털 전환에서 빅데이터와 사이버 물리 시스템 기술의 중요성에 대해서 지난 시간에 소개한 바 있다.  컬럼비아 대학교 비즈니스 스쿨의 데이빗 로저스 교수는 자신의 책 “디지털 전환 지침서(The Digital Transformation Playbook)”에서 디지털 전환을 크게 다섯 가지 차원(dimension)에서 보도록 조언하고 있다[2-3]. 이 다섯 가지 차원(dimension)은 고객, 경쟁, 데이터, 혁신, 가치인데, 여기서 데이터는 나머지 네 가지 차원에서 일어나는 디지털 전환 활동의 연료가 된다는 점에서 중요하다. 이렇게 다섯 가지 차원에서 일어나는 디지털 전환의 연료인 데이터를 생산, 가공하고 소비하는 기술로서 빅데이터 기술, 사이버 물리 시스템 기술과 체계는 디지털 전환의 신경계로서 역할을 하게 된다. 이런 사례 중 대표격인 버버리와 제너럴 일렉트릭의 디지털 전환 사례를 지난 마흔 여덟 번째 글에서 같이 살펴보면서 이 사례들이 주는 교훈에 대해서 생각해 보았다. 위 다섯 가지 차원과 함께 디지털 전환을 이끄는 중요한 요소로서 필자는 이번 글에서 “예측 분석(Predictive Analytics)”과 “미래 연구(Future Forecasting)”에 대해서 살펴보려고 한다.    데이터를 이용한 과학적인 의사 결정을 적극적으로 수용하고, 이를 사이버 물리 시스템과 인프라로 자동화하여 비즈니스의 기민성과 확장성(scalability)을 높이는 디지털 전환이 되기 위해서는, 디지털 전환의 신경계가 적시, 적소에 배치되고 동작할 수 있도록 하는 기민하고 효과적인 의사 결정, 계획 과정이 필요하게 된다. 예측 분석과 미래 연구는 이렇게 사이버 물리 시스템 기반 지능형 서비스 비즈니...

김진철 빅데이터 디지털 트랜스포메이션 디지털 전환 디지털 변혁 데이터 과학 아디다스 스마트팩토리 사이버 물리 시스템 예측 분석 자율주행 5G 우버 디지털 트윈 제너럴 일렉트릭

2021.01.26

소위 GAFA(Google, Amazon, Facebook, Apple)로 불리는 플랫폼 기업들의 성공을 벤치마크하고 기업 경영에 접목시켜 성장을 꾀하는 디지털 전환이 이 시대의 새로운 경영 마인드로 붐을 일으키고 있는 가운데, 이런 디지털 전환에서 빅데이터와 사이버 물리 시스템 기술의 중요성에 대해서 지난 시간에 소개한 바 있다.  컬럼비아 대학교 비즈니스 스쿨의 데이빗 로저스 교수는 자신의 책 “디지털 전환 지침서(The Digital Transformation Playbook)”에서 디지털 전환을 크게 다섯 가지 차원(dimension)에서 보도록 조언하고 있다[2-3]. 이 다섯 가지 차원(dimension)은 고객, 경쟁, 데이터, 혁신, 가치인데, 여기서 데이터는 나머지 네 가지 차원에서 일어나는 디지털 전환 활동의 연료가 된다는 점에서 중요하다. 이렇게 다섯 가지 차원에서 일어나는 디지털 전환의 연료인 데이터를 생산, 가공하고 소비하는 기술로서 빅데이터 기술, 사이버 물리 시스템 기술과 체계는 디지털 전환의 신경계로서 역할을 하게 된다. 이런 사례 중 대표격인 버버리와 제너럴 일렉트릭의 디지털 전환 사례를 지난 마흔 여덟 번째 글에서 같이 살펴보면서 이 사례들이 주는 교훈에 대해서 생각해 보았다. 위 다섯 가지 차원과 함께 디지털 전환을 이끄는 중요한 요소로서 필자는 이번 글에서 “예측 분석(Predictive Analytics)”과 “미래 연구(Future Forecasting)”에 대해서 살펴보려고 한다.    데이터를 이용한 과학적인 의사 결정을 적극적으로 수용하고, 이를 사이버 물리 시스템과 인프라로 자동화하여 비즈니스의 기민성과 확장성(scalability)을 높이는 디지털 전환이 되기 위해서는, 디지털 전환의 신경계가 적시, 적소에 배치되고 동작할 수 있도록 하는 기민하고 효과적인 의사 결정, 계획 과정이 필요하게 된다. 예측 분석과 미래 연구는 이렇게 사이버 물리 시스템 기반 지능형 서비스 비즈니...

2021.01.26

김진철의 How-to-Big Data | CPS와 Digital Transformation (1)

필자가 데이터 과학자로서 경력을 시작하게 된 계기가 된 유럽 입자 물리학 연구소(European Organization of Nuclear Research(Conseil Européenne pour la Recherche Nucléaire); CERN)의 대형 강입자 가속기(The Large Hadron Collider; LHC) CMS 실험의 빅데이터 경험을 바탕으로 이 How-to-Big Data 연재를 해온 것도 벌써 4년이 다 되었다. 빅데이터라는 말이 본격적으로 나타나기 한참 전부터 데이터 과학자로서, 빅데이터 전문가로서 빅데이터를 다루면서 느껴왔던 생각들과 통찰, 교훈을 관련 업계에서 일하시는 분들과 나누기 위해 시작한 연재가 벌써 4년간 지속되고 있는 것을 보면서 필자가 그간 경험하고 생각했던 것들이 참 다양하고 많았다는 것을 다시 느끼게 된다.   필자가 본 연재를 준비하고 집필하면서 독자분들에게 가장 전달하고 싶었던 메시지 중의 하나는 빅데이터를 잘 활용하여 빅데이터 비즈니스를 성공시키려면 빅데이터 기술을 잘 알고 활용하는 것만으로는 부족하다는 것이다.  이런 필자의 생각은 How-to-Big Data 연재가 어떤 내용으로 구성될 것인지 소개했던 연재의 첫 번째 글부터 분명하게 드러나 있다[2]. 당시 빅데이터 트렌드를 주도하고 있던 아파치 하둡(Apache Hadoop)에 대한 과도한 기대, 이런 지나친 관심이 일으키고 있던 빅데이터 비즈니스와 데이터 과학에의 편견과 오해를 조금이나마 바로잡고, 빅데이터와 데이터 과학이 비즈니스에 줄 수 있는 진정한 가치에 대해서 다시 생각해보고자 했던 의도가 얼마나 달성되었는지 모르겠다. 4년이 된 지금 시점에서 첫 번째 글을 썼을 때의 초심을 돌이켜보게 만드는 주제로 돌아가 보려고 한다. 빅데이터와 사이버 물리 시스템이 미래 비즈니스 변화의 동력으로서 자리 잡아 가는 과정을 표현하는 말로서, 그리고 빅데이터와 사이버 물리 시스템을 바탕으로 데이터 기반 비즈니스가 일반 회사들의...

김진철 빅데이터 디지털 트랜스포메이션 데이터 과학자 버버리 GM 디지털 전환 구글 아마존 페이스북 애플 에어비앤비 우버 사물인터넷 제조업 플랫폼 비즈니스 사이버 물리 시스템

2020.12.28

필자가 데이터 과학자로서 경력을 시작하게 된 계기가 된 유럽 입자 물리학 연구소(European Organization of Nuclear Research(Conseil Européenne pour la Recherche Nucléaire); CERN)의 대형 강입자 가속기(The Large Hadron Collider; LHC) CMS 실험의 빅데이터 경험을 바탕으로 이 How-to-Big Data 연재를 해온 것도 벌써 4년이 다 되었다. 빅데이터라는 말이 본격적으로 나타나기 한참 전부터 데이터 과학자로서, 빅데이터 전문가로서 빅데이터를 다루면서 느껴왔던 생각들과 통찰, 교훈을 관련 업계에서 일하시는 분들과 나누기 위해 시작한 연재가 벌써 4년간 지속되고 있는 것을 보면서 필자가 그간 경험하고 생각했던 것들이 참 다양하고 많았다는 것을 다시 느끼게 된다.   필자가 본 연재를 준비하고 집필하면서 독자분들에게 가장 전달하고 싶었던 메시지 중의 하나는 빅데이터를 잘 활용하여 빅데이터 비즈니스를 성공시키려면 빅데이터 기술을 잘 알고 활용하는 것만으로는 부족하다는 것이다.  이런 필자의 생각은 How-to-Big Data 연재가 어떤 내용으로 구성될 것인지 소개했던 연재의 첫 번째 글부터 분명하게 드러나 있다[2]. 당시 빅데이터 트렌드를 주도하고 있던 아파치 하둡(Apache Hadoop)에 대한 과도한 기대, 이런 지나친 관심이 일으키고 있던 빅데이터 비즈니스와 데이터 과학에의 편견과 오해를 조금이나마 바로잡고, 빅데이터와 데이터 과학이 비즈니스에 줄 수 있는 진정한 가치에 대해서 다시 생각해보고자 했던 의도가 얼마나 달성되었는지 모르겠다. 4년이 된 지금 시점에서 첫 번째 글을 썼을 때의 초심을 돌이켜보게 만드는 주제로 돌아가 보려고 한다. 빅데이터와 사이버 물리 시스템이 미래 비즈니스 변화의 동력으로서 자리 잡아 가는 과정을 표현하는 말로서, 그리고 빅데이터와 사이버 물리 시스템을 바탕으로 데이터 기반 비즈니스가 일반 회사들의...

2020.12.28

김진철의 How-to-Big Data | 빅데이터의 미래 (13)

지난 서른다섯 번째 글에서 빅데이터 현상이 왜 일어나는지 같이 생각해본 바 있다. 빅데이터 현상은 사실 컴퓨터의 컴퓨팅 능력의 한계가 데이터 처리의 수요와 요구사항을 따라잡지 못하기 때문에 나타나는 현상이며, 결국 컴퓨터 기술 발전의 역사는 빅데이터 문제를 극복하는 과정의 역사라고 볼 수 있다고 설명하였다. 최근의 빅데이터 붐을 일으킨 것은 아파치 하둡(Apache Hadoop)으로 대표되는 빅데이터 병렬 처리 소프트웨어 기술들이 중심이기는 했지만, 사실 빅데이터 비즈니스에 관련된 기술과 비즈니스 요소들은 생각보다 광범위하고 다양하다는 것도 지금까지 How-to-Big Data 시리즈를 통해서 설명해왔다. 지난 서른여섯 번째 글에서 빅데이터 트렌드의 미래로서 사이버 물리 시스템(Cyber-Physical System)으로 표현할 수 있는 지능형 인프라와 서비스를 제시하였고, 이 사이버 물리 시스템을 구성하는 다양한 기술들의 역할과 미래의 가능성에 대해 지금까지 열두 편의 글을 통해 소개하였다.    그렇지만 지금까지 사이버 물리 시스템과 클라우드 컴퓨팅, 5G를 비롯한 미래 통신 기술과 사물인터넷(IoT), 인공지능 기술과의 관계를 살펴보는 과정에서 정작 좁은 의미의 빅데이터 기술과 사이버 물리 시스템의 관계에 대해서는 깊게 언급하지 않았다. 이번 글에서는 사이버 물리 시스템을 위한 빅데이터 소프트웨어 기술이 어떻게 발전하게 될지 같이 생각해보았으면 한다. 아파치 하둡(Apache Hadoop)과 아파치 스파크(Apache Spark)의 뒤를 잇는 기술로 어떤 기술이 나타날 것인지 예측하지는 못하겠지만 이들 아파치 하둡(Apache Hadoop)과 아파치 스파크(Apache Spark)의 뒤를 잇는 빅데이터 기술이 어떤 기술과 트렌드의 영향을 받아 변화할 수 있을 것인지는 간단하게 살펴볼 수 있다. 이런 관점에서 빅데이터 소프트웨어 기술의 발전에 직접적인 영향을 줄 수 있는 주요 트렌드가 빅데이터 소프트웨어 기술에 어떤 변화를 줄...

김진철 빅데이터 아파치 하둡 사이버 물리 시스템 지능형 인프라 사물인터넷 인공지능 아파치 스파크 메모리 클라우드 네이티브 프로그래밍 양자 컴퓨팅 데이터 과학 함수형 프로그래밍

2020.11.27

지난 서른다섯 번째 글에서 빅데이터 현상이 왜 일어나는지 같이 생각해본 바 있다. 빅데이터 현상은 사실 컴퓨터의 컴퓨팅 능력의 한계가 데이터 처리의 수요와 요구사항을 따라잡지 못하기 때문에 나타나는 현상이며, 결국 컴퓨터 기술 발전의 역사는 빅데이터 문제를 극복하는 과정의 역사라고 볼 수 있다고 설명하였다. 최근의 빅데이터 붐을 일으킨 것은 아파치 하둡(Apache Hadoop)으로 대표되는 빅데이터 병렬 처리 소프트웨어 기술들이 중심이기는 했지만, 사실 빅데이터 비즈니스에 관련된 기술과 비즈니스 요소들은 생각보다 광범위하고 다양하다는 것도 지금까지 How-to-Big Data 시리즈를 통해서 설명해왔다. 지난 서른여섯 번째 글에서 빅데이터 트렌드의 미래로서 사이버 물리 시스템(Cyber-Physical System)으로 표현할 수 있는 지능형 인프라와 서비스를 제시하였고, 이 사이버 물리 시스템을 구성하는 다양한 기술들의 역할과 미래의 가능성에 대해 지금까지 열두 편의 글을 통해 소개하였다.    그렇지만 지금까지 사이버 물리 시스템과 클라우드 컴퓨팅, 5G를 비롯한 미래 통신 기술과 사물인터넷(IoT), 인공지능 기술과의 관계를 살펴보는 과정에서 정작 좁은 의미의 빅데이터 기술과 사이버 물리 시스템의 관계에 대해서는 깊게 언급하지 않았다. 이번 글에서는 사이버 물리 시스템을 위한 빅데이터 소프트웨어 기술이 어떻게 발전하게 될지 같이 생각해보았으면 한다. 아파치 하둡(Apache Hadoop)과 아파치 스파크(Apache Spark)의 뒤를 잇는 기술로 어떤 기술이 나타날 것인지 예측하지는 못하겠지만 이들 아파치 하둡(Apache Hadoop)과 아파치 스파크(Apache Spark)의 뒤를 잇는 빅데이터 기술이 어떤 기술과 트렌드의 영향을 받아 변화할 수 있을 것인지는 간단하게 살펴볼 수 있다. 이런 관점에서 빅데이터 소프트웨어 기술의 발전에 직접적인 영향을 줄 수 있는 주요 트렌드가 빅데이터 소프트웨어 기술에 어떤 변화를 줄...

2020.11.27

김진철의 How-to-Big Data | 빅데이터의 미래 (11)

지난 글에서는 정부가 1조 94억 원의 대규모 예산을 투입해서 앞으로 10년간 개발한다고 하는 PIM 방식의 인공지능 반도체 기술이 어떤 것인지, 왜 이 인공지능 반도체 기술이 중요한지 기술적인 측면에서 같이 살펴보았다. 지난 글에서도 언급했듯이, PIM 방식의 인공지능 반도체 기술은 그 자체로는 인공지능 기술이 아니며, 현재 인공지능 모델에서 가장 많이 사용되는 연산인 그래프 연산과 텐서 연산의 성능 향상과 가속에 효과적인 프로세서라고 소개했다. 대규모 그래프 연산과 텐서 연산에 효과적인 아키텍처로서 채택된 “프로세서-인-메모리(Processor-In-Memory)” 아키텍처는 실제 연산을 수행하는 프로세서 코어들을 하나의 프로세서에 가능한 한 많이 집적하면서도, 딥러닝 같은 기계 학습 알고리즘의 학습(training)과 추론(inference)을 수행할 때 대용량 데이터들이 프로세서 코어 사이에서 원활하게 교환될 수 있도록 메모리 타일 위에 프로세서 코어를 배치한다. 이렇게 배치된 이 프로세서-메모리 타일 간에 격자 형태로 고대역폭 데이터 교환 패브릭을 배치하여 어떤 프로세서 코어 사이에도 프로세서 코어 간 대칭적으로 데이터 교환이 가능하게끔 만든 아키텍처이다.   이 PIM 방식의 인공지능 프로세서로 최근 가장 유망하게 떠오르고 있는 두 가지의 인공지능 프로세서 제품을 살펴보았다. 그래프코어(Graphcore)사의 IPU(Intelligence Processing Unit; IPU)는 그래프 형태로 기술된 연산을 병렬로 처리하기에 최적화된 아키텍처를 가지고 있으며, 인공지능뿐만 아닌 그래프 빅데이터의 처리에도 적합한 아키텍처를 가지고 있다. 그래프코어사의 IPU와 이를 탑재하는 서버인 델(Dell)의 DSS8440 서버, 포플라(Poplar) 그래프 컴퓨팅 소프트웨어 스택이 한데 어우러져 인공지능과 빅데이터 연산에 최적화된 솔루션을 제공할 수 있도록 기술이 구성되어 있다고 소개했다. 그래프코어(Graphcore)사의 IPU와 함께 ...

김진철 빅데이터 인공지능 머신러닝 딥러닝 파이토치 텐서플로우 요슈아 벤지오 신견망 페이스북 구글

2020.09.28

지난 글에서는 정부가 1조 94억 원의 대규모 예산을 투입해서 앞으로 10년간 개발한다고 하는 PIM 방식의 인공지능 반도체 기술이 어떤 것인지, 왜 이 인공지능 반도체 기술이 중요한지 기술적인 측면에서 같이 살펴보았다. 지난 글에서도 언급했듯이, PIM 방식의 인공지능 반도체 기술은 그 자체로는 인공지능 기술이 아니며, 현재 인공지능 모델에서 가장 많이 사용되는 연산인 그래프 연산과 텐서 연산의 성능 향상과 가속에 효과적인 프로세서라고 소개했다. 대규모 그래프 연산과 텐서 연산에 효과적인 아키텍처로서 채택된 “프로세서-인-메모리(Processor-In-Memory)” 아키텍처는 실제 연산을 수행하는 프로세서 코어들을 하나의 프로세서에 가능한 한 많이 집적하면서도, 딥러닝 같은 기계 학습 알고리즘의 학습(training)과 추론(inference)을 수행할 때 대용량 데이터들이 프로세서 코어 사이에서 원활하게 교환될 수 있도록 메모리 타일 위에 프로세서 코어를 배치한다. 이렇게 배치된 이 프로세서-메모리 타일 간에 격자 형태로 고대역폭 데이터 교환 패브릭을 배치하여 어떤 프로세서 코어 사이에도 프로세서 코어 간 대칭적으로 데이터 교환이 가능하게끔 만든 아키텍처이다.   이 PIM 방식의 인공지능 프로세서로 최근 가장 유망하게 떠오르고 있는 두 가지의 인공지능 프로세서 제품을 살펴보았다. 그래프코어(Graphcore)사의 IPU(Intelligence Processing Unit; IPU)는 그래프 형태로 기술된 연산을 병렬로 처리하기에 최적화된 아키텍처를 가지고 있으며, 인공지능뿐만 아닌 그래프 빅데이터의 처리에도 적합한 아키텍처를 가지고 있다. 그래프코어사의 IPU와 이를 탑재하는 서버인 델(Dell)의 DSS8440 서버, 포플라(Poplar) 그래프 컴퓨팅 소프트웨어 스택이 한데 어우러져 인공지능과 빅데이터 연산에 최적화된 솔루션을 제공할 수 있도록 기술이 구성되어 있다고 소개했다. 그래프코어(Graphcore)사의 IPU와 함께 ...

2020.09.28

김진철의 How-to-Big Data | 빅데이터의 미래 (9)

지난 서른다섯 번째 글부터는 빅데이터 비즈니스와 기술의 미래를 현재 기술들의 동향과 전망을 가지고 같이 엿보고 있다. 빅데이터 비즈니스와 기술의 미래로서, 사이버 물리 시스템(CPS)으로 발전해가는 미래 정보통신 기술과 지능형 서비스의 미래를 소개하였고, 앞으로의 빅데이터 비즈니스와 기술의 발전은 이 사이버 물리 시스템(CPS)으로 구현되는 다양한 지능형 서비스들을 중심으로 이루어질 것이라고 설명하였다. 이와 함께, 이 사이버 물리 시스템(CPS)의 기반이 되는 다양한 기술들의 현재와 미래, 이들의 사이버 물리 시스템과의 관련성에 대해서 살펴보고 있다. 지금까지 클라우드 컴퓨팅 기술, 5G 이동통신과 모바일 에지 컴퓨팅으로 대표되는 미래 통신 기술, 사물인터넷(IoT)과 에지 컴퓨팅 기술들이 어떻게 사이버 물리 시스템(CPS) 기반의 지능형 서비스와 관련이 있는지 같이 살펴보았다.   인공지능 기술에 대한 우리들의 오해 (1) – 지나친 낙관론과 과대평가 이번 글부터 두, 세 편의 글에서는 사이버 물리 시스템(CPS) 기반 지능형 서비스의 가장 핵심이 될 것으로 보이는 인공지능 기술의 현재와 미래, 전망에 대해서 같이 살펴보고자 한다. 우리나라 대기업들이 앞다투어 인공지능 기술에 대한 대규모 투자 계획을 발표하고 있고, 우리나라 정부를 포함한 세계 각국 정부들도 인공지능 기술 경쟁에서 앞서 나가기 위해 다양한 계획들을 발표하고 있는 현 상황에서 과연 이런 인공지능 기술에 대한 열기가 기대하는 만큼의 물질적인 번영과 부를 가져다줄 수 있을지, 그렇다면 어느 정도로 광범위하고 다양하게 우리 사회에 영향을 끼칠지 같이 생각해보는 시간을 가지려고 한다. 2016년 1월 “알파고(AlphaGo)”가 이세돌 9단을 이긴 사건을 계기로 최근 5년간은 IT 기술 매체의 많은 지면과 영역을 인공지능 관련 기술들에 관한 내용이 채워왔다. “알파고”를 만든 구글의 “딥마인드(DeepMind)”는 여전히 수익을 내지 못하고 2019년 8월 기준으로 1조 5천억 원이 ...

김진철 빅데이터 빅데이터 비즈니스 인공지능 사이버 물리 시스템 지능형 서비스 텐서플로우 파이토치 딥러닝 머신러닝 기계학습 알파고 딥마인드 이세돌 우버 튜링테스트 시냅스 신경망 에어플로우 쿠브플로우 폰 노이만 반도체 4차 산업혁명

2020.07.27

지난 서른다섯 번째 글부터는 빅데이터 비즈니스와 기술의 미래를 현재 기술들의 동향과 전망을 가지고 같이 엿보고 있다. 빅데이터 비즈니스와 기술의 미래로서, 사이버 물리 시스템(CPS)으로 발전해가는 미래 정보통신 기술과 지능형 서비스의 미래를 소개하였고, 앞으로의 빅데이터 비즈니스와 기술의 발전은 이 사이버 물리 시스템(CPS)으로 구현되는 다양한 지능형 서비스들을 중심으로 이루어질 것이라고 설명하였다. 이와 함께, 이 사이버 물리 시스템(CPS)의 기반이 되는 다양한 기술들의 현재와 미래, 이들의 사이버 물리 시스템과의 관련성에 대해서 살펴보고 있다. 지금까지 클라우드 컴퓨팅 기술, 5G 이동통신과 모바일 에지 컴퓨팅으로 대표되는 미래 통신 기술, 사물인터넷(IoT)과 에지 컴퓨팅 기술들이 어떻게 사이버 물리 시스템(CPS) 기반의 지능형 서비스와 관련이 있는지 같이 살펴보았다.   인공지능 기술에 대한 우리들의 오해 (1) – 지나친 낙관론과 과대평가 이번 글부터 두, 세 편의 글에서는 사이버 물리 시스템(CPS) 기반 지능형 서비스의 가장 핵심이 될 것으로 보이는 인공지능 기술의 현재와 미래, 전망에 대해서 같이 살펴보고자 한다. 우리나라 대기업들이 앞다투어 인공지능 기술에 대한 대규모 투자 계획을 발표하고 있고, 우리나라 정부를 포함한 세계 각국 정부들도 인공지능 기술 경쟁에서 앞서 나가기 위해 다양한 계획들을 발표하고 있는 현 상황에서 과연 이런 인공지능 기술에 대한 열기가 기대하는 만큼의 물질적인 번영과 부를 가져다줄 수 있을지, 그렇다면 어느 정도로 광범위하고 다양하게 우리 사회에 영향을 끼칠지 같이 생각해보는 시간을 가지려고 한다. 2016년 1월 “알파고(AlphaGo)”가 이세돌 9단을 이긴 사건을 계기로 최근 5년간은 IT 기술 매체의 많은 지면과 영역을 인공지능 관련 기술들에 관한 내용이 채워왔다. “알파고”를 만든 구글의 “딥마인드(DeepMind)”는 여전히 수익을 내지 못하고 2019년 8월 기준으로 1조 5천억 원이 ...

2020.07.27

김진철의 How-to-Big Data | 빅데이터의 미래 (8)

지난 마흔 한 번째 글에서 사물인터넷(IoT)이 예전에 비슷한 의미로 등장했던 용어인 유비쿼터스 센서 네트워크(Ubiquitous Sensor Network; USN)와 사물지능통신(M2M)과 다른 점을 살펴보면서 사물인터넷(IoT)의 정확한 의미와 영역을 구분해보려고 노력하였다. 사물인터넷(IoT)이 사이버 물리 시스템(Cyber-Physical System)과 다른 점을 살펴보면서 인터넷 기반 사이버 물리 시스템과 이를 이용한 지능형 서비스에서 어떤 역할을 하게 될지 같이 생각해보았다. 사물인터넷(IoT)이 확산되면서, 사물인터넷(IoT)으로 연결되는 사물들의 지능을 높이는 기술로서 에지 컴퓨팅(Edge computing)의 중요성과 의미를 같이 살펴보았다. 모바일 에지 컴퓨팅(Mobile Edge Computing; MEC)은 5G와 5G 이후의 이동통신 기술에서 저지연(low latency) 서비스를 지원하기 위한 컴퓨팅 인프라 및 서비스로서 이동성(mobility)을 제공하는 점이 에지 컴퓨팅과 다르다고 강조하였다.  에지 컴퓨팅(Edge computing)은 모바일 에지 컴퓨팅과 같은 인프라 기술이라기보다는 사물인터넷(IoT)을 통해 인터넷으로 연결된 지능형 서비스 생태계에서 에지 네트워크 영역에 위치하게 되는 사물들이 고성능 임베디드 컴퓨터와 소형화된 통신 하드웨어의 덕으로 지능화되면서 실시간 고성능, 분산 병렬 컴퓨팅 시스템으로 발전하는 경향을 표현하는 말이라고 설명하였다. 이번 글에서는 사물인터넷(IoT), 에지 컴퓨팅(Edge computing) 사례를 같이 살펴보면서, 사물인터넷(IoT)과 에지 컴퓨팅(Edge computing)이 사이버 물리 시스템과 미래 빅데이터 비즈니스의 발전에 어떻게 영향을 미치고 있는지 좀 더 구체적으로 같이 생각해보려고 한다. 사이버 물리 시스템, 빅데이터, IoT의 미래를 보여주는 최신 동향(1) – 스마트 카메라  지난 마흔 번째, 마흔 한 번째 글에서 살펴본 것같이 초광대역(eMBB...

CIO 빅데이터 데이터 과학자 김진철 사물인터넷 인공지능 사물지능통신 M2M 5G 에지 컴퓨팅 유비쿼터스 센서 네트워크 액추에이터 엔비디어 스마트 카메라 구글 슈퍼 레졸루션 기술 DNA 시퀀서 GAFA 페이스북 애플 아마존 클라우드 에지 네트워크

2020.06.30

지난 마흔 한 번째 글에서 사물인터넷(IoT)이 예전에 비슷한 의미로 등장했던 용어인 유비쿼터스 센서 네트워크(Ubiquitous Sensor Network; USN)와 사물지능통신(M2M)과 다른 점을 살펴보면서 사물인터넷(IoT)의 정확한 의미와 영역을 구분해보려고 노력하였다. 사물인터넷(IoT)이 사이버 물리 시스템(Cyber-Physical System)과 다른 점을 살펴보면서 인터넷 기반 사이버 물리 시스템과 이를 이용한 지능형 서비스에서 어떤 역할을 하게 될지 같이 생각해보았다. 사물인터넷(IoT)이 확산되면서, 사물인터넷(IoT)으로 연결되는 사물들의 지능을 높이는 기술로서 에지 컴퓨팅(Edge computing)의 중요성과 의미를 같이 살펴보았다. 모바일 에지 컴퓨팅(Mobile Edge Computing; MEC)은 5G와 5G 이후의 이동통신 기술에서 저지연(low latency) 서비스를 지원하기 위한 컴퓨팅 인프라 및 서비스로서 이동성(mobility)을 제공하는 점이 에지 컴퓨팅과 다르다고 강조하였다.  에지 컴퓨팅(Edge computing)은 모바일 에지 컴퓨팅과 같은 인프라 기술이라기보다는 사물인터넷(IoT)을 통해 인터넷으로 연결된 지능형 서비스 생태계에서 에지 네트워크 영역에 위치하게 되는 사물들이 고성능 임베디드 컴퓨터와 소형화된 통신 하드웨어의 덕으로 지능화되면서 실시간 고성능, 분산 병렬 컴퓨팅 시스템으로 발전하는 경향을 표현하는 말이라고 설명하였다. 이번 글에서는 사물인터넷(IoT), 에지 컴퓨팅(Edge computing) 사례를 같이 살펴보면서, 사물인터넷(IoT)과 에지 컴퓨팅(Edge computing)이 사이버 물리 시스템과 미래 빅데이터 비즈니스의 발전에 어떻게 영향을 미치고 있는지 좀 더 구체적으로 같이 생각해보려고 한다. 사이버 물리 시스템, 빅데이터, IoT의 미래를 보여주는 최신 동향(1) – 스마트 카메라  지난 마흔 번째, 마흔 한 번째 글에서 살펴본 것같이 초광대역(eMBB...

2020.06.30

김진철의 How-to-Big Data | 빅데이터의 미래 (7)

사물인터넷의 확장으로서 사이버 물리 시스템 앞서 마흔 번째 글에서 설명하였듯이, 5G 및 5G 이후의 미래 이동통신 기술이 과거의 이동통신 기술과 다른 가장 큰 차이점은 사람 사이의 통신을 위한 서비스보다 사물과 사람, 사물과 사물 간 통신을 위한 서비스와 기술 향상의 비중이 크게 늘었다는 것이다. 5G 이동통신부터는 사물 간 통신을 이용한 서비스와 상품들의 등장이 본격화되면서 지능형 사이버 물리 시스템이 사회 곳곳에 확산되어 사회 인프라 전반이 지능화될 것이라고 설명하였다. 이번 글에서는 사물 간 통신을 위한 사물인터넷(Internet of Things; IoT)과 사물의 지능을 높이는 기술인 에지 컴퓨팅(Edge computing) 기술이 사이버 물리 시스템(Cyber-Physical Systems)과 빅데이터 기술의 발전에 어떻게 관련되어 앞으로 영향을 줄 것인지 같이 생각해보도록 하자. 사물인터넷과 에지 컴퓨팅 기술은 사이버 물리 시스템의 가장 외곽, 또는 최전방에서 사용자와 직접 접하는 기술이기 때문에 사이버 물리 시스템의 발전으로 나타나는 변화를 사용자가 가장 쉽게 체감하게 할 기술 영역이 될 것이다. 이와 함께, 다른 기술들에 비해서 상대적으로 적은 자원과 비용, 시간을 필요로 하는 기술 영역이라 새로운 상품과 비즈니스 기회를 발견하기에 용이하여 앞으로 사이버 물리 시스템의 발전을 체감하는데 가장 큰 영향을 줄 기술 영역이다. 먼저, 사물인터넷(IoT)이 사이버 물리 시스템과 어떤 관련이 있는지 같이 살펴보자. 이를 위해서는 사물인터넷과 관련된 개념과 역사를 조금 살펴볼 필요가 있다.  사물인터넷이라는 용어는 1999년 프록터 앤드 갬블(Procter & Gamble(P&G))에서 브랜드 매니저로 근무하던 케빈 애쉬턴(Kevin Ashton)에 의해서 처음으로 사용되기 시작하였다[2]. 그가 이 용어를 사용하기 시작했던 초반에는 과거 유사한 개념의 말로 많이 쓰였던 유비쿼터스 센서 네트워크(Ubiquitous Senso...

CIO 빅데이터 데이터 과학자 김진철 사물인터넷 인공지능 증강현실 가상현실 사물지능통신 M2M 5G 퀄컴 유비쿼터스 센서 네트워크 USN 가상사설망 VPN 액추에이터 엔비디아 커넥티드 자동차 셀룰러 차량 통신 C-V2X 지능형 교통 체계 Intelligent Transportation System ITS

2020.05.27

사물인터넷의 확장으로서 사이버 물리 시스템 앞서 마흔 번째 글에서 설명하였듯이, 5G 및 5G 이후의 미래 이동통신 기술이 과거의 이동통신 기술과 다른 가장 큰 차이점은 사람 사이의 통신을 위한 서비스보다 사물과 사람, 사물과 사물 간 통신을 위한 서비스와 기술 향상의 비중이 크게 늘었다는 것이다. 5G 이동통신부터는 사물 간 통신을 이용한 서비스와 상품들의 등장이 본격화되면서 지능형 사이버 물리 시스템이 사회 곳곳에 확산되어 사회 인프라 전반이 지능화될 것이라고 설명하였다. 이번 글에서는 사물 간 통신을 위한 사물인터넷(Internet of Things; IoT)과 사물의 지능을 높이는 기술인 에지 컴퓨팅(Edge computing) 기술이 사이버 물리 시스템(Cyber-Physical Systems)과 빅데이터 기술의 발전에 어떻게 관련되어 앞으로 영향을 줄 것인지 같이 생각해보도록 하자. 사물인터넷과 에지 컴퓨팅 기술은 사이버 물리 시스템의 가장 외곽, 또는 최전방에서 사용자와 직접 접하는 기술이기 때문에 사이버 물리 시스템의 발전으로 나타나는 변화를 사용자가 가장 쉽게 체감하게 할 기술 영역이 될 것이다. 이와 함께, 다른 기술들에 비해서 상대적으로 적은 자원과 비용, 시간을 필요로 하는 기술 영역이라 새로운 상품과 비즈니스 기회를 발견하기에 용이하여 앞으로 사이버 물리 시스템의 발전을 체감하는데 가장 큰 영향을 줄 기술 영역이다. 먼저, 사물인터넷(IoT)이 사이버 물리 시스템과 어떤 관련이 있는지 같이 살펴보자. 이를 위해서는 사물인터넷과 관련된 개념과 역사를 조금 살펴볼 필요가 있다.  사물인터넷이라는 용어는 1999년 프록터 앤드 갬블(Procter & Gamble(P&G))에서 브랜드 매니저로 근무하던 케빈 애쉬턴(Kevin Ashton)에 의해서 처음으로 사용되기 시작하였다[2]. 그가 이 용어를 사용하기 시작했던 초반에는 과거 유사한 개념의 말로 많이 쓰였던 유비쿼터스 센서 네트워크(Ubiquitous Senso...

2020.05.27

김진철의 How-to-Big Data | 빅데이터의 미래 (6)

5G 이동통신 기술과 사이버 물리 시스템 지난 서른다섯 번째 글에서, 앞으로 빅데이터, 사이버 물리 시스템 기술 발전에 가장 큰 영향을 미칠 기술로 미래의 유무선 통신 기술을 든 바 있다[2]. 유선 네트워크 기술은 곧 테라비피에스(Tbps)급 네트워크 기술이 확산될 것으로 보이고, 무선 네트워크 및 이동통신 기술에서도 100Gbps에서 1Tbps에 이르는 고대역폭 무선 통신과 1ms 이하의 초저지연 무선 통신 기술이 머지않아 상용화될 것이라고 언급한 바 있다[2]. 지난 서른일곱 번째 글에서는 차세대 이동통신 기술에서 클라우드 컴퓨팅 기술이 수용되면서 나타나는 중요한 변화로 “네트워크 기능 가상화(Network Function Virtualization)”와 “네트워크 슬라이싱(Network Slicing)”을 통한 이동통신 자원의 멀티테넌시 지원, 지능형 이동통신 인프라 운영,  제어를 위한 “네트워크 데이터 분석 기능(NetWork Data Analytics Function; NWDAF)”에 대해서도 소개한 바 있다. 그리고, 차세대 이동통신 기술에서 도입되는 이들 클라우드 컴퓨팅 기술이 사이버 물리 시스템에서 왜 중요한지 V2X 통신 및 커넥티드 자율주행차의 예를 들어서 간단하게 소개하였다[3]. 네트워크 인프라를 위한 클라우드 컴퓨팅 기술이 워낙 중요하다 보니 사이버 물리 시스템과 클라우드 컴퓨팅과의 관계를 살펴보는 이전 서른일곱 번째 글에서 꽤 자세하게 소개한 바 있다. 이번 글에서도 같은 내용을 또 다루게 될 텐데, 이번 글에서는 클라우드 컴퓨팅의 관점이 아닌 미래 통신기술의 맥락에서 좀더 다루어 보려고 한다. 글 내용이 다소 중복될 수 있지만, 빅데이터의 미래를 생각하는 데 미래 통신 기술의 역할을 빼놓을 수 없고, 미래 통신 기술의 발전에 클라우드 컴퓨팅 기술이 중요한 역할을 하고 있기 때문에 다른 맥락에서 다시 한번 살펴보는 과정이 필요하니, 글이 다소 지루해지더라도 독자 여러분들께서 넓은 마음으로 양해해주시길 바란다. 2019...

CIO MANO 김진철 네트워크 기능 가상화 홀로그램 NFV 리눅스 사물인터넷 5G 인공지능 LTE 데이터 과학자 증강현실 가상현실 오픈스택 빅데이터 운영 관리 자동화 및 오케스트레이션

2020.04.27

5G 이동통신 기술과 사이버 물리 시스템 지난 서른다섯 번째 글에서, 앞으로 빅데이터, 사이버 물리 시스템 기술 발전에 가장 큰 영향을 미칠 기술로 미래의 유무선 통신 기술을 든 바 있다[2]. 유선 네트워크 기술은 곧 테라비피에스(Tbps)급 네트워크 기술이 확산될 것으로 보이고, 무선 네트워크 및 이동통신 기술에서도 100Gbps에서 1Tbps에 이르는 고대역폭 무선 통신과 1ms 이하의 초저지연 무선 통신 기술이 머지않아 상용화될 것이라고 언급한 바 있다[2]. 지난 서른일곱 번째 글에서는 차세대 이동통신 기술에서 클라우드 컴퓨팅 기술이 수용되면서 나타나는 중요한 변화로 “네트워크 기능 가상화(Network Function Virtualization)”와 “네트워크 슬라이싱(Network Slicing)”을 통한 이동통신 자원의 멀티테넌시 지원, 지능형 이동통신 인프라 운영,  제어를 위한 “네트워크 데이터 분석 기능(NetWork Data Analytics Function; NWDAF)”에 대해서도 소개한 바 있다. 그리고, 차세대 이동통신 기술에서 도입되는 이들 클라우드 컴퓨팅 기술이 사이버 물리 시스템에서 왜 중요한지 V2X 통신 및 커넥티드 자율주행차의 예를 들어서 간단하게 소개하였다[3]. 네트워크 인프라를 위한 클라우드 컴퓨팅 기술이 워낙 중요하다 보니 사이버 물리 시스템과 클라우드 컴퓨팅과의 관계를 살펴보는 이전 서른일곱 번째 글에서 꽤 자세하게 소개한 바 있다. 이번 글에서도 같은 내용을 또 다루게 될 텐데, 이번 글에서는 클라우드 컴퓨팅의 관점이 아닌 미래 통신기술의 맥락에서 좀더 다루어 보려고 한다. 글 내용이 다소 중복될 수 있지만, 빅데이터의 미래를 생각하는 데 미래 통신 기술의 역할을 빼놓을 수 없고, 미래 통신 기술의 발전에 클라우드 컴퓨팅 기술이 중요한 역할을 하고 있기 때문에 다른 맥락에서 다시 한번 살펴보는 과정이 필요하니, 글이 다소 지루해지더라도 독자 여러분들께서 넓은 마음으로 양해해주시길 바란다. 2019...

2020.04.27

김진철의 How-to-Big Data | 빅데이터의 미래 (5)

사이버 물리 시스템의 자원 제어 프로그래밍 모델과 프로그램 환경 클라우드 컴퓨팅이 사이버 물리 시스템의 자원 관리를 위한 운영체제의 역할을 하려면, 이런 운영체제의 자원 관리 기능을 활용할 수 있도록 서비스를 요청하고 제어하는 프로그래밍 인터페이스가 있어야 할 것이다. 지난 서른여덟 번째 글에서 이런 프로그래밍 인터페이스가 오픈스택과 같은 오픈소스 클라우드 컴퓨팅의 발전과, 아마존웹서비스와 마이크로소프트 애저, 구글 클라우드와 같은 주요 클라우드 컴퓨팅 서비스 업체에 의해 산업 표준으로 정의되어 가고, 다양한 클라우드 서비스 제공자와 소프트웨어 간 호환성을 위한 상호운용성 문제가 중요해질 것으로 언급하였다. 클라우드 컴퓨팅의 특성상 네트워크를 통해 원격지에 있는 자원에 접근할 수 있도록 하는 RESTful API와 같은 원격 프로그래밍 인터페이스로 제공될 수밖에 없다. 오픈소스 클라우드 컴퓨팅 소프트웨어인 오픈스택도 모든 API는 RESTful API로 정의되며, 아마존웹서비스와 마이크로소프트 애저, 구글 클라우드와 같은 주요 클라우드 컴퓨팅 서비스 업체의 API도 RESTful API로 정의되어 제공된다.   오픈스택이나 아마존웹서비스의 “아웃포스트(Outposts)”, 마이크로소프트의 “애저스택(Azure Stack)”등을 통해 구축되는 사설 클라우드(private cloud)와 아마존웹서비스와 마이크로소프트 애저, 구글 클라우드와 같은 공용 클라우드(public cloud) 서비스에서 사용가능한 프로그래밍 인터페이스가 현재 클라우드 컴퓨팅의 프로그래밍 모델을 제공하고 있다. 오픈스택이 클라우드 컴퓨팅 분야에서 가장 크게 공헌한 것이 바로 이런 클라우드 컴퓨팅 프로그래밍 모델과 인터페이스에 대해 구체적인 산업계의 합의를 이룰 수 있는 기반이 되었다는 점이다. 오픈스택에서 정의한 프로그래밍 모델과 인터페이스가 실제 기술로서 구현되기 위해 클라우드 컴퓨팅 시스템 내부에서 어떤 방식으로 프로그램되어야 하는지 다양한 실험을 구체적으로 시도하고,...

CIO 스칼라 아마존웹서비스 김진철 러스트 애저스택 Ada Nebula 고 언어 분산컴퓨팅 아웃소프트 객체지향 파이썬 구글 자바 빅데이터 마이크로소프트 AWS 오픈스택 데이터 과학자 모질라 인공지능 네뷸라 에이다

2020.03.26

사이버 물리 시스템의 자원 제어 프로그래밍 모델과 프로그램 환경 클라우드 컴퓨팅이 사이버 물리 시스템의 자원 관리를 위한 운영체제의 역할을 하려면, 이런 운영체제의 자원 관리 기능을 활용할 수 있도록 서비스를 요청하고 제어하는 프로그래밍 인터페이스가 있어야 할 것이다. 지난 서른여덟 번째 글에서 이런 프로그래밍 인터페이스가 오픈스택과 같은 오픈소스 클라우드 컴퓨팅의 발전과, 아마존웹서비스와 마이크로소프트 애저, 구글 클라우드와 같은 주요 클라우드 컴퓨팅 서비스 업체에 의해 산업 표준으로 정의되어 가고, 다양한 클라우드 서비스 제공자와 소프트웨어 간 호환성을 위한 상호운용성 문제가 중요해질 것으로 언급하였다. 클라우드 컴퓨팅의 특성상 네트워크를 통해 원격지에 있는 자원에 접근할 수 있도록 하는 RESTful API와 같은 원격 프로그래밍 인터페이스로 제공될 수밖에 없다. 오픈소스 클라우드 컴퓨팅 소프트웨어인 오픈스택도 모든 API는 RESTful API로 정의되며, 아마존웹서비스와 마이크로소프트 애저, 구글 클라우드와 같은 주요 클라우드 컴퓨팅 서비스 업체의 API도 RESTful API로 정의되어 제공된다.   오픈스택이나 아마존웹서비스의 “아웃포스트(Outposts)”, 마이크로소프트의 “애저스택(Azure Stack)”등을 통해 구축되는 사설 클라우드(private cloud)와 아마존웹서비스와 마이크로소프트 애저, 구글 클라우드와 같은 공용 클라우드(public cloud) 서비스에서 사용가능한 프로그래밍 인터페이스가 현재 클라우드 컴퓨팅의 프로그래밍 모델을 제공하고 있다. 오픈스택이 클라우드 컴퓨팅 분야에서 가장 크게 공헌한 것이 바로 이런 클라우드 컴퓨팅 프로그래밍 모델과 인터페이스에 대해 구체적인 산업계의 합의를 이룰 수 있는 기반이 되었다는 점이다. 오픈스택에서 정의한 프로그래밍 모델과 인터페이스가 실제 기술로서 구현되기 위해 클라우드 컴퓨팅 시스템 내부에서 어떤 방식으로 프로그램되어야 하는지 다양한 실험을 구체적으로 시도하고,...

2020.03.26

김진철의 How-to-Big Data | 빅데이터의 미래 (4)

사이버 물리 시스템과 이종 클라우드 간 상호연동성 지난 서른일곱 번째 글에서, 필자는 앞으로 우리 사회의 인프라가 사이버 물리 시스템으로 개발, 구축되면서, 사이버 물리 시스템으로 구축된 서비스와 인간과의 지능형 고급 상호작용을 위해 필요한 컴퓨팅 자원을 조달하기 위해 공간적으로 넓은 지역에 분포된 컴퓨팅 자원을 조율하고 관리할 수 있는 운영체제로서 클라우드 컴퓨팅 기술을 바라봐야 한다고 언급했었다. 사이버 물리 시스템을 위한 클라우드 컴퓨팅의 기술적인 요건으로서 멀티-클라우드 간 계층적 자원 조율 및 관리, 공용 클라우드(public cloud)와 사설 클라우드(private cloud)에 배치된 사이버 물리 시스템 서비스 간 자원 조율 및 관리를 위한 신뢰성 있는 하이브리드 클라우드 기술, 멀티-클라우드 및 다양한 이종(heterogeneous) 컴퓨팅 자원 간 기능 연동 과정에서 보안이 충분히 보장되면서 자원 활용과 관리를 분리할 수 있는 멀티테넌시(multi-tenancy) 지원 문제가 해결되어야 한다고 소개하였다. 사이버 물리 시스템의 사이버 자원 관리 및 조율을 위해 클라우드 컴퓨팅 시스템 자체가 사이버 물리 시스템화 되어가면서 인공지능 기술과 빅데이터를 활용한 지능형 제어의 개념이 들어오기 시작했다고 또 소개한 바 있다. 사이버 물리 시스템을 위한 미션-크리티컬한 클라우드 컴퓨팅 시스템이 발전해야 할 큰 방향으로 소개했던 위 네 가지 이슈 외에 최근 클라우드 컴퓨팅과 분산 컴퓨팅 기술 발전의 동향이 사이버 물리 시스템을 위한 클라우드 컴퓨팅 발전과 가지는 관련성을 이번 글에서 좀더 얘기해보고자 한다.   먼저 앞서 얘기하였던 멀티-클라우드 간, 이종 자원(heterogeneous resources) 간의 상호운용성(interoperability) 확보를 위한 표준과 인터페이스 정의 문제가 중요해지고 있다. 이런 멀티-클라우드 간, 이종 자원 간 상호연동성 문제는 그리드 컴퓨팅 기술 시절부터 논의되었던 문제이지만 아직도 분명한 해...

빅데이터 도커 마이크로소프트 애저 쿠버네티스 김진철 멀티클라우드 아웃포스트 애저스택 엑살리틱스 어플라이언스 구글 클라우드 하이브리드 클라우드 베어메탈 오픈스택 컨테이너 데이터 과학자 네티자 그린플럼 하이퍼바이저 인공지능 아마존 웹 서비스 오픈 그리드 포럼

2020.02.27

사이버 물리 시스템과 이종 클라우드 간 상호연동성 지난 서른일곱 번째 글에서, 필자는 앞으로 우리 사회의 인프라가 사이버 물리 시스템으로 개발, 구축되면서, 사이버 물리 시스템으로 구축된 서비스와 인간과의 지능형 고급 상호작용을 위해 필요한 컴퓨팅 자원을 조달하기 위해 공간적으로 넓은 지역에 분포된 컴퓨팅 자원을 조율하고 관리할 수 있는 운영체제로서 클라우드 컴퓨팅 기술을 바라봐야 한다고 언급했었다. 사이버 물리 시스템을 위한 클라우드 컴퓨팅의 기술적인 요건으로서 멀티-클라우드 간 계층적 자원 조율 및 관리, 공용 클라우드(public cloud)와 사설 클라우드(private cloud)에 배치된 사이버 물리 시스템 서비스 간 자원 조율 및 관리를 위한 신뢰성 있는 하이브리드 클라우드 기술, 멀티-클라우드 및 다양한 이종(heterogeneous) 컴퓨팅 자원 간 기능 연동 과정에서 보안이 충분히 보장되면서 자원 활용과 관리를 분리할 수 있는 멀티테넌시(multi-tenancy) 지원 문제가 해결되어야 한다고 소개하였다. 사이버 물리 시스템의 사이버 자원 관리 및 조율을 위해 클라우드 컴퓨팅 시스템 자체가 사이버 물리 시스템화 되어가면서 인공지능 기술과 빅데이터를 활용한 지능형 제어의 개념이 들어오기 시작했다고 또 소개한 바 있다. 사이버 물리 시스템을 위한 미션-크리티컬한 클라우드 컴퓨팅 시스템이 발전해야 할 큰 방향으로 소개했던 위 네 가지 이슈 외에 최근 클라우드 컴퓨팅과 분산 컴퓨팅 기술 발전의 동향이 사이버 물리 시스템을 위한 클라우드 컴퓨팅 발전과 가지는 관련성을 이번 글에서 좀더 얘기해보고자 한다.   먼저 앞서 얘기하였던 멀티-클라우드 간, 이종 자원(heterogeneous resources) 간의 상호운용성(interoperability) 확보를 위한 표준과 인터페이스 정의 문제가 중요해지고 있다. 이런 멀티-클라우드 간, 이종 자원 간 상호연동성 문제는 그리드 컴퓨팅 기술 시절부터 논의되었던 문제이지만 아직도 분명한 해...

2020.02.27

김진철의 How-to-Big Data | 빅데이터의 미래 (3)

사이버 물리 시스템과 클라우드 컴퓨팅의 관계 지난 서른여섯 번째 글에서 빅데이터를 포함하여 최근 주요 IT 기술 트렌드로 떠오르고 있는 5G, 클라우드 컴퓨팅, 인공지능, IoT, 엣지 컴퓨팅이 발전해 나가는 공통의 지향점으로서 “사이버 물리 시스템(Cyber-Physical System)”이라는 개념을 소개하였다. 이 사이버 물리 시스템의 정의와 특성, 그리고 사이버 물리 시스템에서 빅데이터를 다루는 문제가 왜 부각되어 나오게 되었는지 간단하게 그 배경을 소개하였고, 사이버 물리 시스템이 앞으로 발전해가는 방향을 잘 표현하는 말로서 “인지 사이버 물리 시스템(Cognitive Cyber-Physical System)”의 개념을 같이 살펴보았다. 이번 글에서는 최근 다시 중요한 기술로 부각되고 있는 클라우드 컴퓨팅이 사이버 물리 시스템에서 왜 중요한 기술이 되는지 같이 생각해보려고 한다. 서버리스 컴퓨팅과 클라우드 네이티브 프로그래밍이 최근 유행하면서 빅데이터 응용 소프트웨어 개발과 분석도 클라우드 컴퓨팅으로 많이 옮겨가는 추세지만, 클라우드 컴퓨팅 발전 초기에는 빅데이터 처리용 고성능 컴퓨팅 시스템에 베어메탈 하둡이나 스파크를 구축해서 빅데이터 처리를 하는 기업이나 조직이 많았지 클라우드 컴퓨팅을 빅데이터에 활용하는 기업이 생각보다 많지 않았다. 클라우드 컴퓨팅의 개념이 정립되어가던 2000년대 말부터 2010년대 중반까지 클라우드 컴퓨팅 발전 초반에는 컴퓨팅 자원 사용의 주문형 서비스화, 투자비(CapEx)가 아닌 운영비(OpEx)로의 IT 비용 전환을 통한 비용 절감의 측면에서 클라우드 컴퓨팅을 강조하는 경향이 많았다. 심지어 클라우드 컴퓨팅의 초창기에는, 현재는 대표적인 빅데이터 기술로 불리는 구글의 맵리듀스 기술을 클라우드 컴퓨팅의 대표적인 기술로 꼽는 사람들도 있었다. 클라우드 컴퓨팅 발전 초반에는 자원 활용의 탄력성(elasticity)이 크게 강조되지 않거나 서비스 지향(service-oriented) 유틸리티 컴퓨팅(Utility compu...

CIO NFV 스파크 네트워크 기능 가상화 김진철 엣지 컴퓨팅 OI Autonomic Computing extended perception Network Function Virtualization Operation Intelligence 사이버 물리 시스템 운영 지능 자율 컴퓨팅 사물인터넷 정부통합전산센터 빅데이터 아마존 IBM 마이크로소프트 AWS 애저 오픈스택 데이터 과학자 하둡 인공지능 5G 아마존 웹 서비스 베어메탈 확장된 인지

2020.01.28

사이버 물리 시스템과 클라우드 컴퓨팅의 관계 지난 서른여섯 번째 글에서 빅데이터를 포함하여 최근 주요 IT 기술 트렌드로 떠오르고 있는 5G, 클라우드 컴퓨팅, 인공지능, IoT, 엣지 컴퓨팅이 발전해 나가는 공통의 지향점으로서 “사이버 물리 시스템(Cyber-Physical System)”이라는 개념을 소개하였다. 이 사이버 물리 시스템의 정의와 특성, 그리고 사이버 물리 시스템에서 빅데이터를 다루는 문제가 왜 부각되어 나오게 되었는지 간단하게 그 배경을 소개하였고, 사이버 물리 시스템이 앞으로 발전해가는 방향을 잘 표현하는 말로서 “인지 사이버 물리 시스템(Cognitive Cyber-Physical System)”의 개념을 같이 살펴보았다. 이번 글에서는 최근 다시 중요한 기술로 부각되고 있는 클라우드 컴퓨팅이 사이버 물리 시스템에서 왜 중요한 기술이 되는지 같이 생각해보려고 한다. 서버리스 컴퓨팅과 클라우드 네이티브 프로그래밍이 최근 유행하면서 빅데이터 응용 소프트웨어 개발과 분석도 클라우드 컴퓨팅으로 많이 옮겨가는 추세지만, 클라우드 컴퓨팅 발전 초기에는 빅데이터 처리용 고성능 컴퓨팅 시스템에 베어메탈 하둡이나 스파크를 구축해서 빅데이터 처리를 하는 기업이나 조직이 많았지 클라우드 컴퓨팅을 빅데이터에 활용하는 기업이 생각보다 많지 않았다. 클라우드 컴퓨팅의 개념이 정립되어가던 2000년대 말부터 2010년대 중반까지 클라우드 컴퓨팅 발전 초반에는 컴퓨팅 자원 사용의 주문형 서비스화, 투자비(CapEx)가 아닌 운영비(OpEx)로의 IT 비용 전환을 통한 비용 절감의 측면에서 클라우드 컴퓨팅을 강조하는 경향이 많았다. 심지어 클라우드 컴퓨팅의 초창기에는, 현재는 대표적인 빅데이터 기술로 불리는 구글의 맵리듀스 기술을 클라우드 컴퓨팅의 대표적인 기술로 꼽는 사람들도 있었다. 클라우드 컴퓨팅 발전 초반에는 자원 활용의 탄력성(elasticity)이 크게 강조되지 않거나 서비스 지향(service-oriented) 유틸리티 컴퓨팅(Utility compu...

2020.01.28

IDG 설문조사

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.8