Offcanvas

���������������

기고ㅣAI 책임자 직급이 낮아졌다, 이유는?··· '2021 AI 현황 보고서' 요약

호주의 AI 학습용 데이터 전문 업체 ‘아펜(Appen)’에서 비즈니스 리더와 데이터 과학자를 대상으로 실시한 설문조사 결과를 발표했다. AI 이니셔티브가 비즈니스 가치를 제공하는 건 맞지만 과제도 여전히 남아있는 것으로 나타났다. 2020년은 그 어느 때보다 다사다난했던 한 해로 기억될 것이다. 코로나19가 강타하고, 그 여파로 사회적 변화가 이뤄졌으며 그리고 미국의 경우 중대한 정치적 변화가 발생했다. 기술 업계에서도 2020년은 의미가 있다. ‘인공지능(AI)’이 SF 소설에서 비즈니스 현실로 탈바꿈한 해이기 때문이다.   지난해 코로나19 위기가 닥치자 거의 모든 업종과 규모의 기업에서 AI 이니셔티브를 가속했다. 팬데믹이 1년 이상 지속되고 있는 현 상황에서 기업들은 이제 데이터를 파악하고 AI를 사용해 내부 프로세스를 지원하는 데 초점을 맞추고 있다.    몇 년 전에 ‘모든 기업은 기술 기업이다’라는 말이 있었다. 그 말은 이젠 한물갔다. 오늘날 모든 기업은 데이터 기업이다. 하지만 방대한 양의 정보 때문에 대대적인 자동화를 통해 핵심 인사이트를 찾아야 한다. AI가 바로 이 문제의 해결책이다. AI 관련 예산은 연간 50만 달러부터 500만 달러까지로 전년 대비 55% 이상 증가하면서 시장 성숙도가 더욱더 높아지고 있다.   AI 시스템 구축용 학습 데이터 전문 업체 ‘아펜 리미티드(Appen Limited)’는 시장조사기관 해리스 폴(Harris Poll)에 의뢰해 올해 3월 1일부터 19일 동안 총 501명의 비즈니스 리더와 데이터 과학자를 대상으로 온라인 설문조사를 진행해 ‘2021년 AI 및 머신러닝 현황 보고서(2021 State of AI and Machine Learning Report)’를 발표했다. 설문조사 응답자는 100명 이상의 직원을 둔 미국 기반 기업에 소속된 251명의 비즈니스 리더와 250명의 데이터 과학자, 데이터 엔지니어, 개발자로 구성됐다.  “AI 이니셔티...

인공지능 머신러닝 딥러닝 데이터 빅데이터 애널리틱스 AI 윤리 해석가능성

2021.06.29

호주의 AI 학습용 데이터 전문 업체 ‘아펜(Appen)’에서 비즈니스 리더와 데이터 과학자를 대상으로 실시한 설문조사 결과를 발표했다. AI 이니셔티브가 비즈니스 가치를 제공하는 건 맞지만 과제도 여전히 남아있는 것으로 나타났다. 2020년은 그 어느 때보다 다사다난했던 한 해로 기억될 것이다. 코로나19가 강타하고, 그 여파로 사회적 변화가 이뤄졌으며 그리고 미국의 경우 중대한 정치적 변화가 발생했다. 기술 업계에서도 2020년은 의미가 있다. ‘인공지능(AI)’이 SF 소설에서 비즈니스 현실로 탈바꿈한 해이기 때문이다.   지난해 코로나19 위기가 닥치자 거의 모든 업종과 규모의 기업에서 AI 이니셔티브를 가속했다. 팬데믹이 1년 이상 지속되고 있는 현 상황에서 기업들은 이제 데이터를 파악하고 AI를 사용해 내부 프로세스를 지원하는 데 초점을 맞추고 있다.    몇 년 전에 ‘모든 기업은 기술 기업이다’라는 말이 있었다. 그 말은 이젠 한물갔다. 오늘날 모든 기업은 데이터 기업이다. 하지만 방대한 양의 정보 때문에 대대적인 자동화를 통해 핵심 인사이트를 찾아야 한다. AI가 바로 이 문제의 해결책이다. AI 관련 예산은 연간 50만 달러부터 500만 달러까지로 전년 대비 55% 이상 증가하면서 시장 성숙도가 더욱더 높아지고 있다.   AI 시스템 구축용 학습 데이터 전문 업체 ‘아펜 리미티드(Appen Limited)’는 시장조사기관 해리스 폴(Harris Poll)에 의뢰해 올해 3월 1일부터 19일 동안 총 501명의 비즈니스 리더와 데이터 과학자를 대상으로 온라인 설문조사를 진행해 ‘2021년 AI 및 머신러닝 현황 보고서(2021 State of AI and Machine Learning Report)’를 발표했다. 설문조사 응답자는 100명 이상의 직원을 둔 미국 기반 기업에 소속된 251명의 비즈니스 리더와 250명의 데이터 과학자, 데이터 엔지니어, 개발자로 구성됐다.  “AI 이니셔티...

2021.06.29

김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

김진철 빅데이터 데이터 과학 데이터 과학자 빅데이터 비즈니스 아파치 하둡 스파크 데이터 레이크 인공지능 딥러닝 해석가능성 클라우드 운영 지능화

2021.05.31

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

2021.05.31

김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1)

이번 글과 다음 글에서는 지난 2017년 1월부터 지금까지 필자가 정리했던 빅데이터 활용 교훈의 핵심을 정리해보는 시간을 가지려고 한다. 필자가 기고를 시작했던 2017년부터 지금까지 빅데이터 기술이나 데이터 과학 활용 양상이 많이 발전했어도 많은 기업이 빅데이터를 차별화된 비즈니스 성공으로 이끈 사례는 생각보다 많지 않다. 필자가 CERN의 LHC 실험을 통해 살펴보았던 빅데이터 활용의 교훈들은 시간이 지나도 여전히 유효하다. 지금까지 살펴본 내용들을 같이 보면서 앞으로 빅데이터를 어떻게 활용해야 시행착오를 덜 겪으면서 비즈니스를 성공으로 이끌 수 있을지 같이 정리해보자.   --> 1회: 연재를 시작하며 (2017년 1월 23일 게재) 필자가 연재를 시작할 당시 데이터 과학 무용론이 고개를 들기 시작하던 때였다. 소위 하둡(Hadoop)과 같은 빅데이터 기술을 도입했지만 비즈니스 효과가 없다는 얘기도 있었고, 빅데이터와 데이터 과학이 실체가 없고 주요 IT 기업들의 솔루션 판매를 위한 마케팅 용어일 뿐이라는 주장도 나타났다.  많은 기업들이 빅데이터의 효과를 확인하지 못하는 이유는 빅데이터를 처리하는 기술, 특히 당시에는 아파치 하둡(Hadoop)과 스파크(Spark)기술 중심의 빅데이터 기술을 도입하는 데에 관심을 보이고, 빅데이터 기술이 도입된 후 정작 해야 하는 데이터 과학을 제대로 하지 않았기 때문이라고 설명했다. 빅데이터와 데이터 과학을 잘 활용해서 효용을 얻기 위해 필요한 것을 데이터, 인프라, 조직 및 시스템, 사람의 네 가지 관점에서 살펴보겠다고 소개했다. 빅데이터와 데이터 과학을 활용하기 위해 가장 중요한 것이 데이터 수집이다. 우선 어떤 데이터를 어떻게 획득할 것인가하는 문제가 빅데이터 비즈니스 모델의 설계와 성공에 많은 영향을 미치기 때문이고, 데이터가 없는데 빅데이터 비즈니스 모델이 작동할 리 없기 때문이다. 데이터는 빅데이터 비즈니스 모델의 연료와 같다. --> 2회: 빅데이터 활용의 근본적인 ...

김진철 빅 데이터 데이터 과학 아파치 하둡 스파크 데이터 레이크 인공지능 딥러닝 해석가능성 클라우드 운영 지능화

2021.04.27

이번 글과 다음 글에서는 지난 2017년 1월부터 지금까지 필자가 정리했던 빅데이터 활용 교훈의 핵심을 정리해보는 시간을 가지려고 한다. 필자가 기고를 시작했던 2017년부터 지금까지 빅데이터 기술이나 데이터 과학 활용 양상이 많이 발전했어도 많은 기업이 빅데이터를 차별화된 비즈니스 성공으로 이끈 사례는 생각보다 많지 않다. 필자가 CERN의 LHC 실험을 통해 살펴보았던 빅데이터 활용의 교훈들은 시간이 지나도 여전히 유효하다. 지금까지 살펴본 내용들을 같이 보면서 앞으로 빅데이터를 어떻게 활용해야 시행착오를 덜 겪으면서 비즈니스를 성공으로 이끌 수 있을지 같이 정리해보자.   --> 1회: 연재를 시작하며 (2017년 1월 23일 게재) 필자가 연재를 시작할 당시 데이터 과학 무용론이 고개를 들기 시작하던 때였다. 소위 하둡(Hadoop)과 같은 빅데이터 기술을 도입했지만 비즈니스 효과가 없다는 얘기도 있었고, 빅데이터와 데이터 과학이 실체가 없고 주요 IT 기업들의 솔루션 판매를 위한 마케팅 용어일 뿐이라는 주장도 나타났다.  많은 기업들이 빅데이터의 효과를 확인하지 못하는 이유는 빅데이터를 처리하는 기술, 특히 당시에는 아파치 하둡(Hadoop)과 스파크(Spark)기술 중심의 빅데이터 기술을 도입하는 데에 관심을 보이고, 빅데이터 기술이 도입된 후 정작 해야 하는 데이터 과학을 제대로 하지 않았기 때문이라고 설명했다. 빅데이터와 데이터 과학을 잘 활용해서 효용을 얻기 위해 필요한 것을 데이터, 인프라, 조직 및 시스템, 사람의 네 가지 관점에서 살펴보겠다고 소개했다. 빅데이터와 데이터 과학을 활용하기 위해 가장 중요한 것이 데이터 수집이다. 우선 어떤 데이터를 어떻게 획득할 것인가하는 문제가 빅데이터 비즈니스 모델의 설계와 성공에 많은 영향을 미치기 때문이고, 데이터가 없는데 빅데이터 비즈니스 모델이 작동할 리 없기 때문이다. 데이터는 빅데이터 비즈니스 모델의 연료와 같다. --> 2회: 빅데이터 활용의 근본적인 ...

2021.04.27

김진철의 How-to-Big Data | 빅데이터와 인공지능 (3)

LHC 빅데이터에서의 딥러닝과 인공지능 기술의 새로운 요구사항 – 해석가능성 LHC 가속기는 질량의 근본을 설명하는 힉스 보존의 존재를 2013년도에 최종적으로 확인하여 목표로 했던 가장 중요한 미션은 완수하였으나, 힉스 보존 존재를 확인함으로써 다시 규명해야 할 중요하고 다양한 과학적 질문들이 새로운 숙제로 남게 되었다. 이를 위해 CERN과 전 세계 LHC 공동 연구단은 LHC 가속기의 양성자빔 광도(luminosity)를 높여 더 많은 이벤트를 발생시켜 입자물리학적 현상을 정밀하게 규명할 수 있도록 업그레이드를 준비 중이다. 업그레이드될 LHC 가속기를 고광도 LHC(High-Luminosity LHC; HL-LHC), 또는 슈퍼 LHC(Super-LHC)라고 부른다. HL-LHC로 LHC 가속기가 업그레이드되면 검출기에서 발생하는 데이터의 양이 기하급수적으로 증가하게 되는데, 2019년에는 2016년에 생성된 데이터의 4배에 이르는 293PB, 2028년에는 2016년에 생성된 데이터의 52배에 이르는 3.8EB에 이를 것으로 추정된다. 이렇게 많은 데이터를 추정하기 위해 현재 LHC의 네 개의 검출기 시스템에 쓰이고 있는 이벤트 데이터 가공 자동화 시스템과 소프트웨어를 전면적으로 개선하는 작업이 현재 진행되고 있다. 현재 데이터보다 수십 배 이상 쏟아져 나오는 데이터를 놓치지 않고 처리하여 중요한 물리학적 단서들을 포착하기 위해 이벤트 데이터를 현재보다 정밀하고 빠르게 분석, 가공하는 기술이 필요하다. 이를 위해 LHC 연구자들은 최근 주목을 받는 딥러닝 기술을 활용해서 보다 더 정밀하고 빠르게 이벤트 데이터를 분석할 수 있는 다양한 방법과 분석 기법에 대한 연구결과를 발표하고 있다. 최근 딥러닝을 이용해 LHC 데이터를 분석한 결과 중 많은 관심을 모았던 것은 딥러닝을 이용해 힉스 보존이 생성되는 이벤트와 힉스 보존 이벤트와 같은 입자들을 생성하지만 힉스 보존 때문에 생기는 것이 아닌 다른 배경 이...

CIO Dark Knowledge 숨은 지식 Knowledge Distillation 지식 증류 힉스 해석가능한 인공지능 interpretability 해석가능성 심층 신경망 GDPR LHC 김진철 인지 컴퓨팅 분석 인공지능 IBM 빅데이터 프로파일링

2018.08.27

LHC 빅데이터에서의 딥러닝과 인공지능 기술의 새로운 요구사항 – 해석가능성 LHC 가속기는 질량의 근본을 설명하는 힉스 보존의 존재를 2013년도에 최종적으로 확인하여 목표로 했던 가장 중요한 미션은 완수하였으나, 힉스 보존 존재를 확인함으로써 다시 규명해야 할 중요하고 다양한 과학적 질문들이 새로운 숙제로 남게 되었다. 이를 위해 CERN과 전 세계 LHC 공동 연구단은 LHC 가속기의 양성자빔 광도(luminosity)를 높여 더 많은 이벤트를 발생시켜 입자물리학적 현상을 정밀하게 규명할 수 있도록 업그레이드를 준비 중이다. 업그레이드될 LHC 가속기를 고광도 LHC(High-Luminosity LHC; HL-LHC), 또는 슈퍼 LHC(Super-LHC)라고 부른다. HL-LHC로 LHC 가속기가 업그레이드되면 검출기에서 발생하는 데이터의 양이 기하급수적으로 증가하게 되는데, 2019년에는 2016년에 생성된 데이터의 4배에 이르는 293PB, 2028년에는 2016년에 생성된 데이터의 52배에 이르는 3.8EB에 이를 것으로 추정된다. 이렇게 많은 데이터를 추정하기 위해 현재 LHC의 네 개의 검출기 시스템에 쓰이고 있는 이벤트 데이터 가공 자동화 시스템과 소프트웨어를 전면적으로 개선하는 작업이 현재 진행되고 있다. 현재 데이터보다 수십 배 이상 쏟아져 나오는 데이터를 놓치지 않고 처리하여 중요한 물리학적 단서들을 포착하기 위해 이벤트 데이터를 현재보다 정밀하고 빠르게 분석, 가공하는 기술이 필요하다. 이를 위해 LHC 연구자들은 최근 주목을 받는 딥러닝 기술을 활용해서 보다 더 정밀하고 빠르게 이벤트 데이터를 분석할 수 있는 다양한 방법과 분석 기법에 대한 연구결과를 발표하고 있다. 최근 딥러닝을 이용해 LHC 데이터를 분석한 결과 중 많은 관심을 모았던 것은 딥러닝을 이용해 힉스 보존이 생성되는 이벤트와 힉스 보존 이벤트와 같은 입자들을 생성하지만 힉스 보존 때문에 생기는 것이 아닌 다른 배경 이...

2018.08.27

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.8