Offcanvas

��������� ���������

'기술인력 채용' 1년새 2배 증가··· 제조업에서 수요 높은 IT 직무 9선

제조업체들이 생산성과 효율성을 향상시키는 새로운 기술을 활용하면서 제조 분야의 IT 전문가 채용이 지난 1년 동안 2배로 증가했다.  제조업은 ‘4차 산업혁명’을 겪고 있으며, (이에 따라) 제조업체들은 IT를 활용하여 경쟁력을 유지하고 (물리적) 제품을 향상시킬 디지털 서비스 수요를 충족하고 있다. 이를테면 센서, 인공지능, 로봇공학 등은 비효율성 식별, 프로세스 간소화, 산업 동향 예측, 예측 역량 향상을 목표로 데이터 전략에 박차를 가하는 ‘제조 4.0 (Manufacturing 4.0)’ 핵심 기술이다. 이러한 이유로 IT 전문가들이 제조업에서 각광받고 있으며, 특히 공급망 문제가 지속되고 제조업체들이 리쇼어링을 더 많이 고려하면서 더욱더 수요가 높아지고 있다. 다이스닷컴(Dice.com)에 따르면 2021년 5월부터 2022년 5월 사이에 제조 분야의 IT 채용 공고가 2배로 늘어났으며, 애자일 개발, 파이썬, 소프트웨어 개발, 자동화, C ++, SQL, 자바 등의 스킬 수요가 증가했다. 제조업에 진출하려는 IT 전문가 또는 채용 경쟁이 가장 치열한 곳은 어디인지 궁금해하는 제조업의 IT 리더를 위해, 여기서는 제조업에서 가장 수요 많은 기술직 9가지를 소개한다.   1. 소프트웨어 엔지니어(Software engineer) 이제 거의 모든 장비나 하드웨어가 어떤 형태로든 인터넷에 연결되기 때문에 제조업의 소프트웨어 수요가 자연스럽게 증가했고, 자연스레 소프트웨어 엔지니어 수요도 증가했다. 소프트웨어 엔지니어는 소프트웨어를 설계, 코딩, 디버그, 개선 및 유지관리하며, 아울러 자동화, 현대화, 장비 설치 및 지원 또는 비즈니스 요구사항에 맞는 소프트웨어 설계에도 투입될 수 있다. 소프트웨어 설계 및 구축은 개발 항목에 따라 수년이 걸릴 수 있기 때문에 (소프트웨어 엔지니어는) 기업의 디지털 트랜스포메이션에서 일정과 예산을 준수하는 데 중요한 역할을 한다.  글래스도어(Glassdoor)에 따르면 소프트웨어 엔지니...

제조업 제조산업 IT 채용 4차 산업혁명 인재 경쟁 소프트웨어 엔지니어 시스템 엔지니어 데이터 과학자 소프트웨어 개발자 비즈니스 애널리스트 데브섹옵스 엔지니어

2022.09.15

제조업체들이 생산성과 효율성을 향상시키는 새로운 기술을 활용하면서 제조 분야의 IT 전문가 채용이 지난 1년 동안 2배로 증가했다.  제조업은 ‘4차 산업혁명’을 겪고 있으며, (이에 따라) 제조업체들은 IT를 활용하여 경쟁력을 유지하고 (물리적) 제품을 향상시킬 디지털 서비스 수요를 충족하고 있다. 이를테면 센서, 인공지능, 로봇공학 등은 비효율성 식별, 프로세스 간소화, 산업 동향 예측, 예측 역량 향상을 목표로 데이터 전략에 박차를 가하는 ‘제조 4.0 (Manufacturing 4.0)’ 핵심 기술이다. 이러한 이유로 IT 전문가들이 제조업에서 각광받고 있으며, 특히 공급망 문제가 지속되고 제조업체들이 리쇼어링을 더 많이 고려하면서 더욱더 수요가 높아지고 있다. 다이스닷컴(Dice.com)에 따르면 2021년 5월부터 2022년 5월 사이에 제조 분야의 IT 채용 공고가 2배로 늘어났으며, 애자일 개발, 파이썬, 소프트웨어 개발, 자동화, C ++, SQL, 자바 등의 스킬 수요가 증가했다. 제조업에 진출하려는 IT 전문가 또는 채용 경쟁이 가장 치열한 곳은 어디인지 궁금해하는 제조업의 IT 리더를 위해, 여기서는 제조업에서 가장 수요 많은 기술직 9가지를 소개한다.   1. 소프트웨어 엔지니어(Software engineer) 이제 거의 모든 장비나 하드웨어가 어떤 형태로든 인터넷에 연결되기 때문에 제조업의 소프트웨어 수요가 자연스럽게 증가했고, 자연스레 소프트웨어 엔지니어 수요도 증가했다. 소프트웨어 엔지니어는 소프트웨어를 설계, 코딩, 디버그, 개선 및 유지관리하며, 아울러 자동화, 현대화, 장비 설치 및 지원 또는 비즈니스 요구사항에 맞는 소프트웨어 설계에도 투입될 수 있다. 소프트웨어 설계 및 구축은 개발 항목에 따라 수년이 걸릴 수 있기 때문에 (소프트웨어 엔지니어는) 기업의 디지털 트랜스포메이션에서 일정과 예산을 준수하는 데 중요한 역할을 한다.  글래스도어(Glassdoor)에 따르면 소프트웨어 엔지니...

2022.09.15

압도적인 '데이터 과학자'가 필요하다··· 전문가들이 전하는 ‘채용·유지’ 전략

점점 더 커지는 데이터 홍수 속에서 데이터 과학자를 필요로 하는 기업이 늘고 있다. 이 핵심 데이터 인력을 고용과 유지가 중요해지는 배경이다. 실제로 고급 데이터 과학자란 존재는 시중의 일자리를 모두 채울 만큼 충분하지 않다. 이로 인해 CIO들은 인사 담당자와 협력하면서 지원자를 끌어올 수 있는 방법을 모색하고 있다. 그리고 일단 채용을 하게 되면, 많은 곳에서 원하는 직원들이 다른 직장으로, 특히 경쟁업체로 떠나지 않게 하는 것이 관건이다. 매사추세츠주 케임브리지에 본사를 둔 산업 분석 회사인 포레스터의 부사장 겸 수석 애널리스트인 브랜든 퍼셀은 “기업들이 유능한 데이터 과학자를 고용하기 위해 고군분투하고 있다. 유명한 거대 기업이 아니라면 꽤나 어렵다”라고 말했다. 이 비교적 새로운 유형의 데이터 전문가는 통계, 머신러닝, 알고리즘 및 자연어 처리를 사용하여 실제 비즈니스 문제를 해결하기 위해 정형 데이터와 비정형 데이터를 수집하고 분석한다. 빅데이터의 카우보이들인 그들은 고객 경험을 개선하고, 신제품을 추진하며, 중요한 비즈니스 결정에 영향을 미칠 숨겨진 패턴을 찾아낼 수 있다. 그러나 이를 활용하려는 모든 기업에 적합한 경험이 많은 데이터 과학자는 말할 것도 없고, 충분히 훈련을 받은 데이터 과학자도 부족하다. 이 문제를 더욱 복잡하게 만드는 것은, 이러한 IT 전문가를 유치하고 고용하기 위한 싸움을 아마존, 구글, 페이스북과 같은 기술 및 인터넷 대기업들이 압도적으로 주도하고 있다는 점이다. 이들은 다양한 프로젝트 옵션, 높은 급여 패키지 및 스톡 옵션과 함께 인상적인 브랜드 명성을 제공할 수 있다. 2021년 가트너 연구 보고서에 따르면, 시니어 데이터 과학자를 고용하는 것은 ‘매우 어려운 일’이며, 주니어 수준의 데이터 과학 인재를 찾는 것조차 쉬운 일이 아니다. 조사 대상 기업의 55%가 데이터 과학자를 고용하려고 한다고 언급한 2021년 포레스터 보고서에서도 유사한 결과가 나왔다. 보고서는 또한 62%는 데이터 엔지니어가 필요하고 3...

데이터 과학자 유지 고용 인센티브 연봉

2022.09.05

점점 더 커지는 데이터 홍수 속에서 데이터 과학자를 필요로 하는 기업이 늘고 있다. 이 핵심 데이터 인력을 고용과 유지가 중요해지는 배경이다. 실제로 고급 데이터 과학자란 존재는 시중의 일자리를 모두 채울 만큼 충분하지 않다. 이로 인해 CIO들은 인사 담당자와 협력하면서 지원자를 끌어올 수 있는 방법을 모색하고 있다. 그리고 일단 채용을 하게 되면, 많은 곳에서 원하는 직원들이 다른 직장으로, 특히 경쟁업체로 떠나지 않게 하는 것이 관건이다. 매사추세츠주 케임브리지에 본사를 둔 산업 분석 회사인 포레스터의 부사장 겸 수석 애널리스트인 브랜든 퍼셀은 “기업들이 유능한 데이터 과학자를 고용하기 위해 고군분투하고 있다. 유명한 거대 기업이 아니라면 꽤나 어렵다”라고 말했다. 이 비교적 새로운 유형의 데이터 전문가는 통계, 머신러닝, 알고리즘 및 자연어 처리를 사용하여 실제 비즈니스 문제를 해결하기 위해 정형 데이터와 비정형 데이터를 수집하고 분석한다. 빅데이터의 카우보이들인 그들은 고객 경험을 개선하고, 신제품을 추진하며, 중요한 비즈니스 결정에 영향을 미칠 숨겨진 패턴을 찾아낼 수 있다. 그러나 이를 활용하려는 모든 기업에 적합한 경험이 많은 데이터 과학자는 말할 것도 없고, 충분히 훈련을 받은 데이터 과학자도 부족하다. 이 문제를 더욱 복잡하게 만드는 것은, 이러한 IT 전문가를 유치하고 고용하기 위한 싸움을 아마존, 구글, 페이스북과 같은 기술 및 인터넷 대기업들이 압도적으로 주도하고 있다는 점이다. 이들은 다양한 프로젝트 옵션, 높은 급여 패키지 및 스톡 옵션과 함께 인상적인 브랜드 명성을 제공할 수 있다. 2021년 가트너 연구 보고서에 따르면, 시니어 데이터 과학자를 고용하는 것은 ‘매우 어려운 일’이며, 주니어 수준의 데이터 과학 인재를 찾는 것조차 쉬운 일이 아니다. 조사 대상 기업의 55%가 데이터 과학자를 고용하려고 한다고 언급한 2021년 포레스터 보고서에서도 유사한 결과가 나왔다. 보고서는 또한 62%는 데이터 엔지니어가 필요하고 3...

2022.09.05

금융업계에서 수요 높은 IT 직무 10선

능력 있는 IT 인재라면 행복한 고민에 빠져 있을 것이다. 그러나 금융 업계는 정말 깊은 고민에 빠져 있다. 디지털 전환이 시급한데 사람이 없기 때문이다. 소프트웨어 엔지니어부터 데이터 과학자에 이르기까지, 금융 서비스를 혁신하고 정교한 사기 방책을 세울 수많은 IT 직무가 절실하다. 동시에 고민이 깊은 만큼 해결의 보상도 매우 크다.   미국 금융서비스 업계가 클라우드로 대거 이주 중이다. 따라서 AWS 및 자동화 서비스 구동, 데이터 애널리틱스용 파이썬(Python), 사용자 앱 개발용 자바(Java), 데이터베이스 작업용 SQL 등 IT 기술 역량에 대한 수요가 높아졌다. 미국 커리어 웹사이트 다이스닷컴(Dice.com)에 따르면, 은행 업계는 디지털 서비스를 고도화해 저축 계좌, 투자, 대출의 접근성을 높이려는 움직임을 보인다. 암호화폐와 디지털 뱅킹과 같은 신기술에는 수십 년 동안 존재했던 금융 서비스계의 기회 격차를 메울 잠재력이 있다. 그러나 금융 회사에는 신흥 기술을 잘 다룰 뿐만 아니라 구형 금융 기술까지 현대화할 수 있는 숙련된 IT 전문가가 필요하다. 게다가 IT 직종 안에서도 몇몇 특정 IT 직무의 수요가 눈에 띄게 높다. 다이스의 자료를 기준으로 금융 업계에서 수요가 특히 높은 IT 직업 10가지를 소개해본다. 금융 업계 진출을 노리고 있거나, 채용 경쟁이 가장 치열한 곳을 알고자 하는 금융 IT 리더라면 어떤 일을 하게 되고 어떤 역량이 요구되는지 파악해야 하기 때문이다.    1. 소프트웨어 엔지니어 두말할 필요도 없이 소프트웨어 엔지니어는 미국 금융계에서 수요가 가장 높은 직무에 속한다. 다이스에 따르면 1월부터 5월까지 구인공고가 28% 늘어났다.  수요가 가장 높은 구체적 역량에는 데브옵스(DevOps) 자바 파이썬 SQL NoSQL 리액트(React) 구글 클라우드 마이크로소프트 애저 AWS 툴 등이 있다.  금융 업계에서 소프트웨어 엔지니어는 코드...

금융 직무 직종 데이터 과학자 애널리스트 데브옵스 엔지니어

2022.09.02

능력 있는 IT 인재라면 행복한 고민에 빠져 있을 것이다. 그러나 금융 업계는 정말 깊은 고민에 빠져 있다. 디지털 전환이 시급한데 사람이 없기 때문이다. 소프트웨어 엔지니어부터 데이터 과학자에 이르기까지, 금융 서비스를 혁신하고 정교한 사기 방책을 세울 수많은 IT 직무가 절실하다. 동시에 고민이 깊은 만큼 해결의 보상도 매우 크다.   미국 금융서비스 업계가 클라우드로 대거 이주 중이다. 따라서 AWS 및 자동화 서비스 구동, 데이터 애널리틱스용 파이썬(Python), 사용자 앱 개발용 자바(Java), 데이터베이스 작업용 SQL 등 IT 기술 역량에 대한 수요가 높아졌다. 미국 커리어 웹사이트 다이스닷컴(Dice.com)에 따르면, 은행 업계는 디지털 서비스를 고도화해 저축 계좌, 투자, 대출의 접근성을 높이려는 움직임을 보인다. 암호화폐와 디지털 뱅킹과 같은 신기술에는 수십 년 동안 존재했던 금융 서비스계의 기회 격차를 메울 잠재력이 있다. 그러나 금융 회사에는 신흥 기술을 잘 다룰 뿐만 아니라 구형 금융 기술까지 현대화할 수 있는 숙련된 IT 전문가가 필요하다. 게다가 IT 직종 안에서도 몇몇 특정 IT 직무의 수요가 눈에 띄게 높다. 다이스의 자료를 기준으로 금융 업계에서 수요가 특히 높은 IT 직업 10가지를 소개해본다. 금융 업계 진출을 노리고 있거나, 채용 경쟁이 가장 치열한 곳을 알고자 하는 금융 IT 리더라면 어떤 일을 하게 되고 어떤 역량이 요구되는지 파악해야 하기 때문이다.    1. 소프트웨어 엔지니어 두말할 필요도 없이 소프트웨어 엔지니어는 미국 금융계에서 수요가 가장 높은 직무에 속한다. 다이스에 따르면 1월부터 5월까지 구인공고가 28% 늘어났다.  수요가 가장 높은 구체적 역량에는 데브옵스(DevOps) 자바 파이썬 SQL NoSQL 리액트(React) 구글 클라우드 마이크로소프트 애저 AWS 툴 등이 있다.  금융 업계에서 소프트웨어 엔지니어는 코드...

2022.09.02

데이터 과학자 채용 '하늘의 별 따기'··· CIO들의 해법은?

계속되는 ‘데이터 과학자’ 부족으로 기업들은 데이터 팀을 재구성하고, 내부 직원을 업스킬링하며, 파트너십을 통해 인재 파이프라인을 강화하고 있다.  美 금융 서비스 기업의 IT 리더들은 증가하는 데이터를 제대로 활용하기 위해 데이터 과학자를 확보하고자 했지만 지난 몇 년 동안 데이터 과학자 채용에 어려움을 겪어 왔다. 그리고 이러한 문제를 해결하기 위해 IT 리더들은 창의성을 발휘해야 했다. 이제 IT 리더들은 (데이터 과학자를 채용하기 위해) 원격근무와 유연한 근무 시간만 제공하지 않는다. 이를테면 대학들과 파트너십을 맺고 인턴 파이프라인을 구축하여 인턴들이 기업에서 데이터 과학 경험을 얻고 졸업 이후 채용될 수 있도록 했다.    미화 620억 달러 이상의 예금을 보유하고 있으며, 직원 수는 1만 8,000명 이상인 美 금융기업 싱크로니(Synchrony)의 수석 부사장 겸 CIO 베스 힐로는 “데이터가 엄청나게 늘어났지만 애널리스트 공급이 수요를 충족시키지 못하고 있다. 데이터를 기반으로 의사결정을 내리려고 하기 때문에 애널리스트 스킬이 절실하다. 싱크로니는 파이프라인 구축에 초점을 맞추고 있다”라고 말했다. 데이터 과학자 부족 문제를 겪고 있는 건 싱크로니 뿐만 아니다. 기업들은 이전에는 결코 다룰 수 없었던 복잡하고 어려운 문제를 해결할 수 있는 데이터 과학자를 채용하기 위해 고군분투하고 있다. 하지만 대기업 또는 선도기업이 아니라면 상황은 심각해진다. IT 인력도 확보하고 유지하기가 어려운 마당에 데이터 과학자를 찾기란 기하급수적으로 힘들어졌다. IDC의 최근 조사에 따르면 링크드인에 무려 21만 개의 데이터 과학 일자리가 등록돼 있다. 포레스터가 전 세계 데이터 및 애널리틱스 부문 의사결정자 2,329명을 대상으로 실시한 2021년 설문조사 결과에서도 전체 응답자의 55%가 데이터 과학자를 채용하고 싶다고 밝혔다. 62%는 데이터 엔지니어를 채용할 계획이며, 37%는 데이터 과학자를 지원할 머신러닝 엔지니어를 ...

데이터 과학 데이터 과학자 데이터 애널리틱스 업스킬링 인재 파이프라인

2022.08.03

계속되는 ‘데이터 과학자’ 부족으로 기업들은 데이터 팀을 재구성하고, 내부 직원을 업스킬링하며, 파트너십을 통해 인재 파이프라인을 강화하고 있다.  美 금융 서비스 기업의 IT 리더들은 증가하는 데이터를 제대로 활용하기 위해 데이터 과학자를 확보하고자 했지만 지난 몇 년 동안 데이터 과학자 채용에 어려움을 겪어 왔다. 그리고 이러한 문제를 해결하기 위해 IT 리더들은 창의성을 발휘해야 했다. 이제 IT 리더들은 (데이터 과학자를 채용하기 위해) 원격근무와 유연한 근무 시간만 제공하지 않는다. 이를테면 대학들과 파트너십을 맺고 인턴 파이프라인을 구축하여 인턴들이 기업에서 데이터 과학 경험을 얻고 졸업 이후 채용될 수 있도록 했다.    미화 620억 달러 이상의 예금을 보유하고 있으며, 직원 수는 1만 8,000명 이상인 美 금융기업 싱크로니(Synchrony)의 수석 부사장 겸 CIO 베스 힐로는 “데이터가 엄청나게 늘어났지만 애널리스트 공급이 수요를 충족시키지 못하고 있다. 데이터를 기반으로 의사결정을 내리려고 하기 때문에 애널리스트 스킬이 절실하다. 싱크로니는 파이프라인 구축에 초점을 맞추고 있다”라고 말했다. 데이터 과학자 부족 문제를 겪고 있는 건 싱크로니 뿐만 아니다. 기업들은 이전에는 결코 다룰 수 없었던 복잡하고 어려운 문제를 해결할 수 있는 데이터 과학자를 채용하기 위해 고군분투하고 있다. 하지만 대기업 또는 선도기업이 아니라면 상황은 심각해진다. IT 인력도 확보하고 유지하기가 어려운 마당에 데이터 과학자를 찾기란 기하급수적으로 힘들어졌다. IDC의 최근 조사에 따르면 링크드인에 무려 21만 개의 데이터 과학 일자리가 등록돼 있다. 포레스터가 전 세계 데이터 및 애널리틱스 부문 의사결정자 2,329명을 대상으로 실시한 2021년 설문조사 결과에서도 전체 응답자의 55%가 데이터 과학자를 채용하고 싶다고 밝혔다. 62%는 데이터 엔지니어를 채용할 계획이며, 37%는 데이터 과학자를 지원할 머신러닝 엔지니어를 ...

2022.08.03

구글의 새 ‘로우코드/노코드’ 베팅, 이번엔 성공할까

로우코드/노코드 플랫폼에 대한 관심 증가에 따라 구글이 ‘버텍스 AI(Vertex AI)’ 플랫폼을 업데이트했다.  약 1년 전, 구글은 ‘버텍스 AI’를 출시하면서 로우코드 및 노코드 소프트웨어 개발에 큰 베팅을 했다. 한편 업계 애널리스트들은 인터넷 업계의 거물이 새로운 릴리즈를 통해 이 경쟁이 치열한 시장에서 한 획을 그을 수 있을 것이라고 예상했다.    지난 목요일 ‘어플라이드 ML 서밋(Applied ML Summit)’에서 구글 클라우드가 학습 단축 서버(Training Reduction Server), 테이블 형식의 워크플로우(Tabular Workflow), 예제 기반 설명(Example-Based Explanations) 등을 포함해 버텍스 AI의 새로운 기능을 발표했다. 이는 고객들이 머신러닝 모델을 제대로 활용하고, 숙련된 전문가 의존도를 낮추는 것을 목표로 한다.  “성능 테스트 결과 2021년 버텍스 AI 및 빅쿼리를 통해 생성된 ML 예측 (모델) 수가 2.5배 증가했고, 지난 6개월 동안 버텍스 AI 워크벤치(Vertex AI Workbench)의 활성 고객이 25배 늘어났다. 고객들은 관리형 및 통합형 ML 플랫폼이 프로덕션 환경에서 ML 배포를 가속하는 데 중요하다는 점을 분명하게 알고 있다”라고 회사 측은 밝혔다.  구글은 2020년 초 (당시 8년 된 회사였던) 앱시트(AppSheet)를 인수하면서 로우코드/노코드 시장에 뛰어들었다. 하지만 해당 인수에도 불구하고 이 회사는 로우코드/노코드 시장에서 아직은 강력한 경쟁상대로 여겨지진 않고 있다. 애널리스트들은 버텍스가 구글에게 로우코드/노코드 소프트웨어 개발 시장에서의 영향력을 넓힐 기회를 제공할 수 있다고 봤다. 파릭 컨설팅(Pareekh Consulting)의 설립자 파릭 자인은 “사용자 정의 라이브러리로 모델을 학습시키는 데 다른 플랫폼보다 코드 요건이 80% 더 적은 버텍스 AI는 로우코드/노코드 시장에서 구글의 ...

구글 로우코드 노코드 버텍스 AI 앱시트 코딩 데이터 과학자

2022.06.13

로우코드/노코드 플랫폼에 대한 관심 증가에 따라 구글이 ‘버텍스 AI(Vertex AI)’ 플랫폼을 업데이트했다.  약 1년 전, 구글은 ‘버텍스 AI’를 출시하면서 로우코드 및 노코드 소프트웨어 개발에 큰 베팅을 했다. 한편 업계 애널리스트들은 인터넷 업계의 거물이 새로운 릴리즈를 통해 이 경쟁이 치열한 시장에서 한 획을 그을 수 있을 것이라고 예상했다.    지난 목요일 ‘어플라이드 ML 서밋(Applied ML Summit)’에서 구글 클라우드가 학습 단축 서버(Training Reduction Server), 테이블 형식의 워크플로우(Tabular Workflow), 예제 기반 설명(Example-Based Explanations) 등을 포함해 버텍스 AI의 새로운 기능을 발표했다. 이는 고객들이 머신러닝 모델을 제대로 활용하고, 숙련된 전문가 의존도를 낮추는 것을 목표로 한다.  “성능 테스트 결과 2021년 버텍스 AI 및 빅쿼리를 통해 생성된 ML 예측 (모델) 수가 2.5배 증가했고, 지난 6개월 동안 버텍스 AI 워크벤치(Vertex AI Workbench)의 활성 고객이 25배 늘어났다. 고객들은 관리형 및 통합형 ML 플랫폼이 프로덕션 환경에서 ML 배포를 가속하는 데 중요하다는 점을 분명하게 알고 있다”라고 회사 측은 밝혔다.  구글은 2020년 초 (당시 8년 된 회사였던) 앱시트(AppSheet)를 인수하면서 로우코드/노코드 시장에 뛰어들었다. 하지만 해당 인수에도 불구하고 이 회사는 로우코드/노코드 시장에서 아직은 강력한 경쟁상대로 여겨지진 않고 있다. 애널리스트들은 버텍스가 구글에게 로우코드/노코드 소프트웨어 개발 시장에서의 영향력을 넓힐 기회를 제공할 수 있다고 봤다. 파릭 컨설팅(Pareekh Consulting)의 설립자 파릭 자인은 “사용자 정의 라이브러리로 모델을 학습시키는 데 다른 플랫폼보다 코드 요건이 80% 더 적은 버텍스 AI는 로우코드/노코드 시장에서 구글의 ...

2022.06.13

‘AI 드림팀’ 꾸리려면... 영입해야 할 '선수'는 누구?

‘인공지능(AI)’의 비즈니스 가치를 극대화하려면 데이터 과학자부터 도메인 전문가, 전략적 의사결정권자까지 다양한 스킬과 역할이 필요하다.  많은 기업이 비즈니스 프로세스를 혁신하기 위해 인공지능을 도입하고 있다. 하지만 AI 이니셔티브의 성공은 데이터와 기술로만 이뤄지는 게 아니다. 적절한 인력의 참여가 무엇보다 중요하다.    효과적인 엔터프라이즈 AI 팀은 데이터 과학자와 엔지니어 등 다양한 역할로 구성된다. 컨설팅 업체 옴디아(Omdia)의 AI 플랫폼, 애널리틱스, 데이터 관리 부문 수석 애널리스트 브래들리 쉬민은 “성공적인 AI 팀에는 비즈니스 그리고 해결하려는 문제를 이해하는 다양한 사람들이 포함된다”라고 말했다.  AI 스타트업 플레인인사이트(Plainsight)의 공동 창업자 겸 CEO 카를로스 안치아는 다양한 스킬을 갖춘 균형 잡힌 팀이 성공을 좌우한다는 데 동의하지만 그러한 팀을 구성하는 일은 어렵다고 언급했다. 여기서는 ‘이상적인’ AI 팀을 구성할 수 있도록 현재 성공적으로 운영되고 있는 AI 팀에서 찾아볼 수 있는 주요 역할 10가지를 살펴본다.    데이터 과학자(Data scientist) 데이터 과학자는 AI 팀의 핵심이다. 데이터 과학자는 데이터를 처리 및 분석하고, 머신러닝(ML) 모델을 구축하며, 결론을 도출하여 이미 프로덕션 환경에 배포된 ML 모델을 개선한다. 틱톡의 데이터 과학자 마크 엘체폰은 데이터 과학자가 제품 애널리스트이자 약간의 머신러닝 전문 지식을 갖춘 비즈니스 애널리스트라고 설명했다. 그는 “비즈니스에 큰 영향을 미치는 주요 지표를 파악하고, 데이터를 수집하여 발생 가능한 병목 현상을 분석하며, 다양한 사용자 집단과 지표를 시각화하고, 솔루션 프로토타입 개발을 포함해 이러한 지표를 개선하는 여러 방법을 제안하는 것이 주된 목표다. 데이터 과학 없이는 틱톡 사용자를 위한 새로운 기능을 개발할 때 해당 기능이 사용자에게 유용할지 아닐지를 파악하기가 ...

AI 이니셔티브 데이터 과학자 머신러닝 엔지니어 데이터 엔지니어 데이터 스튜어드 도메인 전문가 AI 디자이너 제품 관리자 AI 전략가 최고 AI 책임자 임원 스폰서

2022.06.09

‘인공지능(AI)’의 비즈니스 가치를 극대화하려면 데이터 과학자부터 도메인 전문가, 전략적 의사결정권자까지 다양한 스킬과 역할이 필요하다.  많은 기업이 비즈니스 프로세스를 혁신하기 위해 인공지능을 도입하고 있다. 하지만 AI 이니셔티브의 성공은 데이터와 기술로만 이뤄지는 게 아니다. 적절한 인력의 참여가 무엇보다 중요하다.    효과적인 엔터프라이즈 AI 팀은 데이터 과학자와 엔지니어 등 다양한 역할로 구성된다. 컨설팅 업체 옴디아(Omdia)의 AI 플랫폼, 애널리틱스, 데이터 관리 부문 수석 애널리스트 브래들리 쉬민은 “성공적인 AI 팀에는 비즈니스 그리고 해결하려는 문제를 이해하는 다양한 사람들이 포함된다”라고 말했다.  AI 스타트업 플레인인사이트(Plainsight)의 공동 창업자 겸 CEO 카를로스 안치아는 다양한 스킬을 갖춘 균형 잡힌 팀이 성공을 좌우한다는 데 동의하지만 그러한 팀을 구성하는 일은 어렵다고 언급했다. 여기서는 ‘이상적인’ AI 팀을 구성할 수 있도록 현재 성공적으로 운영되고 있는 AI 팀에서 찾아볼 수 있는 주요 역할 10가지를 살펴본다.    데이터 과학자(Data scientist) 데이터 과학자는 AI 팀의 핵심이다. 데이터 과학자는 데이터를 처리 및 분석하고, 머신러닝(ML) 모델을 구축하며, 결론을 도출하여 이미 프로덕션 환경에 배포된 ML 모델을 개선한다. 틱톡의 데이터 과학자 마크 엘체폰은 데이터 과학자가 제품 애널리스트이자 약간의 머신러닝 전문 지식을 갖춘 비즈니스 애널리스트라고 설명했다. 그는 “비즈니스에 큰 영향을 미치는 주요 지표를 파악하고, 데이터를 수집하여 발생 가능한 병목 현상을 분석하며, 다양한 사용자 집단과 지표를 시각화하고, 솔루션 프로토타입 개발을 포함해 이러한 지표를 개선하는 여러 방법을 제안하는 것이 주된 목표다. 데이터 과학 없이는 틱톡 사용자를 위한 새로운 기능을 개발할 때 해당 기능이 사용자에게 유용할지 아닐지를 파악하기가 ...

2022.06.09

‘대체(Alt) 데이터’에 숨겨진 비용 폭탄 5가지

‘대체 데이터(Alternative Data)’는 기업들이 경쟁 우위를 확보할 수 있는 기회를 제공하지만 이를 비즈니스 워크플로우에 통합하는 비용은 생각보다 클 수 있다. 오늘날 ‘대체 데이터’ 소스가 다양한 부문에서 기업의 비즈니스 프로세스에 포함되고 있다. 美 법률회사 로웬스타인 샌들러(Lowenstein Sandler)의 2022년 설문조사 결과에 따르면 헤지펀드부터 사모펀드, 벤처 캐피탈까지 무려 92%의 투자 회사가 의사결정에 정보를 제공하기 위해 중간 또는 상당한 수준으로 대체 데이터를 활용하고 있다고 답했다. 또한 2022년에 대체 데이터 사용이 증가할 것으로 예상됐다.  --> '대체 데이터'에 주목해야 할 시점... 정체는? 활용법은?   일반적으로 이는 다른 비즈니스 프로세스에서 나오는 데이터를 말한다. 예를 들면 소셜 미디어 활동, 인공위성 사진, 위치 추적 데이터, 신용카드 거래, 웹 스크랩핑 등이 있다.  대체 데이터는 마케팅부터 영업, 재무, 전략 기획까지 기업 전반에서 사용될 수 있지만 (이러한) 서드파티 데이터를 소유하고 관리하는 곳은 대부분 IT 부서다. 지난 2019년 포레스터 리서치는 IT 소속의 CIO 및 CDO가 대체 데이터 수집의 56%를 관리하고 있다고 밝혔다.  대체 데이터를 ‘소싱’하고, ‘저장’하며, ‘관리’하는 일은 IT 관리자에게 새로운 과제를 안겨준다. 아울러 불필요하고 상당한 비용을 수반할 수 있다. 여기서는 이에 따른 5가지 문제와 완화하는 방법을 살펴본다.  1. 벤더 선택 비용(Vendor selection costs) 로웬스타인의 설문조사 결과에 따르면 ‘벤더 선택 비용(61%)’은 대체 데이터 사용자가 가장 우려하는 부분이다. 이 비용은 대체 데이터 벤더를 검토하고, 해당 벤더가 제공하는 데이터의 품질이 충분한지 확인하는 과정에서 발생한다. 이는 특히 데이터가 비즈니스 프로세스의 핵심 요소이며, 쉽게 교체할 수 없을 때 중요하다...

대체 데이터 데이터 중심 의사결정 서드파티 데이터 데이터 과학자 데이터 소유권

2022.05.23

‘대체 데이터(Alternative Data)’는 기업들이 경쟁 우위를 확보할 수 있는 기회를 제공하지만 이를 비즈니스 워크플로우에 통합하는 비용은 생각보다 클 수 있다. 오늘날 ‘대체 데이터’ 소스가 다양한 부문에서 기업의 비즈니스 프로세스에 포함되고 있다. 美 법률회사 로웬스타인 샌들러(Lowenstein Sandler)의 2022년 설문조사 결과에 따르면 헤지펀드부터 사모펀드, 벤처 캐피탈까지 무려 92%의 투자 회사가 의사결정에 정보를 제공하기 위해 중간 또는 상당한 수준으로 대체 데이터를 활용하고 있다고 답했다. 또한 2022년에 대체 데이터 사용이 증가할 것으로 예상됐다.  --> '대체 데이터'에 주목해야 할 시점... 정체는? 활용법은?   일반적으로 이는 다른 비즈니스 프로세스에서 나오는 데이터를 말한다. 예를 들면 소셜 미디어 활동, 인공위성 사진, 위치 추적 데이터, 신용카드 거래, 웹 스크랩핑 등이 있다.  대체 데이터는 마케팅부터 영업, 재무, 전략 기획까지 기업 전반에서 사용될 수 있지만 (이러한) 서드파티 데이터를 소유하고 관리하는 곳은 대부분 IT 부서다. 지난 2019년 포레스터 리서치는 IT 소속의 CIO 및 CDO가 대체 데이터 수집의 56%를 관리하고 있다고 밝혔다.  대체 데이터를 ‘소싱’하고, ‘저장’하며, ‘관리’하는 일은 IT 관리자에게 새로운 과제를 안겨준다. 아울러 불필요하고 상당한 비용을 수반할 수 있다. 여기서는 이에 따른 5가지 문제와 완화하는 방법을 살펴본다.  1. 벤더 선택 비용(Vendor selection costs) 로웬스타인의 설문조사 결과에 따르면 ‘벤더 선택 비용(61%)’은 대체 데이터 사용자가 가장 우려하는 부분이다. 이 비용은 대체 데이터 벤더를 검토하고, 해당 벤더가 제공하는 데이터의 품질이 충분한지 확인하는 과정에서 발생한다. 이는 특히 데이터가 비즈니스 프로세스의 핵심 요소이며, 쉽게 교체할 수 없을 때 중요하다...

2022.05.23

‘데이터를 가치로 바꾼다’··· 데이터과학 ABC

데이터 과학은 통계 분석에서 머신러닝에 이르는 각종 접근법을 사용하여 정형 및 비정형 데이터에서 통찰력을 얻는 방법을 의미한다. 대부분의 조직에서는 매출 개선, 비용 절감, 비즈니스 민첩성, 고객 경험 개선, 신제품 개발 등의 형태로 데이터를 가치로 변환하기 위해 사용된다. 즉 데이터 과학은 조직이 수집한 수많은 데이터에 목적과 가치를 부여한다.   데이터 과학 vs. 데이터 애널리틱스 밀접한 관계이기는 하지만 같은 용어는 아니다. 데이터 애널리틱스는 조직의 데이터가 어떤 모습인지 이해하는 데 사용되는 데이터 과학의 구성 요소이다. 데이터 과학은 애널리틱스의 산출물을 이용하여 문제를 해결한다.  데이터 과학자들은 데이터로 무언가를 조사하는 것은 단순히 분석이라고 말하곤 한다. 데이터 과학은 문제를 설명하고 해결하기 위해 분석을 또 다른 단계로 나아가게 한다. 데이터 애널리틱스와 데이터 과학 간의 차이는 또한 시간 척도(timescale)에서도 나타난다. 데이터 애널리틱스는 현재의 현실 상태를 기술하는 반면, 데이터 과학은 미래를 예측 또는 이해하기 위해 데이터를 사용한다.  장점 데이터 과학의 비즈니스 가치는 각 조직과 조직의 필요에 따라 다르다. 가령 데이터 과학은 하드웨어 장애를 예측하도록 도울 수 있어 다운타임을 방지할 수 있게 해준다. 매장 진열대에 무엇을 놓을 것인지, 혹은 제품의 특성에 기초하여 그것이 얼마나 인기가 있을 것인지를 예측하는 데 도움이 될 수도 있다. 데이터 과학의 비즈니스 가치에 대한 자세한 통찰력에 대해서는 ‘데이터 애널리틱스의 예상치 못한 이점’(영문)과 ‘데이터 애널리틱스이라는 암흑 과학 설명’(영문)을 참조한다.   ->나쁜 데이터 과학자 구별하기 '8가지 신호' ->이상은 '데이터 과학자', 현실은 '디지털 청소부' ->데이터 과학자에 관한 4가지 오해 일자리 데이터 과학 학위 프로그램의 수는 빠르게 증가하고 있지만, 조직이 데이터 과학자를 구...

데이터 과학팀 데이터 과학자 데이터 애널리틱스

2022.04.26

데이터 과학은 통계 분석에서 머신러닝에 이르는 각종 접근법을 사용하여 정형 및 비정형 데이터에서 통찰력을 얻는 방법을 의미한다. 대부분의 조직에서는 매출 개선, 비용 절감, 비즈니스 민첩성, 고객 경험 개선, 신제품 개발 등의 형태로 데이터를 가치로 변환하기 위해 사용된다. 즉 데이터 과학은 조직이 수집한 수많은 데이터에 목적과 가치를 부여한다.   데이터 과학 vs. 데이터 애널리틱스 밀접한 관계이기는 하지만 같은 용어는 아니다. 데이터 애널리틱스는 조직의 데이터가 어떤 모습인지 이해하는 데 사용되는 데이터 과학의 구성 요소이다. 데이터 과학은 애널리틱스의 산출물을 이용하여 문제를 해결한다.  데이터 과학자들은 데이터로 무언가를 조사하는 것은 단순히 분석이라고 말하곤 한다. 데이터 과학은 문제를 설명하고 해결하기 위해 분석을 또 다른 단계로 나아가게 한다. 데이터 애널리틱스와 데이터 과학 간의 차이는 또한 시간 척도(timescale)에서도 나타난다. 데이터 애널리틱스는 현재의 현실 상태를 기술하는 반면, 데이터 과학은 미래를 예측 또는 이해하기 위해 데이터를 사용한다.  장점 데이터 과학의 비즈니스 가치는 각 조직과 조직의 필요에 따라 다르다. 가령 데이터 과학은 하드웨어 장애를 예측하도록 도울 수 있어 다운타임을 방지할 수 있게 해준다. 매장 진열대에 무엇을 놓을 것인지, 혹은 제품의 특성에 기초하여 그것이 얼마나 인기가 있을 것인지를 예측하는 데 도움이 될 수도 있다. 데이터 과학의 비즈니스 가치에 대한 자세한 통찰력에 대해서는 ‘데이터 애널리틱스의 예상치 못한 이점’(영문)과 ‘데이터 애널리틱스이라는 암흑 과학 설명’(영문)을 참조한다.   ->나쁜 데이터 과학자 구별하기 '8가지 신호' ->이상은 '데이터 과학자', 현실은 '디지털 청소부' ->데이터 과학자에 관한 4가지 오해 일자리 데이터 과학 학위 프로그램의 수는 빠르게 증가하고 있지만, 조직이 데이터 과학자를 구...

2022.04.26

칼럼ㅣ머신러닝의 첫 번째 규칙은 ML 없이 시작하는 것이다

‘머신러닝(ML)’을 하는 가장 좋은 방법은 때때로 머신러닝을 전혀 하지 않는 것이다. 실제로 아마존의 응용 과학자 유진 얀에 따르면 머신러닝의 첫 번째 규칙은 머신러닝 없이 시작하는 것이다.  이게 무슨 소리인가?  수개월에 걸친 고된 노력으로 공들여 만든 ML 모델을 소개하는 건 멋진 일이다. 그러나 이는 가장 효과적인 접근 방식이 아니다. 더 간단하고 접근하기 쉬운 방법이 있다.    지난 2016년 데이터 과학자 노아 로랑이 “데이터 과학자는 대부분 산수를 할 뿐이다”라고 언급한 건 지나친 단순화일 수 있다. 하지만 그의 말은 크게 틀리지 않으며, 아무리 데이터를 작동시키는 프로세스를 복잡하게 만들고 싶더라도 작게 시작하는 것이 좋다는 로랑과 얀의 주장은 확실히 옳다.  과도한 복잡성  데이터 과학자는 많은 급여를 받는다. 따라서 예측 애널리틱스와 같은 것을 복잡한 전문용어와 방대한 모델로 포장해 급여를 정당화하고 싶을 수 있다. 그래선 안 된다.  로랑의 주장은 오늘날에도 유효하다. 그는 “비즈니스 문제의 아주 작은 부분 집합만이 머신러닝으로 가장 잘 해결된다. 대부분은 단지 좋은 데이터와 그것이 무엇을 의미하는지 이해만 하면 된다”라고 밝혔다.  그러면서 로랑은 데이터를 가져오기 위한 SQL 쿼리, 해당 데이터에 관한 기본 연산(차이 및 백분위수 계산 등), 결과 그래프 작성, 설명 또는 권장사항 작성 등의 더 간단한 방법을 추천했다.  이것이 쉽다고 말하는 게 아니다. 데이터에서 인사이트를 얻으려고 할 때 머신러닝에서 시작할 필요가 없다는 말이다. 또 많은 양의 데이터가 반드시 필요한 것도 아니다. 엘리제블(Eligible)의 CEO 케이틀린 글리슨은 “작은 데이터부터 시작하는 게 중요하다. 나를 최고의 발견으로 이끈 것은 눈 깜짝할 사이에 생긴 이상 현상이었다”라면서, 때로는 분포를 그리는 것만으로도 충분히 명확한 패턴을 확인할 수 있다고 말했다.&nb...

머신러닝 데이터 과학자 데이터 과학 ML 휴리스틱 애널리틱스

2021.09.28

‘머신러닝(ML)’을 하는 가장 좋은 방법은 때때로 머신러닝을 전혀 하지 않는 것이다. 실제로 아마존의 응용 과학자 유진 얀에 따르면 머신러닝의 첫 번째 규칙은 머신러닝 없이 시작하는 것이다.  이게 무슨 소리인가?  수개월에 걸친 고된 노력으로 공들여 만든 ML 모델을 소개하는 건 멋진 일이다. 그러나 이는 가장 효과적인 접근 방식이 아니다. 더 간단하고 접근하기 쉬운 방법이 있다.    지난 2016년 데이터 과학자 노아 로랑이 “데이터 과학자는 대부분 산수를 할 뿐이다”라고 언급한 건 지나친 단순화일 수 있다. 하지만 그의 말은 크게 틀리지 않으며, 아무리 데이터를 작동시키는 프로세스를 복잡하게 만들고 싶더라도 작게 시작하는 것이 좋다는 로랑과 얀의 주장은 확실히 옳다.  과도한 복잡성  데이터 과학자는 많은 급여를 받는다. 따라서 예측 애널리틱스와 같은 것을 복잡한 전문용어와 방대한 모델로 포장해 급여를 정당화하고 싶을 수 있다. 그래선 안 된다.  로랑의 주장은 오늘날에도 유효하다. 그는 “비즈니스 문제의 아주 작은 부분 집합만이 머신러닝으로 가장 잘 해결된다. 대부분은 단지 좋은 데이터와 그것이 무엇을 의미하는지 이해만 하면 된다”라고 밝혔다.  그러면서 로랑은 데이터를 가져오기 위한 SQL 쿼리, 해당 데이터에 관한 기본 연산(차이 및 백분위수 계산 등), 결과 그래프 작성, 설명 또는 권장사항 작성 등의 더 간단한 방법을 추천했다.  이것이 쉽다고 말하는 게 아니다. 데이터에서 인사이트를 얻으려고 할 때 머신러닝에서 시작할 필요가 없다는 말이다. 또 많은 양의 데이터가 반드시 필요한 것도 아니다. 엘리제블(Eligible)의 CEO 케이틀린 글리슨은 “작은 데이터부터 시작하는 게 중요하다. 나를 최고의 발견으로 이끈 것은 눈 깜짝할 사이에 생긴 이상 현상이었다”라면서, 때로는 분포를 그리는 것만으로도 충분히 명확한 패턴을 확인할 수 있다고 말했다.&nb...

2021.09.28

‘죽지 않았다, 진화할 뿐’··· 2021 BI 트렌드 7

비즈니스 인텔리전스(Business Intelligence, BI)는 ‘소리 없는 아우성’과 같은 모순어법이 아니다. 전혀 죽지 않았다. 그리고 인공지능으로 대체되지도 않는다. 사실 BI는 살아 있고 멀쩡하다. 더 사용하기 쉬워지고 더 많은 직원들에게 확대되고 있으며 클라우드로 이동하고 있다. 또 더욱 광범위한 ERP 및 CRM 소프트웨어 스위트에 내장되고 있으며 이제 AI와 머신러닝을 아우르고 있다. IDC의 2020년 데이터에 따르면 전 세계 전체 비즈니스 인텔리전스 및 분석 시장은 192억 달러에 달했으며, 팬데믹 관련 경제 충격에도 불구하고 5.2%나 성장했다. 앞으로 기업들이 미래의 비즈니스 발전을 위해 데이터를 사용하는 디지털 전환과 더 스마트한 방법에 집중하면서 BI 성장이 가속화될 것으로 예상된다. 시장 리더는 업계에서 가장 강력한 마이크로소프트, SAP, 세일즈포스, IBM, SAS, 오라클 등의 기업이다. 이들 주도 기업들이 시장의 약 60%를 차지하고 있기 때문에 쏘우트스팟(ThoughtSpot)과 앨터라이즈(Alteryz) 등의 혁신 기업이 새 시장을 개척할 여지가 크다. 하지만 BI는 오래되었고 성과가 부족하다고 말하는 사람도 있을 수 있다. 일반 직원들이 사용하기에 너무 어렵고 멋진 보고서와 제안서를 화려한 색상의 대시보드로 그려내지만 직원들의 실질적인 비즈니스 문제를 해결하는 데 도움이 되지 않으며 데이터 카탈로그, 데이터 웨어하우스 생성 등 너무 많은 초기 작업이 필요하다는 비판이 있다. BARC 리서치 센터(BARC Research Center)의 설립자 겸 CEO 카슨 밴지는 팬데믹 이전에 일각에서는 BI를 투자 가치가 입증되지 않은 구형 기술로 보고 있었다며, “하지만 지금은 크게 바뀌었다”라고 말했다. 회사 데이터에 따르면 기업들이 공급망, 빠르게 변화하는 소비자 행동, 자체적인 비즈니스 프로세스에 대한 더욱 심층적인 이해를 얻어야 할 필요성을 인식하면서 다시금 BI에 집중하고 있다는 설명이다. 2021년 이후의 주...

비즈니스 인텔리전스 데이터 과학자 애널리틱스

2021.08.17

비즈니스 인텔리전스(Business Intelligence, BI)는 ‘소리 없는 아우성’과 같은 모순어법이 아니다. 전혀 죽지 않았다. 그리고 인공지능으로 대체되지도 않는다. 사실 BI는 살아 있고 멀쩡하다. 더 사용하기 쉬워지고 더 많은 직원들에게 확대되고 있으며 클라우드로 이동하고 있다. 또 더욱 광범위한 ERP 및 CRM 소프트웨어 스위트에 내장되고 있으며 이제 AI와 머신러닝을 아우르고 있다. IDC의 2020년 데이터에 따르면 전 세계 전체 비즈니스 인텔리전스 및 분석 시장은 192억 달러에 달했으며, 팬데믹 관련 경제 충격에도 불구하고 5.2%나 성장했다. 앞으로 기업들이 미래의 비즈니스 발전을 위해 데이터를 사용하는 디지털 전환과 더 스마트한 방법에 집중하면서 BI 성장이 가속화될 것으로 예상된다. 시장 리더는 업계에서 가장 강력한 마이크로소프트, SAP, 세일즈포스, IBM, SAS, 오라클 등의 기업이다. 이들 주도 기업들이 시장의 약 60%를 차지하고 있기 때문에 쏘우트스팟(ThoughtSpot)과 앨터라이즈(Alteryz) 등의 혁신 기업이 새 시장을 개척할 여지가 크다. 하지만 BI는 오래되었고 성과가 부족하다고 말하는 사람도 있을 수 있다. 일반 직원들이 사용하기에 너무 어렵고 멋진 보고서와 제안서를 화려한 색상의 대시보드로 그려내지만 직원들의 실질적인 비즈니스 문제를 해결하는 데 도움이 되지 않으며 데이터 카탈로그, 데이터 웨어하우스 생성 등 너무 많은 초기 작업이 필요하다는 비판이 있다. BARC 리서치 센터(BARC Research Center)의 설립자 겸 CEO 카슨 밴지는 팬데믹 이전에 일각에서는 BI를 투자 가치가 입증되지 않은 구형 기술로 보고 있었다며, “하지만 지금은 크게 바뀌었다”라고 말했다. 회사 데이터에 따르면 기업들이 공급망, 빠르게 변화하는 소비자 행동, 자체적인 비즈니스 프로세스에 대한 더욱 심층적인 이해를 얻어야 할 필요성을 인식하면서 다시금 BI에 집중하고 있다는 설명이다. 2021년 이후의 주...

2021.08.17

커리어 전환 고민 중이라면... 유망 'IT 직종' 9선

‘머신러닝 엔지니어’부터 ‘멀티 클라우드 통합 전문가’까지 새롭게 부상하고 있는 혹은 부활한 인기 IT 직종을 살펴본다.   수요가 가장 높은 IT 직종은 현재도 채용하기 어려운 상황이며, 앞으로도 계속 그러할 전망이다. 美 노동통계국(BLS)에 따르면 IT 인력 구인 공고는 2019년 이래 최고 수준을 기록했다.  美 이동통신산업협회(CTIA)에 의하면 가장 수요가 높은 직종은 ▲소프트웨어 및 애플리케이션 개발자, ▲IT 지원 전문가, ▲시스템 엔지니어 및 아키텍트, ▲IT 프로젝트 매니저, ▲시스템 애널리스트다. 이어서 CTIA는 신기술 관련 직종이 IT 일자리의 약 28%를 차지했다고 덧붙였다.  여기서는 여러 채용 담당자, 경영진, 기술 전문가가 밝힌 ‘앞으로 가장 수요가 높을 IT 직종’을 소개한다. 현재 하는 일이 지겹거나 또는 비전이 없다고 느낀다면 한동안 안전하게 성장할 다음의 IT 직종을 고려해볼 수 있겠다.    1. 프로그래밍(IT 직종과 무관)  스위트워터(Sweetwater)의 CIO 제이슨 존슨은 현재 직무와 관계없이 소프트웨어 개발 역량을 요구하는 직종이 많아지고 있다고 말했다.  그는 “예를 들면 데이터 과학자, 웹 개발자, 네트워크 엔지니어, 컴퓨터 프로그래머, 데이터베이스 관리자 등이 여기에 포함된다”라면서, “소프트웨어 개발은 기본 기술로 간주돼 왔고 여전히 그렇다. 이제는 모든 IT 직종을 위한 기반으로 자리잡아가고 있다”라고 언급했다.  존슨은 구체적으로 ‘파이썬(Python)’과 ‘R’ 언어를 알아야 한다고 밝혔다. 그는 “표준 API 및 앤서블을 사용하여 구성 변경을 롤아웃하고 테라폼 같은 도구를 쓰는 코드형 인프라와 관련된 클라우드 베스트 프랙티스를 활용한다고 하자. 필요로 하는 모든 기술 역량을 갖추려면 오늘날의 IT 엔지니어는 소프트웨어 개발자가 돼야 한다”라고 설명했다.  2. 제품 관리자  ...

프로그래밍 제품 관리자 소프트웨어 개발자 사이버 보안 데이터 과학자 데이터 엔지니어 머신러닝 엔지니어 AI 엔지니어 멀티 클라우드 통합 전문가 풀스택 엔지니어 사물인터넷 엔지니어

2021.08.12

‘머신러닝 엔지니어’부터 ‘멀티 클라우드 통합 전문가’까지 새롭게 부상하고 있는 혹은 부활한 인기 IT 직종을 살펴본다.   수요가 가장 높은 IT 직종은 현재도 채용하기 어려운 상황이며, 앞으로도 계속 그러할 전망이다. 美 노동통계국(BLS)에 따르면 IT 인력 구인 공고는 2019년 이래 최고 수준을 기록했다.  美 이동통신산업협회(CTIA)에 의하면 가장 수요가 높은 직종은 ▲소프트웨어 및 애플리케이션 개발자, ▲IT 지원 전문가, ▲시스템 엔지니어 및 아키텍트, ▲IT 프로젝트 매니저, ▲시스템 애널리스트다. 이어서 CTIA는 신기술 관련 직종이 IT 일자리의 약 28%를 차지했다고 덧붙였다.  여기서는 여러 채용 담당자, 경영진, 기술 전문가가 밝힌 ‘앞으로 가장 수요가 높을 IT 직종’을 소개한다. 현재 하는 일이 지겹거나 또는 비전이 없다고 느낀다면 한동안 안전하게 성장할 다음의 IT 직종을 고려해볼 수 있겠다.    1. 프로그래밍(IT 직종과 무관)  스위트워터(Sweetwater)의 CIO 제이슨 존슨은 현재 직무와 관계없이 소프트웨어 개발 역량을 요구하는 직종이 많아지고 있다고 말했다.  그는 “예를 들면 데이터 과학자, 웹 개발자, 네트워크 엔지니어, 컴퓨터 프로그래머, 데이터베이스 관리자 등이 여기에 포함된다”라면서, “소프트웨어 개발은 기본 기술로 간주돼 왔고 여전히 그렇다. 이제는 모든 IT 직종을 위한 기반으로 자리잡아가고 있다”라고 언급했다.  존슨은 구체적으로 ‘파이썬(Python)’과 ‘R’ 언어를 알아야 한다고 밝혔다. 그는 “표준 API 및 앤서블을 사용하여 구성 변경을 롤아웃하고 테라폼 같은 도구를 쓰는 코드형 인프라와 관련된 클라우드 베스트 프랙티스를 활용한다고 하자. 필요로 하는 모든 기술 역량을 갖추려면 오늘날의 IT 엔지니어는 소프트웨어 개발자가 돼야 한다”라고 설명했다.  2. 제품 관리자  ...

2021.08.12

김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (3)

이번 글은 지난 쉰세 번째 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용의 핵심들을 다시 정리해보는 마지막 글이다. 지난 쉰세 번째 글에서는 필자가 독자들로부터 가장 많은 문의를 받았던 내용인 빅데이터 비즈니스 조직의 조직 및 운영에 관한 22회부터 34회까지의 글을 요약 정리했다. How-to-Big Data의 주요 내용을 요약 정리하는 글의 마지막 편인 이번 글에서 빅데이터 비즈니스의 미래를 다루었던 35회부터 51회까지 글의 핵심 내용을 다시 짚어보려고 한다.     --> 김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1) --> 김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)   35회: 빅데이터의 미래 (1) (2019년 11월 27일 게재) 34회까지 CERN의 LHC 빅데이터 사례를 통해 배운 빅데이터 비즈니스의 교훈을 앞으로 어떻게 적용하는 것이 좋을지 생각해보기 위해 빅데이터 비즈니스의 미래를 살펴보는 글의 첫 번째 글이었다. 빅데이터 기술과 비즈니스가 앞으로 어떻게 변화해갈지 생각해보는 데 도움이 될 수 있도록 빅데이터 현상이 왜 일어나는지 그 근본 배경에 대해서 같이 생각해보았다. 빅데이터 현상은 컴퓨터 기술이 그 시대에 필요로 하는 데이터 처리의 요구사항을 극복하지 못할 때 나타나는 필연적인 현상이며, 현재 우리가 경험하는 빅데이터 현상 전에도 다른 양상으로 여러 번 나타났다.  이런 맥락에서 빅데이터 기술의 역사는 컴퓨터 기술 발전의 역사와 맥을 같이 한다. 다만 현재 우리가 겪는 빅데이터 현상이 이전과 다른 것은 베오울프 클러스터 기술로 시작된 분산 컴퓨팅 기술의 발전과 수평적 확장성의 발전, 이런 분산 컴퓨팅과 수평적 확장성을 지원하는 기술로 처리가능한 데이터의 양이 폭증하는 것과 함께 중요해진 데이터 수...

김진철 빅 데이터 데이터 과학 사이버 물리 시스템 클라우드 컴퓨팅 5G 6G 인공지능 머신러닝 모바일 엣지 컴퓨팅 자율 컴퓨팅 데브옵스 고랭 엣지 컴퓨팅 딥러닝 데이터 과학자 ESG 경영

2021.06.29

이번 글은 지난 쉰세 번째 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용의 핵심들을 다시 정리해보는 마지막 글이다. 지난 쉰세 번째 글에서는 필자가 독자들로부터 가장 많은 문의를 받았던 내용인 빅데이터 비즈니스 조직의 조직 및 운영에 관한 22회부터 34회까지의 글을 요약 정리했다. How-to-Big Data의 주요 내용을 요약 정리하는 글의 마지막 편인 이번 글에서 빅데이터 비즈니스의 미래를 다루었던 35회부터 51회까지 글의 핵심 내용을 다시 짚어보려고 한다.     --> 김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1) --> 김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)   35회: 빅데이터의 미래 (1) (2019년 11월 27일 게재) 34회까지 CERN의 LHC 빅데이터 사례를 통해 배운 빅데이터 비즈니스의 교훈을 앞으로 어떻게 적용하는 것이 좋을지 생각해보기 위해 빅데이터 비즈니스의 미래를 살펴보는 글의 첫 번째 글이었다. 빅데이터 기술과 비즈니스가 앞으로 어떻게 변화해갈지 생각해보는 데 도움이 될 수 있도록 빅데이터 현상이 왜 일어나는지 그 근본 배경에 대해서 같이 생각해보았다. 빅데이터 현상은 컴퓨터 기술이 그 시대에 필요로 하는 데이터 처리의 요구사항을 극복하지 못할 때 나타나는 필연적인 현상이며, 현재 우리가 경험하는 빅데이터 현상 전에도 다른 양상으로 여러 번 나타났다.  이런 맥락에서 빅데이터 기술의 역사는 컴퓨터 기술 발전의 역사와 맥을 같이 한다. 다만 현재 우리가 겪는 빅데이터 현상이 이전과 다른 것은 베오울프 클러스터 기술로 시작된 분산 컴퓨팅 기술의 발전과 수평적 확장성의 발전, 이런 분산 컴퓨팅과 수평적 확장성을 지원하는 기술로 처리가능한 데이터의 양이 폭증하는 것과 함께 중요해진 데이터 수...

2021.06.29

현실 속 성공적인 AI팀이란?··· 현장의 여러 풍경

거대 IT 기업의 박사 집단이 아니다. AI의 활용이 확대되면서 비즈니스 스킬 등 다양한 역량을 보유한 혼합 팀이 기업의 AI 성공에 중요하다는 사실이 밝혀지고 있다.   점차 많은 기업들이 AI 프로젝트를 확대하고 개념 증명을 비즈니스 전환의 동인으로 변모시키면서 실제 AI를 활용해 성공하기 위해서 필요한 것이 무엇인지가 명확해지고 있다. AI팀의 경우 알려진 것보다 광범위한 스킬이 필요하며, 트랜슬레이터(Translator), 즉, 운영 및 AI 개념을 비즈니스 용어로 설명할 수 있는 능력을 가진 사람이 특히 요구된다. 즉, AI 성공은 데이터 사이언티스트 집단만으로는 달성하기 어렵다. 맥킨지(McKinsey&Co)의 파트너 루이스 헤링은 AI 프로젝트에서 성공하기 위해서는 팀을 융합해야 한다고 말했다. 그녀는 “기술적인 측면을 보면 점차 생산에 바로 투입할 수 있는 코드를 확보하고 조직 전반에 걸쳐 재사용이 가능한 요소를 보유하는 방법이 점차 강조되고 있다. 하지만 무엇보다도 비즈니스 측면과 기술 측면 사이를 연결해 줄 수 있는 사람들이 더욱 중요해지고 있다”라고 말했다. 앞선 기업들이 비즈니스 문제를 해결하기 위해 어떻게 AI팀을 구성하고 있는지, 또 AI 기술의 발전이 어떻게 성공을 위해 필요한 기초 스킬을 변화시키고 있는지 살펴본다.    즉, AI 성공은 데이터 사이언티스트 집단만으로는 달성하기 어렵다. 성공적인 AI 팀이 수행하는 핵심 역할 성공적인 AI 프로젝트를 위해서는 데이터 사이언티스트, 데이터 엔지니어, 머신러닝 엔지니어, 생산 책임자, 변화 관리 전문가, 번역가 등 광범위한 스킬을 갖춘 팀원들이 필요하다고 헤링이 말했다. 개념 증명과 시범 프로젝트의 경우 데이터 문제는 다른 양상을 보인다. 생산 현장에 투입할 수 있는 AI 배치에는 여러 이질적인 소스로부터 빠른 속도로 얻은 많은 양의 데이터가 필요하다. 그녀는 “데이터 사이언티스트와 데이터 엔지니어가 숨은 영웅이다. 레거시 영역들이...

AI 팀 트랜슬레이터 데이터 과학자 머신러닝 엔지니어

2021.06.10

거대 IT 기업의 박사 집단이 아니다. AI의 활용이 확대되면서 비즈니스 스킬 등 다양한 역량을 보유한 혼합 팀이 기업의 AI 성공에 중요하다는 사실이 밝혀지고 있다.   점차 많은 기업들이 AI 프로젝트를 확대하고 개념 증명을 비즈니스 전환의 동인으로 변모시키면서 실제 AI를 활용해 성공하기 위해서 필요한 것이 무엇인지가 명확해지고 있다. AI팀의 경우 알려진 것보다 광범위한 스킬이 필요하며, 트랜슬레이터(Translator), 즉, 운영 및 AI 개념을 비즈니스 용어로 설명할 수 있는 능력을 가진 사람이 특히 요구된다. 즉, AI 성공은 데이터 사이언티스트 집단만으로는 달성하기 어렵다. 맥킨지(McKinsey&Co)의 파트너 루이스 헤링은 AI 프로젝트에서 성공하기 위해서는 팀을 융합해야 한다고 말했다. 그녀는 “기술적인 측면을 보면 점차 생산에 바로 투입할 수 있는 코드를 확보하고 조직 전반에 걸쳐 재사용이 가능한 요소를 보유하는 방법이 점차 강조되고 있다. 하지만 무엇보다도 비즈니스 측면과 기술 측면 사이를 연결해 줄 수 있는 사람들이 더욱 중요해지고 있다”라고 말했다. 앞선 기업들이 비즈니스 문제를 해결하기 위해 어떻게 AI팀을 구성하고 있는지, 또 AI 기술의 발전이 어떻게 성공을 위해 필요한 기초 스킬을 변화시키고 있는지 살펴본다.    즉, AI 성공은 데이터 사이언티스트 집단만으로는 달성하기 어렵다. 성공적인 AI 팀이 수행하는 핵심 역할 성공적인 AI 프로젝트를 위해서는 데이터 사이언티스트, 데이터 엔지니어, 머신러닝 엔지니어, 생산 책임자, 변화 관리 전문가, 번역가 등 광범위한 스킬을 갖춘 팀원들이 필요하다고 헤링이 말했다. 개념 증명과 시범 프로젝트의 경우 데이터 문제는 다른 양상을 보인다. 생산 현장에 투입할 수 있는 AI 배치에는 여러 이질적인 소스로부터 빠른 속도로 얻은 많은 양의 데이터가 필요하다. 그녀는 “데이터 사이언티스트와 데이터 엔지니어가 숨은 영웅이다. 레거시 영역들이...

2021.06.10

김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

김진철 빅데이터 데이터 과학 데이터 과학자 빅데이터 비즈니스 아파치 하둡 스파크 데이터 레이크 인공지능 딥러닝 해석가능성 클라우드 운영 지능화

2021.05.31

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

2021.05.31

도미노피자의 데이터 과학 비밀 재료는... 'ML옵스'

글로벌 피자 브랜드 도미노(Domino’s)가 ‘ML옵스(MLOps)’를 활용하고 있다. ML옵스는 도미노의 데이터 과학팀이 IT 지원 없이도 데이터 모델을 갱신하고 프로덕션 환경에 투입할 수 있도록 지원한다.  다른 대형 브랜드와 마찬가지로 도미노 피자도 고객 서비스 향상을 위해 데이터를 많이 활용하고 있다. 그런데 세계 1위 피자 브랜드 도미노의 데이터 과학팀에는 의사결정 속도를 높이는 비밀 재료가 있다. 모델을 프로덕션 환경에 더욱더 빠르게 제공하도록 지원하는 머신러닝(Machin Learning; ML) 호스팅 플랫폼이 바로 그것이다.    도미노의 데이터 과학팀은 이 플랫폼을 사용해 다양한 ML 및 AI 모델을 실행하고 정제하며 검증한다. 또한 컴퓨팅 리소스와 관련된 IT 의존도를 낮추고 있기도 하다. 도미노의 데이터 과학 및 AI 부문 책임자 잭 프라고소에 따르면 이는 역사적으로 오랜 마찰을 빚어왔던 부분이다.  그는 “피자 주문이 상당히 많다. 데이터 과학팀은 이 주문 데이터를 처리한다”라며, “하지만 모델을 프로덕션 환경으로 투입할 방법이 빠져 있었다”라고 말했다.  비즈니스 인사이트를 얻기 위해 애널리틱스를 활용하는 건 그 자체로도 충분히 어려운 일이다. 여기에 더해 데이터 과학팀 실무자들은 IT로부터 서버, 소프트웨어 개발 환경 등 필요한 모든 것을 조달하느라 딜레이가 발생하는 문제도 해결했다.  이러한 딜레이는 의사결정 속도를 높이고 원하는 비즈니스 결과를 얻고자 ‘시간에 민감한(time-sensitive)’ 데이터 모델을 구축하는 데이터 과학팀에게 문제를 야기한다고 프라고소는 전했다.  ML옵스를 향한 도미노의 여정 140억 달러의 연매출을 올리는 도미노는 5년 차 스타트업 데이터트론(Datatron)과 협력해 이 문제를 부분적으로 완화했다. 데이터트론은 ML 모델 운영(일명 ML옵스)을 지원하는 플랫폼 구축 업체로, 이 분야에서 데이터로봇(DataRobot), 구...

도미노 데이터 과학 ML옵스 머신러닝 데이터 데이터 모델 데이터 과학자

2021.05.06

글로벌 피자 브랜드 도미노(Domino’s)가 ‘ML옵스(MLOps)’를 활용하고 있다. ML옵스는 도미노의 데이터 과학팀이 IT 지원 없이도 데이터 모델을 갱신하고 프로덕션 환경에 투입할 수 있도록 지원한다.  다른 대형 브랜드와 마찬가지로 도미노 피자도 고객 서비스 향상을 위해 데이터를 많이 활용하고 있다. 그런데 세계 1위 피자 브랜드 도미노의 데이터 과학팀에는 의사결정 속도를 높이는 비밀 재료가 있다. 모델을 프로덕션 환경에 더욱더 빠르게 제공하도록 지원하는 머신러닝(Machin Learning; ML) 호스팅 플랫폼이 바로 그것이다.    도미노의 데이터 과학팀은 이 플랫폼을 사용해 다양한 ML 및 AI 모델을 실행하고 정제하며 검증한다. 또한 컴퓨팅 리소스와 관련된 IT 의존도를 낮추고 있기도 하다. 도미노의 데이터 과학 및 AI 부문 책임자 잭 프라고소에 따르면 이는 역사적으로 오랜 마찰을 빚어왔던 부분이다.  그는 “피자 주문이 상당히 많다. 데이터 과학팀은 이 주문 데이터를 처리한다”라며, “하지만 모델을 프로덕션 환경으로 투입할 방법이 빠져 있었다”라고 말했다.  비즈니스 인사이트를 얻기 위해 애널리틱스를 활용하는 건 그 자체로도 충분히 어려운 일이다. 여기에 더해 데이터 과학팀 실무자들은 IT로부터 서버, 소프트웨어 개발 환경 등 필요한 모든 것을 조달하느라 딜레이가 발생하는 문제도 해결했다.  이러한 딜레이는 의사결정 속도를 높이고 원하는 비즈니스 결과를 얻고자 ‘시간에 민감한(time-sensitive)’ 데이터 모델을 구축하는 데이터 과학팀에게 문제를 야기한다고 프라고소는 전했다.  ML옵스를 향한 도미노의 여정 140억 달러의 연매출을 올리는 도미노는 5년 차 스타트업 데이터트론(Datatron)과 협력해 이 문제를 부분적으로 완화했다. 데이터트론은 ML 모델 운영(일명 ML옵스)을 지원하는 플랫폼 구축 업체로, 이 분야에서 데이터로봇(DataRobot), 구...

2021.05.06

김진철의 How-to-Big Data | 빅데이터 괴담

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

김진철 빅데이터 데이터 과학 데이터 과학자 시행착오 데이터 레이크 하둡 스타트업 스파크 플링크 에어플로우 데이터웨어하우스 도커 서비스메시 쿠버네티스

2021.03.29

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

2021.03.29

‘데이터 랭글링’ 및 ‘탐구 데이터 분석’ 따라잡기

초보 데이터 사이언티스트는 데이터를 위한 적절한 모델만 찾아 적용하면 된다는 생각을 할 때가 있다. 애석하게도 이보다 더 데이터 사이언스의 현실과 동떨어진 것도 드물 것이다. 사실, 데이터 랭글링(Data Wrangling, 소위 말하는 데이터 정제 및 변경)과 탐구 데이터 분석(exploratory data analysis)은 데이터 사이언티스트가 소요하는 시간의 80%를 차지하는 경우가 많다. 데이터 랭글링과 탐구 데이터 분석의 개념은 쉽다. 단 제대로 하기가 어려울 수 있다. 정제되지 않거나 잘못 정제된 데이터는 쓰레기이며, GIGO 원리(garbage in, garbage out)는 모델링과 분석에도 적용된다. 데이터 랭글링이란? 데이터가 곧바로 사용 가능한 형태로 나오는 경우는 드물다. 오류와 누락으로 오염되는 경우가 많으며 원하는 구조를 가진 경우가 거의 없고 일반적으로 콘텍스트가 누락되어 있다. 데이터 랭글링은 데이터를 발견하고 정제하며 검증하고 사용 가능하도록 구조화한 후 콘텐츠의 질을 높이며(날씨와 경제 상황 등 공개 데이터로부터 얻은 정보 추가 등의 방식으로) 경우에 따라 데이터를 통합 및 변환하는 과정이다. 정확하게 말하면 데이터 랭글링 작업은 경우에 따라 달라질 수 있다. 데이터가 기구 또는 IoT 장치에서 제공되는 경우 데이터 전송이 프로세스의 주된 부분일 수 있다. 데이터를 머신러닝에 사용하는 경우 변환에 정규화와 표준화뿐 아니라 차원수 감소도 포함될 수 있다.  탐구 데이터 분석이 메모리와 저장 공간이 제한된 개인용 컴퓨터에서 수행되는 경우, 랭글링 프로세스에 데이터 하위 세트 추출이 포함될 수 있다. 데이터를 여러 개의 소스로부터 얻는 경우 측정값의 필드 이름과 단위를 매핑과 변환을 통해 통합해야 한다. 탐구 데이터 분석이란 무엇인가? 탐구 데이터 분석은 프린스턴 대학교(Princeton University)와 벨 연구소(Bell Labs) 소속인 존 투키와 긴밀히 연관되어 있다. 투키는 1961년에 탐구 데이터 ...

데이터 과학자 데이터 랭글링 탐구 데이터 분석 데이터 처리 애널리틱스 데이터 정제 데이터 모델링 ETL ELT 데이터 마이닝 데이터 스크래핑

2021.03.26

초보 데이터 사이언티스트는 데이터를 위한 적절한 모델만 찾아 적용하면 된다는 생각을 할 때가 있다. 애석하게도 이보다 더 데이터 사이언스의 현실과 동떨어진 것도 드물 것이다. 사실, 데이터 랭글링(Data Wrangling, 소위 말하는 데이터 정제 및 변경)과 탐구 데이터 분석(exploratory data analysis)은 데이터 사이언티스트가 소요하는 시간의 80%를 차지하는 경우가 많다. 데이터 랭글링과 탐구 데이터 분석의 개념은 쉽다. 단 제대로 하기가 어려울 수 있다. 정제되지 않거나 잘못 정제된 데이터는 쓰레기이며, GIGO 원리(garbage in, garbage out)는 모델링과 분석에도 적용된다. 데이터 랭글링이란? 데이터가 곧바로 사용 가능한 형태로 나오는 경우는 드물다. 오류와 누락으로 오염되는 경우가 많으며 원하는 구조를 가진 경우가 거의 없고 일반적으로 콘텍스트가 누락되어 있다. 데이터 랭글링은 데이터를 발견하고 정제하며 검증하고 사용 가능하도록 구조화한 후 콘텐츠의 질을 높이며(날씨와 경제 상황 등 공개 데이터로부터 얻은 정보 추가 등의 방식으로) 경우에 따라 데이터를 통합 및 변환하는 과정이다. 정확하게 말하면 데이터 랭글링 작업은 경우에 따라 달라질 수 있다. 데이터가 기구 또는 IoT 장치에서 제공되는 경우 데이터 전송이 프로세스의 주된 부분일 수 있다. 데이터를 머신러닝에 사용하는 경우 변환에 정규화와 표준화뿐 아니라 차원수 감소도 포함될 수 있다.  탐구 데이터 분석이 메모리와 저장 공간이 제한된 개인용 컴퓨터에서 수행되는 경우, 랭글링 프로세스에 데이터 하위 세트 추출이 포함될 수 있다. 데이터를 여러 개의 소스로부터 얻는 경우 측정값의 필드 이름과 단위를 매핑과 변환을 통해 통합해야 한다. 탐구 데이터 분석이란 무엇인가? 탐구 데이터 분석은 프린스턴 대학교(Princeton University)와 벨 연구소(Bell Labs) 소속인 존 투키와 긴밀히 연관되어 있다. 투키는 1961년에 탐구 데이터 ...

2021.03.26

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.13