Offcanvas

���������������

데이터 과학을 위해 '더 개선된' 최신 필수 파이썬 툴 6가지

데이터 분석을 마스터하려면, 또는 단순히 사용하려고 해도 필요한 것은 결국 파이썬이다. 파이썬은 배우기 쉬우며 지원의 폭도 넓고 깊다. 또한, 거의 모든 데이터 과학 라이브러리와 머신 러닝 프레임워크가 파이썬 인터페이스를 지원한다.   지난 몇 개월 동안 파이썬을 위한 여러 데이터 과학 프로젝트에서 주요 기능 업데이트가 포함된 새로운 버전이 나왔다. 실제 수치 계산을 위한 프로젝트도 있고, 이와 같은 작업에 최적화된 빠른 코드를 더 쉽게 작성할 수 있는 프로젝트도 있다. 데이터 과학을 위한 필수 파이썬 툴 6가지를 정리했다.   사이파이 1.7 빠르고 강력한 수학 라이브러리를 원하는 파이썬 사용자에겐 넘파이(Numpy)가 있지만 넘파이 자체는 구체적인 작업에 초점을 두지 않는다. 그래서 필요한 것이 사이파이(SciPy)다. 넘파이를 사용해 선형 대수부터 통계 작업, 신호 처리에 이르기까지 일반적인 수학 및 과학 프로그래밍 작업을 위한 라이브러리를 제공한다. 사이파이는 오래전부터 수학과 통계학을 다루기 위한 편리하고 광범위하게 사용되는 툴을 제공했다. 여러 버전에 걸쳐 강력한 하위 호환성을 제공했지만 1.0 릴리스가 나오기까지 상당히 오랜 시간이 걸렸다. 코어 개발자인 랄프 고머스에 따르면, 사이파이 프로젝트가 버전 1.0이 나올 수 있었던 가장 큰 이유는 프로젝트를 감독, 관리하는 방법의 통합이다. 하지만 맥OS와 윈도우 빌드를 위한 지속적 통합 프로세스와 사전 빌드된 윈도우 바이너리를 제대로 지원한 것도 한몫을 했다. 특히 후자는 윈도우 사용자가 별도 과정 없이 사이파이를 사용할 수 있음을 의미한다. 사이파이 프로젝트는 2017년 1.0 릴리스 이후 지금까지 7차례 주 릴리스를 내놨고 그 과정에서 다음과 같이 부분이 개선됐다.   파이썬 2.7 지원 종료와 그 이후의 코드베이스 현대화 더 많은 기능, 개선된 문서, 많은 새로운 알고리즘(예를 들어 성능이 향상되고 현대화된 인터페이스를 갖춘 새로운 고속 푸리에 변환 모듈...

데이터과학 파이썬 사이파이 넘바 사이썬 대스크 백스 인텔SDC

2021.07.26

데이터 분석을 마스터하려면, 또는 단순히 사용하려고 해도 필요한 것은 결국 파이썬이다. 파이썬은 배우기 쉬우며 지원의 폭도 넓고 깊다. 또한, 거의 모든 데이터 과학 라이브러리와 머신 러닝 프레임워크가 파이썬 인터페이스를 지원한다.   지난 몇 개월 동안 파이썬을 위한 여러 데이터 과학 프로젝트에서 주요 기능 업데이트가 포함된 새로운 버전이 나왔다. 실제 수치 계산을 위한 프로젝트도 있고, 이와 같은 작업에 최적화된 빠른 코드를 더 쉽게 작성할 수 있는 프로젝트도 있다. 데이터 과학을 위한 필수 파이썬 툴 6가지를 정리했다.   사이파이 1.7 빠르고 강력한 수학 라이브러리를 원하는 파이썬 사용자에겐 넘파이(Numpy)가 있지만 넘파이 자체는 구체적인 작업에 초점을 두지 않는다. 그래서 필요한 것이 사이파이(SciPy)다. 넘파이를 사용해 선형 대수부터 통계 작업, 신호 처리에 이르기까지 일반적인 수학 및 과학 프로그래밍 작업을 위한 라이브러리를 제공한다. 사이파이는 오래전부터 수학과 통계학을 다루기 위한 편리하고 광범위하게 사용되는 툴을 제공했다. 여러 버전에 걸쳐 강력한 하위 호환성을 제공했지만 1.0 릴리스가 나오기까지 상당히 오랜 시간이 걸렸다. 코어 개발자인 랄프 고머스에 따르면, 사이파이 프로젝트가 버전 1.0이 나올 수 있었던 가장 큰 이유는 프로젝트를 감독, 관리하는 방법의 통합이다. 하지만 맥OS와 윈도우 빌드를 위한 지속적 통합 프로세스와 사전 빌드된 윈도우 바이너리를 제대로 지원한 것도 한몫을 했다. 특히 후자는 윈도우 사용자가 별도 과정 없이 사이파이를 사용할 수 있음을 의미한다. 사이파이 프로젝트는 2017년 1.0 릴리스 이후 지금까지 7차례 주 릴리스를 내놨고 그 과정에서 다음과 같이 부분이 개선됐다.   파이썬 2.7 지원 종료와 그 이후의 코드베이스 현대화 더 많은 기능, 개선된 문서, 많은 새로운 알고리즘(예를 들어 성능이 향상되고 현대화된 인터페이스를 갖춘 새로운 고속 푸리에 변환 모듈...

2021.07.26

'분석가 가운데 스토리텔러' 시민 데이터 과학자의 부상

하버드 비즈니스 리뷰(Harvard Business Review)에 따르면, 데이터 과학자는 현 세기의 “가장 섹시한 직업”이다. 방대한 데이터 소스에서 지식을 만들어내는 역량은 기업의 디지털 트랜스포메이션에서 필수적이며, 데이터 과학자라는 직업군이 인기를 얻는 이유도 여기에 있다. 데이터 과학자는 데이터 소스를 열고 개선하고 나아가 이를 돈으로 바꾼다. 그러나 기업에서 필요한 이상적인 조건을 갖춘 데이터 과학자를 찾기는 쉽지 않은 일이다.      시민 데이터 과학자 : 정의  시민 데이터 과학자는 이 분야에서 필요한 인력의 탐색 범위를 넓혀준다. ‘데이터 과학자’라는 역할 앞에 ‘시민’이라는 단어를 붙여 놓으니 언뜻 혼란스럽게 보일 수 있다. 구체적으로 시민이라는 용어는 기술적이고 고도로 전문화된 데이터 과학자와 달리 특정한 과학적 훈련을 받지 않은 사람들을 의미한다.  가트너에 따르면 “고급 분석 기법 또는 예측 특성을 사용해서 모델을 만들지만, 원래의 직능은 통계학과 분석 영역 바깥에 있는” 사람들이다. 시민 데이터 과학자는 회사 데이터를 기반으로, 이 데이터를 모두가 이해할 수 있는 언어로 변환함으로써 회사에 대한 ‘스토리’를 만들어낸다. 이론적으로 이들은 특정한 과학적 훈련을 받지 않았음에도 불구하고 여러 전문가(수학자, 컴퓨터 과학자, 통계학자)의 기술을 결합한다.  그러나 기술적 전문성을 넘어 진정한 차이를 만들어내는 것은 이른바 “소프트 스킬)Soft Skill)”이다. 무엇보다 데이터 과학자에게는 호기심이 필요하다. 다른 직원이나 부서에 대한 흥미를 계산해서 ‘변환’하기 위해 대량의 데이터에서 잠재적으로 유용한 정보를 파악할 수 있어야 한다.      시민 데이터 과학자의 툴  가트너는 데이터 과학자 업무의 40%가 2030년까지 자동화될 것으로 예상한다. 기업은 이런 기술을 더 폭넓은 직원이 사용할 수 있도록 함으로써 시민 데이터 과학자를 더 ...

데이터과학 분석가

2021.06.28

하버드 비즈니스 리뷰(Harvard Business Review)에 따르면, 데이터 과학자는 현 세기의 “가장 섹시한 직업”이다. 방대한 데이터 소스에서 지식을 만들어내는 역량은 기업의 디지털 트랜스포메이션에서 필수적이며, 데이터 과학자라는 직업군이 인기를 얻는 이유도 여기에 있다. 데이터 과학자는 데이터 소스를 열고 개선하고 나아가 이를 돈으로 바꾼다. 그러나 기업에서 필요한 이상적인 조건을 갖춘 데이터 과학자를 찾기는 쉽지 않은 일이다.      시민 데이터 과학자 : 정의  시민 데이터 과학자는 이 분야에서 필요한 인력의 탐색 범위를 넓혀준다. ‘데이터 과학자’라는 역할 앞에 ‘시민’이라는 단어를 붙여 놓으니 언뜻 혼란스럽게 보일 수 있다. 구체적으로 시민이라는 용어는 기술적이고 고도로 전문화된 데이터 과학자와 달리 특정한 과학적 훈련을 받지 않은 사람들을 의미한다.  가트너에 따르면 “고급 분석 기법 또는 예측 특성을 사용해서 모델을 만들지만, 원래의 직능은 통계학과 분석 영역 바깥에 있는” 사람들이다. 시민 데이터 과학자는 회사 데이터를 기반으로, 이 데이터를 모두가 이해할 수 있는 언어로 변환함으로써 회사에 대한 ‘스토리’를 만들어낸다. 이론적으로 이들은 특정한 과학적 훈련을 받지 않았음에도 불구하고 여러 전문가(수학자, 컴퓨터 과학자, 통계학자)의 기술을 결합한다.  그러나 기술적 전문성을 넘어 진정한 차이를 만들어내는 것은 이른바 “소프트 스킬)Soft Skill)”이다. 무엇보다 데이터 과학자에게는 호기심이 필요하다. 다른 직원이나 부서에 대한 흥미를 계산해서 ‘변환’하기 위해 대량의 데이터에서 잠재적으로 유용한 정보를 파악할 수 있어야 한다.      시민 데이터 과학자의 툴  가트너는 데이터 과학자 업무의 40%가 2030년까지 자동화될 것으로 예상한다. 기업은 이런 기술을 더 폭넓은 직원이 사용할 수 있도록 함으로써 시민 데이터 과학자를 더 ...

2021.06.28

블로그 | 애자일로 혁신 신기술 POC 진행하기

개발자, 엔지니어, 데이터 과학자들이 시도하고 적용 방법을 배우고, 기업 적용 가능성을 평가할 새롭고 흥미로운 기술이 많다. 이런 기술을 배울 때 IT나 데이터 부서는 개념 증명(Proof of Concepts, POC)을 수행해서 사용 사례, 성능, 통합 기능, 기타 요건을 검증하는 경우가 많다. IT와 데이터 부서는 새로운 자바스크립트 라이브러리, 데브옵스 도구, 공공 클라우드 기능, 로우-코드 플랫폼, 데이터베이스 기술, 머신 러닝 모델, 데이터 통합에 POC를 수행한다. 스크럼 같은 애자일 방법론을 적용하여 개념 증명을 실행하면 여러 이점이 있다. 애자일 부서는 스프린트를 시작할 때 목표를 정의한 후, 학습한 것을 활용하여 향후 스프린트에서 새로운 실험과 검증의 우선순위를 설정한다.   애자일 부서 또는 다른 기술 전문가가 주제의 전문가라서 성공 기준을 판단할 수 있을 때에는 POC로 새로운 기술을 신속하게 검토하는 것은 상대적으로 간단하다. 애자일 부서는 스파이크와 조사 지향적인 작업을 나타내는 백로그의 특수 카드를 정의하여 스프린트에서 POC 관련 작업의 일정을 수립한다. 스파이크의 수용 기준은 성공을 정의하는 데 도움이 되며, 부서는 기술이 변화에 대한 승인을 받을 시기를 결정할 수 있다. 승인된 후에는 플래그 기능을 사용하여 천천히 새로운 기술을 프로덕션 단계에 도입할 수 있다.   복잡한 POC에 애자일 방법론을 적용하라   광범위한 POC를 계획하고 실행하면 특히 머신러닝, 인공 지능, 사물 인터넷, 블록체인 같은 새로운 기술을 검증할 때 추가로 문제가 발생한다. POC는 기본적인 기능, 선택된 플랫폼, 기술 적용, 적용된 비즈니스 요건에 대한 실험이다. 부서는 이 모든 차원과 그 의존성에 따라 발견 과정을 반복하여 비즈니스적 가치, 해결책, 기술적 접근방식을 검증해야 한다. 새로운 기술의 애자일 POC를 다른 애자일 이니셔티브와 비교할 때 여러 가지 극명한 차이점이 있다.    •&nbs...

데이터과학 데브옵스 애자일 PoC

2020.11.17

개발자, 엔지니어, 데이터 과학자들이 시도하고 적용 방법을 배우고, 기업 적용 가능성을 평가할 새롭고 흥미로운 기술이 많다. 이런 기술을 배울 때 IT나 데이터 부서는 개념 증명(Proof of Concepts, POC)을 수행해서 사용 사례, 성능, 통합 기능, 기타 요건을 검증하는 경우가 많다. IT와 데이터 부서는 새로운 자바스크립트 라이브러리, 데브옵스 도구, 공공 클라우드 기능, 로우-코드 플랫폼, 데이터베이스 기술, 머신 러닝 모델, 데이터 통합에 POC를 수행한다. 스크럼 같은 애자일 방법론을 적용하여 개념 증명을 실행하면 여러 이점이 있다. 애자일 부서는 스프린트를 시작할 때 목표를 정의한 후, 학습한 것을 활용하여 향후 스프린트에서 새로운 실험과 검증의 우선순위를 설정한다.   애자일 부서 또는 다른 기술 전문가가 주제의 전문가라서 성공 기준을 판단할 수 있을 때에는 POC로 새로운 기술을 신속하게 검토하는 것은 상대적으로 간단하다. 애자일 부서는 스파이크와 조사 지향적인 작업을 나타내는 백로그의 특수 카드를 정의하여 스프린트에서 POC 관련 작업의 일정을 수립한다. 스파이크의 수용 기준은 성공을 정의하는 데 도움이 되며, 부서는 기술이 변화에 대한 승인을 받을 시기를 결정할 수 있다. 승인된 후에는 플래그 기능을 사용하여 천천히 새로운 기술을 프로덕션 단계에 도입할 수 있다.   복잡한 POC에 애자일 방법론을 적용하라   광범위한 POC를 계획하고 실행하면 특히 머신러닝, 인공 지능, 사물 인터넷, 블록체인 같은 새로운 기술을 검증할 때 추가로 문제가 발생한다. POC는 기본적인 기능, 선택된 플랫폼, 기술 적용, 적용된 비즈니스 요건에 대한 실험이다. 부서는 이 모든 차원과 그 의존성에 따라 발견 과정을 반복하여 비즈니스적 가치, 해결책, 기술적 접근방식을 검증해야 한다. 새로운 기술의 애자일 POC를 다른 애자일 이니셔티브와 비교할 때 여러 가지 극명한 차이점이 있다.    •&nbs...

2020.11.17

블로그 | 선거에서 점점 중요해지는 클라우드의 역할

1년 전 필자는 2020년 대선을 두고 선거에서 이기기 위해서는 클라우드 컴퓨팅과 데이터 과학을 잘 이용하는 것이 얼마나 중요한지에 대해 이야기한 적이 있다. 이제 그 결과를 알게 될 시점이다.    당시 필자의 기본적인 주장은 데이터의 진정한 의미에 중점을 두는 이들 기술이 전통적인 자동 녹음 전화나 방문 선거운동보다 더 중요하다는 것이었다. 유권자를 더 잘 이해할수록 효과적으로 공략할 수 있기 때문이다. 데이터 과학과 클라우드 컴퓨팅을 이용해 선거운동은 일부 숨겨진 결론에 도달할 수 있는데, 이를 통해 후보자의 기회를 극대화할 수 있다. 정교한 계산과 분석은 같은 데이터에서 전통적인 방식으로는 보이지 않는 패턴을 얻어낼 수 있다. 예를 들어, 데이터 과학은 특정 후보에게 투표할 것 같지만 결정을 하지 않은 유권자를 찾아내 투표하도록 동기를 부여할 수 있다. 연방 선거와는 전혀 관계없는 지역 법안에 대한 반대를 표명하고, 이 화제를 메시지에 이용해 부동층의 10%를 더 투표하게 하고, 그중 80%가 우리 후보에게 투표하게 할 수도 있다. 메시지를 무차별적으로 난사하고 부동층에 닿기를 기도하는 방식과 정확도를 비교해 보라. 사람의 머리로는 데이터에서 이런 패턴을 찾아내지 못한다. 있는지도 몰랐던 것을 찾아내려면 머신러닝을 사용하는 첨단 분석이 필요하다.  무익해 보이는 데이터 더미를 무기로 만들 수 있는 역량은 2012년에는 멋진 무엇이었지만, 2020년에는 승산을 높이기 위한 필수적인 요소이다. 현대의 선거운동은 정말로 데이터 싸움이며, 후보자의 이상을 홍보하는 것보다는 유권자를 전략적으로 노리는 것이 중요하다. 이런 세상에서 후보자의 공약은 동적이다. 선거운동의 메시지가 어떻게 보이는지는 누가 보는지에 달려있다. 같은 동네의 이웃이라도 서로 다른 메시지를 보게 될 수도 있다. 심층 분석과 AI는 이웃 사람이라도 서로 다른 화제에 반응한다는 것을 알아낸다. 결론적으로 최고의 데이터 과학 접근법을 사용하고 클라우드 컴퓨팅...

미국 대통령선거 데이터과학 선거운동 부동층

2020.11.05

1년 전 필자는 2020년 대선을 두고 선거에서 이기기 위해서는 클라우드 컴퓨팅과 데이터 과학을 잘 이용하는 것이 얼마나 중요한지에 대해 이야기한 적이 있다. 이제 그 결과를 알게 될 시점이다.    당시 필자의 기본적인 주장은 데이터의 진정한 의미에 중점을 두는 이들 기술이 전통적인 자동 녹음 전화나 방문 선거운동보다 더 중요하다는 것이었다. 유권자를 더 잘 이해할수록 효과적으로 공략할 수 있기 때문이다. 데이터 과학과 클라우드 컴퓨팅을 이용해 선거운동은 일부 숨겨진 결론에 도달할 수 있는데, 이를 통해 후보자의 기회를 극대화할 수 있다. 정교한 계산과 분석은 같은 데이터에서 전통적인 방식으로는 보이지 않는 패턴을 얻어낼 수 있다. 예를 들어, 데이터 과학은 특정 후보에게 투표할 것 같지만 결정을 하지 않은 유권자를 찾아내 투표하도록 동기를 부여할 수 있다. 연방 선거와는 전혀 관계없는 지역 법안에 대한 반대를 표명하고, 이 화제를 메시지에 이용해 부동층의 10%를 더 투표하게 하고, 그중 80%가 우리 후보에게 투표하게 할 수도 있다. 메시지를 무차별적으로 난사하고 부동층에 닿기를 기도하는 방식과 정확도를 비교해 보라. 사람의 머리로는 데이터에서 이런 패턴을 찾아내지 못한다. 있는지도 몰랐던 것을 찾아내려면 머신러닝을 사용하는 첨단 분석이 필요하다.  무익해 보이는 데이터 더미를 무기로 만들 수 있는 역량은 2012년에는 멋진 무엇이었지만, 2020년에는 승산을 높이기 위한 필수적인 요소이다. 현대의 선거운동은 정말로 데이터 싸움이며, 후보자의 이상을 홍보하는 것보다는 유권자를 전략적으로 노리는 것이 중요하다. 이런 세상에서 후보자의 공약은 동적이다. 선거운동의 메시지가 어떻게 보이는지는 누가 보는지에 달려있다. 같은 동네의 이웃이라도 서로 다른 메시지를 보게 될 수도 있다. 심층 분석과 AI는 이웃 사람이라도 서로 다른 화제에 반응한다는 것을 알아낸다. 결론적으로 최고의 데이터 과학 접근법을 사용하고 클라우드 컴퓨팅...

2020.11.05

기고 | '시킨다고 되는 게 아냐' 개발·운영 민첩성, 어떻게 달성할 것인가?

기업 경영진이 조직에 민첩성이 필요하다고 이야기하지만, 민첩성을 강요하고 지시할 수는 없는 법이다. CIO와 IT 경영진이 애자일 방법론 표준이라고 말하는 활동, 지표 및 책임은 표준화할 수는 있지만, 모든 구성원이 애자일 문화와 마음가짐을 갖도록 강요할 수는 없다. 애자일 도구를 선택하고 데브옵스 활동을 통해 더 많은 것을 자동화하고 시민이 참여하는 데이터 과학 프로그램을 활성화할 수 있지만, 도입을 강제하고 직원 만족도를 요구할 수는 없다. IT 운영 활동에서 하이브리드 멀티클라우드 아키텍처를 운영할 수는 있지만 그렇다고 해서 비용이 최적화되거나 인프라가 마법처럼 자동으로 확장 및 축소되는 것은 아니다. 따라서 애자일 프로세스를 신속하게 표준화하거나 애자일 아키텍처로 전환하여 기적처럼 기술 부채를 해결하고, 즉흥적으로 애자일 작업 방식으로 전환하려 했다면 안타깝게도 실망스러울 것이다. 민첩성은 무료도 아니고, 저렴하지도 쉽지도 않다. 간트 차트의 민첩성은 고정된 기간이나 계획으로 관리할 수 있는 것이 아니다. 필자는 민첩성이 주로 상향식 혁신이라 생각하지만 그렇다고 해서 개발자, 엔지니어, 테스트 담당자, 스크럼 마스터 및 기타 IT 부서원이 각기 독립적으로 민첩성을 유도할 수 있는 것은 아니다. 전체로서의 부서는 협업하고 타협을 인정하며 이득에 대한 동의가 있는 애자일 운영 원칙을 정의해야 한다. 민첩성은 지시할 수도 없고 모든 구성원의 기여해야 하는 것이라면, 조직은 어떻게 민첩해질 수 있을까? 애자일 방법론, 데이터 중심적인 활동 및 데브옵스 문화 도입 정신 측면에서 IT 조직의 모두가 협업하여 민첩성을 유도할 수 있는 방법을 살펴보자.     애자일 방법론 사례를 만들라  필자의 저서 ‘디지털 유도하기(Driving Digital)’ 2장의 핵심은 기본적인 스크럼 활동에서 역할 및 책임 할당, 멀티 스프린트 백로그 계획 및 예측 활동 표준화 등 더욱 포괄적인 애자일 계획 프로세스로 전환하는 것이다. 부서와 협력하...

유연성 민첩성 데이터과학 시민데이터과학 애자일

2020.10.16

기업 경영진이 조직에 민첩성이 필요하다고 이야기하지만, 민첩성을 강요하고 지시할 수는 없는 법이다. CIO와 IT 경영진이 애자일 방법론 표준이라고 말하는 활동, 지표 및 책임은 표준화할 수는 있지만, 모든 구성원이 애자일 문화와 마음가짐을 갖도록 강요할 수는 없다. 애자일 도구를 선택하고 데브옵스 활동을 통해 더 많은 것을 자동화하고 시민이 참여하는 데이터 과학 프로그램을 활성화할 수 있지만, 도입을 강제하고 직원 만족도를 요구할 수는 없다. IT 운영 활동에서 하이브리드 멀티클라우드 아키텍처를 운영할 수는 있지만 그렇다고 해서 비용이 최적화되거나 인프라가 마법처럼 자동으로 확장 및 축소되는 것은 아니다. 따라서 애자일 프로세스를 신속하게 표준화하거나 애자일 아키텍처로 전환하여 기적처럼 기술 부채를 해결하고, 즉흥적으로 애자일 작업 방식으로 전환하려 했다면 안타깝게도 실망스러울 것이다. 민첩성은 무료도 아니고, 저렴하지도 쉽지도 않다. 간트 차트의 민첩성은 고정된 기간이나 계획으로 관리할 수 있는 것이 아니다. 필자는 민첩성이 주로 상향식 혁신이라 생각하지만 그렇다고 해서 개발자, 엔지니어, 테스트 담당자, 스크럼 마스터 및 기타 IT 부서원이 각기 독립적으로 민첩성을 유도할 수 있는 것은 아니다. 전체로서의 부서는 협업하고 타협을 인정하며 이득에 대한 동의가 있는 애자일 운영 원칙을 정의해야 한다. 민첩성은 지시할 수도 없고 모든 구성원의 기여해야 하는 것이라면, 조직은 어떻게 민첩해질 수 있을까? 애자일 방법론, 데이터 중심적인 활동 및 데브옵스 문화 도입 정신 측면에서 IT 조직의 모두가 협업하여 민첩성을 유도할 수 있는 방법을 살펴보자.     애자일 방법론 사례를 만들라  필자의 저서 ‘디지털 유도하기(Driving Digital)’ 2장의 핵심은 기본적인 스크럼 활동에서 역할 및 책임 할당, 멀티 스프린트 백로그 계획 및 예측 활동 표준화 등 더욱 포괄적인 애자일 계획 프로세스로 전환하는 것이다. 부서와 협력하...

2020.10.16

데이터 주도적 혁신을 여는 열쇠··· ‘IoT 애널리틱스’ 구축을 위한 조언

사물인터넷(IoT)이 데이터 주도적 트랜스포메이션을 여는 열쇠일지도 모른다. 실시간으로 전달되는 방대한 IoT 데이터를 비즈니스 가치로 전환하는 방법을 살펴본다. 많은 기업들이 데이터 주도적 트랜스포메이션 전략의 핵심 요소로 사물인터넷을 꼽고 있다. IoT를 제대로 구축한 기업들은 운영 프로세스, 재고 관리, 장비 유지보수 등을 개선하며 이미 그 혜택을 보고 있기도 하다.  그러나 성공적인 IoT 전략은 단순히 수많은 장치와 센서를 인터넷에 연결하고, 이 '연결된 사물들(things)'에서 데이터를 수집하는 것에 그치지 않는다.  IoT로 생성되는 방대한 데이터를 효과적으로 분석할 수 있는 역량을 갖추고, 실질적인 비즈니스 인사이트를 얻어야 한다. 이것이 바로 IoT 애널리틱스 전략을 최우선 과제로 삼아야 하는 이유다. 연결로 창출되는 모든 데이터를 최대한 활용하고자 하는 기업에게는 더욱더 그렇다.   가트너의 시니어 디렉터 겸 자문 위원장인 칼톤 사프는 기업이 수집한 IoT 데이터를 활용한다면 많은 이점을 누릴 수 있다고 강조했다. 이를테면 장비와 시스템 현황 파악부터 의사결정 및 관리감독 최적화, 데이터 관리 비용 절감, 선제적 예측 및 관리, 컴플라이언스 구현 등이 이러한 이점에 포함된다.  이어서 그는 인프라 최적화 및 관리, 자산 관리, 재무 위험 관리, 스마트 시티 등의 분야에서 IoT 데이터를 활용할 기회가 많다고 덧붙였다.  하지만 IoT 데이터에서 가치를 도출하려면 적절한 툴과 일관적인 전략이 필요하다고 사프는 조언했다. IoT 데이터와 리소스를 최대한 활용할 수 있는 몇 가지 방법들을 소개한다. IoT 애널리틱스 조직과 인프라를 구축하라 IDC의 IoT 부문 리서치 책임자 스테이시 크룩은 기업이 IoT 애널리틱스 목표를 파악했다면 이와 관련된 주요 이해관계자를 식별해야 한다고 권고했다. 그리고 내부 역량이 충분한지 해당 이해관계자들에게 확인해야 한다고 언급했다.  그는 “데...

클라우드 데이터과학 IoT 사물인터넷 인공지능 AI 개인정보보호 애저 AWS 마이크로소프트 거버넌스 보안 구글 데이터 IoT애널리틱스

2020.05.13

사물인터넷(IoT)이 데이터 주도적 트랜스포메이션을 여는 열쇠일지도 모른다. 실시간으로 전달되는 방대한 IoT 데이터를 비즈니스 가치로 전환하는 방법을 살펴본다. 많은 기업들이 데이터 주도적 트랜스포메이션 전략의 핵심 요소로 사물인터넷을 꼽고 있다. IoT를 제대로 구축한 기업들은 운영 프로세스, 재고 관리, 장비 유지보수 등을 개선하며 이미 그 혜택을 보고 있기도 하다.  그러나 성공적인 IoT 전략은 단순히 수많은 장치와 센서를 인터넷에 연결하고, 이 '연결된 사물들(things)'에서 데이터를 수집하는 것에 그치지 않는다.  IoT로 생성되는 방대한 데이터를 효과적으로 분석할 수 있는 역량을 갖추고, 실질적인 비즈니스 인사이트를 얻어야 한다. 이것이 바로 IoT 애널리틱스 전략을 최우선 과제로 삼아야 하는 이유다. 연결로 창출되는 모든 데이터를 최대한 활용하고자 하는 기업에게는 더욱더 그렇다.   가트너의 시니어 디렉터 겸 자문 위원장인 칼톤 사프는 기업이 수집한 IoT 데이터를 활용한다면 많은 이점을 누릴 수 있다고 강조했다. 이를테면 장비와 시스템 현황 파악부터 의사결정 및 관리감독 최적화, 데이터 관리 비용 절감, 선제적 예측 및 관리, 컴플라이언스 구현 등이 이러한 이점에 포함된다.  이어서 그는 인프라 최적화 및 관리, 자산 관리, 재무 위험 관리, 스마트 시티 등의 분야에서 IoT 데이터를 활용할 기회가 많다고 덧붙였다.  하지만 IoT 데이터에서 가치를 도출하려면 적절한 툴과 일관적인 전략이 필요하다고 사프는 조언했다. IoT 데이터와 리소스를 최대한 활용할 수 있는 몇 가지 방법들을 소개한다. IoT 애널리틱스 조직과 인프라를 구축하라 IDC의 IoT 부문 리서치 책임자 스테이시 크룩은 기업이 IoT 애널리틱스 목표를 파악했다면 이와 관련된 주요 이해관계자를 식별해야 한다고 권고했다. 그리고 내부 역량이 충분한지 해당 이해관계자들에게 확인해야 한다고 언급했다.  그는 “데...

2020.05.13

절차 간소화부터 자동화까지··· 앱 모니터링 개선하는 AI옵스

데브옵스(DevOps)와 SRE(Site Reliability Engineering)는 애플리케이션을 관리 및 유지하는 데 필수적이다. 여기에 더해 AI옵스가 효율성을 한 단계 더 높일 수 있다. IT 운영팀은 시스템 및 애플리케이션의 성능 문제를 여러 툴을 사용해 모니터링, 진단, 해결한다. 1,300 명의 IT 전문가를 대상으로 한 ‘모니터링 및 AI옵스의 미래(future of monitoring and AIops)’에 관한 최근 설문조사에 따르면 응답자의 42%가 10가지 이상의 모니터링 툴을, 19%는 25가지 이상의 툴을 사용한다.  단지 시스템을 원활하게 운영하고 애플리케이션 오류를 모니터링, 알림, 조사, 해결하는 데 필요한 데이터를 제공하는 것치고는 너무 많은 도구들을 사용하는 것이 아닐까?    여기에는 이유가 있다. 만능 모니터링 툴이 없기 때문이다. 수십 개의 모니터링 툴은 각각 다 하는 역할이 있다. 멀티 클라우드 환경에서 미션 크리티컬 애플리케이션을 구동하는 경우라면 특히 그렇다. 게다가 모바일 앱, 마이크로서비스, 데이터옵스, 데이터 과학에 대한 투자가 진행되면서 도메인별 모니터링 기능을 제공하는 새로운 모니터링 툴까지 등장하고 있다.  AI옵스 플랫폼의 목표는 이런 복잡한 모니터링 툴 환경을 단순화하는 것이다. AI옵스는 높은 수준의 애플리케이션 서비스를 필요로 하는 기업이 모니터링 툴과 IT 운영 워크플로우의 복잡성을 한층 원활하게 처리하는 데 도움을 준다. 이름에서 알 수 있듯 AI옵스는 머신러닝과 자동화 기능을 IT 운영에 제공한다. 이를 통해 오류를 신속하게 해결하고, 성능에 영향을 미치는 운영 추세를 식별하고, 문제 해결에 필요한 절차를 간소화하도록 하기 위해서다.  AI옵스는 새로운 플랫폼이다. 위의 설문조사에서 42%의 응답자가 AI옵스라는 말을 들어본 적이 없거나, IT 운영에 머신러닝을 적용하는 것이 크게 유효하지 않을 것 같다고 밝혔다. 불과 4%만이...

모바일앱 SRE AI옵스 데이터옵스 멀티클라우드 마이크로서비스 데이터과학 머신러닝 데브옵스 IT운영 모니터링 애플리케이션 미션크리티컬

2020.05.06

데브옵스(DevOps)와 SRE(Site Reliability Engineering)는 애플리케이션을 관리 및 유지하는 데 필수적이다. 여기에 더해 AI옵스가 효율성을 한 단계 더 높일 수 있다. IT 운영팀은 시스템 및 애플리케이션의 성능 문제를 여러 툴을 사용해 모니터링, 진단, 해결한다. 1,300 명의 IT 전문가를 대상으로 한 ‘모니터링 및 AI옵스의 미래(future of monitoring and AIops)’에 관한 최근 설문조사에 따르면 응답자의 42%가 10가지 이상의 모니터링 툴을, 19%는 25가지 이상의 툴을 사용한다.  단지 시스템을 원활하게 운영하고 애플리케이션 오류를 모니터링, 알림, 조사, 해결하는 데 필요한 데이터를 제공하는 것치고는 너무 많은 도구들을 사용하는 것이 아닐까?    여기에는 이유가 있다. 만능 모니터링 툴이 없기 때문이다. 수십 개의 모니터링 툴은 각각 다 하는 역할이 있다. 멀티 클라우드 환경에서 미션 크리티컬 애플리케이션을 구동하는 경우라면 특히 그렇다. 게다가 모바일 앱, 마이크로서비스, 데이터옵스, 데이터 과학에 대한 투자가 진행되면서 도메인별 모니터링 기능을 제공하는 새로운 모니터링 툴까지 등장하고 있다.  AI옵스 플랫폼의 목표는 이런 복잡한 모니터링 툴 환경을 단순화하는 것이다. AI옵스는 높은 수준의 애플리케이션 서비스를 필요로 하는 기업이 모니터링 툴과 IT 운영 워크플로우의 복잡성을 한층 원활하게 처리하는 데 도움을 준다. 이름에서 알 수 있듯 AI옵스는 머신러닝과 자동화 기능을 IT 운영에 제공한다. 이를 통해 오류를 신속하게 해결하고, 성능에 영향을 미치는 운영 추세를 식별하고, 문제 해결에 필요한 절차를 간소화하도록 하기 위해서다.  AI옵스는 새로운 플랫폼이다. 위의 설문조사에서 42%의 응답자가 AI옵스라는 말을 들어본 적이 없거나, IT 운영에 머신러닝을 적용하는 것이 크게 유효하지 않을 것 같다고 밝혔다. 불과 4%만이...

2020.05.06

심리·통계·파이썬··· '융합' 역량 갖춘 9년차 머신러닝 전문가 이야기

머신러닝은 현재 IT 업계에서 가장 수요가 많은 기술이다. 개인화 소프트웨어 및 서비스 제공업체 세일쓰루(Sailthru)의 수석 머신러닝 엔지니어 카일 햄린과 머신러닝 경력에 관해 이야기를 나눴다. 인공지능의 하위개념이자 패턴과 추론을 통해 시스템이 특정 작업을 수행하도록 하는 통계학적 모델 및 알고리즘인 머신러닝은 오늘날 기술 구직 시장에서 가장 수요가 많은 기술에 속한다.  머신러닝 엔지니어라는 직업 전망이 밝은 것은 어쩌면 너무나도 당연한 일이다. 온라인 교육 플랫폼 스터디닷컴(Study.com)에 따르면, 머신러닝 엔지니어는 습득한 지식을 응용해 시스템과 기계를 개발할 수 있는 고급 전문가다. 머신러닝 엔지니어의 주요 업무는 기계가 특정 작업을 수행하도록 프로그래밍하는 차원을 넘어서 구체적인 지시를 내리지 않아도 알아서 행동하게 하는 프로그램을 만드는 것이라고 스터디닷컴은 설명했다.  예를 들면 자율주행차나 특정 개인의 관심사를 파악할 수 있는 프로그램을 개발하는 것 등이 머신러닝 엔지니어의 업무에 포함된다. 스터디닷컴은 “맞춤형 뉴스 피드부터 맞춤형 웹 검색에 이르기까지 머신러닝 엔지니어는 수많은 개인들의 일상생활과 기술 사용 방식에 일조하고 있다”라고 말했다.    머신러닝 엔지니어가 갖춰야 할 직무 역량에는 컴퓨터 프로그래밍(C++ 또는 자바와 같은 특정 언어에 대한 지식 포함), 수학, 데이터 애널리틱스, 데이터 마이닝, 클라우드 애플리케이션 지식, 원활한 의사소통 능력 등이 있다. 링크드인 선정 2019년 가장 유망한 직업 순위(Most Promising Jobs listing for 2019)에 따르면 머신러닝 엔지니어는 15위를 차지했다. 해당 순위는 링크드인 회원 정보와 채용 및 연봉 데이터를 바탕으로 연봉, 구인 건수, 전년 대비 구인 건수 증가율 등을 분석한 결과다.  이밖에 구인구직 사이트 인디드(Indeed)에 따르면, 2018년과 2019년 사이 직무 설명에 ‘A...

빅데이터 데이터엔지니어링 데이터애널리틱스 데이터레이크 데이터과학 딥러닝 머신러닝 파이썬 자동화 인공지능 사이버보안 데이터웨어하우스 머신러닝엔지니어

2020.04.29

머신러닝은 현재 IT 업계에서 가장 수요가 많은 기술이다. 개인화 소프트웨어 및 서비스 제공업체 세일쓰루(Sailthru)의 수석 머신러닝 엔지니어 카일 햄린과 머신러닝 경력에 관해 이야기를 나눴다. 인공지능의 하위개념이자 패턴과 추론을 통해 시스템이 특정 작업을 수행하도록 하는 통계학적 모델 및 알고리즘인 머신러닝은 오늘날 기술 구직 시장에서 가장 수요가 많은 기술에 속한다.  머신러닝 엔지니어라는 직업 전망이 밝은 것은 어쩌면 너무나도 당연한 일이다. 온라인 교육 플랫폼 스터디닷컴(Study.com)에 따르면, 머신러닝 엔지니어는 습득한 지식을 응용해 시스템과 기계를 개발할 수 있는 고급 전문가다. 머신러닝 엔지니어의 주요 업무는 기계가 특정 작업을 수행하도록 프로그래밍하는 차원을 넘어서 구체적인 지시를 내리지 않아도 알아서 행동하게 하는 프로그램을 만드는 것이라고 스터디닷컴은 설명했다.  예를 들면 자율주행차나 특정 개인의 관심사를 파악할 수 있는 프로그램을 개발하는 것 등이 머신러닝 엔지니어의 업무에 포함된다. 스터디닷컴은 “맞춤형 뉴스 피드부터 맞춤형 웹 검색에 이르기까지 머신러닝 엔지니어는 수많은 개인들의 일상생활과 기술 사용 방식에 일조하고 있다”라고 말했다.    머신러닝 엔지니어가 갖춰야 할 직무 역량에는 컴퓨터 프로그래밍(C++ 또는 자바와 같은 특정 언어에 대한 지식 포함), 수학, 데이터 애널리틱스, 데이터 마이닝, 클라우드 애플리케이션 지식, 원활한 의사소통 능력 등이 있다. 링크드인 선정 2019년 가장 유망한 직업 순위(Most Promising Jobs listing for 2019)에 따르면 머신러닝 엔지니어는 15위를 차지했다. 해당 순위는 링크드인 회원 정보와 채용 및 연봉 데이터를 바탕으로 연봉, 구인 건수, 전년 대비 구인 건수 증가율 등을 분석한 결과다.  이밖에 구인구직 사이트 인디드(Indeed)에 따르면, 2018년과 2019년 사이 직무 설명에 ‘A...

2020.04.29

"레드햇 오픈시프트로 AI 기반 지능형 애플리케이션 구축 가속화"

많은 기업들이 레드햇 오픈시프트(Red Hat OpenShift)를 인공지능 및 머신러닝 데이터 과학 워크플로우와 AI 기반 지능형 애플리케이션을 구축하기 위한 기반으로 활용하고 있다고 레드햇은 발표했다.  회사에 따르면 레드햇 오픈시프트는 클라우드 인프라에서 엣지 컴퓨팅 구축에 이르기까지 하이브리드 클라우드의 민첩성, 유연성, 이식성 및 확장성을 제공해 머신러닝 모델 및 지능형 애플리케이션을 벤더 락인(vendor lock-in) 없이 신속하게 개발 및 배포할 수 있도록 지원한다. 레드햇 오픈시프트는 프로덕션 환경에서 검증된 엔터프라이즈 컨테이너 및 쿠버네티스 플랫폼으로, 쿠버네티스 오퍼레이터 및 엔비디아 GPU 기반 인프라 플랫폼을 통해 독립 소프트웨어 벤더(ISV, independent software vendors)를 위한 통합 데브옵스 기능을 제공한다.  이 조합으로 기업은 AI 및 머신러닝 툴체인의 구축 및 라이프사이클 관리를 간소화하고 하이브리드 클라우드 인프라를 지원할 수 있다고 회사 측은 설명했다. 향상된 기능을 통해 데이터 과학자들과 소프트웨어 개발자들은 단순히 인프라 리소스 요청을 관리하는 것을 넘어 하이브리드 클라우드에서 효과적으로 협업하고 혁신할 수 있다. AI 및 머신러닝에 주목하는 고객과 에코시스템 ‘2020 레드햇 글로벌 고객 기술 전망’ 보고서에서 나타난 AI 및 머신러닝 결과를 통해 레드햇 고객의 주요 관심사를 살펴볼 수 있다. 레드햇 고객 876명을 대상으로 그들의 IT 우선순위를 조사한 결과, 응답자의 30%가 향후 12개월 동안 AI 및 머신러닝을 활용할 계획이었다. 또한 2020년에 조사된 기업의 새로운 기술 워크로드 고려사항 중 AI 및 머신러닝이 가장 높은 순위를 차지한 것으로 나타났다. KBTG(Kasikorn Business-Technology Group)는 태국의 K뱅크(KBank)의 운영을 지원하고, 태국 내 핀테크 기업을 위한 기술 개발자 및 파트너 서비스도 제공한다. K뱅크의 사용...

레드햇 인공지능 머신러닝 데이터과학 레드햇오픈시프트 지능형애플리케이션

2020.03.27

많은 기업들이 레드햇 오픈시프트(Red Hat OpenShift)를 인공지능 및 머신러닝 데이터 과학 워크플로우와 AI 기반 지능형 애플리케이션을 구축하기 위한 기반으로 활용하고 있다고 레드햇은 발표했다.  회사에 따르면 레드햇 오픈시프트는 클라우드 인프라에서 엣지 컴퓨팅 구축에 이르기까지 하이브리드 클라우드의 민첩성, 유연성, 이식성 및 확장성을 제공해 머신러닝 모델 및 지능형 애플리케이션을 벤더 락인(vendor lock-in) 없이 신속하게 개발 및 배포할 수 있도록 지원한다. 레드햇 오픈시프트는 프로덕션 환경에서 검증된 엔터프라이즈 컨테이너 및 쿠버네티스 플랫폼으로, 쿠버네티스 오퍼레이터 및 엔비디아 GPU 기반 인프라 플랫폼을 통해 독립 소프트웨어 벤더(ISV, independent software vendors)를 위한 통합 데브옵스 기능을 제공한다.  이 조합으로 기업은 AI 및 머신러닝 툴체인의 구축 및 라이프사이클 관리를 간소화하고 하이브리드 클라우드 인프라를 지원할 수 있다고 회사 측은 설명했다. 향상된 기능을 통해 데이터 과학자들과 소프트웨어 개발자들은 단순히 인프라 리소스 요청을 관리하는 것을 넘어 하이브리드 클라우드에서 효과적으로 협업하고 혁신할 수 있다. AI 및 머신러닝에 주목하는 고객과 에코시스템 ‘2020 레드햇 글로벌 고객 기술 전망’ 보고서에서 나타난 AI 및 머신러닝 결과를 통해 레드햇 고객의 주요 관심사를 살펴볼 수 있다. 레드햇 고객 876명을 대상으로 그들의 IT 우선순위를 조사한 결과, 응답자의 30%가 향후 12개월 동안 AI 및 머신러닝을 활용할 계획이었다. 또한 2020년에 조사된 기업의 새로운 기술 워크로드 고려사항 중 AI 및 머신러닝이 가장 높은 순위를 차지한 것으로 나타났다. KBTG(Kasikorn Business-Technology Group)는 태국의 K뱅크(KBank)의 운영을 지원하고, 태국 내 핀테크 기업을 위한 기술 개발자 및 파트너 서비스도 제공한다. K뱅크의 사용...

2020.03.27

쿠버네티스용 머신러닝 툴킷 '쿠버플로우' 정식 버전 공개

데이터 과학자가 머신러닝 워크플로우를 손쉽게 관리, 배포, 확장할 수 있도록 지원하는 쿠버네티스용 머신러닝 툴킷의 정식 버전이 출시됐다.  구글이 2017년 첫 공개했던 쿠버플로우의 1.0 버전이 정식 출시됐다. 쿠버플로우는 쿠버네티스 환경에서 머신러닝 워크플로우를 관리하고 배포할 수 있도록 돕는 솔루션이다.    회사에 따르면 쿠버플로우는 머신러닝 프로젝트의 2가지 주요 문제를 해결하고자 개발됐다. 첫째, 통합된 엔드투엔드 워크플로우의 필요성이다. 둘째, 쉽고 직관적이며 확장이 간편한 배포의 필요성이다.  쿠버플로우를 이용해 데이터 과학자는 쿠버네티스 상에서 머신러닝 워크플로우를 구축하는 것은 물론 쿠버네티스 혹은 그 내부구조를 알 필요 없이 머신러닝 모델을 배포, 관리, 확장할 수 있다. 쿠버플로우는 코드 작성부터 컨테이너 생성 및 할당, 모델 학습, 해당 모델의 서빙까지 머신러닝 프로젝트의 모든 모든 단계를 관리하도록 설계됐다. 또한 쿠버플로우 1.0은 데이터 분석을 위한 데이터 주피터 노트북(Jupyter notebooks)과 웹 기반 대시보드 UI 같은 도구들을 제공해 각 단계를 지원한다. 구글은 쿠버플로우가 모델 학습과 서빙뿐만 아니라 개발 및 연구 작업에서 반복성, 독립성, 확장성, 유연성을 제공한다고 강조했다. 쿠버플로우에서 실행되는 주피터 노트북은 리소스 제한적(resource-limited)인 동시에 프로세스 제한적(process-limited)이다. 또한 구성, 기밀 접근(access to secrets), 데이터 소스를 재사용할 수 있다고 회사 측은 전했다. 쿠버플로우에는 여러 컴포넌트가 있다. 파이프라인(Pipeline)은 파이선을 사용해 복잡한 머신러닝 워크플로우 작성을 자동화하는 컴포넌트다. 메타데이터(Metadata)는 개별 모델, 데이터세트, 모델 학습, 예측 실행에 대한 세부 정보를 추적해준다. 카티브(Katib)는 쿠버플로우의 하이퍼파라미터 튜닝 컴포넌트다. 코드 변환...

구글 쿠버플로우 카티브 주피터노트북 머신러닝툴킷 파이프라인 쿠버네티스 데이터과학 머신러닝 메타데이터 워크플로우 하이퍼파라미터튜닝

2020.03.05

데이터 과학자가 머신러닝 워크플로우를 손쉽게 관리, 배포, 확장할 수 있도록 지원하는 쿠버네티스용 머신러닝 툴킷의 정식 버전이 출시됐다.  구글이 2017년 첫 공개했던 쿠버플로우의 1.0 버전이 정식 출시됐다. 쿠버플로우는 쿠버네티스 환경에서 머신러닝 워크플로우를 관리하고 배포할 수 있도록 돕는 솔루션이다.    회사에 따르면 쿠버플로우는 머신러닝 프로젝트의 2가지 주요 문제를 해결하고자 개발됐다. 첫째, 통합된 엔드투엔드 워크플로우의 필요성이다. 둘째, 쉽고 직관적이며 확장이 간편한 배포의 필요성이다.  쿠버플로우를 이용해 데이터 과학자는 쿠버네티스 상에서 머신러닝 워크플로우를 구축하는 것은 물론 쿠버네티스 혹은 그 내부구조를 알 필요 없이 머신러닝 모델을 배포, 관리, 확장할 수 있다. 쿠버플로우는 코드 작성부터 컨테이너 생성 및 할당, 모델 학습, 해당 모델의 서빙까지 머신러닝 프로젝트의 모든 모든 단계를 관리하도록 설계됐다. 또한 쿠버플로우 1.0은 데이터 분석을 위한 데이터 주피터 노트북(Jupyter notebooks)과 웹 기반 대시보드 UI 같은 도구들을 제공해 각 단계를 지원한다. 구글은 쿠버플로우가 모델 학습과 서빙뿐만 아니라 개발 및 연구 작업에서 반복성, 독립성, 확장성, 유연성을 제공한다고 강조했다. 쿠버플로우에서 실행되는 주피터 노트북은 리소스 제한적(resource-limited)인 동시에 프로세스 제한적(process-limited)이다. 또한 구성, 기밀 접근(access to secrets), 데이터 소스를 재사용할 수 있다고 회사 측은 전했다. 쿠버플로우에는 여러 컴포넌트가 있다. 파이프라인(Pipeline)은 파이선을 사용해 복잡한 머신러닝 워크플로우 작성을 자동화하는 컴포넌트다. 메타데이터(Metadata)는 개별 모델, 데이터세트, 모델 학습, 예측 실행에 대한 세부 정보를 추적해준다. 카티브(Katib)는 쿠버플로우의 하이퍼파라미터 튜닝 컴포넌트다. 코드 변환...

2020.03.05

"고립돼 작업하는 문제 해결"··· 오라클, 데이터 과학 플랫폼 공개

오라클이 데이터 과학 플랫폼 영역에 진출했다. 데이터베이스 기업 오라클은 그간 개별 데이터 과학자에 중점을 두었던 기존 솔루션과 달리 협업에 특화한 클라우드 기반 데이터 과학 플랫폼을 12일 공개했다.  오라클 클라우드 데이터 사이언스 플랫폼(Oracle Cloud Data Science Platform, OCDSP)은 오라클이 2018년 인수한 데이터사이언스닷컴(DataScience.com)을 기반으로 구축됐다. 이 플랫폼은 팀 단위의 협업을 효과적으로 수행하는 데 필요한 기능을 지원하는 것이 특징이다.    이 플랫폼의 핵심 솔루션은 오라클 클라우드 인프라스트럭처 데이터 사이언스(Oracle Cloud Infrastructure Data Science, OCIDS)다. 파이썬, 텐서플로우, 케라스, 주피터 등 다양한 오픈소스 도구를 사용해 오라클 클라우드 상에서 머신러닝 모델을 설계, 학습, 관리할 수 있다.  오라클 데이터 및 AI서비스 제품 개발 부문 수석부사장 그렉 파블릭은 “네이티브 클라우드 서비스 중 기업 내 협력에 초점을 맞췄다는 점에서 동급 최초라고 할 수 있다. 데이터 과학자들의 협업 및 거버넌스를 위한 환경을 제공하는 데 특화된 솔루션이다”라고 밝혔다. 데이터 과학 프로젝트 간소화 ‘오라클 클라우드 인프라스트럭처 데이터 사이언스’는 데이터 과학 워크플로우 자동화를 특징으로 얼터릭스(Alteryx), KNIME 어낼리틱스 플랫폼(KNIME Analytics Platform), 라피드마이너(RapidMiner) 등의 다른 플랫폼들과 경쟁하고자 한다.   해당 솔루션은 AutoML 자동화 알고리즘 선택과 튜닝 기능을 제공한다. AutoML 자동화 알고리즘은 특정 사용례에 가장 적합한 알고리즘을 선택할 수 있도록 해준다. 튜닝을 통해서는 알고리즘 입력 값을 선택하거나, 모델을 미세조정할 수 있다고 파블릭은 설명했다. 방대한 양의 데이터세트로부터 예측형 특징을...

클라우드 데이터사이언스닷컴 케라스 주피터 텐서플로우 데이터과학자 데이터과학 머신러닝 파이썬 알고리즘 데이터베이스 빅데이터 오픈소스 오라클 인프라 협업 네이티브클라우드

2020.02.14

오라클이 데이터 과학 플랫폼 영역에 진출했다. 데이터베이스 기업 오라클은 그간 개별 데이터 과학자에 중점을 두었던 기존 솔루션과 달리 협업에 특화한 클라우드 기반 데이터 과학 플랫폼을 12일 공개했다.  오라클 클라우드 데이터 사이언스 플랫폼(Oracle Cloud Data Science Platform, OCDSP)은 오라클이 2018년 인수한 데이터사이언스닷컴(DataScience.com)을 기반으로 구축됐다. 이 플랫폼은 팀 단위의 협업을 효과적으로 수행하는 데 필요한 기능을 지원하는 것이 특징이다.    이 플랫폼의 핵심 솔루션은 오라클 클라우드 인프라스트럭처 데이터 사이언스(Oracle Cloud Infrastructure Data Science, OCIDS)다. 파이썬, 텐서플로우, 케라스, 주피터 등 다양한 오픈소스 도구를 사용해 오라클 클라우드 상에서 머신러닝 모델을 설계, 학습, 관리할 수 있다.  오라클 데이터 및 AI서비스 제품 개발 부문 수석부사장 그렉 파블릭은 “네이티브 클라우드 서비스 중 기업 내 협력에 초점을 맞췄다는 점에서 동급 최초라고 할 수 있다. 데이터 과학자들의 협업 및 거버넌스를 위한 환경을 제공하는 데 특화된 솔루션이다”라고 밝혔다. 데이터 과학 프로젝트 간소화 ‘오라클 클라우드 인프라스트럭처 데이터 사이언스’는 데이터 과학 워크플로우 자동화를 특징으로 얼터릭스(Alteryx), KNIME 어낼리틱스 플랫폼(KNIME Analytics Platform), 라피드마이너(RapidMiner) 등의 다른 플랫폼들과 경쟁하고자 한다.   해당 솔루션은 AutoML 자동화 알고리즘 선택과 튜닝 기능을 제공한다. AutoML 자동화 알고리즘은 특정 사용례에 가장 적합한 알고리즘을 선택할 수 있도록 해준다. 튜닝을 통해서는 알고리즘 입력 값을 선택하거나, 모델을 미세조정할 수 있다고 파블릭은 설명했다. 방대한 양의 데이터세트로부터 예측형 특징을...

2020.02.14

'디지털 트윈'으로 하루에 10만 번 시뮬레이션··· 바이엘크롭사이언스 사례

생명과학 기업 바이엘의 농업 비즈니스 법인 바이엘크롭사이언스가 북미 공장 9곳의 생산 장비와 공정을 디지털 세계에 재현한 디지털 트윈 '가상 공장'을 구축해 활용하고 있다.  지난 몇 년 동안 바이엘크롭사이언스는 데이터 기반 과학적인 의사결정을 물류부터 유전자 배열까지 모든 비즈니스 부문에 적용해왔다. 머신러닝과 인공지능을 중심으로 추진됐던 이 전략은 이제 ‘디지털 트윈’ 즉, 회사의 ‘가상 공장’ 프로젝트까지 아우른다.    바이엘크롭사이언스의 ‘가상 공장’은 북미에서 운영되는 9곳의 옥수수 종자 공장을 디지털로 구현한 것이다. 해당 기업의 데이터 과학 CoE(Center of Excellence)를 이끄는 나빈 싱라는 "밭에서 수확된 종자들이 이 9곳의 공장을 거쳐서 처리된 이후 유통된다"라고 말했다.  가상 공장은 생산 장비, 공정, 제품 흐름 특성(Product flow characteristics), 자재 명세서(Bill of materials) 그리고 각 공장의 운영 규칙을 디지털로 고스란히 재현한 동적 모델이다. 이 가상 공장은 바이엘이 각 공장에 가정(what-if) 분석을 적용할 수 있도록 해준다.  또한 바이엘은 이제 새로운 종자 처리 방안이나 가격 전략을 도입할 때 가상 공장을 활용할 수 있다. 공장 준비 상태를 측정해 운영 계획을 조정하고, 신규 전략을 추진할 수 있게 해주기 때문이다. 그는 “이밖에 가상 공장은 구매 결정, 장기 비즈니스 계획 수립, 발명품 검토, 공정 개선에도 활용될 수 있다”라고 덧붙였다. 해당 가상 공장 프로젝트로 인해 바이엘은 신기술을 선도한 기업에게 수여되는 상인 퓨처엣지 50 어워드(FutureEdge 50 Award)를 수상했다. 바이엘은 이를 두고 북미 공장부터 종자 혁신센터, 데이터 과학 CoE까지 이 세 그룹이 함께 노력한 결과라고 전했다. 3개 그룹에 포함된 비즈니스 리드, 프로세스 엔지니어, 데이터 과학자들은 가상 조직을 구성해 긴밀히 협력했다...

클라우드 디지털트윈 가상공장 개념증명 데이터과학 머신러닝 인공지능 시뮬레이션 최적화 데이터 디지털플루언시

2020.02.10

생명과학 기업 바이엘의 농업 비즈니스 법인 바이엘크롭사이언스가 북미 공장 9곳의 생산 장비와 공정을 디지털 세계에 재현한 디지털 트윈 '가상 공장'을 구축해 활용하고 있다.  지난 몇 년 동안 바이엘크롭사이언스는 데이터 기반 과학적인 의사결정을 물류부터 유전자 배열까지 모든 비즈니스 부문에 적용해왔다. 머신러닝과 인공지능을 중심으로 추진됐던 이 전략은 이제 ‘디지털 트윈’ 즉, 회사의 ‘가상 공장’ 프로젝트까지 아우른다.    바이엘크롭사이언스의 ‘가상 공장’은 북미에서 운영되는 9곳의 옥수수 종자 공장을 디지털로 구현한 것이다. 해당 기업의 데이터 과학 CoE(Center of Excellence)를 이끄는 나빈 싱라는 "밭에서 수확된 종자들이 이 9곳의 공장을 거쳐서 처리된 이후 유통된다"라고 말했다.  가상 공장은 생산 장비, 공정, 제품 흐름 특성(Product flow characteristics), 자재 명세서(Bill of materials) 그리고 각 공장의 운영 규칙을 디지털로 고스란히 재현한 동적 모델이다. 이 가상 공장은 바이엘이 각 공장에 가정(what-if) 분석을 적용할 수 있도록 해준다.  또한 바이엘은 이제 새로운 종자 처리 방안이나 가격 전략을 도입할 때 가상 공장을 활용할 수 있다. 공장 준비 상태를 측정해 운영 계획을 조정하고, 신규 전략을 추진할 수 있게 해주기 때문이다. 그는 “이밖에 가상 공장은 구매 결정, 장기 비즈니스 계획 수립, 발명품 검토, 공정 개선에도 활용될 수 있다”라고 덧붙였다. 해당 가상 공장 프로젝트로 인해 바이엘은 신기술을 선도한 기업에게 수여되는 상인 퓨처엣지 50 어워드(FutureEdge 50 Award)를 수상했다. 바이엘은 이를 두고 북미 공장부터 종자 혁신센터, 데이터 과학 CoE까지 이 세 그룹이 함께 노력한 결과라고 전했다. 3개 그룹에 포함된 비즈니스 리드, 프로세스 엔지니어, 데이터 과학자들은 가상 조직을 구성해 긴밀히 협력했다...

2020.02.10

블로그ㅣ머신러닝에 관심있다면?··· 이제는 파이토치다 

아직 비주류긴 하지만, 쉽고 간단한 딥러닝 프레임워크 파이토치(PyTorch)가 데이터 과학 분야에서 부상하고 있다.  페이스북 인공지능 연구팀에서 만든 파이토치는 현재 가장 인기 많은 프로그래밍 언어인 파이썬을 기반으로 한다는 점에서 의미가 있다. 그러나 이것이 얼마나 의미가 있는지 거의 짐작하지 못했다. 아무리 많은 것들(훌륭한 공식 문서, 탄탄한 기술 기반 등)을 지원하더라도 오픈소스 프로젝트의 성공에는 운이 따라야 하기 때문이다.    그렇다면 파이토치는 운이 좋다. 아니, 축복받았다고 봐도 무방하다. 파이토치는 최근 빠르게 성장하고 있다. 애널리스트 토마스 딘스모어는 “2020년 말에는 파이토치 사용자가 텐서플로우 사용자를 추월할 것"이라고 전망했다. 사용자가 더 많아지고, 더 많이 채택되는 것은 무엇을 의미할까? 2015년 공개된 텐서플로우가 주류로 자리잡은 업계에서 그 경쟁자인 파이토치가 큰 발걸음을 내딛고 있다는 것이다.   폭발적인 성장 오픈허브(OpenHub)에 따르면, 텐서플로우와 파이토치는 지난 12개월간 막상막하의 사용자 수를 기록했다. 텐서플로우는 906명, 파이토치는 900명이었다. 2015년 공개된 텐서플로우와 비교하면, 파이토치의 점유율은 물론 사용자 수가 빠르게 증가하고 있음을 알 수 있다. 이는 데이터 과학자 제프 헤일의 분석 자료에서도 확인할 수 있다. 헤일은 채용 관련 데이터를 기반으로 데이터 과학자와 함께 어떤 키워드가 나타났는지 조사했는데, 지난해 파이토치는 2018년 대비 108.1% 증가했다.    물론 그의 분석 자료가 상대적 성장세를 표현했다는 점을 감안해야 한다. 텐서플로우의 사용자 커뮤니티 규모가 아직 파이토치보다 훨씬 크다. 파이토치가 거의 하룻밤 사이에 소수에서 무시무시한 다수로 변했지만 말이다. 하지만 모든 사항을 고려해볼 때 파이토치가 곧 텐서플로우와의 격차를 좁힐 수 있을 것으로 예측된다.  특히 파이토치에는 비교우...

오픈소스 딥러닝프레임워크 프로그래밍언어 파이토치 텐서플로 데이터과학 딥러닝 머신러닝 파이썬 기계학습 인공지능 페이스북 즉시실행

2020.01.31

아직 비주류긴 하지만, 쉽고 간단한 딥러닝 프레임워크 파이토치(PyTorch)가 데이터 과학 분야에서 부상하고 있다.  페이스북 인공지능 연구팀에서 만든 파이토치는 현재 가장 인기 많은 프로그래밍 언어인 파이썬을 기반으로 한다는 점에서 의미가 있다. 그러나 이것이 얼마나 의미가 있는지 거의 짐작하지 못했다. 아무리 많은 것들(훌륭한 공식 문서, 탄탄한 기술 기반 등)을 지원하더라도 오픈소스 프로젝트의 성공에는 운이 따라야 하기 때문이다.    그렇다면 파이토치는 운이 좋다. 아니, 축복받았다고 봐도 무방하다. 파이토치는 최근 빠르게 성장하고 있다. 애널리스트 토마스 딘스모어는 “2020년 말에는 파이토치 사용자가 텐서플로우 사용자를 추월할 것"이라고 전망했다. 사용자가 더 많아지고, 더 많이 채택되는 것은 무엇을 의미할까? 2015년 공개된 텐서플로우가 주류로 자리잡은 업계에서 그 경쟁자인 파이토치가 큰 발걸음을 내딛고 있다는 것이다.   폭발적인 성장 오픈허브(OpenHub)에 따르면, 텐서플로우와 파이토치는 지난 12개월간 막상막하의 사용자 수를 기록했다. 텐서플로우는 906명, 파이토치는 900명이었다. 2015년 공개된 텐서플로우와 비교하면, 파이토치의 점유율은 물론 사용자 수가 빠르게 증가하고 있음을 알 수 있다. 이는 데이터 과학자 제프 헤일의 분석 자료에서도 확인할 수 있다. 헤일은 채용 관련 데이터를 기반으로 데이터 과학자와 함께 어떤 키워드가 나타났는지 조사했는데, 지난해 파이토치는 2018년 대비 108.1% 증가했다.    물론 그의 분석 자료가 상대적 성장세를 표현했다는 점을 감안해야 한다. 텐서플로우의 사용자 커뮤니티 규모가 아직 파이토치보다 훨씬 크다. 파이토치가 거의 하룻밤 사이에 소수에서 무시무시한 다수로 변했지만 말이다. 하지만 모든 사항을 고려해볼 때 파이토치가 곧 텐서플로우와의 격차를 좁힐 수 있을 것으로 예측된다.  특히 파이토치에는 비교우...

2020.01.31

2020년 상반기 유망 IT 직종 5선

IT 업계의 인력난이 심각하다. 올해에도 기술 인재의 부족 현상이 계속해서 나타날 것이라는 전망이 제기됐다. 기업이 필요로 하는 기술과 구직자의 기술 역량 간 불일치가 주요 원인이다.   글로벌 채용 전문 업체 헤이스(Hays)가 20일 발표한 일자리 보고서를 통해 이 같은 채용 시장 전망을 내놨다. 이와 동시에 올 상반기 호주에서 가장 수요가 높을 IT 직종 5가지도 소개했다. 클라우드 엔지니어와 아키텍트, 프로젝트 관리자, 네트워크 엔지니어, 보안 GRC(Governance·Risk·Compliance) 전문가, 엔드유저 지원 전문가이다.    보고서는 금융 서비스 부문에서 프로젝트 관리자의 수요가 많을 것이라고 예상했다. 또한 전략적, 비즈니스적 마인드는 물론이고 변화 관리까지 다양한 경력을 갖춘 프로젝트 관리자라면, 그 외의 다양한 비즈니스 부문에서 지속적인 수요가 있을 것이라고 보고서는 분석했다.  보고서는 “대부분 조직에서 애자일 방법론을 도입하려고 시도하면서, 애자일 프레임워크에 대한 실무 경력을 가진 프로젝트 전문가 수요는 꾸준히 있었다. 여기에 작년부터 시작된 호주 왕립특별조사위원회(Royal Commission)발 규제 강화로 인해 리스크 관리, 규정 준수, 규제 변화 대응 등에 경력이 있는 보안 인력 수요가 계속 증가할 것"이라고 전했다. 클라우드 부문에서는 서비스나우나 세일즈포스에서 실무 경험이 있거나 개발부터 프로젝트 도입 및 관리에 이르기까지 전체 프로세스를 아우를 수 있는 인력 수요가 있다.  네트워크 엔지니어도 수요가 높다. 특히 주요 클라우드 제공업체(구글, MS, 아마존), 소프트웨어 정의 네트워킹(SDN), 네트워크 기능 가상화(NFVi)에 대한 경험이 있는 인력 수요가 증가할 전망이라고 보고서는 밝혔다. 또한 보고서는 데브옵스, CI/CD, 애자일 전문성을 지닌 네트워크 엔지니어도 각광받을 것이라고 덧붙였다.  또한 보고서는 디지털 부문에서 수요가 높을 직종으...

애자일 보안GRC 데이터엔지니어 네트워크엔지니어 기술인재 클라우드아키텍트 클라우드엔지니어 프로젝트관리자 데이터과학 서비스나우 데브옵스 IT인재 세일즈포스 혁신 엔드유저

2020.01.23

IT 업계의 인력난이 심각하다. 올해에도 기술 인재의 부족 현상이 계속해서 나타날 것이라는 전망이 제기됐다. 기업이 필요로 하는 기술과 구직자의 기술 역량 간 불일치가 주요 원인이다.   글로벌 채용 전문 업체 헤이스(Hays)가 20일 발표한 일자리 보고서를 통해 이 같은 채용 시장 전망을 내놨다. 이와 동시에 올 상반기 호주에서 가장 수요가 높을 IT 직종 5가지도 소개했다. 클라우드 엔지니어와 아키텍트, 프로젝트 관리자, 네트워크 엔지니어, 보안 GRC(Governance·Risk·Compliance) 전문가, 엔드유저 지원 전문가이다.    보고서는 금융 서비스 부문에서 프로젝트 관리자의 수요가 많을 것이라고 예상했다. 또한 전략적, 비즈니스적 마인드는 물론이고 변화 관리까지 다양한 경력을 갖춘 프로젝트 관리자라면, 그 외의 다양한 비즈니스 부문에서 지속적인 수요가 있을 것이라고 보고서는 분석했다.  보고서는 “대부분 조직에서 애자일 방법론을 도입하려고 시도하면서, 애자일 프레임워크에 대한 실무 경력을 가진 프로젝트 전문가 수요는 꾸준히 있었다. 여기에 작년부터 시작된 호주 왕립특별조사위원회(Royal Commission)발 규제 강화로 인해 리스크 관리, 규정 준수, 규제 변화 대응 등에 경력이 있는 보안 인력 수요가 계속 증가할 것"이라고 전했다. 클라우드 부문에서는 서비스나우나 세일즈포스에서 실무 경험이 있거나 개발부터 프로젝트 도입 및 관리에 이르기까지 전체 프로세스를 아우를 수 있는 인력 수요가 있다.  네트워크 엔지니어도 수요가 높다. 특히 주요 클라우드 제공업체(구글, MS, 아마존), 소프트웨어 정의 네트워킹(SDN), 네트워크 기능 가상화(NFVi)에 대한 경험이 있는 인력 수요가 증가할 전망이라고 보고서는 밝혔다. 또한 보고서는 데브옵스, CI/CD, 애자일 전문성을 지닌 네트워크 엔지니어도 각광받을 것이라고 덧붙였다.  또한 보고서는 디지털 부문에서 수요가 높을 직종으...

2020.01.23

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.31