Offcanvas

��������� ���������

주피터부터 R스튜디오까지··· ‘데이터 과학’ 필수템 8선

기업들이 비즈니스 가치를 얻기 위해 ‘데이터 과학’에 점점 더 관심을 기울이면서 이를 지원하는 도구도 급증하고 있다. 여기서는 데이터 과학자가 주로 사용하는 도구를 살펴본다.  데이터 과학 열기가 식을 줄 모른다. 한때 데이터를 수집하고 분석하는 일은 연구소에 있는 소수의 과학자만 할 수 있다고 간주됐다. 하지만 이제는 모든 기업이 데이터 과학을 활용해 조직을 간소화하고 고객을 만족시키고 싶어 한다. 데이터 과학 도구가 이러한 수요를 충족시키기 위해 성장 중이다. 불과 몇 년 전만 해도 데이터 과학자는 명령줄 그리고 몇 안 되는 오픈소스 패키지를 사용했다. 이제는 데이터 과학의 많은 허드렛일(예: 데이터 클렌징 등)을 처리하는 전문 도구가 속속 개발되고 있다.  규모도 변하고 있다. 원래 데이터 과학은 과학자가 열심히 실험한 후 행하는 숫자 작업에 불과했다. 이제 데이터 과학은 워크플로우의 가장 중요한 부분이다. 오늘날 기업들은 현황을 신속하게 파악하기 위해 비즈니스 보고에 수학적 분석을 통합하고 대시보드를 구축한다. 아울러 속도도 빨라지고 있다. 한때 연간 또는 분기로 이뤄졌던 분석 작업은 이제 실시간으로 실행된다. 기업들은 관리자와 직원이 현명한 결정을 내릴 뿐만 아니라 데이터 과학이 제공하는 모든 것을 활용할 수 있도록 현재 무슨 일이 일어나고 있는지 파악하고 싶어 한다.  여기서는 끝없는 데이터 흐름 분석에 정확성과 과학을 더하는 도구들을 소개한다.    주피터 노트북(Jupyter Notebooks) 단어, 코드, 데이터 묶음은 ‘공통어(lingua franca)’가 됐다. 변하지 않는 분석과 콘텐츠로 채워진 정적 PDF는 영구적 기록을 생성하기 때문에 여전히 가치 있지만 데이터 과학자는 하부의 메커니즘을 이리저리 손보고 싶어 한다. 주피터 노트북을 사용하면 단순히 정보를 확인하는 것 이상의 일을 할 수 있다. 노트북은 매스매티카(Mathermatica; 계산용 소프트웨어)의 유연성을 차용...

데이터 과학 데이터 애널리틱스 애널리틱스 도구 주피터 노트북 R스튜디오 스위브 니터 IDE GPU

2022.05.10

기업들이 비즈니스 가치를 얻기 위해 ‘데이터 과학’에 점점 더 관심을 기울이면서 이를 지원하는 도구도 급증하고 있다. 여기서는 데이터 과학자가 주로 사용하는 도구를 살펴본다.  데이터 과학 열기가 식을 줄 모른다. 한때 데이터를 수집하고 분석하는 일은 연구소에 있는 소수의 과학자만 할 수 있다고 간주됐다. 하지만 이제는 모든 기업이 데이터 과학을 활용해 조직을 간소화하고 고객을 만족시키고 싶어 한다. 데이터 과학 도구가 이러한 수요를 충족시키기 위해 성장 중이다. 불과 몇 년 전만 해도 데이터 과학자는 명령줄 그리고 몇 안 되는 오픈소스 패키지를 사용했다. 이제는 데이터 과학의 많은 허드렛일(예: 데이터 클렌징 등)을 처리하는 전문 도구가 속속 개발되고 있다.  규모도 변하고 있다. 원래 데이터 과학은 과학자가 열심히 실험한 후 행하는 숫자 작업에 불과했다. 이제 데이터 과학은 워크플로우의 가장 중요한 부분이다. 오늘날 기업들은 현황을 신속하게 파악하기 위해 비즈니스 보고에 수학적 분석을 통합하고 대시보드를 구축한다. 아울러 속도도 빨라지고 있다. 한때 연간 또는 분기로 이뤄졌던 분석 작업은 이제 실시간으로 실행된다. 기업들은 관리자와 직원이 현명한 결정을 내릴 뿐만 아니라 데이터 과학이 제공하는 모든 것을 활용할 수 있도록 현재 무슨 일이 일어나고 있는지 파악하고 싶어 한다.  여기서는 끝없는 데이터 흐름 분석에 정확성과 과학을 더하는 도구들을 소개한다.    주피터 노트북(Jupyter Notebooks) 단어, 코드, 데이터 묶음은 ‘공통어(lingua franca)’가 됐다. 변하지 않는 분석과 콘텐츠로 채워진 정적 PDF는 영구적 기록을 생성하기 때문에 여전히 가치 있지만 데이터 과학자는 하부의 메커니즘을 이리저리 손보고 싶어 한다. 주피터 노트북을 사용하면 단순히 정보를 확인하는 것 이상의 일을 할 수 있다. 노트북은 매스매티카(Mathermatica; 계산용 소프트웨어)의 유연성을 차용...

2022.05.10

AI로 고객 경험 향상··· ‘펩시와 집라인’의 도전기

많은 기업들이 인공지능(AI)과 머신러닝(ML) 기능을 활용하고 싶어 한다. 다양한 이유 중 하나는 고객과 채널 파트너의 경험을 강화하려는 목적에서다. 실제로 브랜드 충성도를 높이고, 매출을 증진하고, 시장 점유율을 높인 사례를 종종 찾아볼 수 있다. 이에 관한 두 사례를 소개한다.   G&J 펩시(G&J Pepsi) : 매장의 제품 니즈를 예측 G&J 펩시 콜라 보틀러는 2020년 1월, 마이크로소프트 애저 클라우드 플랫폼의 AI와 머신러닝 요소들을 활용하기 위해 마이크로소프트와 제휴하면서 AI와 머신러닝 여정을 시작했다. G&J 펩시의 디지털 기술 및 비즈니스 트랜스포메이션 담당 VP인 브라이언 발저는 “마이크로소프트 데이터 사이언스 팀의 안내로 환경과 필요한 스킬 세트를 파악하기 시작했다. 또 예측 기반 결과를 제공하는 애저 머신러닝의 다양한 데이터 구성요소들을 탐색하기 시작했다”라고 말했다. 1년 전, G&J 펩시의 경영진은 주문을 예측하고, 매장 재고를 최적화하는 방법을 디지털 기술 부서에 문의했다. 발저는 “고객들에게 방대한 제품과 브랜드, SKU를 제공하는 데 사람의 노동력이 정말 많이 필요했다”라고 설명했다. 이 회사는 250개 이상의 SKU를 다루고 있고, 통상 대부분 제품이 거의 모든 매장에 재고로 비축되어 있다. 경영진은 프로세스를 가속화하고, 결과를 개선하는 자동화된 주문 메커니즘을 갖추기 원했다. 발저에 따르면, 회사의 주문 담당자는 업무 처리를 위해 각 매장과 소비자의 구매 행동, 세일즈 활동, 프로모션, 경쟁자의 전술, 기상 변화 등을 파악해야 한다. 그는 “이 모든 것을 수동으로 처리하며, 이는 자신의 경험을 바탕으로 한다. 시간이 많이 걸리는 작업이며 또 사람에 따라 차이가 크다”라고 말했다. 특히 개인이 이런 지식을 획득하는 데 오랜 시간이 걸릴 수 있다. 그는 “이 사람들이 회사를 그만두면 어떻게 될까? 이런 지식들이 그 사람과 함께 사라지고, 다음 사람은 스스로 훈련...

G&J 펩시 집라인 매장관리 재고관리 드론 배송 주피터 노트북 데이터브릭스

2021.05.26

많은 기업들이 인공지능(AI)과 머신러닝(ML) 기능을 활용하고 싶어 한다. 다양한 이유 중 하나는 고객과 채널 파트너의 경험을 강화하려는 목적에서다. 실제로 브랜드 충성도를 높이고, 매출을 증진하고, 시장 점유율을 높인 사례를 종종 찾아볼 수 있다. 이에 관한 두 사례를 소개한다.   G&J 펩시(G&J Pepsi) : 매장의 제품 니즈를 예측 G&J 펩시 콜라 보틀러는 2020년 1월, 마이크로소프트 애저 클라우드 플랫폼의 AI와 머신러닝 요소들을 활용하기 위해 마이크로소프트와 제휴하면서 AI와 머신러닝 여정을 시작했다. G&J 펩시의 디지털 기술 및 비즈니스 트랜스포메이션 담당 VP인 브라이언 발저는 “마이크로소프트 데이터 사이언스 팀의 안내로 환경과 필요한 스킬 세트를 파악하기 시작했다. 또 예측 기반 결과를 제공하는 애저 머신러닝의 다양한 데이터 구성요소들을 탐색하기 시작했다”라고 말했다. 1년 전, G&J 펩시의 경영진은 주문을 예측하고, 매장 재고를 최적화하는 방법을 디지털 기술 부서에 문의했다. 발저는 “고객들에게 방대한 제품과 브랜드, SKU를 제공하는 데 사람의 노동력이 정말 많이 필요했다”라고 설명했다. 이 회사는 250개 이상의 SKU를 다루고 있고, 통상 대부분 제품이 거의 모든 매장에 재고로 비축되어 있다. 경영진은 프로세스를 가속화하고, 결과를 개선하는 자동화된 주문 메커니즘을 갖추기 원했다. 발저에 따르면, 회사의 주문 담당자는 업무 처리를 위해 각 매장과 소비자의 구매 행동, 세일즈 활동, 프로모션, 경쟁자의 전술, 기상 변화 등을 파악해야 한다. 그는 “이 모든 것을 수동으로 처리하며, 이는 자신의 경험을 바탕으로 한다. 시간이 많이 걸리는 작업이며 또 사람에 따라 차이가 크다”라고 말했다. 특히 개인이 이런 지식을 획득하는 데 오랜 시간이 걸릴 수 있다. 그는 “이 사람들이 회사를 그만두면 어떻게 될까? 이런 지식들이 그 사람과 함께 사라지고, 다음 사람은 스스로 훈련...

2021.05.26

MS의 함수형 개발 언어 ‘F#’, 버전 5 기능 개발 완료

지난 8월 27일(현지 시각) 마이크로소프트가 F# 버전 5의 기능 개발 작업을 완료했다고 밝혔다. F#은 닷넷(.NET)과 호환되는 오픈소스 함수형 프로그래밍 언어다.    최신 미리보기에서는 F# 개발자들이 가장 많이 요청했던 기능인 문자열 보간(string interpolation)이 추가됐다. 이는 C#과 자바스크립트의 문자열 보간과 상당히 유사하다. 개발자가 문자열 리터럴(string literals)에 이른바 ‘구멍{ }’을 작성할 수 있다는 뜻이다. 또한 F# 문자열 보간은 스프린트 함수와 유사한 타입화된(typed) 보간을 허용, 보간된 컨텍스트의 내부 표현식이 특정 타입을 따르도록 한다.   마이크로소프트에 따르면 F# 버전 5는 닷넷 5 소프트웨어 개발 플랫폼과 함께 오는 11월 최종 안정화 버전(GA)이 공개될 예정이다. 최종 결함 검토만 남은 현재 릴리즈 캔디데이트(RC) 버전에서는 버그 수정 및 피드백 해결에 집중할 계획이라고 마이크로소프트는 덧붙였다.  F# 버전 5는 닷넷 5 미리보기 SDK를 설치하거나 혹은 닷넷 및 주피터 노트북을 통해 액세스할 수 있다. F# 5의 다른 기능은 다음과 같다.  • 사용 중인 기호를 확인하고 F# 소스에서 부르는 이름으로 만들어주는 nameof를 지원한다. 이 기능은 여러 상황에서 유용할 수 있는데, 이를테면 로깅 시에 소스 코드가 변경되더라도 로깅을 보호해준다.  • 개방형 선언(Open type declarations)을 지원한다. 이는 F# 의미 체계에 따라 약간 다른 구문과 동작을 제외하고는 C# 정적 클래스와 유사하다. 개방형 선언을 사용하면 개발자는 모든 타입을 열어서 내부의 정적 콘텐츠를 노출할 수 있다. 또한 F#으로 정의된 공용체 및 레코드를 사용하여 해당 콘텐츠를 노출할 수도 있다. 특히, 공용체가 모듈에 정의돼 있고, 해당 케이스에 액세스하고 싶지만 전체 모듈을 열지 않으려는 경우 유용하다.  • 개발자가...

마이크로소프트 닷넷 F# 언어 프로그래밍 언어 개발 언어 C# 자바스크립트 문자열 보간 주피터 노트북

2020.09.02

지난 8월 27일(현지 시각) 마이크로소프트가 F# 버전 5의 기능 개발 작업을 완료했다고 밝혔다. F#은 닷넷(.NET)과 호환되는 오픈소스 함수형 프로그래밍 언어다.    최신 미리보기에서는 F# 개발자들이 가장 많이 요청했던 기능인 문자열 보간(string interpolation)이 추가됐다. 이는 C#과 자바스크립트의 문자열 보간과 상당히 유사하다. 개발자가 문자열 리터럴(string literals)에 이른바 ‘구멍{ }’을 작성할 수 있다는 뜻이다. 또한 F# 문자열 보간은 스프린트 함수와 유사한 타입화된(typed) 보간을 허용, 보간된 컨텍스트의 내부 표현식이 특정 타입을 따르도록 한다.   마이크로소프트에 따르면 F# 버전 5는 닷넷 5 소프트웨어 개발 플랫폼과 함께 오는 11월 최종 안정화 버전(GA)이 공개될 예정이다. 최종 결함 검토만 남은 현재 릴리즈 캔디데이트(RC) 버전에서는 버그 수정 및 피드백 해결에 집중할 계획이라고 마이크로소프트는 덧붙였다.  F# 버전 5는 닷넷 5 미리보기 SDK를 설치하거나 혹은 닷넷 및 주피터 노트북을 통해 액세스할 수 있다. F# 5의 다른 기능은 다음과 같다.  • 사용 중인 기호를 확인하고 F# 소스에서 부르는 이름으로 만들어주는 nameof를 지원한다. 이 기능은 여러 상황에서 유용할 수 있는데, 이를테면 로깅 시에 소스 코드가 변경되더라도 로깅을 보호해준다.  • 개방형 선언(Open type declarations)을 지원한다. 이는 F# 의미 체계에 따라 약간 다른 구문과 동작을 제외하고는 C# 정적 클래스와 유사하다. 개방형 선언을 사용하면 개발자는 모든 타입을 열어서 내부의 정적 콘텐츠를 노출할 수 있다. 또한 F#으로 정의된 공용체 및 레코드를 사용하여 해당 콘텐츠를 노출할 수도 있다. 특히, 공용체가 모듈에 정의돼 있고, 해당 케이스에 액세스하고 싶지만 전체 모듈을 열지 않으려는 경우 유용하다.  • 개발자가...

2020.09.02

미래 보여주는 수정구슬··· ‘예측 분석’ 위한 툴 15가지 

어느샌가 컴퓨터가 데이터를 보관하는 ‘캐비닛’에서 미래를 보여주는 ‘수정구슬’로 바뀌었다. 데이터 분석으로 몇 초, 며칠, 심지어는 몇 년 후에 일어날지도 모르는 일들을 예측할 수 있기 때문이다.   이러한 분석 툴은 ‘예측 분석(predictive analytics)’이라는 용어의 범주에 속한다. 예측 분석은 통계부터 인공지능(AI), 머신러닝(ML), 다차원적 수학에 이르기까지 다양한 분야에서 수년간 개발된 알고리즘을 모두 포괄한다.  예측 분석 툴은 연구소에서 등장해 기업의 서버 팜(Server Farm)에 적용됐다. 이제 이 툴들은 리소스 할당 및 수익 창출과 관련해 기업이 적절한 의사결정을 내릴 수 있도록 안내할 준비를 마쳤다.    이 툴들은 크게 두 가지 역할을 한다. 무엇보다 가장 중요한 역할은 데이터베이스라는 정보의 바다를 들여다보고 미래를 위한 비전을 찾는 것이다. 다양한 전략적 접근방식을 통해 여러 알고리즘을 지원하며, 수십 가지의 알고리즘을 지원하는 경우도 있다. 나머지 역할은 눈에 잘 띄진 않지만 더 많은 시간을 투입해야 하기도 한다. 바로 데이터 준비다. 대부분의 데이터가 일관성을 유지하고 있지 않거나 깨끗하지 않기 때문에 데이터 준비는 매우 성가신 과정이다. 예를 들어 2개의 파일을 통합할 때 서로 다른 시간대로 인해 날짜 형식이 다른 경우다. 여기까지는 그럭저럭 쉽게 해결할 수 있다고 치자. 하지만 더 어려운 과제는 오류의 결과일 수 있는 누락된 필드나 특이치다. 데이터 무결성을 유지하면서 오류를 제거하는 것은 정말 어렵다. 훌륭한 툴은 데이터를 준비하고 결과를 제시하는 데 적절한 지원을 제공한다.  많은 예측 분석 툴은 데이터베이스 개발사, 비즈니스 애널리틱스 및 리포팅 벤더가 구축한 확장 기능으로 제공된다. 이들은 기존 보고서 생성 툴과 AI 알고리즘을 통합해 예측을 요약하고 제공하는 툴을 개발했다. 또한 많은 툴이 특정 데이터 스토리지 제품과 긴밀하게 연계돼 ...

빅데이터 데이터 데이터 분석 데이터 애널리틱스 예측 분석 인공지능 머신러닝 분석 툴 알터릭스 아마존 보드 대시 쿠버네티스 데이터브릭스 데이터로봇 IBM 왓슨 SPSS 인포메이션 빌더스 매스웍스 파이썬 주피터 노트북 R 래피드 마이너 SAP SAS 타블로 세일즈포스닷컴

2020.07.20

어느샌가 컴퓨터가 데이터를 보관하는 ‘캐비닛’에서 미래를 보여주는 ‘수정구슬’로 바뀌었다. 데이터 분석으로 몇 초, 며칠, 심지어는 몇 년 후에 일어날지도 모르는 일들을 예측할 수 있기 때문이다.   이러한 분석 툴은 ‘예측 분석(predictive analytics)’이라는 용어의 범주에 속한다. 예측 분석은 통계부터 인공지능(AI), 머신러닝(ML), 다차원적 수학에 이르기까지 다양한 분야에서 수년간 개발된 알고리즘을 모두 포괄한다.  예측 분석 툴은 연구소에서 등장해 기업의 서버 팜(Server Farm)에 적용됐다. 이제 이 툴들은 리소스 할당 및 수익 창출과 관련해 기업이 적절한 의사결정을 내릴 수 있도록 안내할 준비를 마쳤다.    이 툴들은 크게 두 가지 역할을 한다. 무엇보다 가장 중요한 역할은 데이터베이스라는 정보의 바다를 들여다보고 미래를 위한 비전을 찾는 것이다. 다양한 전략적 접근방식을 통해 여러 알고리즘을 지원하며, 수십 가지의 알고리즘을 지원하는 경우도 있다. 나머지 역할은 눈에 잘 띄진 않지만 더 많은 시간을 투입해야 하기도 한다. 바로 데이터 준비다. 대부분의 데이터가 일관성을 유지하고 있지 않거나 깨끗하지 않기 때문에 데이터 준비는 매우 성가신 과정이다. 예를 들어 2개의 파일을 통합할 때 서로 다른 시간대로 인해 날짜 형식이 다른 경우다. 여기까지는 그럭저럭 쉽게 해결할 수 있다고 치자. 하지만 더 어려운 과제는 오류의 결과일 수 있는 누락된 필드나 특이치다. 데이터 무결성을 유지하면서 오류를 제거하는 것은 정말 어렵다. 훌륭한 툴은 데이터를 준비하고 결과를 제시하는 데 적절한 지원을 제공한다.  많은 예측 분석 툴은 데이터베이스 개발사, 비즈니스 애널리틱스 및 리포팅 벤더가 구축한 확장 기능으로 제공된다. 이들은 기존 보고서 생성 툴과 AI 알고리즘을 통합해 예측을 요약하고 제공하는 툴을 개발했다. 또한 많은 툴이 특정 데이터 스토리지 제품과 긴밀하게 연계돼 ...

2020.07.20

김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (7)

이미 있는 구성원을 데이터과학자로 양성할 방법은 없는가? 지난 스물여섯번째 글[9]에서 자세히 살펴본 문제인 어떻게 좋은 데이터 과학자를 찾을 수 있는가, 그리고 어떻게 좋은 데이터 과학자를 선별하여 영입할 수 있는가 하는 문제와 함께 필자에게 가장 많이 오는 문의는 이미 기업에서 일하고 있는 내부 구성원을 어떻게 데이터 과학자, 또는 데이터 분석 마인드를 가진 구성원으로 육성하고 훈련할 것인가 하는 문제다. 기업 입장에서 내부 구성원을 데이터 과학자로 훈련하거나, 데이터 과학자로 만들지는 못하더라도 데이터 분석 마인드를 가지고 데이터 기반의 의사 결정과 업무 방식에 익숙한 구성원으로 업그레이드하려 노력하는 것은 빅데이터 시대에 데이터 기반 비즈니스 및 경영 환경에 적응하려는 노력으로서 당연할지 모르겠다. 새로이 인력을 뽑아 제대로 활용하지 못하여 생기는 비용과 시간 낭비의 위험을 감수하는 것보다, 이미 어느 정도 업무 능력과 성품이 검증되어 기업에서 일하고 있는 구성원들의 업무 역량을 높이고, 기존 인력을 다시 활용하는 것이 바람직할 수도 있다. 필자도 이렇게 할 수 있다면 참 좋겠다는 생각이 든다. 기존의 기업 구성원들을 잘 훈련해 데이터 과학자로 탈바꿈시킬 수 있다면 기업으로서는 여러 가지로 좋을 것이다. 먼저, 기존 구성원들의 업무 역량을 향상하면서 조직의 역량을 동반 성장시킬 수 있다. 두번째로, 아무래도 보통 구성원들보다는 학력이나 역량에서 더 앞서고 뛰어날 수밖에 없는 데이터 과학자들과 기존 구성원들과의 갈등이나 대립을 걱정하지 않아도 된다. 세번째로, 빅데이터 비즈니스와 데이터 과학을 위해 새로이 인력을 영입하지 않아도 되니 새로이 영입된 인력들의 인건비와 복지 혜택을 위한 비용과 투자를 위한 추가의 가치 창출과 성장을 염두에 두어야 하는 경영진들도 부담을 덜 수 있다. 결론을 먼저 얘기하자면, 이 문제에 대해 필자가 많은 분에게서 문의를 받고 고민해보고, 실제 현장에서 개선을 위해 큰 노력을 해보았지만, 지금까지의 경험으로는 기존 구성원들...

CIO 사용자인터페이스 주피터 노트북 GDPR 김진철 주피터 사용자경험 뉴노멀 디지털 변혁 데이터 과학 넷플릭스 검색 엔진 추천 UX UI 데이터 과학자 빅데이터 구글 A/B 테스트

2019.04.26

이미 있는 구성원을 데이터과학자로 양성할 방법은 없는가? 지난 스물여섯번째 글[9]에서 자세히 살펴본 문제인 어떻게 좋은 데이터 과학자를 찾을 수 있는가, 그리고 어떻게 좋은 데이터 과학자를 선별하여 영입할 수 있는가 하는 문제와 함께 필자에게 가장 많이 오는 문의는 이미 기업에서 일하고 있는 내부 구성원을 어떻게 데이터 과학자, 또는 데이터 분석 마인드를 가진 구성원으로 육성하고 훈련할 것인가 하는 문제다. 기업 입장에서 내부 구성원을 데이터 과학자로 훈련하거나, 데이터 과학자로 만들지는 못하더라도 데이터 분석 마인드를 가지고 데이터 기반의 의사 결정과 업무 방식에 익숙한 구성원으로 업그레이드하려 노력하는 것은 빅데이터 시대에 데이터 기반 비즈니스 및 경영 환경에 적응하려는 노력으로서 당연할지 모르겠다. 새로이 인력을 뽑아 제대로 활용하지 못하여 생기는 비용과 시간 낭비의 위험을 감수하는 것보다, 이미 어느 정도 업무 능력과 성품이 검증되어 기업에서 일하고 있는 구성원들의 업무 역량을 높이고, 기존 인력을 다시 활용하는 것이 바람직할 수도 있다. 필자도 이렇게 할 수 있다면 참 좋겠다는 생각이 든다. 기존의 기업 구성원들을 잘 훈련해 데이터 과학자로 탈바꿈시킬 수 있다면 기업으로서는 여러 가지로 좋을 것이다. 먼저, 기존 구성원들의 업무 역량을 향상하면서 조직의 역량을 동반 성장시킬 수 있다. 두번째로, 아무래도 보통 구성원들보다는 학력이나 역량에서 더 앞서고 뛰어날 수밖에 없는 데이터 과학자들과 기존 구성원들과의 갈등이나 대립을 걱정하지 않아도 된다. 세번째로, 빅데이터 비즈니스와 데이터 과학을 위해 새로이 인력을 영입하지 않아도 되니 새로이 영입된 인력들의 인건비와 복지 혜택을 위한 비용과 투자를 위한 추가의 가치 창출과 성장을 염두에 두어야 하는 경영진들도 부담을 덜 수 있다. 결론을 먼저 얘기하자면, 이 문제에 대해 필자가 많은 분에게서 문의를 받고 고민해보고, 실제 현장에서 개선을 위해 큰 노력을 해보았지만, 지금까지의 경험으로는 기존 구성원들...

2019.04.26

쉽게 간편한 데이터 분석에 안성맞춤 '주피터 노트북'이란?

누구나 자신의 작업 내용을 다른 사람에게 보여줘야 할 때가 있다. 대부분 프로그래밍 작업 내용은 가공되지 않은 소스 코드 형태나 컴파일을 거친 실행가능 파일 형태로 공유된다. 소스 코드에는 정보가 빠짐없이 제공되지만 “보여준다”기 보다 “말해 주는” 편에 가깝다. 실행가능 파일은 해당 소프트웨어가 어떤 작업을 하는지 보여 주지만, 소스 코드와 함께 제공되는 경우에도 정확히 어떤 식으로 작동하는지 이해하기 어려운 경향이 있다.    만일 같은 UI에서 코드를 확인하고 실행할 수 있다면 어떨까? 코드를 수정한 후 수정 결과를 즉시 실시간으로 볼 수 있을 것이다. 그것이 바로 주피터 노트북(Jupyter Notebook)에서 제공되는 기능이다.   주피터 노트북은 손쉽게 누군가의 프로그래밍 작업 내용을 보여주고 다른 사람들이 참여할 수 있도록 만들어졌다. ‘노트북’이라는 대화형 문서에 코드와 의견, 멀티미디어, 시각화 자료 등을 결합해 이를 공유하고 재사용 및 재작업할 수 있게 해 준다.   웹 브라우저를 통해 실행되므로 주피터 노트북 자체를 자신의 로컬 시스템이나 원격 서버에 호스팅할 수 있다.     주피터 노트북의 텍스트, 코드, 시각화 화면. 코드를 변경하고 브라우저에서 다시 실행하면 결과물도 바꾸고 새 결과를 새 노트에 저장할 수 있다. 주피터 노트북의 장점 주피터 노트북은 원래 파이썬, R, 줄리아 등의 언어로 작성된 데이터 과학 애플리케이션용으로 개발되었기 때문에 다음과 같은 각종 프로젝트에 다양한 방식으로 유용하다. • 데이터 시각화. 대부분 사람이 주피터 노트북을 처음 접하는 것은 데이터 시각화를 통해서다. 데이터 시각화란 일부 데이터 모음의 렌더링이 그래픽으로 포함된 공유 노트북을 말한다. 주피터 노트북을 통해 시각화를 작성하고 공유할 수 있으며 공유된 코드 및 데이터 모음에 대화형 수정도 가능하다. &bul...

빅데이터 줄리아 주피터 노트북 R 데이터 과학 파이썬 분석 시각화 브라우저 Jupyter Notebook

2019.03.08

누구나 자신의 작업 내용을 다른 사람에게 보여줘야 할 때가 있다. 대부분 프로그래밍 작업 내용은 가공되지 않은 소스 코드 형태나 컴파일을 거친 실행가능 파일 형태로 공유된다. 소스 코드에는 정보가 빠짐없이 제공되지만 “보여준다”기 보다 “말해 주는” 편에 가깝다. 실행가능 파일은 해당 소프트웨어가 어떤 작업을 하는지 보여 주지만, 소스 코드와 함께 제공되는 경우에도 정확히 어떤 식으로 작동하는지 이해하기 어려운 경향이 있다.    만일 같은 UI에서 코드를 확인하고 실행할 수 있다면 어떨까? 코드를 수정한 후 수정 결과를 즉시 실시간으로 볼 수 있을 것이다. 그것이 바로 주피터 노트북(Jupyter Notebook)에서 제공되는 기능이다.   주피터 노트북은 손쉽게 누군가의 프로그래밍 작업 내용을 보여주고 다른 사람들이 참여할 수 있도록 만들어졌다. ‘노트북’이라는 대화형 문서에 코드와 의견, 멀티미디어, 시각화 자료 등을 결합해 이를 공유하고 재사용 및 재작업할 수 있게 해 준다.   웹 브라우저를 통해 실행되므로 주피터 노트북 자체를 자신의 로컬 시스템이나 원격 서버에 호스팅할 수 있다.     주피터 노트북의 텍스트, 코드, 시각화 화면. 코드를 변경하고 브라우저에서 다시 실행하면 결과물도 바꾸고 새 결과를 새 노트에 저장할 수 있다. 주피터 노트북의 장점 주피터 노트북은 원래 파이썬, R, 줄리아 등의 언어로 작성된 데이터 과학 애플리케이션용으로 개발되었기 때문에 다음과 같은 각종 프로젝트에 다양한 방식으로 유용하다. • 데이터 시각화. 대부분 사람이 주피터 노트북을 처음 접하는 것은 데이터 시각화를 통해서다. 데이터 시각화란 일부 데이터 모음의 렌더링이 그래픽으로 포함된 공유 노트북을 말한다. 주피터 노트북을 통해 시각화를 작성하고 공유할 수 있으며 공유된 코드 및 데이터 모음에 대화형 수정도 가능하다. &bul...

2019.03.08

한눈에 보자!··· 최신 데이터 애널리틱스 동향 15선

빅데이터, 머신러닝, 데이터 과학… 데이터 애널리틱스 혁명이 숨가쁘게 진화하고 있다. 기업으로서는 자사의 BA/BI 전문가와 데이터 과학자가 최신 기술과 전략 트렌드에 대응하도록 대비해야 할 상황이다. 데이터 분석이 IT의 핵심에 빠르게 자리잡고 있다. 빅데이터, 머신러닝, 딥러닝, 데이터 과학 등 방대한 양의 데이터 분석을 위한 기술과 기법의 범위가 빠른 속도로 확장되고 있다. 고객 행동, 시스템 성능, 새로운 수익 창출 기회에 대한 심도 있는 통찰을 얻기 위한 데이터 분석 전략은 최신 데이터 분석 트렌드를 확실히 꿰고 있을 때 그 효과가 더 커진다. 현재 인기 상승 중인 데이터 분석 기술과 기법 및 전략과 한 때 잘나갔지만 인기가 식기 시작한 데이터 분석 트렌드를 소개한다. 비즈니스 분석가에서부터 데이터 과학자는 물론, 경영진과 실무진까지 감안할 만한 내용이다. 인기 상승: 셀프서비스 BI 인기 상승: 모바일 대시보드 인기 하락: 하둡 인기 상승: R 언어 인기 상승: 심층 신경망 인기 하락: IoT 인기 상승: 텐서플로우 인기 상승: 믹스넷(MXNet) 인기 하락: 배치 분석(Batch analysis) 인기 상승: 마이크로소프트 인지 툴킷 2.0 인기 상승: 사이킷런(Scikit-learn) 인기 하락: 카페(Caffe) 인기 상승: 주피터 노트북(Jupyter Notebooks) 인기 상승: 클라우드 스토리지 및 분석 인기 하락: 월간 BI 보고서 인기 상승: 셀프서비스 BI 대상: BI/BA 전문가, 경영자 태블로(Tableau), 클릭 센스(Qlik Sense), 파워 비아이(Power BI), 도모(Domo)와 같은 셀프서비스 BI 도구를 이용함으로써 경영자는 원하는 최신 비즈니스 정보를 그래픽 형태로 얻을 수 있다. 처음 시작할 때, 그리고 데이터 소스를 추가할 때, 어느 정도 IT의 도움이 필요하지만 데이터 정...

하둡 주피터 노트북 믹스넷 심층 신경망 카페 텐서플로우 R 애널리틱스 대시보드 데이터 분석 사이킷런

2017.08.09

빅데이터, 머신러닝, 데이터 과학… 데이터 애널리틱스 혁명이 숨가쁘게 진화하고 있다. 기업으로서는 자사의 BA/BI 전문가와 데이터 과학자가 최신 기술과 전략 트렌드에 대응하도록 대비해야 할 상황이다. 데이터 분석이 IT의 핵심에 빠르게 자리잡고 있다. 빅데이터, 머신러닝, 딥러닝, 데이터 과학 등 방대한 양의 데이터 분석을 위한 기술과 기법의 범위가 빠른 속도로 확장되고 있다. 고객 행동, 시스템 성능, 새로운 수익 창출 기회에 대한 심도 있는 통찰을 얻기 위한 데이터 분석 전략은 최신 데이터 분석 트렌드를 확실히 꿰고 있을 때 그 효과가 더 커진다. 현재 인기 상승 중인 데이터 분석 기술과 기법 및 전략과 한 때 잘나갔지만 인기가 식기 시작한 데이터 분석 트렌드를 소개한다. 비즈니스 분석가에서부터 데이터 과학자는 물론, 경영진과 실무진까지 감안할 만한 내용이다. 인기 상승: 셀프서비스 BI 인기 상승: 모바일 대시보드 인기 하락: 하둡 인기 상승: R 언어 인기 상승: 심층 신경망 인기 하락: IoT 인기 상승: 텐서플로우 인기 상승: 믹스넷(MXNet) 인기 하락: 배치 분석(Batch analysis) 인기 상승: 마이크로소프트 인지 툴킷 2.0 인기 상승: 사이킷런(Scikit-learn) 인기 하락: 카페(Caffe) 인기 상승: 주피터 노트북(Jupyter Notebooks) 인기 상승: 클라우드 스토리지 및 분석 인기 하락: 월간 BI 보고서 인기 상승: 셀프서비스 BI 대상: BI/BA 전문가, 경영자 태블로(Tableau), 클릭 센스(Qlik Sense), 파워 비아이(Power BI), 도모(Domo)와 같은 셀프서비스 BI 도구를 이용함으로써 경영자는 원하는 최신 비즈니스 정보를 그래픽 형태로 얻을 수 있다. 처음 시작할 때, 그리고 데이터 소스를 추가할 때, 어느 정도 IT의 도움이 필요하지만 데이터 정...

2017.08.09

IDG 설문조사

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.6