모든 기업의 우선순위는 디지털 트랜스포메이션이다. 디지털 트랜스포메이션에는 다양한 의제가 포함되지만, 최종적인 목표는 데이터를 적시에 혁신 기술 프로젝트에 활용하는 역량을 배양하는 것이다. 결코 쉽지 않은 과제인 만큼 레거시 데이터를 두고 고민하는 많...

2023.04.12

  독일의 항공사 루프트한자(Lufthansa)도 여느 항공사와 같이 팬데믹으로 인해 난항을 겪었다. 해외여행이 금지되면서 2020년 4월에만 시간당 100만 달러에 달하는 손실을 빚었다.  루프트한자 그룹의 부사장이자 CIO인...

2023.02.27

오전 8시, 대표가 재무 실적이 적힌 대시보드를 보면서 결과가 정확한지를 묻는다. 몇 시간 뒤 고객이 회사 포털 사이트에 로그인해서 주문서에 최신 가격 정보가 표시되지 않는 이유를 궁금해한다. 오후에는 디지털 마케팅 책임자가 SaaS 도구의 피드가 고...

2023.02.10

쿼리 가속기(query accelerator)라고도 불리는 데이터 레이크하우스는 데이터에서 신속하게 인사이트를 도출해내 여러 산업에 걸쳐 다양한 용도로 활용되고 있다.    코로나19 팬데믹이 미국에서 기승을 부릴 때였다. 대...

2022.08.23

미국 최대 규모의 기아 구호 단체 피딩 아메리카(Feeding America)의 첫 CIO 마리안 버닥은 데이터와 애널리스틱스를 활용해 기술 변혁을 주도하고 있다.     모든 국민에게 충분한 식량을 생산하고 있음에도, 미국에서는...

2022.07.21

데이터 레이크하우스는 데이터 웨어하우스의 일관성와 데이터 레이크의 유연성을 모두 누릴 수 있게 해준다. 수집하고자 하는 모든 데이터를 최대한 활용할 수 있게 해주는 다용도 도구로서 각광받고 있다.    보유한 데이터를 최대한 ...

2022.07.11

엔터프라이즈 데이터 웨어하우스(EDW)는 전사적으로 모든 역사적 데이터를 저장하는 통합 데이터베이스로 분석에 최적화돼 있다. 최근 데이터 웨어하우스를 구축하는 기업은 온프레미스보다 클라우드에 데이터 웨어하우스를 구축하는 경우가 많다. 또한 전통적인 ...

2021.12.31

지난 5년 동안 우리는 스노우플레이크(Snowflake)와 빅쿼리(BigQuery)로 대표되는 클라우드 데이터 웨어하우스가 수많은 데이터를 결합하고 분석해야 하는 기업에 지배적인 툴이 되어가는 과정을 목격했다. 초기 데이터 웨어하우스는 매출이나 고객 ...

2021.12.20

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 ...

2021.03.29

머신러닝은 현재 IT 업계에서 가장 수요가 많은 기술이다. 개인화 소프트웨어 및 서비스 제공업체 세일쓰루(Sailthru)의 수석 머신러닝 엔지니어 카일 햄린과 머신러닝 경력에 관해 이야기를 나눴다. 인공지능의 하위개념이자 패턴과 추론을 통해 시스템...

2020.04.29

클라우데라가 4월 28일 온라인으로 빅데이터 플랫폼의 최신 기술을 조망하는 ‘클라우데라 포럼 서울(Cloudera Forum Seoul)’을 개최한다고 밝혔다. 클라우데라는 계속되는 코로나19 확산 우려로, 참석자, 고객, 파트너, 직원들의 안전과 ...

2020.04.24

마이크로소프트 애저와 같은 하이퍼스케일 클라우드 서비스는 대량의 데이터를 다루도록 설계되며 스토리지 하드웨어를 구매할 때 규모의 경제를 활용한다. 또한 빙, 구글과 같은 검색 엔진과의 긴밀한 관계를 활용, 공중 인터넷 분석을 위해 개발된 알고리즘과 툴...

2019.12.13

데이터 웨어하우스는 여전히 건재한가, 아니면 곧 사라질 기술인가? 누구나 혼란을 느낄 만한 질문이다. 한쪽에서 보면 데이터 웨어하우징은 무척 뜨겁다. 데이터 웨어하우징 시장에서는 오래 전부터 혁신과 신생 기업들의 활동이 꾸준히 이어져왔다. 사실 이...

2019.07.03

빅데이터 프로젝트는 규모가 크고 목표가 웅대하다. 그리고 완전히 실패하는 경우가 많다. 2016년 가트너는 빅데이터 프로젝트의 60%가 실패한 것으로 추산했다. 1년 뒤 가트너의 애널리스트 닉 휴데커는 60%의 추정치가 “지나치게 보수적&r...

2019.05.21

아마존 웹 서비스(AWS)의 CEO인 앤디 재시는 라스베이거스에서 열린 리인벤트의 기존연설에서 경쟁사보다 뛰어난 클라우드 제품의 깊이에 대해, 그리고 좀더 명시적인 솔루션을 기업에게 제공하고 있고, 오랜 명성을 가진 오라클의 제품을 추격하고 있다고 소...

2018.12.03

클라우데라-호튼웍스 합병은 엔터프라이즈급 오픈소스 데이터 솔루션으로 계속해서 수익을 수익 창출하고자 분투하는 빅데이터 업계를 놀라게 했다. 또한 이번 합병을 두고 ‘피할 수 없는 선택’이라는 시각도 일부 있다. 클라우...

2018.10.10

빅데이터에 관한 최신 기술 소식에 촉각을 기울인다면 아마 “데이터 레이크(Data Lake)”라는 용어를 들어본 적이 있을 것이다. 데이터 호수라고 하면 큰 저수지 이미지가 떠오르는데, 실제 개념도 그 이미지와 별반 다르지 않다....

2018.10.05

클라우드라는 새로운 플랫폼으로 데이터 웨어하우스와 데이터마트를 현대화하고자 한다면, 주의해야 한다. 생각보다 쉽지 않을 수 있다. 과거의 데이터 웨어하우스와 데이터 마트가 잘 사용되지 않았다는 것을 이해하는 것은 어렵지 않다. 이들 환경의 데이터...

2018.04.19