데이터 통합 플랫폼 데이터브릭스(Databricks)가 새로운 ETL(추출, 변환, 로드) 프레임워크 '델타 라이브 테이블(Delta Live Tables; DLT)'을 공개했다. 이 프레임워크는 현재 마이크로소프트 애저, AWS, 구글 클라우드 플랫...
데이터브릭스 데이터 통합 플랫폼 데이터 파이프라인 ETL 데이터레이크 데이터 웨어하우스
2022.04.08
데이터 통합 플랫폼 데이터브릭스(Databricks)가 새로운 ETL(추출, 변환, 로드) 프레임워크 '델타 라이브 테이블(Delta Live Tables; DLT)'을 공개했다. 이 프레임워크는 현재 마이크로소프트 애저, AWS, 구글 클라우드 플랫...
2022.04.08
스트리밍 데이터는 보통 센서, 서버 로그와 같은 수많은 데이터 소스에 의해 지속적으로 생성된다. 스트리밍 데이터 레코드는 대체로 작아서 각각 몇 킬로바이트에 불과하지만 수가 많고 끊임없이 이어진다. 여기서는 스트리밍 데이터에 대한 기본 정보와 함께 스...
2022.03.02
스트리밍 데이터는 보통 센서, 서버 로그와 같은 수많은 데이터 소스에 의해 지속적으로 생성된다. 스트리밍 데이터 레코드는 대체로 작아서 각각 몇 킬로바이트에 불과하지만 수가 많고 끊임없이 이어진다. 여기서는 스트리밍 데이터에 대한 기본 정보와 함께 스...
2022.03.02
OLAP(Online analytical processing ; 온라인 분석 처리) 데이터베이스는 분석 질의를 처리할 목적으로 구축된 데이터베이스이다. 분석 쿼리를 OLTP(online transaction-processing ; 온라인 ...
2022.02.15
‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다. 일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시...
2021.09.15
기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피...
2021.04.08
기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피...
2021.04.08
초보 데이터 사이언티스트는 데이터를 위한 적절한 모델만 찾아 적용하면 된다는 생각을 할 때가 있다. 애석하게도 이보다 더 데이터 사이언스의 현실과 동떨어진 것도 드물 것이다. 사실, 데이터 랭글링(Data Wrangling, 소위 말하는 데이터 정제 ...
2021.03.26
일본 전자상거래 대기업 라쿠텐의 미국 내 자회사인 라쿠텐 리워즈가 하드웨어 비용을 줄이고 더 쉽게 자산을 관리하기 위해 하둡 대신 새로운 시스템을 도입했다. 캘리포니아에 있는 라쿠텐 리워즈는 웹에서 제휴 마케팅 링크로 돈을 버는 쇼핑 포인...
2020.06.25
한국 IDG가 10월 23일 양재동 엘타워 그레이스 홀에서 IT Roadmap 2019 컨퍼런스를 개최한다. 이번 IT Roadmap 컨퍼런스에는 월마트, 버라이즌, 머스크, 베터먼트, 오라클, 뉴타닉스 코리아, 효성인포메이션시스템 등 국내...
혁신 뉴타닉스 코리아 IT 로드맵 2019 IT Roadmap 2019 ELT 오토메이션애니웨어 퍼즐데이터 머스크 디지털 변혁 효성인포메이션시스템 월마트 5G 버라이즌 ETL 레드햇 오라클 베터먼트
2019.09.25
한국 IDG가 10월 23일 양재동 엘타워 그레이스 홀에서 IT Roadmap 2019 컨퍼런스를 개최한다. 이번 IT Roadmap 컨퍼런스에는 월마트, 버라이즌, 머스크, 베터먼트, 오라클, 뉴타닉스 코리아, 효성인포메이션시스템 등 국내...
2019.09.25
기업이 데이터 레이크(Data Lake)를 데이터 웨어하우스(Warehouse)로 사용하려다가 문제에 부닥치는 경우가 종종 있다. 가트너의 리서치 부사장 머브 에이드리언은 '끔찍한 아이디어'라고 말할 정도다. 거대 전사상거래 업체 이베이...
2018.08.31
정보화 시대에서는 일찍 일어난 새가 아니라 데이터를 가진 새가 벌레를 잡는다. 구글, 페이스북, 애플 등 거대 기업들이 데이터를 병적으로 수집하는 이유도 이 시대에서 '정보가 곧 금'이라는 것을 알고 있기 때문이다. 그러나 데이터는...
2017.10.30
추출(Extract), 변환(Transform), 그리고 적재(Load). 이렇게 보면 ETL(Extraction, Transformation, Loading)은 단순한 개념 같다. 그러나 데이터 파이프라인 관리 경험이 있는 사람은 이 단순해 보이는 ...
2017.10.27
추출(Extract), 변환(Transform), 그리고 적재(Load). 이렇게 보면 ETL(Extraction, Transformation, Loading)은 단순한 개념 같다. 그러나 데이터 파이프라인 관리 경험이 있는 사람은 이 단순해 보이는 ...
2017.10.27
스플라이스 머신의 관계형 데이터베이스 2.0 버전이 최근 소개됐는데, 이 제품은 하둡의 확장성과 스파크의 인메모리 성능을 모두 갖췄다는 것이 특징이다. 이미지 출처 : Thinkstock 스플라이스 머신(Splice Machine)이 지...
2015.11.30
콘테이너에서 NoSQL 및 스파크(Spark)에 이르기까지 여기 개발자들과 관련 있는 내년 IT 전망을 정리했다. 이 시점에 예측하긴 좀 이를 수도 있다. 하지만 개연성 높은 전망들이 있기 마련이다. 대부분은 빅데이터와 관련 있는 것들이지만 흥미...
2015.10.19
오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는...
2014.01.17
기업들이 기존 ETL 기술을 사용하여 정형/비정형 데이터의 대형 소스 세트를 결합할 수 있게 됐다. 캡제미니가 비용 효율적으로 빅 데이터를 처리하는 방법을 제공하기 위해 아마존 웹 서비스(AWS)를 통해 제공하는 온디맨드로 분석 플랫폼을 발표했...
2013.08.26
필립스헬스케어가 SAP 미들웨어를 도입하면서 데이터 매핑 기능을 개선하고자 새로운 데이터 전환 및 통합 툴로 교체했다. 필립스헬스케어 사업부는 60개 이상의 국가에서 11만 6,000명의 직원을 거느리고 있다. 이 회사가 SAP PI 미들웨어 플...
2012.07.02
지금까지 금융 업종은 빅 데이터 기술을 도입하는데 다른 업종에 비해 뒤쳐지는 모습을 보였다. 이에 대해 선가드 컨설팅 서비시즈(SunGard Consulting Services)의 선진 테크놀로지 비즈니스 사업부 파트너로 활동 중인 닐 팔머는 금융 산...
2012.06.18
스토리지 기술은 발전하고 성숙해 많은 데이터센터에서 상품의 단계에 접근하는 수준에까지 이르렀다. 그럼에도 불구하고 기업들은 BI 역량을 더욱 거대한 데이터 셋에 적용하는 빅 데이터 분석에 대한 압박 등 스토리지 기술의 한계에 직면할 수 있는 상황에 처...
2012.04.20
스토리지 기술은 발전하고 성숙해 많은 데이터센터에서 상품의 단계에 접근하는 수준에까지 이르렀다. 그럼에도 불구하고 기업들은 BI 역량을 더욱 거대한 데이터 셋에 적용하는 빅 데이터 분석에 대한 압박 등 스토리지 기술의 한계에 직면할 수 있는 상황에 처...
2012.04.20