Offcanvas

etl

"데이터 파이프라인 자동화" 데이터브릭스, 'DLT' 공개 

데이터 통합 플랫폼 데이터브릭스(Databricks)가 새로운 ETL(추출, 변환, 로드) 프레임워크 '델타 라이브 테이블(Delta Live Tables; DLT)'을 공개했다. 이 프레임워크는 현재 마이크로소프트 애저, AWS, 구글 클라우드 플랫...

데이터브릭스 데이터 통합 플랫폼 데이터 파이프라인 ETL 데이터레이크 데이터 웨어하우스

2022.04.08

데이터 통합 플랫폼 데이터브릭스(Databricks)가 새로운 ETL(추출, 변환, 로드) 프레임워크 '델타 라이브 테이블(Delta Live Tables; DLT)'을 공개했다. 이 프레임워크는 현재 마이크로소프트 애저, AWS, 구글 클라우드 플랫...

2022.04.08

'스트리밍 데이터' 플랫폼 선택법

스트리밍 데이터는 보통 센서, 서버 로그와 같은 수많은 데이터 소스에 의해 지속적으로 생성된다. 스트리밍 데이터 레코드는 대체로 작아서 각각 몇 킬로바이트에 불과하지만 수가 많고 끊임없이 이어진다. 여기서는 스트리밍 데이터에 대한 기본 정보와 함께 스...

스트리밍데이터 카프카 ETL 스파크

2022.03.02

스트리밍 데이터는 보통 센서, 서버 로그와 같은 수많은 데이터 소스에 의해 지속적으로 생성된다. 스트리밍 데이터 레코드는 대체로 작아서 각각 몇 킬로바이트에 불과하지만 수가 많고 끊임없이 이어진다. 여기서는 스트리밍 데이터에 대한 기본 정보와 함께 스...

2022.03.02

분석을 위해 등장한 데이터베이스··· OLAP 따라잡기

OLAP(Online analytical processing ; 온라인 분석 처리) 데이터베이스는 분석 질의를 처리할 목적으로 구축된 데이터베이스이다.  분석 쿼리를 OLTP(online transaction-processing ; 온라인 ...

OLAP OLTP 데이터베이스 ETL ELT MOLAP ROLAP HOLAP

2022.02.15

OLAP(Online analytical processing ; 온라인 분석 처리) 데이터베이스는 분석 질의를 처리할 목적으로 구축된 데이터베이스이다.  분석 쿼리를 OLTP(online transaction-processing ; 온라인 ...

2022.02.15

칼럼ㅣ'ETL'은 빅데이터와의 경쟁에서 패배했다

‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다.  일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시...

ETL ELT 데이터 빅 데이터 데이터 과학 데이터 관리 데이터 레이크 데이터 웨어하우스

2021.09.15

‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다.  일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시...

2021.09.15

칼럼 | ‘타임 투 밸류’를 단축하기 위한 데이터 관리 방식

기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피...

데이터 관리 데이터 아키텍처 ETL 데이터 준비

2021.04.08

기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피...

2021.04.08

‘데이터 랭글링’ 및 ‘탐구 데이터 분석’ 따라잡기

초보 데이터 사이언티스트는 데이터를 위한 적절한 모델만 찾아 적용하면 된다는 생각을 할 때가 있다. 애석하게도 이보다 더 데이터 사이언스의 현실과 동떨어진 것도 드물 것이다. 사실, 데이터 랭글링(Data Wrangling, 소위 말하는 데이터 정제 ...

데이터 과학자 데이터 랭글링 탐구 데이터 분석 데이터 처리 애널리틱스 데이터 정제 데이터 모델링 ETL ELT 데이터 마이닝 데이터 스크래핑

2021.03.26

초보 데이터 사이언티스트는 데이터를 위한 적절한 모델만 찾아 적용하면 된다는 생각을 할 때가 있다. 애석하게도 이보다 더 데이터 사이언스의 현실과 동떨어진 것도 드물 것이다. 사실, 데이터 랭글링(Data Wrangling, 소위 말하는 데이터 정제 ...

2021.03.26

굿바이 하둡! 라쿠텐, 클라우드 기반 스노우플레이크로 전환

일본 전자상거래 대기업 라쿠텐의 미국 내 자회사인 라쿠텐 리워즈가 하드웨어 비용을 줄이고 더 쉽게 자산을 관리하기 위해 하둡 대신 새로운 시스템을 도입했다.  캘리포니아에 있는 라쿠텐 리워즈는 웹에서 제휴 마케팅 링크로 돈을 버는 쇼핑 포인...

전자상거래 빅데이터 하둡 스칼라 파이썬 스파크 SQL 라쿠텐 스노우플레이크 데이터 웨어하우스 DW 데이터 레이크 ETL 클라우데라 캐쉬백

2020.06.25

일본 전자상거래 대기업 라쿠텐의 미국 내 자회사인 라쿠텐 리워즈가 하드웨어 비용을 줄이고 더 쉽게 자산을 관리하기 위해 하둡 대신 새로운 시스템을 도입했다.  캘리포니아에 있는 라쿠텐 리워즈는 웹에서 제휴 마케팅 링크로 돈을 버는 쇼핑 포인...

2020.06.25

"디지털 혁신이 가져올 변화와 대응방안"··· 한국IDG, IT Roadmap 2019 컨퍼런스 개최

한국 IDG가 10월 23일 양재동 엘타워 그레이스 홀에서 IT Roadmap 2019 컨퍼런스를 개최한다. 이번 IT Roadmap 컨퍼런스에는 월마트, 버라이즌, 머스크, 베터먼트, 오라클, 뉴타닉스 코리아, 효성인포메이션시스템 등 국내...

혁신 뉴타닉스 코리아 IT 로드맵 2019 IT Roadmap 2019 ELT 오토메이션애니웨어 퍼즐데이터 머스크 디지털 변혁 효성인포메이션시스템 월마트 5G 버라이즌 ETL 레드햇 오라클 베터먼트

2019.09.25

한국 IDG가 10월 23일 양재동 엘타워 그레이스 홀에서 IT Roadmap 2019 컨퍼런스를 개최한다. 이번 IT Roadmap 컨퍼런스에는 월마트, 버라이즌, 머스크, 베터먼트, 오라클, 뉴타닉스 코리아, 효성인포메이션시스템 등 국내...

2019.09.25

ETL 병목에 대한 이베이츠의 해법 '클라우드 데이터 레이크'

기업이 데이터 레이크(Data Lake)를 데이터 웨어하우스(Warehouse)로 사용하려다가 문제에 부닥치는 경우가 종종 있다. 가트너의 리서치 부사장 머브 에이드리언은 '끔찍한 아이디어'라고 말할 정도다. 거대 전사상거래 업체 이베이...

CIO ETL 데이터레이크 이베이츠 클라이드

2018.08.31

기업이 데이터 레이크(Data Lake)를 데이터 웨어하우스(Warehouse)로 사용하려다가 문제에 부닥치는 경우가 종종 있다. 가트너의 리서치 부사장 머브 에이드리언은 '끔찍한 아이디어'라고 말할 정도다. 거대 전사상거래 업체 이베이...

2018.08.31

칼럼 | 혼란 속 거대한 흐름 있다··· 애널리틱스 동향 5가지

정보화 시대에서는 일찍 일어난 새가 아니라 데이터를 가진 새가 벌레를 잡는다. 구글, 페이스북, 애플 등 거대 기업들이 데이터를 병적으로 수집하는 이유도 이 시대에서 '정보가 곧 금'이라는 것을 알고 있기 때문이다. 그러나 데이터는...

BI 데이터 ETL 애널리틱스 머신러닝 컴파일러

2017.10.30

정보화 시대에서는 일찍 일어난 새가 아니라 데이터를 가진 새가 벌레를 잡는다. 구글, 페이스북, 애플 등 거대 기업들이 데이터를 병적으로 수집하는 이유도 이 시대에서 '정보가 곧 금'이라는 것을 알고 있기 때문이다. 그러나 데이터는...

2017.10.30

블로그 | ETL 시대의 종말

추출(Extract), 변환(Transform), 그리고 적재(Load). 이렇게 보면 ETL(Extraction, Transformation, Loading)은 단순한 개념 같다. 그러나 데이터 파이프라인 관리 경험이 있는 사람은 이 단순해 보이는 ...

ETL

2017.10.27

추출(Extract), 변환(Transform), 그리고 적재(Load). 이렇게 보면 ETL(Extraction, Transformation, Loading)은 단순한 개념 같다. 그러나 데이터 파이프라인 관리 경험이 있는 사람은 이 단순해 보이는 ...

2017.10.27

빅데이터와 잘 맞는 RDBMS '스플라이스 머신'... 이유는?

스플라이스 머신의 관계형 데이터베이스 2.0 버전이 최근 소개됐는데, 이 제품은 하둡의 확장성과 스파크의 인메모리 성능을 모두 갖췄다는 것이 특징이다. 이미지 출처 : Thinkstock 스플라이스 머신(Splice Machine)이 지...

CIO 스플라이스 머신 비용 압박 OLAP OLTP 관계형 데이터베이스 클라우데라 RDBMS 하둡 비정형 데이터 ETL 성능 인메모리 빅데이터 Splice Machine

2015.11.30

스플라이스 머신의 관계형 데이터베이스 2.0 버전이 최근 소개됐는데, 이 제품은 하둡의 확장성과 스파크의 인메모리 성능을 모두 갖췄다는 것이 특징이다. 이미지 출처 : Thinkstock 스플라이스 머신(Splice Machine)이 지...

2015.11.30

칼럼 | 2016년 유력 개발자 트렌드 9가지

콘테이너에서 NoSQL 및 스파크(Spark)에 이르기까지 여기 개발자들과 관련 있는 내년 IT 전망을 정리했다. 이 시점에 예측하긴 좀 이를 수도 있다. 하지만 개연성 높은 전망들이 있기 마련이다. 대부분은 빅데이터와 관련 있는 것들이지만 흥미...

자바 2016 NoSQL 셀프 서비스 ETL 컨테이너 오픈스택 전망 개발자 스파크

2015.10.19

콘테이너에서 NoSQL 및 스파크(Spark)에 이르기까지 여기 개발자들과 관련 있는 내년 IT 전망을 정리했다. 이 시점에 예측하긴 좀 이를 수도 있다. 하지만 개연성 높은 전망들이 있기 마련이다. 대부분은 빅데이터와 관련 있는 것들이지만 흥미...

2015.10.19

연봉 높고 인기 많은 빅 데이터 전문직 8종

오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는...

CIO 개발자 DW DW어플라이언스 ETL 하둡 데이터 웨어하우스 분석

2014.01.17

오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는...

2014.01.17

캡제미니, 아마존 클라우드 이용한 빅 데이터 분석 플랫폼 출시

기업들이 기존 ETL 기술을 사용하여 정형/비정형 데이터의 대형 소스 세트를 결합할 수 있게 됐다. 캡제미니가 비용 효율적으로 빅 데이터를 처리하는 방법을 제공하기 위해 아마존 웹 서비스(AWS)를 통해 제공하는 온디맨드로 분석 플랫폼을 발표했...

AWS ETL 캡제미니 아마존 웹 서비스 분석

2013.08.26

기업들이 기존 ETL 기술을 사용하여 정형/비정형 데이터의 대형 소스 세트를 결합할 수 있게 됐다. 캡제미니가 비용 효율적으로 빅 데이터를 처리하는 방법을 제공하기 위해 아마존 웹 서비스(AWS)를 통해 제공하는 온디맨드로 분석 플랫폼을 발표했...

2013.08.26

필립스헬스케어, 데이터 매핑 동기화••• 적기 적소로 데이터 전달

필립스헬스케어가 SAP 미들웨어를 도입하면서 데이터 매핑 기능을 개선하고자 새로운 데이터 전환 및 통합 툴로 교체했다. 필립스헬스케어 사업부는 60개 이상의 국가에서 11만 6,000명의 직원을 거느리고 있다. 이 회사가 SAP PI 미들웨어 플...

SAP 필립스헬스케어 EAI 필립스 전환 팁코 MDM ETL 미들웨어 통합 데이터 매핑

2012.07.02

필립스헬스케어가 SAP 미들웨어를 도입하면서 데이터 매핑 기능을 개선하고자 새로운 데이터 전환 및 통합 툴로 교체했다. 필립스헬스케어 사업부는 60개 이상의 국가에서 11만 6,000명의 직원을 거느리고 있다. 이 회사가 SAP PI 미들웨어 플...

2012.07.02

금융 산업 빅 데이터를 주도하는 10대 트렌드

지금까지 금융 업종은 빅 데이터 기술을 도입하는데 다른 업종에 비해 뒤쳐지는 모습을 보였다. 이에 대해 선가드 컨설팅 서비시즈(SunGard Consulting Services)의 선진 테크놀로지 비즈니스 사업부 파트너로 활동 중인 닐 팔머는 금융 산...

금융 리스크 관리 ETL 비즈니스 분석 예측 모델링

2012.06.18

지금까지 금융 업종은 빅 데이터 기술을 도입하는데 다른 업종에 비해 뒤쳐지는 모습을 보였다. 이에 대해 선가드 컨설팅 서비시즈(SunGard Consulting Services)의 선진 테크놀로지 비즈니스 사업부 파트너로 활동 중인 닐 팔머는 금융 산...

2012.06.18

하둡을 활용해 스토리지의 한계를 극복하는 방법

스토리지 기술은 발전하고 성숙해 많은 데이터센터에서 상품의 단계에 접근하는 수준에까지 이르렀다. 그럼에도 불구하고 기업들은 BI 역량을 더욱 거대한 데이터 셋에 적용하는 빅 데이터 분석에 대한 압박 등 스토리지 기술의 한계에 직면할 수 있는 상황에 처...

ETL 하둡 빅 데이터 맵 리듀스

2012.04.20

스토리지 기술은 발전하고 성숙해 많은 데이터센터에서 상품의 단계에 접근하는 수준에까지 이르렀다. 그럼에도 불구하고 기업들은 BI 역량을 더욱 거대한 데이터 셋에 적용하는 빅 데이터 분석에 대한 압박 등 스토리지 기술의 한계에 직면할 수 있는 상황에 처...

2012.04.20

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.

10.5.0.9