Offcanvas

��������� ������

모든 직원에게 데이터 레이크를 개방··· 독일 재보험 기업의 도전

독일의 재보험 기업 뮌헨 리(Munich Re)는 1년 전 사내 셀프 서비스 포털을 구축했다. 모든 직원이 데이터 호수에 접근하도록 함으로써 새로운 비즈니스 모델을 창출할 수 있도록 하려는 의도에서다. 지난주 베를린에서 개최된 데이터웍스 서밋에서 뭔헨 리의 데이터 엔지니어링 책임자 안드레아스 쾰마이어는 "비즈니스 판도가 지나 몇 년 동안 크게 변화했다. 이제 기업 내 일부 전문가가 지식을 독점하고 있지 않다. 데이터 소스에 대한 접근 권한을 가진 직원과 해당 데이터를 분석하고 처리하는 데 적합한 기술을 보유한 직원을 위한 정보가 늘어나고 있다"라고 말했다. 그는 이어 "지난 100년 동안 해온 작업을 작업하도록 하는 동시에 새로운 위험에 대한 해답을 찾도록 하기 위해" 이러한 전문가들이 데이터 및 기술을보다 자급 자족적인 방식으로 활용할 수 있도록 조치했다고 전했다. 뮌헨 리에는 4만 명 이상의 직원이 근무한다. 이들은 고객 기업인 보험사들이 자연 재해, 대규모 인프라 프로젝트 또는 사이버 보안 사고와 같은 새로운 위험에 대비할 수 있도록 하는 업무를 수행한다. 쾰마이어는 이러한 현실이 데이터에 의존하는 보험 전문가의 증가를 의미한다고 설명했다. 그는 "이를테면 작년 허리케인은 치명적이고도 값비싼 결과를 초리했다. 그래서 우리는 날씨를 이해하고 기후 변화의 영향을 알고있는 전문가 그룹을 보유하고 있다"라고 말했다. 쾰마이어가 진행한 첫 번째 개념 증명은 2015년 예약 팀과 공동으로 이뤄졌다. 최종 청구된 보험금을 검토하는 이 개념 증명은, 뮌헨 리의 현금 보유율을 높이기 위해 사용될 가능성이 낮은 유형의 청구금을 오픈하는 것이었다. 그는 다음과 같이 설명했다. "모델을 튜닝하고 훈련하기를 원할 때마다 샘플 데이터를 꺼내고 샘플 데이터에서 모델을 반복적으로 실행한 다음, 모델을 프로덕션에 배포하고 마지막으로 실행해야했기 때문에 모델을 계속 조정했다. 완전한 데...

데이터 분석 데이터 호수 데이터 레이크 뮌헨 리 셀프 애널리틱스

2018.04.23

독일의 재보험 기업 뮌헨 리(Munich Re)는 1년 전 사내 셀프 서비스 포털을 구축했다. 모든 직원이 데이터 호수에 접근하도록 함으로써 새로운 비즈니스 모델을 창출할 수 있도록 하려는 의도에서다. 지난주 베를린에서 개최된 데이터웍스 서밋에서 뭔헨 리의 데이터 엔지니어링 책임자 안드레아스 쾰마이어는 "비즈니스 판도가 지나 몇 년 동안 크게 변화했다. 이제 기업 내 일부 전문가가 지식을 독점하고 있지 않다. 데이터 소스에 대한 접근 권한을 가진 직원과 해당 데이터를 분석하고 처리하는 데 적합한 기술을 보유한 직원을 위한 정보가 늘어나고 있다"라고 말했다. 그는 이어 "지난 100년 동안 해온 작업을 작업하도록 하는 동시에 새로운 위험에 대한 해답을 찾도록 하기 위해" 이러한 전문가들이 데이터 및 기술을보다 자급 자족적인 방식으로 활용할 수 있도록 조치했다고 전했다. 뮌헨 리에는 4만 명 이상의 직원이 근무한다. 이들은 고객 기업인 보험사들이 자연 재해, 대규모 인프라 프로젝트 또는 사이버 보안 사고와 같은 새로운 위험에 대비할 수 있도록 하는 업무를 수행한다. 쾰마이어는 이러한 현실이 데이터에 의존하는 보험 전문가의 증가를 의미한다고 설명했다. 그는 "이를테면 작년 허리케인은 치명적이고도 값비싼 결과를 초리했다. 그래서 우리는 날씨를 이해하고 기후 변화의 영향을 알고있는 전문가 그룹을 보유하고 있다"라고 말했다. 쾰마이어가 진행한 첫 번째 개념 증명은 2015년 예약 팀과 공동으로 이뤄졌다. 최종 청구된 보험금을 검토하는 이 개념 증명은, 뮌헨 리의 현금 보유율을 높이기 위해 사용될 가능성이 낮은 유형의 청구금을 오픈하는 것이었다. 그는 다음과 같이 설명했다. "모델을 튜닝하고 훈련하기를 원할 때마다 샘플 데이터를 꺼내고 샘플 데이터에서 모델을 반복적으로 실행한 다음, 모델을 프로덕션에 배포하고 마지막으로 실행해야했기 때문에 모델을 계속 조정했다. 완전한 데...

2018.04.23

열차 지연을 정시 운행으로 바꾼 지멘스 'IoT 데이터에서 해답 찾았다'

지멘스는 1879년 최초의 승객용 전기 기관차를 포함하여 약 150년 동안 열차를 개발했다. 하지만 최근의 트랙(Track) 혁신은 데이터 분석에 의한 것이었다. 열차와 트랙에 대한 정보를 분석하기 위해 센서를 사용하여 대응적인 철도 유지 방법에서 선제적인 철도 유지 방법으로 바꾸는 데 도움이 되었다. 진단 센서 데이터를 통해 부품의 상태를 평가함으로써 해당 기업은 고장이 발생할 가능성이 높을 때 패턴을 찾기 시작할 수 있다. 그러고 나서 지멘스는 실시간에 가깝게 정보를 모니터링함으로써 서비스가 중단되기 전에 신속하게 대응할 수 있다. 비정상이 감지되는 경우 점검을 위해 부품을 송달한다. 이 접근방식의 이점으로는 지연 감지, 마일리지 증가, 노동 비용 감소, 더욱 효율적인 유지보수 일정 관리가 있다. 이를 통해 지멘스는 고객에 추가적인 성과 기반 유지보수 계약을 제공할 수 있다. 트랙에 데이터 공학 적용하기 수년 전 독일의 기관차 공장에서 지멘스는 열차 부품과 철도 인프라의 고장을 예측하는 알고리즘을 구축하기 위해 데이터 과학자 및 엔지니어로 팀을 구성했다. 지멘스의 모빌리티 데이터 서비스 책임자 제라드 크레스는 <컴퓨터월드 UK>와의 인터뷰에서 “그 이유는 산업 데이터가 내재된 데이터와 다르게 작동하며 우리가 사용하는 많은 전통적인 분석 모델이 이 환경에서 잘 작동하지 않기 때문이다”고 밝혔다. 크레스는 “이런 부품은 자주 고장 나지 않기 때문에 이전보다 훨씬 높은 예측 정확도가 필요하다”고 덧붙였다. 지난 2년 동안만 하더라도 그의 팀은 새로운 수학적 접근방식에 대한 30개의 특허를 출원했다. 2013년, 지멘스는 이런 모델을 고급 데이터 분석 역량으로 개발하기 위해 빅데이터 업체 테라데이타를 찾았다. 지멘스는 데이터 웨어하우스, AD(Aster Directory) 분석 툴, 하둡용 장비를 아우르는 자체 버전의 테라데이타 UDA(Unified Data Archit...

빅데이터 센서 데이터 승객 데이터 레이크 텐서플로 아파치 스파크 데이터 호수 사물인터넷 기차 운송 데이터 분석 데이터 웨어하우스 지멘스 데이터 과학자 DW 유로스타

2017.10.27

지멘스는 1879년 최초의 승객용 전기 기관차를 포함하여 약 150년 동안 열차를 개발했다. 하지만 최근의 트랙(Track) 혁신은 데이터 분석에 의한 것이었다. 열차와 트랙에 대한 정보를 분석하기 위해 센서를 사용하여 대응적인 철도 유지 방법에서 선제적인 철도 유지 방법으로 바꾸는 데 도움이 되었다. 진단 센서 데이터를 통해 부품의 상태를 평가함으로써 해당 기업은 고장이 발생할 가능성이 높을 때 패턴을 찾기 시작할 수 있다. 그러고 나서 지멘스는 실시간에 가깝게 정보를 모니터링함으로써 서비스가 중단되기 전에 신속하게 대응할 수 있다. 비정상이 감지되는 경우 점검을 위해 부품을 송달한다. 이 접근방식의 이점으로는 지연 감지, 마일리지 증가, 노동 비용 감소, 더욱 효율적인 유지보수 일정 관리가 있다. 이를 통해 지멘스는 고객에 추가적인 성과 기반 유지보수 계약을 제공할 수 있다. 트랙에 데이터 공학 적용하기 수년 전 독일의 기관차 공장에서 지멘스는 열차 부품과 철도 인프라의 고장을 예측하는 알고리즘을 구축하기 위해 데이터 과학자 및 엔지니어로 팀을 구성했다. 지멘스의 모빌리티 데이터 서비스 책임자 제라드 크레스는 <컴퓨터월드 UK>와의 인터뷰에서 “그 이유는 산업 데이터가 내재된 데이터와 다르게 작동하며 우리가 사용하는 많은 전통적인 분석 모델이 이 환경에서 잘 작동하지 않기 때문이다”고 밝혔다. 크레스는 “이런 부품은 자주 고장 나지 않기 때문에 이전보다 훨씬 높은 예측 정확도가 필요하다”고 덧붙였다. 지난 2년 동안만 하더라도 그의 팀은 새로운 수학적 접근방식에 대한 30개의 특허를 출원했다. 2013년, 지멘스는 이런 모델을 고급 데이터 분석 역량으로 개발하기 위해 빅데이터 업체 테라데이타를 찾았다. 지멘스는 데이터 웨어하우스, AD(Aster Directory) 분석 툴, 하둡용 장비를 아우르는 자체 버전의 테라데이타 UDA(Unified Data Archit...

2017.10.27

데이터 레이크가 데이터 늪이 되지 않도록 하려면... '핵심 원칙 3가지'

아파치 하둡(Apache Hadoop) 같은 기술에 들떠 있던 여러 조직들은 지난 몇 년 동안 모든 데이터를 본래의 형태로 저장할 수 있는 전사적인 데이터 관리 플랫폼인 ‘데이터 레이크’(Data Lake) 구축 방안을 모색하곤 했다. 데이터 레이크가 비즈니스 분석부터 데이터 마이닝까지 모든 것에 활용할 수 있는 단일 데이터 저장소를 제공함으로써 정보 사일로를 무너뜨릴 수 있는 존재로 기대됐기 때문이다. 데이터 레이크가 빅데이터 잡동사니 만병통치약이라 불리기도 했던 이유다. 하지만 BI소프트웨어 전문기업 피라미드 어낼리틱스(Pyramid Analytics)의 CTO 애비 페레즈는 데이터 레이크가 ‘데이터 늪지’로 바뀌는 상황을 많이 목격했다고 말했다. 그가 말하는 데이터 늪지란, 최종 사용자가 절대 수용할 수 없는 난잡하고도 거대한 데이터 저장소를 의미한다. 페레스는 “데이터베이스에 요구되는 비용은 정말이지 크다. 데이터 레이크는 그런 문제의 근본적인 해답이다. 데이터 레이크와 각종 빅데이터 계획이 많은 양의 데이터를 생성하는 실제 데이터 생성자들에 의해서 수립되고 있다”라고 전했다. 세계적으로 성공한 여러 기업들이 데이터 레이크를 중심으로 사업을 구축했다. 구글이 대표적인 사례다. 그러나 많은 다른 기업들은 가치를 끌어낼 수 있는 명확한 방법 없이 그저 데이터를 수집하고 있다는 지적이다. 페레즈는 “그들은 단지 먼지를 수집할 뿐이다. 쓰레기를 수집하고 있다. 결국은 버리게 될 것이다. 결국에는 크고 비용이 높으면서 아무런 효용이 없다는 판단 아래 예산을 삭감한다”라고 말했다. 데이터 레이크라는 아이디어가 나쁘다는 것은 아니다. 페레즈는 결국에는 모든 기업들이 필요로 하게 될 것이라고 전망했다. 하지만 최종 사용자들이 실제로 이익을 얻을 수 있는 데이터 레이크를 구축하기 위해서는 심사숙고가 필요하다고 그는 강조했다. 페레즈는 자신의 데이터 레이...

하둡 머신러닝 데이터 호수 데이터 레이크 피라미드 어낼리틱스

2017.06.12

아파치 하둡(Apache Hadoop) 같은 기술에 들떠 있던 여러 조직들은 지난 몇 년 동안 모든 데이터를 본래의 형태로 저장할 수 있는 전사적인 데이터 관리 플랫폼인 ‘데이터 레이크’(Data Lake) 구축 방안을 모색하곤 했다. 데이터 레이크가 비즈니스 분석부터 데이터 마이닝까지 모든 것에 활용할 수 있는 단일 데이터 저장소를 제공함으로써 정보 사일로를 무너뜨릴 수 있는 존재로 기대됐기 때문이다. 데이터 레이크가 빅데이터 잡동사니 만병통치약이라 불리기도 했던 이유다. 하지만 BI소프트웨어 전문기업 피라미드 어낼리틱스(Pyramid Analytics)의 CTO 애비 페레즈는 데이터 레이크가 ‘데이터 늪지’로 바뀌는 상황을 많이 목격했다고 말했다. 그가 말하는 데이터 늪지란, 최종 사용자가 절대 수용할 수 없는 난잡하고도 거대한 데이터 저장소를 의미한다. 페레스는 “데이터베이스에 요구되는 비용은 정말이지 크다. 데이터 레이크는 그런 문제의 근본적인 해답이다. 데이터 레이크와 각종 빅데이터 계획이 많은 양의 데이터를 생성하는 실제 데이터 생성자들에 의해서 수립되고 있다”라고 전했다. 세계적으로 성공한 여러 기업들이 데이터 레이크를 중심으로 사업을 구축했다. 구글이 대표적인 사례다. 그러나 많은 다른 기업들은 가치를 끌어낼 수 있는 명확한 방법 없이 그저 데이터를 수집하고 있다는 지적이다. 페레즈는 “그들은 단지 먼지를 수집할 뿐이다. 쓰레기를 수집하고 있다. 결국은 버리게 될 것이다. 결국에는 크고 비용이 높으면서 아무런 효용이 없다는 판단 아래 예산을 삭감한다”라고 말했다. 데이터 레이크라는 아이디어가 나쁘다는 것은 아니다. 페레즈는 결국에는 모든 기업들이 필요로 하게 될 것이라고 전망했다. 하지만 최종 사용자들이 실제로 이익을 얻을 수 있는 데이터 레이크를 구축하기 위해서는 심사숙고가 필요하다고 그는 강조했다. 페레즈는 자신의 데이터 레이...

2017.06.12

기고 | IoT로 시작된 변화, 비즈니스 모델 변혁으로 이어지려면?

우리는 현재 일반적인 방향은 쉽게 예측할 수 있지만, 구체적인 경로는 예측할 수 없는 새로운 기술적 발전의 문턱에 서 있다. 사물인터넷(IoT)이 대표적인 예다. 미래를 예측하는 것은 차창에 물방울이 흘러내리는 형태를 예측하는 것과 같다. 물방울이 흘러내리는 일반적인 방향을 예측하지 못하는 사람은 없다. 중력 때문에 아래로 흘러내리기 때문이다. 하지만 물방울이 흘러내리는 정확한 경로를 알 방법은 없다. 다른 물방울과 접촉하는 방식, 유리의 미세한 불완전성에 반응하는 형태를 예측하기란 불가능에 가깝기 때문이다. 우리는 현재 일반적인 방향은 쉽게 예측할 수 있지만, 구체적인 경로는 예측할 수 없는 새로운 기술적 발전의 문턱에 서 있다. 여기서 구체적인 경로란 바로 '사물인터넷(IoT)'이다. 이 시점에서 CIO의 밤잠을 설치게 할 질문 하나를 던져 보겠다. 조직 내에서 IoT를 어떻게 통합할까? IoT에서 쏟아지는 방대한 데이터의 잠재력은 CIO에게 축복이기도 하지만, 골칫덩어리기도 하다. 동전의 한 면은 고객과 공급망, 생산 관리 측면의 품질 높은 인사이트이다. 모두 IoT가 실현해 주는 것들이다. 그러나 또 다른 면도 있다. 경쟁자가 먼저 IoT의 잠재력을 실현하면 어떤 일이 일어날까? 한 가지는 확실하다. IoT 통합이 CIO의 최우선 아젠다가 돼야 한다. 아니 모든 C레벨 경영진의 최우선 아젠다다. 기술 분야가 아닌 전체 조직이 IoT라는 보물상자를 열 책임이 있기 때문이다. 물론 극복해야 할 기술적 도전과제가 엄청나게 클 것이다. 끝없이 데이터가 유입되기 때문에 끝없이 데이터를 저장하고 분석해야 한다. 데이터 호수가 정말 방대하다. 기대에 부응하는 수준으로 데이터를 안전하게 만들고, 품질을 확보해야 한다. 어려운 과제다. 그러나 스토리지 기술, 머신러닝, 사이버보안 기술이 발전하면서 성과를 일궈내고 있다 따라서 C레벨 경영진의 대화는 다음과 같은 주제에 초점을 맞춰야 한다. "이런 도전과제들을 극복...

CIO 수확기 트랙터 존 디어 농기계 디지털 변혁 데이터 호수 사물인터넷 데이터 세트 예측 기계학습 CTO 비즈니스 모델 미래 IoT 통합

2017.01.31

우리는 현재 일반적인 방향은 쉽게 예측할 수 있지만, 구체적인 경로는 예측할 수 없는 새로운 기술적 발전의 문턱에 서 있다. 사물인터넷(IoT)이 대표적인 예다. 미래를 예측하는 것은 차창에 물방울이 흘러내리는 형태를 예측하는 것과 같다. 물방울이 흘러내리는 일반적인 방향을 예측하지 못하는 사람은 없다. 중력 때문에 아래로 흘러내리기 때문이다. 하지만 물방울이 흘러내리는 정확한 경로를 알 방법은 없다. 다른 물방울과 접촉하는 방식, 유리의 미세한 불완전성에 반응하는 형태를 예측하기란 불가능에 가깝기 때문이다. 우리는 현재 일반적인 방향은 쉽게 예측할 수 있지만, 구체적인 경로는 예측할 수 없는 새로운 기술적 발전의 문턱에 서 있다. 여기서 구체적인 경로란 바로 '사물인터넷(IoT)'이다. 이 시점에서 CIO의 밤잠을 설치게 할 질문 하나를 던져 보겠다. 조직 내에서 IoT를 어떻게 통합할까? IoT에서 쏟아지는 방대한 데이터의 잠재력은 CIO에게 축복이기도 하지만, 골칫덩어리기도 하다. 동전의 한 면은 고객과 공급망, 생산 관리 측면의 품질 높은 인사이트이다. 모두 IoT가 실현해 주는 것들이다. 그러나 또 다른 면도 있다. 경쟁자가 먼저 IoT의 잠재력을 실현하면 어떤 일이 일어날까? 한 가지는 확실하다. IoT 통합이 CIO의 최우선 아젠다가 돼야 한다. 아니 모든 C레벨 경영진의 최우선 아젠다다. 기술 분야가 아닌 전체 조직이 IoT라는 보물상자를 열 책임이 있기 때문이다. 물론 극복해야 할 기술적 도전과제가 엄청나게 클 것이다. 끝없이 데이터가 유입되기 때문에 끝없이 데이터를 저장하고 분석해야 한다. 데이터 호수가 정말 방대하다. 기대에 부응하는 수준으로 데이터를 안전하게 만들고, 품질을 확보해야 한다. 어려운 과제다. 그러나 스토리지 기술, 머신러닝, 사이버보안 기술이 발전하면서 성과를 일궈내고 있다 따라서 C레벨 경영진의 대화는 다음과 같은 주제에 초점을 맞춰야 한다. "이런 도전과제들을 극복...

2017.01.31

기고 | 보안에서 빅데이터 분석을 유용하게 활용하는 방법

* 본 기고문은 벤더가 작성한 것으로 네트워크 월드 편집진의 수정을 거쳤다. 그러나 벤더의 시각이 일부 남아 있을 수 있다. 이미지 출처 : Thinkstock 최근 보안 애널리틱스 분야에서 빅데이터가 크게 유행하고 있다. 하지만 수년간 ‘데이터 레이크’를 구축하고도 쓸만한 결과를 얻기 위해 이 ‘데이터 레이크’를 활용할 수 없다는 사실만 알아낸 많은 회사들이 부지기수다. 때문에 구매자들은 보안 애널리틱스에 빅데이터를 활용하는데 회의적인 반응을 보이고 있다. 그리고 안타깝게도 지금 나와 있는 솔루션들에는 숫자 위주의 통계 보고서와 화려한 대시보드로 이뤄진 클러스터가 포함돼 있지만, 이런 것들은 유용성과 생산적인 보안 애널리틱스에 거의 도움이 되지 않는다. 실시간으로 의사결정을 내리고, 핵심 패턴을 발견하며, 보안 정책을 계속 밀고 나갈 지 아니면 바꿀 지를 결정하고, 보안을 크게 향상시키기 위해서는 쓸만한 데이터를 어떻게 이용할 지와 분석에 초점을 맞춰야 한다.  속도(Velocity), 다양성(Verity), 용량(Volume)이라는 3Vs 특성을 가진 복잡한 데이터세트를 위해 빅데이터가 실시간 데이터 마이닝 기법을 성공적으로 구현시켜 줄 수 있는지를 확인하려면 구글, 아마존, 넷플릭스 같은 회사들만 보면 된다. 이 회사들은 우리가 무엇을 사거나 보고 싶어하는지를 말하는 예측적 애널리틱스와 함께 빅데이터를 자사 사업에서 핵심적인 도구로 활용하고 있다. 이들의 사례가 정말 유용한 보안 애널리틱스를 위한 모델이 돼야 한다. --------------------------------------------------------------- 빅 데이터와 보안 인기기사 -> 블로그 | 빅 데이터 시대의 보안 만트라 "모든 것을 수집하고 분석하라" -> RSA가 제안하는 6가지 빅 데이터 보안 지침 -> 칼럼 | 빅 데이터 보안...

빅데이터 의사결정 비즈니스 인텔리전스 예측 분석 보안 인텔리전스 데이터 호수 보안 애널리틱스 데이터 레이크

2016.01.27

* 본 기고문은 벤더가 작성한 것으로 네트워크 월드 편집진의 수정을 거쳤다. 그러나 벤더의 시각이 일부 남아 있을 수 있다. 이미지 출처 : Thinkstock 최근 보안 애널리틱스 분야에서 빅데이터가 크게 유행하고 있다. 하지만 수년간 ‘데이터 레이크’를 구축하고도 쓸만한 결과를 얻기 위해 이 ‘데이터 레이크’를 활용할 수 없다는 사실만 알아낸 많은 회사들이 부지기수다. 때문에 구매자들은 보안 애널리틱스에 빅데이터를 활용하는데 회의적인 반응을 보이고 있다. 그리고 안타깝게도 지금 나와 있는 솔루션들에는 숫자 위주의 통계 보고서와 화려한 대시보드로 이뤄진 클러스터가 포함돼 있지만, 이런 것들은 유용성과 생산적인 보안 애널리틱스에 거의 도움이 되지 않는다. 실시간으로 의사결정을 내리고, 핵심 패턴을 발견하며, 보안 정책을 계속 밀고 나갈 지 아니면 바꿀 지를 결정하고, 보안을 크게 향상시키기 위해서는 쓸만한 데이터를 어떻게 이용할 지와 분석에 초점을 맞춰야 한다.  속도(Velocity), 다양성(Verity), 용량(Volume)이라는 3Vs 특성을 가진 복잡한 데이터세트를 위해 빅데이터가 실시간 데이터 마이닝 기법을 성공적으로 구현시켜 줄 수 있는지를 확인하려면 구글, 아마존, 넷플릭스 같은 회사들만 보면 된다. 이 회사들은 우리가 무엇을 사거나 보고 싶어하는지를 말하는 예측적 애널리틱스와 함께 빅데이터를 자사 사업에서 핵심적인 도구로 활용하고 있다. 이들의 사례가 정말 유용한 보안 애널리틱스를 위한 모델이 돼야 한다. --------------------------------------------------------------- 빅 데이터와 보안 인기기사 -> 블로그 | 빅 데이터 시대의 보안 만트라 "모든 것을 수집하고 분석하라" -> RSA가 제안하는 6가지 빅 데이터 보안 지침 -> 칼럼 | 빅 데이터 보안...

2016.01.27

데이터 호수에 대해 CIO가 알아야 할 5가지

데이터 호수는 데이터가 분석이나 마이닝에 필요할 때까지 모든 유형의 데이터를 보관할 수 있는 대규모 스토리지 저장소다. 하지만 데이터 호수가 빅데이터 프로젝트를 위한 만병통치약은 아니다. 1. 아직 개념이 새롭다. 펜타호(Pentaho)의 CTO 제임스 딕슨이 언급했듯이 데이터 호수라는 단어는 몇 년 전부터 유행이 됐다. 하지만 IDC 애널리스트인 애쉬시 내드카니에 따르면, 기업 자원으로서 데이터 호수에 대한 생각은 여전히 초기 단계에 머물러 있다. 데이터 호수는 대용량의, 비교적 저렴한 스토리지 저장소로 정의된다. 마치 하둡처럼 데이터가 분석이나 마이닝에 필요할 때까지 모든 유형의 데이터를 보관할 수 있는 저장소다. 데이터 호수는 처리되지 않고 관리되지 않은 가장 원초적인 형태로 데이터를 보관하고 있다.  2. 바로 사용할 수 있는 완성된 형태의 데이터 호수를 구입할 수 없다. 관련 업체들은 빅데이터 프로젝트를 위한 만병통치약으로 데이터 호수를 판매하고 있다. 하지만 가트너에 따르면, 이는 사기다. "데이터웨어 하우스와 마찬가지로 데이터의 호수는 개념이 아니라 기술"이라고 가트너 애널리스트 닉 휴데커는 지적했다. "데이터 호수를 구축하기 위해 몇 가지 기술을 사용할 수 있다. 그 핵심은 데이터의 호수는 데이터 스토리지 전략이다"고 그는 전했다.  3. 데이터 호수는 빅데이터에 대한 욕구를 자극할 것이다. 데이터 호수는 보관하거나 나중에 사용하기 위해 데이터를 처리하고 내보내며 모으는 등 일련의 과정을 위해 만들어 졌다. "데이터웨어하우스의 스토리지 비용 모델이 데이터 취합 대용량 데이터 취합에 적합하다면, 데이터 호수도 그렇다"라고 휴대커는 말했다. "또 데이터 호수는 데이터가 사용 가능하기 전에 스키마를 작성하는 사용자를 필요로 하지 않는다. 데이터가 쉽게 취합할 수 있도록 스키마가 생성되고 데이터가 로딩된 경우에 적용된다"고 그는 덧붙였다....

CIO 빅데이터 가트너 DW 사기 데이터웨어하우스 데이터 호수 데이터마트

2015.08.03

데이터 호수는 데이터가 분석이나 마이닝에 필요할 때까지 모든 유형의 데이터를 보관할 수 있는 대규모 스토리지 저장소다. 하지만 데이터 호수가 빅데이터 프로젝트를 위한 만병통치약은 아니다. 1. 아직 개념이 새롭다. 펜타호(Pentaho)의 CTO 제임스 딕슨이 언급했듯이 데이터 호수라는 단어는 몇 년 전부터 유행이 됐다. 하지만 IDC 애널리스트인 애쉬시 내드카니에 따르면, 기업 자원으로서 데이터 호수에 대한 생각은 여전히 초기 단계에 머물러 있다. 데이터 호수는 대용량의, 비교적 저렴한 스토리지 저장소로 정의된다. 마치 하둡처럼 데이터가 분석이나 마이닝에 필요할 때까지 모든 유형의 데이터를 보관할 수 있는 저장소다. 데이터 호수는 처리되지 않고 관리되지 않은 가장 원초적인 형태로 데이터를 보관하고 있다.  2. 바로 사용할 수 있는 완성된 형태의 데이터 호수를 구입할 수 없다. 관련 업체들은 빅데이터 프로젝트를 위한 만병통치약으로 데이터 호수를 판매하고 있다. 하지만 가트너에 따르면, 이는 사기다. "데이터웨어 하우스와 마찬가지로 데이터의 호수는 개념이 아니라 기술"이라고 가트너 애널리스트 닉 휴데커는 지적했다. "데이터 호수를 구축하기 위해 몇 가지 기술을 사용할 수 있다. 그 핵심은 데이터의 호수는 데이터 스토리지 전략이다"고 그는 전했다.  3. 데이터 호수는 빅데이터에 대한 욕구를 자극할 것이다. 데이터 호수는 보관하거나 나중에 사용하기 위해 데이터를 처리하고 내보내며 모으는 등 일련의 과정을 위해 만들어 졌다. "데이터웨어하우스의 스토리지 비용 모델이 데이터 취합 대용량 데이터 취합에 적합하다면, 데이터 호수도 그렇다"라고 휴대커는 말했다. "또 데이터 호수는 데이터가 사용 가능하기 전에 스키마를 작성하는 사용자를 필요로 하지 않는다. 데이터가 쉽게 취합할 수 있도록 스키마가 생성되고 데이터가 로딩된 경우에 적용된다"고 그는 덧붙였다....

2015.08.03

빅 데이터 공급망 구축 방법

빅데이터가 커질수록 실행에 옮길 수 있는 비즈니스적 통찰력을 얻기 위한 관리와 분석이 더욱 힘들어진다. 빅데이터의 주된 장점이 계산 지향적인 거대 데이터 분석에 기초해 더 나은 비즈니스 의사 결정을 내릴 수 있도록 하는 것임을 감안할 때 다소 반어적으로 볼 수 있다. 이에 대한 해결책은 처음부터 비즈니스 목표를 확인해 공급망을 구축하고 이런 목표를 달성하는데 필요한 민첩한 인프라를 배치하는 것이다. 최근 뉴테크 포럼에서 인포매티카의 제품 마케팅 책임자 존 하다드는 적절히 구성된 빅데이터 아키텍처가 실제 세계에서 결과를 도출할 수 있는 방법을 설명하는데 도움이 되는 4가지 보편적인 활용 사례를 설명했다. 수십년 동안, IT는 잘 정의된 요건과 사전에 정의된 보고서를 통해 일반적인 BI와 데이터 웨어하우징(DW)에 의존해 왔다. 빅데이터 분석의 새로운 세계에서의 발견은 그 과정 가운데 일부이기 때문에 새로운 통찰이 발생하면서 목표가 바뀌게 된다. 이를 위해서는 데이터로부터 비즈니스 통찰과 실행에 옮길 수 있는 정보로 신속하면서도 원활하게 이동할 수 있는 인프라스트럭처와 프로세스가 필요하다. 데이터를 비즈니스 가치로 신속하게 변모시키기 위해 빅데이터 아키텍처는 데이터의 양, 다양성, 속도를 관리하고 처리할 수 있는 공급망으로 보일 수 있어야 한다. 우선, 모든 기업은 빅데이터 프로세스가 필요하다. 이 프로세스는 3단계로 나뉘어진다. 1. 비즈니스 목표 확인 그 누구도 무엇을 얻을 지에 대한 전반적인 비전 없이 빅데이터를 배치해서는 안 된다. 목표를 수립하기 위한 토대는 관련 주제 전문가와 긴밀히 협력하는 데이터 공학 및 분석팀이다. 데이터 공학자, 분석가, 개발자는 반드시 협업해 비즈니스 목표의 우선순위를 정립하고 통찰력을 생성하며 가설과 분석 모델을 검증해야 한다. 2. 빅데이터 통찰 실현 데이터 공학팀은 반드시 개발팀과 연계해 움직여야 한다. 두 그룹은 재현 가능한 프로세스와 방법을 ...

인포매티카 빅데이터 데이터 호수

2014.04.23

빅데이터가 커질수록 실행에 옮길 수 있는 비즈니스적 통찰력을 얻기 위한 관리와 분석이 더욱 힘들어진다. 빅데이터의 주된 장점이 계산 지향적인 거대 데이터 분석에 기초해 더 나은 비즈니스 의사 결정을 내릴 수 있도록 하는 것임을 감안할 때 다소 반어적으로 볼 수 있다. 이에 대한 해결책은 처음부터 비즈니스 목표를 확인해 공급망을 구축하고 이런 목표를 달성하는데 필요한 민첩한 인프라를 배치하는 것이다. 최근 뉴테크 포럼에서 인포매티카의 제품 마케팅 책임자 존 하다드는 적절히 구성된 빅데이터 아키텍처가 실제 세계에서 결과를 도출할 수 있는 방법을 설명하는데 도움이 되는 4가지 보편적인 활용 사례를 설명했다. 수십년 동안, IT는 잘 정의된 요건과 사전에 정의된 보고서를 통해 일반적인 BI와 데이터 웨어하우징(DW)에 의존해 왔다. 빅데이터 분석의 새로운 세계에서의 발견은 그 과정 가운데 일부이기 때문에 새로운 통찰이 발생하면서 목표가 바뀌게 된다. 이를 위해서는 데이터로부터 비즈니스 통찰과 실행에 옮길 수 있는 정보로 신속하면서도 원활하게 이동할 수 있는 인프라스트럭처와 프로세스가 필요하다. 데이터를 비즈니스 가치로 신속하게 변모시키기 위해 빅데이터 아키텍처는 데이터의 양, 다양성, 속도를 관리하고 처리할 수 있는 공급망으로 보일 수 있어야 한다. 우선, 모든 기업은 빅데이터 프로세스가 필요하다. 이 프로세스는 3단계로 나뉘어진다. 1. 비즈니스 목표 확인 그 누구도 무엇을 얻을 지에 대한 전반적인 비전 없이 빅데이터를 배치해서는 안 된다. 목표를 수립하기 위한 토대는 관련 주제 전문가와 긴밀히 협력하는 데이터 공학 및 분석팀이다. 데이터 공학자, 분석가, 개발자는 반드시 협업해 비즈니스 목표의 우선순위를 정립하고 통찰력을 생성하며 가설과 분석 모델을 검증해야 한다. 2. 빅데이터 통찰 실현 데이터 공학팀은 반드시 개발팀과 연계해 움직여야 한다. 두 그룹은 재현 가능한 프로세스와 방법을 ...

2014.04.23

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.9