Offcanvas

��������� ������

블로그ㅣ우리는 AI 가속기의 시대에 진입했다

기술 가속기는 분명히 속도를 높일 수 있다. 하지만 프로세싱 및 서버 용량을 늘리고, GPU 성능을 향상시키며, 인력 리소스를 더 많이 투입하는 것도 마찬가지다. 단순히 엔터프라이즈 IT 시스템에 더 많은 자원을 넣는다고 해서 그 자체가 가속기로 간주되는 건 아니다. 여기서는 AI 및 ML 환경에서 IT 가속기를 사용하는 것에 관해 이야기해보고자 한다.    사실상 산업 가속기는 오래전부터 존재해 왔다. 이를테면 SAP는 고객이 실시간 생산 시스템을 빠르게 실행할 수 있도록 다양한 플랫폼에서의 가속기 사용을 옹호해왔다. 템플릿, 미리 설계된 애플리케이션 및 데이터 서비스 설계를 통해 (아무것도 없는 것보다) 더 명확하게 시작할 수 있다는 것이다.  때때로 가속기는 시스템 테스트 단계에서 익명화된 데이터세트를 사용해 (기업의) 제품 출시를 앞당길 수 있게 해주지만 신중하게 사용될 경우에만 그러하며, 반드시 만병통치약인 것은 아니다.  이와 관련해 주목할 만한 기업에는 액센츄어가 있다. AWS와의 파트너십 일환으로, 액센츄어의 IT 서비스 및 컨설팅 전문가들은 최근 ‘수천 개의 클라우드 프로젝트’를 수행했다고 밝혔다. 그리고 이를 통해 대규모 클라우드 전환의 인적 및 비즈니스적 차원을 더 빠르고 확실하게 이해할 수 있게 됐다고 전했다.  이러한 인적-비즈니스적 차원은 클라우드 컴퓨팅 구축 과제를 새롭게 표현하는 방법이다. 실시간 생산 환경에서 많은 기업이 열악한 통합, 투박한 정렬, 잘못된 구성 문제로 어려움을 겪고 있다. 특히 후자는 퀄리스(Qualys) 등이 코드형 인프라(Infrastructure-as-Code) 기술을 사용하여 해결하고자 하는 문제 중 하나다. 향후 5년 동안 액센츄어는 현재보다 최대 50% 더 빠르게 AWS를 채택할 수 있도록 하는 것을 목표로, 클라우드 마이그레이션의 가장 큰 문제를 해결하기 위한 새로운 가속기를 개발할 계획이다. 현재까지 액센츄어와 AWS는 16개 산업 분야에서 사...

인공지능 머신러닝 디지털 트랜스포메이션 IT 관리 엔터프라이즈 애플리케이션 데이터 관리 가속기

2021.12.03

기술 가속기는 분명히 속도를 높일 수 있다. 하지만 프로세싱 및 서버 용량을 늘리고, GPU 성능을 향상시키며, 인력 리소스를 더 많이 투입하는 것도 마찬가지다. 단순히 엔터프라이즈 IT 시스템에 더 많은 자원을 넣는다고 해서 그 자체가 가속기로 간주되는 건 아니다. 여기서는 AI 및 ML 환경에서 IT 가속기를 사용하는 것에 관해 이야기해보고자 한다.    사실상 산업 가속기는 오래전부터 존재해 왔다. 이를테면 SAP는 고객이 실시간 생산 시스템을 빠르게 실행할 수 있도록 다양한 플랫폼에서의 가속기 사용을 옹호해왔다. 템플릿, 미리 설계된 애플리케이션 및 데이터 서비스 설계를 통해 (아무것도 없는 것보다) 더 명확하게 시작할 수 있다는 것이다.  때때로 가속기는 시스템 테스트 단계에서 익명화된 데이터세트를 사용해 (기업의) 제품 출시를 앞당길 수 있게 해주지만 신중하게 사용될 경우에만 그러하며, 반드시 만병통치약인 것은 아니다.  이와 관련해 주목할 만한 기업에는 액센츄어가 있다. AWS와의 파트너십 일환으로, 액센츄어의 IT 서비스 및 컨설팅 전문가들은 최근 ‘수천 개의 클라우드 프로젝트’를 수행했다고 밝혔다. 그리고 이를 통해 대규모 클라우드 전환의 인적 및 비즈니스적 차원을 더 빠르고 확실하게 이해할 수 있게 됐다고 전했다.  이러한 인적-비즈니스적 차원은 클라우드 컴퓨팅 구축 과제를 새롭게 표현하는 방법이다. 실시간 생산 환경에서 많은 기업이 열악한 통합, 투박한 정렬, 잘못된 구성 문제로 어려움을 겪고 있다. 특히 후자는 퀄리스(Qualys) 등이 코드형 인프라(Infrastructure-as-Code) 기술을 사용하여 해결하고자 하는 문제 중 하나다. 향후 5년 동안 액센츄어는 현재보다 최대 50% 더 빠르게 AWS를 채택할 수 있도록 하는 것을 목표로, 클라우드 마이그레이션의 가장 큰 문제를 해결하기 위한 새로운 가속기를 개발할 계획이다. 현재까지 액센츄어와 AWS는 16개 산업 분야에서 사...

2021.12.03

벤더 기고 | ‘엣지 투 클라우드 전략 개발’··· 기업이 물어야 할 4가지 질문

가트너는 2029년까지 150억대 이상의 사물인터넷(IoT) 장치가 기업 인프라에 연결될 것으로 전망했다. 방대한 데이터를 실시간 수집하는 일은 쉬워졌지만 확보한 데이터로 비즈니스 실적을 개선하는 일은 여전히 어려운 과제다. 인공지능(AI)과 머신러닝(ML)을 엣지(edge)와 클라우드의 데이터 수집∙처리 능력과 결합하는 것이 해답일 수 있다. 기업은 이 모든 데이터 자산을 최대한 활용하기 위한 애플리케이션 전략이 있어야 한다. 엣지 투 클라우드 AI 전략 개발을 위한 4가지 질문 AI 활용에 이용되는 구체적 전략과 구현 방식은 기업이나 분야마다 다르지만 공통점이 있다. 올해 열린 히타치 밴타라의 소셜 이노베이션 포럼(HSIF) 2021에서는 엣지에서 클라우드까지의 AI 전략 수립에 대한 전략적 사고의 틀을 제공하는 데 도움이 되는 4가지 질문이 공유됐다. 질문 1 : 분산형 인프라에서 효과적인 앱을 어떻게 개발할까? 지난 30년간 기업은 높은 벽에 둘러싸인 안전한 데이터센터를 구축하고 그 속에서 단일의 거대 애플리케이션을 구동했다. 그러나 오늘날 이러한 모델은 유효성을 잃어가고 있다. 현대 애플리케이션은 데이터센터를 이용하면서도 엣지와 클라우드로 범위를 확장하면서 발전하고 있다.  기업의 CIO와 매니저들은 ‘앱 퍼스트 인프라’ 사고방식을 채택해 엣지와 클라우드의 장점을 활용해야 한다. 분산 애플리케이션 개발을 간소화하기 위해 기술, 아키텍처, 사회적 사일로(silo)를 이해하기 쉽게 분류하는 것을 최우선으로 한다. 앱 퍼스트 인프라 사고방식은 애플리케이션 개발자, 운영∙보안 직원, 기타 기술 담당자가 분산 환경을 지원하기 위해 협력해야 한다는 주장과 확연히 맞닿아 있다. 이들 협업은 쿠버네티스(Kubernetes) 같은 앱 배포 플랫폼의 지원을 필요로 한다. 이때 앱 배포 플랫폼은 데이터센터에서 엣지 및 클라우드로 앱을 배포하기 위한 번거로운 작업을 간소화하는데 도움을 주고, 운영자가 이런 엣지와 클라우드 인프라 환경을 모니터링하고 분석하는...

엣지 분산형 인프라 엣지 투 클라우드 AI 전략 앱 퍼스트 인프라 데이터 관리 SPOT 데이터옵스

2021.11.19

가트너는 2029년까지 150억대 이상의 사물인터넷(IoT) 장치가 기업 인프라에 연결될 것으로 전망했다. 방대한 데이터를 실시간 수집하는 일은 쉬워졌지만 확보한 데이터로 비즈니스 실적을 개선하는 일은 여전히 어려운 과제다. 인공지능(AI)과 머신러닝(ML)을 엣지(edge)와 클라우드의 데이터 수집∙처리 능력과 결합하는 것이 해답일 수 있다. 기업은 이 모든 데이터 자산을 최대한 활용하기 위한 애플리케이션 전략이 있어야 한다. 엣지 투 클라우드 AI 전략 개발을 위한 4가지 질문 AI 활용에 이용되는 구체적 전략과 구현 방식은 기업이나 분야마다 다르지만 공통점이 있다. 올해 열린 히타치 밴타라의 소셜 이노베이션 포럼(HSIF) 2021에서는 엣지에서 클라우드까지의 AI 전략 수립에 대한 전략적 사고의 틀을 제공하는 데 도움이 되는 4가지 질문이 공유됐다. 질문 1 : 분산형 인프라에서 효과적인 앱을 어떻게 개발할까? 지난 30년간 기업은 높은 벽에 둘러싸인 안전한 데이터센터를 구축하고 그 속에서 단일의 거대 애플리케이션을 구동했다. 그러나 오늘날 이러한 모델은 유효성을 잃어가고 있다. 현대 애플리케이션은 데이터센터를 이용하면서도 엣지와 클라우드로 범위를 확장하면서 발전하고 있다.  기업의 CIO와 매니저들은 ‘앱 퍼스트 인프라’ 사고방식을 채택해 엣지와 클라우드의 장점을 활용해야 한다. 분산 애플리케이션 개발을 간소화하기 위해 기술, 아키텍처, 사회적 사일로(silo)를 이해하기 쉽게 분류하는 것을 최우선으로 한다. 앱 퍼스트 인프라 사고방식은 애플리케이션 개발자, 운영∙보안 직원, 기타 기술 담당자가 분산 환경을 지원하기 위해 협력해야 한다는 주장과 확연히 맞닿아 있다. 이들 협업은 쿠버네티스(Kubernetes) 같은 앱 배포 플랫폼의 지원을 필요로 한다. 이때 앱 배포 플랫폼은 데이터센터에서 엣지 및 클라우드로 앱을 배포하기 위한 번거로운 작업을 간소화하는데 도움을 주고, 운영자가 이런 엣지와 클라우드 인프라 환경을 모니터링하고 분석하는...

2021.11.19

‘데이터 무결성' 확보해야 하지만... 흔한 함정 4가지

새로운 비즈니스 환경을 반영하는 데이터가 어떤 형태로든 존재한다면, 비즈니스 성패는 적절한 데이터의 준비와 도구가 확보되었는지에 달려 있다. 마틸리온의 데이브 랭톤 제품 담당 부사장이 데이터 무결성 이니셔티브를 시작하는 조직을 위한 조언을 제시했다. 데이터 팀이 빠지기 쉬운 4가지 함정과 이를 피하는 방법에 대해서다.    매일 생성되는 데이터의 양이 기하급수적으로 늘어나는 있다. 현대 기업에게 데이터의 중요성도 그만큼 커지는 양상이다. 적절히 사용된다면 데이터는 세계에서 가장 값진 자원일 수 있다. 그러나 불완전하고 일관성 없는 데이터 세트는 위험하기만 하며, 그에 따라 기업 수익성에 악영향을 미치게 된다.  DAMA 데이터 관리 지식 체계(DAMA Management Body of Knowledge)의 전문가들은 현대 조직들이 데이터 품질 문제를 해소하는 데 매출의 10 ~ 30% 정도를 소비한다고 추정하고 있다. 데이터 무결성의 중요성을 인식하면서 현대의 데이터 팀은 이제 데이터 준비 작업 뿐 아니라 데이터를 보존하는 일에 노력을 집중하고 있다. 데이터 무결성(Data Integrity)이란 시스템에 있는 데이터의 정확성, 완전성, 일관성, 합치를 아우르는 용어다. 이는 데이터 팀이 달성하고자 하고, 이 달성을 위한 과정들을 망라하는 용어이기도 하다.  이 정의는 여러 데이터 측면으로 구성된다. 예를 들어 데이터의 물리적 무결성(데이터가 안전하게 저장되는 방식), 데이터의 논리적 무결성(정확성, 완전성, 확실성), 합치의 문제(데이터가 GDPR 등 필수 표준에 부합하는지 여부) 등이다.  대체로, 현대의 분산 데이터 시스템은 성능을 극대화하기 위해 논리적 무결성과 관련해 느슨한 구조를 갖추고 있다. 이로 인해 데이터 팀은 데이터 정확성을 위해 다른 전략을 알아보게 된다. 데이터 무결성의 달성은 궁극적으로 한층 우수한 성과, 신뢰성, 액세스를 조직에게 보장하는 방법이다. 데이터 무결성 이니셔티브를 시...

데이터 무결성 데이터 통합 데이터 관리 데이터 품질 데이터 준비 데이터 감사 데이터 검증

2021.11.18

새로운 비즈니스 환경을 반영하는 데이터가 어떤 형태로든 존재한다면, 비즈니스 성패는 적절한 데이터의 준비와 도구가 확보되었는지에 달려 있다. 마틸리온의 데이브 랭톤 제품 담당 부사장이 데이터 무결성 이니셔티브를 시작하는 조직을 위한 조언을 제시했다. 데이터 팀이 빠지기 쉬운 4가지 함정과 이를 피하는 방법에 대해서다.    매일 생성되는 데이터의 양이 기하급수적으로 늘어나는 있다. 현대 기업에게 데이터의 중요성도 그만큼 커지는 양상이다. 적절히 사용된다면 데이터는 세계에서 가장 값진 자원일 수 있다. 그러나 불완전하고 일관성 없는 데이터 세트는 위험하기만 하며, 그에 따라 기업 수익성에 악영향을 미치게 된다.  DAMA 데이터 관리 지식 체계(DAMA Management Body of Knowledge)의 전문가들은 현대 조직들이 데이터 품질 문제를 해소하는 데 매출의 10 ~ 30% 정도를 소비한다고 추정하고 있다. 데이터 무결성의 중요성을 인식하면서 현대의 데이터 팀은 이제 데이터 준비 작업 뿐 아니라 데이터를 보존하는 일에 노력을 집중하고 있다. 데이터 무결성(Data Integrity)이란 시스템에 있는 데이터의 정확성, 완전성, 일관성, 합치를 아우르는 용어다. 이는 데이터 팀이 달성하고자 하고, 이 달성을 위한 과정들을 망라하는 용어이기도 하다.  이 정의는 여러 데이터 측면으로 구성된다. 예를 들어 데이터의 물리적 무결성(데이터가 안전하게 저장되는 방식), 데이터의 논리적 무결성(정확성, 완전성, 확실성), 합치의 문제(데이터가 GDPR 등 필수 표준에 부합하는지 여부) 등이다.  대체로, 현대의 분산 데이터 시스템은 성능을 극대화하기 위해 논리적 무결성과 관련해 느슨한 구조를 갖추고 있다. 이로 인해 데이터 팀은 데이터 정확성을 위해 다른 전략을 알아보게 된다. 데이터 무결성의 달성은 궁극적으로 한층 우수한 성과, 신뢰성, 액세스를 조직에게 보장하는 방법이다. 데이터 무결성 이니셔티브를 시...

2021.11.18

현금이라면 그렇게 다룰까?··· 데이터 거버넌스 실수 7가지

대부분의 CIO는 데이터를 잘못 취급하는 실수가 재무, 평판, 법률, 그리고 그 외 온갖 종류의 곤란으로 이어질 수 있음을 알고 있다. 그래서 보안과 컴플라이언스를 보장하면서도 접근성도 있고 관리도 가능한 강력한 데이터 거버넌스 정책에 주목한다. 데이터 무결성과 보존을 진지하게 생각하는 조직에게는 최우선 현안으로 간주되기도 한다. 유감스럽지만 데이터 거버넌스 요건과 실무에 정답은 아직 없다. 여전히 진화 중이기 때문에 IT 리더는 시간이 경과함에 따라 함정에 빠지기 쉽다. 데이터 거버넌스 정책을 무효하게 만들거나 심지어 위험에 빠뜨릴 수 있는 덫에 걸리지 않으려면 어떻게든 피해야 할 아래의 7가지 일상적 실수에 언제나 유의해야 한다.    데이터 거버넌스를 기술 프로젝트로 취급하기  데이터 거버넌스는 본질적으로 유동적이다. 따라서 정책 개발을 단순히 계획하고 배포하는 프로젝트로 간주해서는 안 된다. 데이터 거버넌스 정책이 진화하는 요건을 따라잡지 못한다면 궁극적으로 실패하기 십상이다. 더 나쁜 점은 이러한 정책이 실무자들에게 거추장스러운 장애물로 인식될 수 있다는 것이다. 따라서 현업 팀이 자체적인 우회수단을 만들게 된다. 클라우드 소프트웨어 및 서비스 공급업체인 뉴타닉스(Nutanix)의 CTO인 라지브 미라니는 데이터 거버넌스를 비즈니스 과제로 취급하라고 제안했다. 그는 데이터가 조직이 이해하고 보호해야 할 자산이라면서 “현금 취급 절차와 매우 비슷하게 생각볼 수 있다. 이는 조직에서 전적으로 이해되고 수용된다. 현금을 안전하게 취급하는 일의 중요성에 대해 공감대가 형성돼 있기 때문이다”라고 말했다. 빈빈히 간과되는 중요한 거버넌스 작업은 수집되고 보존되는 데이터의 양과 유형을 평가하는 것이다. 미라니는 “데이터는 적절히 사용될 때 막대한 가치를 가질 수 있지만, 궁극적으로 혜택의 출처는 조직이 관리할 수 있고 활용할 수 있고 보안할 수 있는 데이터로 한정된다”면서 “그냥 의무적으로 데이터를 수집하고 보유하는 대신 데이...

데이터 관리 데이터 거버넌스 데이터 정책 데이터 프레임워크

2021.11.11

대부분의 CIO는 데이터를 잘못 취급하는 실수가 재무, 평판, 법률, 그리고 그 외 온갖 종류의 곤란으로 이어질 수 있음을 알고 있다. 그래서 보안과 컴플라이언스를 보장하면서도 접근성도 있고 관리도 가능한 강력한 데이터 거버넌스 정책에 주목한다. 데이터 무결성과 보존을 진지하게 생각하는 조직에게는 최우선 현안으로 간주되기도 한다. 유감스럽지만 데이터 거버넌스 요건과 실무에 정답은 아직 없다. 여전히 진화 중이기 때문에 IT 리더는 시간이 경과함에 따라 함정에 빠지기 쉽다. 데이터 거버넌스 정책을 무효하게 만들거나 심지어 위험에 빠뜨릴 수 있는 덫에 걸리지 않으려면 어떻게든 피해야 할 아래의 7가지 일상적 실수에 언제나 유의해야 한다.    데이터 거버넌스를 기술 프로젝트로 취급하기  데이터 거버넌스는 본질적으로 유동적이다. 따라서 정책 개발을 단순히 계획하고 배포하는 프로젝트로 간주해서는 안 된다. 데이터 거버넌스 정책이 진화하는 요건을 따라잡지 못한다면 궁극적으로 실패하기 십상이다. 더 나쁜 점은 이러한 정책이 실무자들에게 거추장스러운 장애물로 인식될 수 있다는 것이다. 따라서 현업 팀이 자체적인 우회수단을 만들게 된다. 클라우드 소프트웨어 및 서비스 공급업체인 뉴타닉스(Nutanix)의 CTO인 라지브 미라니는 데이터 거버넌스를 비즈니스 과제로 취급하라고 제안했다. 그는 데이터가 조직이 이해하고 보호해야 할 자산이라면서 “현금 취급 절차와 매우 비슷하게 생각볼 수 있다. 이는 조직에서 전적으로 이해되고 수용된다. 현금을 안전하게 취급하는 일의 중요성에 대해 공감대가 형성돼 있기 때문이다”라고 말했다. 빈빈히 간과되는 중요한 거버넌스 작업은 수집되고 보존되는 데이터의 양과 유형을 평가하는 것이다. 미라니는 “데이터는 적절히 사용될 때 막대한 가치를 가질 수 있지만, 궁극적으로 혜택의 출처는 조직이 관리할 수 있고 활용할 수 있고 보안할 수 있는 데이터로 한정된다”면서 “그냥 의무적으로 데이터를 수집하고 보유하는 대신 데이...

2021.11.11

‘데이터 엔지니어·아키텍트’ 수요 뜨겁다··· 인기 자격증 8종

데이터 엔지니어와 데이터 아키텍트의 수요가 높다. 데이터 엔지니어와 데이터 아키텍트 분야의 경력 개발에 도움이 될 만한 자격증을 소개한다.  데이터 애널리틱스는 성공적인 비즈니스의 핵심이다. 적절한 기술을 확보하는 것도 힘들지만 데이터 이니셔티브를 이끌어갈 전문 역량을 갖춘 팀을 구성하는 것은 이보다 더 어려울 수 있다. 빅데이터 이니셔티브를 성공적으로 수행하려면 데이터 과학자와 데이터 분석가만으론 부족하다. 엔터프라이즈 데이터 관리 프레임워크의 청사진을 설계하는 ‘데이터 아키텍트’와 데이터 수집, 처리, 비즈니스 가치 창출을 위해 프레임워크 및 데이터 파이프라인을 구축할 수 있는 ‘데이터 엔지니어’가 필요하다.   일반적으로 데이터 아키텍트는 데이터 설계, 데이터 관리, 데이터 스토리지에 전문성을 갖추고 있다. 데이터 엔지니어는 하둡(Hadoop), 스파크(Spark) 및 오픈소스 빅데이터 생태계의 다른 도구를 사용하는 데 능숙하며, 자바(Java), 스칼라(Scala), 파이썬(Python) 등으로 프로그래밍할 수 있는 전문성을 갖추고 있다.  이 분야에서 경쟁력을 확보할 방법을 찾고 있다면 자격증은 좋은 선택지다. 자격증은 업계나 벤더별 벤치마크를 기준으로 지식과 역량을 평가해 직무에 적합한 기술과 역량을 가지고 있음을 입증한다.  다음은 경력 개발에 도움이 될 만한 가장 인기 있는 데이터 엔지니어 및 데이터 아키텍트 자격증이다. AWS 공인 데이터 애널리틱스 스페셜티(AWS Certified Data Analytics – Specialty) AWS의 데이터 레이크 및 애널리틱스 서비스에 관한 기술적 역량과 경험을 검증하는 자격증이다. 각종 AWS 데이터 애널리틱스 서비스를 이해하고, 서로 어떻게 통합돼 있는지 알고 있는가를 검증하는 게 목적이다. 또 AWS 데이터 애널리틱스 서비스를 데이터 수집, 저장, 처리, 시각화라는 라이프 사이클에 구축하는 방법도 알아야 한다. 과거 ‘AWS 공인 빅데이터 스페셜티(...

자격증 인증 IT 스킬 IT 역량 커리어 경력 빅데이터 데이터 엔지니어 데이터 아키텍트 애널리틱스 데이터 관리 데이터 통합 AWS 클라우데라 구글 SAS IBM

2021.10.21

데이터 엔지니어와 데이터 아키텍트의 수요가 높다. 데이터 엔지니어와 데이터 아키텍트 분야의 경력 개발에 도움이 될 만한 자격증을 소개한다.  데이터 애널리틱스는 성공적인 비즈니스의 핵심이다. 적절한 기술을 확보하는 것도 힘들지만 데이터 이니셔티브를 이끌어갈 전문 역량을 갖춘 팀을 구성하는 것은 이보다 더 어려울 수 있다. 빅데이터 이니셔티브를 성공적으로 수행하려면 데이터 과학자와 데이터 분석가만으론 부족하다. 엔터프라이즈 데이터 관리 프레임워크의 청사진을 설계하는 ‘데이터 아키텍트’와 데이터 수집, 처리, 비즈니스 가치 창출을 위해 프레임워크 및 데이터 파이프라인을 구축할 수 있는 ‘데이터 엔지니어’가 필요하다.   일반적으로 데이터 아키텍트는 데이터 설계, 데이터 관리, 데이터 스토리지에 전문성을 갖추고 있다. 데이터 엔지니어는 하둡(Hadoop), 스파크(Spark) 및 오픈소스 빅데이터 생태계의 다른 도구를 사용하는 데 능숙하며, 자바(Java), 스칼라(Scala), 파이썬(Python) 등으로 프로그래밍할 수 있는 전문성을 갖추고 있다.  이 분야에서 경쟁력을 확보할 방법을 찾고 있다면 자격증은 좋은 선택지다. 자격증은 업계나 벤더별 벤치마크를 기준으로 지식과 역량을 평가해 직무에 적합한 기술과 역량을 가지고 있음을 입증한다.  다음은 경력 개발에 도움이 될 만한 가장 인기 있는 데이터 엔지니어 및 데이터 아키텍트 자격증이다. AWS 공인 데이터 애널리틱스 스페셜티(AWS Certified Data Analytics – Specialty) AWS의 데이터 레이크 및 애널리틱스 서비스에 관한 기술적 역량과 경험을 검증하는 자격증이다. 각종 AWS 데이터 애널리틱스 서비스를 이해하고, 서로 어떻게 통합돼 있는지 알고 있는가를 검증하는 게 목적이다. 또 AWS 데이터 애널리틱스 서비스를 데이터 수집, 저장, 처리, 시각화라는 라이프 사이클에 구축하는 방법도 알아야 한다. 과거 ‘AWS 공인 빅데이터 스페셜티(...

2021.10.21

칼럼ㅣ'ETL'은 빅데이터와의 경쟁에서 패배했다

‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다.  일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시의 데이터 프로세스는 순차적이고, 정적이었으며, 유연하지 못했다. 그러한 시대에서 통합은 혁명이었으며, ‘ETL(추출, 변환, 로드)’은 일반적인 비즈니스 범위를 벗어나는 최신 기술이었다.    다시 현재로 거슬러 올라오자. 오늘날 인터넷에서는 수십억 명의 사용자가 매 순간 상상할 수 없는 양의 데이터를 생성하고 있다. 이로 인해 새로운 시스템 환경이 탄생하고, 모든 것이 주문형(on-demand)으로 이뤄지고 있다.  그 시대의 많은 프로세스와 마찬가지로, 온프레미스 환경을 위한 전통적인 ETL은 더 이상 필요가 없다. 수년간의 진화에도 불구하고 기존 ETL 프로세스는 빅 데이터라는 광기와의 경쟁에서 패배했다.  가트너에 따르면 분석 인사이트의 20%만이 핵심 비즈니스 결과를 촉발한다. 예상한 대로 부정확하고 불충분한 데이터가 주요 원인이다.  전통적인 ETL의 단점 기존 ETL에는 다음과 같은 단점이 있다.  • 모든 변환의 비즈니스 요구사항이 고유하기 때문에 데이터 엔지니어는 커스텀 코드 프로그램 및 스크립트를 처리해야 한다. 따라서 특화되고 변환 불가능한 기술을 개발해야 하고, 코드 베이스 관리가 복잡해진다.   • ETL은 지속적인 간접비가 발생한다. 전담 데이터 엔지니어의 긴 재설계 사이클이 필요하다.   • ETL에서 데이터 과학자는 엔지니어가 변환하고 정제한 데이터 세트만 받을 수 있다. 이로 인해 프로세스가 경직될 뿐만 아니라 결과의 민첩성이 제한된다.   • 초기에 ETL의 목적은 주기적인 배치(batch) 처리 세션이었다. 이는 지속적이고 자동화된 데이터 스트리밍을 지원하지 않는다. 또한 실시간 데이...

ETL ELT 데이터 빅 데이터 데이터 과학 데이터 관리 데이터 레이크 데이터 웨어하우스

2021.09.15

‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다.  일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시의 데이터 프로세스는 순차적이고, 정적이었으며, 유연하지 못했다. 그러한 시대에서 통합은 혁명이었으며, ‘ETL(추출, 변환, 로드)’은 일반적인 비즈니스 범위를 벗어나는 최신 기술이었다.    다시 현재로 거슬러 올라오자. 오늘날 인터넷에서는 수십억 명의 사용자가 매 순간 상상할 수 없는 양의 데이터를 생성하고 있다. 이로 인해 새로운 시스템 환경이 탄생하고, 모든 것이 주문형(on-demand)으로 이뤄지고 있다.  그 시대의 많은 프로세스와 마찬가지로, 온프레미스 환경을 위한 전통적인 ETL은 더 이상 필요가 없다. 수년간의 진화에도 불구하고 기존 ETL 프로세스는 빅 데이터라는 광기와의 경쟁에서 패배했다.  가트너에 따르면 분석 인사이트의 20%만이 핵심 비즈니스 결과를 촉발한다. 예상한 대로 부정확하고 불충분한 데이터가 주요 원인이다.  전통적인 ETL의 단점 기존 ETL에는 다음과 같은 단점이 있다.  • 모든 변환의 비즈니스 요구사항이 고유하기 때문에 데이터 엔지니어는 커스텀 코드 프로그램 및 스크립트를 처리해야 한다. 따라서 특화되고 변환 불가능한 기술을 개발해야 하고, 코드 베이스 관리가 복잡해진다.   • ETL은 지속적인 간접비가 발생한다. 전담 데이터 엔지니어의 긴 재설계 사이클이 필요하다.   • ETL에서 데이터 과학자는 엔지니어가 변환하고 정제한 데이터 세트만 받을 수 있다. 이로 인해 프로세스가 경직될 뿐만 아니라 결과의 민첩성이 제한된다.   • 초기에 ETL의 목적은 주기적인 배치(batch) 처리 세션이었다. 이는 지속적이고 자동화된 데이터 스트리밍을 지원하지 않는다. 또한 실시간 데이...

2021.09.15

모두가 데이터 혜택 누린다··· 피델리티의 ‘파이프라인’ 혁신 이야기

글로벌 자산 운용사 피델리티 인베스트먼트(Fidelity Investment)가 기업 그리고 생태계 전반에 걸쳐 데이터를 사용할 수 있도록 하는 ‘차세대 데이터 파이프라인’을 구축하고 있다.  피델리티 인베스트먼트의 CTO 미히 샤는 약 4년 전부터 회사의 데이터 전략을 근본적으로 바꿀 계획이었다면서, “‘차세대 데이터 파이프라인’이라고 명명한 이 계획을 실현하기 위해 회사 최초의 데이터 아키텍처 및 엔지니어링 책임자가 되고자 했다”라고 말했다.  샤에 따르면 해당 계획의 핵심은 ‘역할이 무엇이든 간에 더 쉽게 일을 하고 더 나은 의사결정을 내리도록 데이터를 사용할 수 있게 하는 것’이었다.     데이터 중심 기업으로 나아가는 것은 수년 동안 많은 조직의 핵심 목표였지만 대부분은 데이터를 기반으로 신속한 의사결정을 내리는 데 실패했다. 피델리티 인베스트먼트의 경우에는 데이터 운영 모델을 혁신한 것이 성공의 토대였다고 그는 밝혔다.  샤는 “모두가 데이터의 가치를 안다. 그리고 통합된 데이터가 사일로화된 데이터보다 가치 있다는 것도 안다”라면서, “(피델리티 인베스트먼트는) 이 문제에 관해 수년간 논의해왔지만 아무도 실제로 그렇게 하기 위해 운영 모델을 바꾸려 하지 않았다. 기술은 이미 존재한다. 점점 더 발전하고 있다. 하지만 핵심은 운영 모델이다”라고 전했다.  ‘사일로’에서 ‘이웃’으로 美 보스턴에 본사를 둔 다국적 금융 서비스 기업 피델리티 인베스트먼트는 세계 최대의 자산 운용사 중 하나다. 지난 2014년 아비게일 존슨이 아버지의 뒤를 이어 (그의 할아버지가 1946년 설립한) 피델리티의 CEO로 취임했다. 존슨은 ‘이웃(neighborhood)’이라는 개념에 기초한 조직 구조를 도입했다.  샤는 “본질적으로 데이터는 수평적이다. 데이터에는 경계가 없다. 기술 영역에서 동일한 구성을 사용하지 않을 이유가 무엇인가?”라고 말했다. 이에 따라 클라우드, 데이터, 사이버 및 API ...

피델리티 인베스트먼트 데이터 데이터 파이프라인 데이터 관리 애널리틱스

2021.09.14

글로벌 자산 운용사 피델리티 인베스트먼트(Fidelity Investment)가 기업 그리고 생태계 전반에 걸쳐 데이터를 사용할 수 있도록 하는 ‘차세대 데이터 파이프라인’을 구축하고 있다.  피델리티 인베스트먼트의 CTO 미히 샤는 약 4년 전부터 회사의 데이터 전략을 근본적으로 바꿀 계획이었다면서, “‘차세대 데이터 파이프라인’이라고 명명한 이 계획을 실현하기 위해 회사 최초의 데이터 아키텍처 및 엔지니어링 책임자가 되고자 했다”라고 말했다.  샤에 따르면 해당 계획의 핵심은 ‘역할이 무엇이든 간에 더 쉽게 일을 하고 더 나은 의사결정을 내리도록 데이터를 사용할 수 있게 하는 것’이었다.     데이터 중심 기업으로 나아가는 것은 수년 동안 많은 조직의 핵심 목표였지만 대부분은 데이터를 기반으로 신속한 의사결정을 내리는 데 실패했다. 피델리티 인베스트먼트의 경우에는 데이터 운영 모델을 혁신한 것이 성공의 토대였다고 그는 밝혔다.  샤는 “모두가 데이터의 가치를 안다. 그리고 통합된 데이터가 사일로화된 데이터보다 가치 있다는 것도 안다”라면서, “(피델리티 인베스트먼트는) 이 문제에 관해 수년간 논의해왔지만 아무도 실제로 그렇게 하기 위해 운영 모델을 바꾸려 하지 않았다. 기술은 이미 존재한다. 점점 더 발전하고 있다. 하지만 핵심은 운영 모델이다”라고 전했다.  ‘사일로’에서 ‘이웃’으로 美 보스턴에 본사를 둔 다국적 금융 서비스 기업 피델리티 인베스트먼트는 세계 최대의 자산 운용사 중 하나다. 지난 2014년 아비게일 존슨이 아버지의 뒤를 이어 (그의 할아버지가 1946년 설립한) 피델리티의 CEO로 취임했다. 존슨은 ‘이웃(neighborhood)’이라는 개념에 기초한 조직 구조를 도입했다.  샤는 “본질적으로 데이터는 수평적이다. 데이터에는 경계가 없다. 기술 영역에서 동일한 구성을 사용하지 않을 이유가 무엇인가?”라고 말했다. 이에 따라 클라우드, 데이터, 사이버 및 API ...

2021.09.14

칼럼ㅣ데이터 레이크 저물고 '데이터 패브릭' 떠오른다

데이터 레이크와 데이터 웨어하우스가 여전히 유용하긴 하지만 이제 데이터 관리에 새로운 접근법을 취할 때다.  지난 20년 동안 CIO, CDO, 애널리스트가 기업 인프라에 저장된 데이터에 관해 의사결정을 내리면서 중앙 집중화를 강조하는 문화를 조성했다. IT 팀의 보호 아래에서 데이터를 처리할 때 (데이터가) 가장 잘 통제되고 유용하다는 것이었다.  이 기간에는 해당 논리에 관한 논쟁이 있을 수 없었다. 이로 인해 데이터 웨어하우징을 통한 첫 번째 데이터 통합의 물결이 일었다. 1990년대에 이는 데이터를 사전 정의된 사용 사례에 맞춰 고정된 구조적 형태로 사전 처리 및 저장하여 여러 비즈니스 인텔리전스 플랫폼을 단일 솔루션으로 연결하는 효과적인 방법이었다.    하지만 시간이 지나면서 이러한 아키텍처에 광범위한 사용자 정의 및 데이터 유지관리가 필요하다는 게 명확해졌고, 확장 요건에도 어려움을 겪었다. 게다가 데이터 프로젝트의 소유권을 부서별로 가져가기 어려웠기 때문에 데이터가 비즈니스에 미치는 전반적인 영향도 감소했다.  그리고 이 문제를 해결하기 위해 새로운 유형의 아키텍처 ‘데이터 레이크’가 등장했다. 기업들은 데이터 레이크를 통해 모든 정형 및 비정형 데이터를 규모에 상관없이 중앙 저장소에 저장할 수 있었다.  데이터 웨어하우징과 마찬가지로 데이터 레이크는 데이터 처리 방식을 변화시켜 실시간 스트리밍 기능과 정형 및 비정형 데이터 처리 기능을 제공했다. 또 데이터 레이크는 데이터 웨어하우스보다 데이터 소비, 저장, 출력을 더욱더 잘 처리하고 메타데이터를 적용하여 데이터 웨어하우스보다 유연한 성능을 제공할 수 있었다.  하지만 이런 발전에도 불구하고 한계점은 남아 있었다. 기업 내의 데이터 팀은 보유한 데이터로 더 많은 일을 할 수 있었지만 서로 다른 요구사항을 가진 비즈니스 내 여러 부서로부터 받은 임시 요청을 처리하느라 진땀을 빼고 있었다.  데이터 플랫폼 아키텍처...

데이터 관리 데이터 거버넌스 마스터 데이터 관리 데이터 레이크 데이터 웨어하우스 데이터 패브릭 데이터 메시

2021.09.10

데이터 레이크와 데이터 웨어하우스가 여전히 유용하긴 하지만 이제 데이터 관리에 새로운 접근법을 취할 때다.  지난 20년 동안 CIO, CDO, 애널리스트가 기업 인프라에 저장된 데이터에 관해 의사결정을 내리면서 중앙 집중화를 강조하는 문화를 조성했다. IT 팀의 보호 아래에서 데이터를 처리할 때 (데이터가) 가장 잘 통제되고 유용하다는 것이었다.  이 기간에는 해당 논리에 관한 논쟁이 있을 수 없었다. 이로 인해 데이터 웨어하우징을 통한 첫 번째 데이터 통합의 물결이 일었다. 1990년대에 이는 데이터를 사전 정의된 사용 사례에 맞춰 고정된 구조적 형태로 사전 처리 및 저장하여 여러 비즈니스 인텔리전스 플랫폼을 단일 솔루션으로 연결하는 효과적인 방법이었다.    하지만 시간이 지나면서 이러한 아키텍처에 광범위한 사용자 정의 및 데이터 유지관리가 필요하다는 게 명확해졌고, 확장 요건에도 어려움을 겪었다. 게다가 데이터 프로젝트의 소유권을 부서별로 가져가기 어려웠기 때문에 데이터가 비즈니스에 미치는 전반적인 영향도 감소했다.  그리고 이 문제를 해결하기 위해 새로운 유형의 아키텍처 ‘데이터 레이크’가 등장했다. 기업들은 데이터 레이크를 통해 모든 정형 및 비정형 데이터를 규모에 상관없이 중앙 저장소에 저장할 수 있었다.  데이터 웨어하우징과 마찬가지로 데이터 레이크는 데이터 처리 방식을 변화시켜 실시간 스트리밍 기능과 정형 및 비정형 데이터 처리 기능을 제공했다. 또 데이터 레이크는 데이터 웨어하우스보다 데이터 소비, 저장, 출력을 더욱더 잘 처리하고 메타데이터를 적용하여 데이터 웨어하우스보다 유연한 성능을 제공할 수 있었다.  하지만 이런 발전에도 불구하고 한계점은 남아 있었다. 기업 내의 데이터 팀은 보유한 데이터로 더 많은 일을 할 수 있었지만 서로 다른 요구사항을 가진 비즈니스 내 여러 부서로부터 받은 임시 요청을 처리하느라 진땀을 빼고 있었다.  데이터 플랫폼 아키텍처...

2021.09.10

바람직한 데이터 거버넌스란?··· 베스트 프랙티스 6가지

데이터 거버넌스(Governance)가 중요한 이유는 무엇일까? 이유는 거꾸로 생각해볼 수 있다. 데이터의 품질이 좋지 못하다면? 사용하기 어렵고 현업 사용자에게 적절히 제공되지 않는다면? 일관성이 없고 사이버 보안 위협에 취약하다면?  즉, 비즈니스 관점에서 데이터 거버넌스가 부실하다면 데이터가 있어도 쓸모가 없다. 모범 관행과 가이드를 제공하는 조직인 DGI(Data Governance Institute)는 데이터 거버넌스에 대해 다음과 같이 정의한다.  “데이터 거버넌스는 정보 관련 프로세스를 위한 결정 권한 및 책임에 대한 시스템이며 누가 어떤 정보로 언제 어떤 환경에서 어떤 모델을 사용하여 어떤 조치를 취할 수 있는지 설명하는 합의된 모델에 따라 실행된다.” 많은 조직에서 시행 중인 디지털 트랜스포메이션을 통해 기업에 강력한 데이터 거버넌스가 중요하다는 점이 입증됐다. 왜냐하면 이 이니셔티브의 성공의 상당 부분이 신뢰할 수 있고 안전하며 적절한 시기에 적절한 사람들에게 제공될 수 있는 데이터에 달려 있기 때문이다. 당연하겠지만, 데이터 거버넌스 제품과 서비스에 대한 수요가 증가하고 있다. 리서치기업 M&M(Markets and Markets)은 전 세계 데이터 거버넌스 시장이 2020년의 21억 달러에서 2025년까지 57억 달러로 성장할 것으로 전망했다. 22%의 CAGR에 해당한다.  급격한 데이터 용량 증가, 규제 및 준수성 의무사항 증가, 비즈니스 협업 증가 등의 요소가 시장의 성장을 주도할 것으로 예상된다고 해당 보고서는 밝혔다. 전 세계 정부 기관들이 다수의 데이터 프라이버시 규정을 수립한 상황에서 조직 내의 데이터를 적절하게 저장하고 사용하며 폐기하는 것이 그 어느 때보다도 중요해졌다는 진단도 있었다.  또한 소프트웨어 개개발에 대한 데브옵스(DevOps) 도입 증가가 데이터 거버넌스의 수요 증가에 영향을 미치고 있으며, 데브옵스 도입과 데이터 거버넌스 프로그램의 구현 사이에는 강력한 ...

데이터 거버넌스 데이터 관리 데이터 플로우 데이터 라이프사이클 마스터 데이터 관리

2021.07.12

데이터 거버넌스(Governance)가 중요한 이유는 무엇일까? 이유는 거꾸로 생각해볼 수 있다. 데이터의 품질이 좋지 못하다면? 사용하기 어렵고 현업 사용자에게 적절히 제공되지 않는다면? 일관성이 없고 사이버 보안 위협에 취약하다면?  즉, 비즈니스 관점에서 데이터 거버넌스가 부실하다면 데이터가 있어도 쓸모가 없다. 모범 관행과 가이드를 제공하는 조직인 DGI(Data Governance Institute)는 데이터 거버넌스에 대해 다음과 같이 정의한다.  “데이터 거버넌스는 정보 관련 프로세스를 위한 결정 권한 및 책임에 대한 시스템이며 누가 어떤 정보로 언제 어떤 환경에서 어떤 모델을 사용하여 어떤 조치를 취할 수 있는지 설명하는 합의된 모델에 따라 실행된다.” 많은 조직에서 시행 중인 디지털 트랜스포메이션을 통해 기업에 강력한 데이터 거버넌스가 중요하다는 점이 입증됐다. 왜냐하면 이 이니셔티브의 성공의 상당 부분이 신뢰할 수 있고 안전하며 적절한 시기에 적절한 사람들에게 제공될 수 있는 데이터에 달려 있기 때문이다. 당연하겠지만, 데이터 거버넌스 제품과 서비스에 대한 수요가 증가하고 있다. 리서치기업 M&M(Markets and Markets)은 전 세계 데이터 거버넌스 시장이 2020년의 21억 달러에서 2025년까지 57억 달러로 성장할 것으로 전망했다. 22%의 CAGR에 해당한다.  급격한 데이터 용량 증가, 규제 및 준수성 의무사항 증가, 비즈니스 협업 증가 등의 요소가 시장의 성장을 주도할 것으로 예상된다고 해당 보고서는 밝혔다. 전 세계 정부 기관들이 다수의 데이터 프라이버시 규정을 수립한 상황에서 조직 내의 데이터를 적절하게 저장하고 사용하며 폐기하는 것이 그 어느 때보다도 중요해졌다는 진단도 있었다.  또한 소프트웨어 개개발에 대한 데브옵스(DevOps) 도입 증가가 데이터 거버넌스의 수요 증가에 영향을 미치고 있으며, 데브옵스 도입과 데이터 거버넌스 프로그램의 구현 사이에는 강력한 ...

2021.07.12

"데이터 관리는 DT 디딤돌"··· 美 타이어 체인 이야기

고객이 타이어를 현장에서 구매할지 아니면 온라인이나 전화로 구매할지 선택할 수 있다는 건 여러 데이터베이스가 통합돼 있다는 의미다.  美 전역의 기업들은 코로나 이후 사무실 공간의 필요성을 재고 중이다. 지식 근로자와 관리 직원들이 집에서 로그인할 수 있게끔 하는 컨퍼런스 및 협업 도구를 내려놓을 기미가 보이지 않기 때문이다.  미국 타이어 및 휠 소매업체 ‘디스카운트 타이어(Discount Tire)’의 CIO 게리 데사이는 또 다른 공간 문제를 재고하고 있다. IT가 어떻게 회사의 일반적인 타이어 매장 공간을 줄일 수 있도록 지원할 수 있는지에 관해서다. 그래야 상대적으로 인구 밀도가 높은 시장에 신규 매장을 열 수 있기 때문이다.   그에 따르면 디스카운트 타이어는 미국 전역에 약 1,100개 매장을 운영 중이며, 직원 수는 2만 2,000명에 달한다. 또 매년마다 50여 개의 매장을 늘리고 있다. 일반적인 디스카운트 타이어 매장은 전면에 타이어와 휠이 전시된 진열 공간이 있다. 여기에 더해 판매 직원이 컴퓨터로 고객을 체크인하고 고객이 필요한 서비스를 선택할 수 있는 사무실 겸 서비스 공간 그리고 매장 뒤편의 차량 정비 구역이 있다. 60년 역사의 가족 기업인 디스카운트 타이어에 지난 2020년 1월 취임한 데사이는 “현재 대부분의 매장이 땅이 넓은 텍사스, 애리조나, 플로리다, 조지아에 있다”라고 말했다.  그러나 뉴욕이나 보스턴의 상황은 매우 다르다. 그는 “이 지역들은 땅이 부족하다. 이런 지역에 진입하고 싶다면 기존 매장의 절반 수준으로 진출해야 했다”라고 전했다.  매장 줄이기 데사이는 앞으로 생길 매장에 전면 진열 공간은 물론 작업장 공간을 할애해 쓰고 있는 타이어 보관 공간까지 없앨 계획이라고 밝혔다. 그는 “진열 공간을 없애고 재고를 너무 많이 들여놓지 않는 게 골자다. 익일 주문을 확인하고 전날 타이어를 배송받으면 매장 공간을 쉽게 절반으로 줄일 수 있다”라고 설명했다.  ...

코로나 팬데믹 고객 경험 데이터 관리 데이터 통합 데이터베이스 인포매티카 데이터 정리 디지털 트랜스포메이션

2021.07.08

고객이 타이어를 현장에서 구매할지 아니면 온라인이나 전화로 구매할지 선택할 수 있다는 건 여러 데이터베이스가 통합돼 있다는 의미다.  美 전역의 기업들은 코로나 이후 사무실 공간의 필요성을 재고 중이다. 지식 근로자와 관리 직원들이 집에서 로그인할 수 있게끔 하는 컨퍼런스 및 협업 도구를 내려놓을 기미가 보이지 않기 때문이다.  미국 타이어 및 휠 소매업체 ‘디스카운트 타이어(Discount Tire)’의 CIO 게리 데사이는 또 다른 공간 문제를 재고하고 있다. IT가 어떻게 회사의 일반적인 타이어 매장 공간을 줄일 수 있도록 지원할 수 있는지에 관해서다. 그래야 상대적으로 인구 밀도가 높은 시장에 신규 매장을 열 수 있기 때문이다.   그에 따르면 디스카운트 타이어는 미국 전역에 약 1,100개 매장을 운영 중이며, 직원 수는 2만 2,000명에 달한다. 또 매년마다 50여 개의 매장을 늘리고 있다. 일반적인 디스카운트 타이어 매장은 전면에 타이어와 휠이 전시된 진열 공간이 있다. 여기에 더해 판매 직원이 컴퓨터로 고객을 체크인하고 고객이 필요한 서비스를 선택할 수 있는 사무실 겸 서비스 공간 그리고 매장 뒤편의 차량 정비 구역이 있다. 60년 역사의 가족 기업인 디스카운트 타이어에 지난 2020년 1월 취임한 데사이는 “현재 대부분의 매장이 땅이 넓은 텍사스, 애리조나, 플로리다, 조지아에 있다”라고 말했다.  그러나 뉴욕이나 보스턴의 상황은 매우 다르다. 그는 “이 지역들은 땅이 부족하다. 이런 지역에 진입하고 싶다면 기존 매장의 절반 수준으로 진출해야 했다”라고 전했다.  매장 줄이기 데사이는 앞으로 생길 매장에 전면 진열 공간은 물론 작업장 공간을 할애해 쓰고 있는 타이어 보관 공간까지 없앨 계획이라고 밝혔다. 그는 “진열 공간을 없애고 재고를 너무 많이 들여놓지 않는 게 골자다. 익일 주문을 확인하고 전날 타이어를 배송받으면 매장 공간을 쉽게 절반으로 줄일 수 있다”라고 설명했다.  ...

2021.07.08

칼럼|메타데이터라는 '황금'이 기업에 중요한 이유

데이터는 강력한 도구다. 비즈니스에 있어 특히 그렇다. 그럼에도 정작 데이터의 대응물인 메타데이터와 그것의 유용성에 대해 제대로 아는 비즈니스 리더는 그리 많지 않다. 기업이 메타데이터를 이해하고 관리 정책을 도입하면, 더 많은 인사이트를 바탕으로 보다 나은 성과를 도출할 수 있다.  데이터는 모든 기업에서 활용되는 중요 자산이며, 리더의 정보 기반 비즈니스 의사결정을 돕는다. 작은 데이터 하나가 이니셔티브의 방향성을 완전히 바꾸어 더 나은 결과로 이어질 수도 있다. 그러다 보니 기업이 데이터와, 이를 통해 얻을 수 있는 인사이트에 집착하는 것은 당연하다.    하지만, 기업 다수는 정작 데이터의 대응물인 메타데이터를 낯설어 한다. 메타데이터가 데이터에 맥락을 더해 만들어내는 가치에 대해서도 익숙하지 않다. 대체로 메타데이터가 간과되기 때문이다. 만약 메타데이터가 필요치 않거나 무엇이 메타데이터인지 모른다면, 당신은 메타데이터를 IT 자산의 부산물 정도로 치부해버릴 가능성이 높다.  메타데이터를 사용해야 하는 이유 넓은 의미에서, 메타데이터는 데이터에 대한 정보를 제공한다. 즉, 본질적으로 데이터에 관한 데이터다. 공유용 문서를 예로 들어 보자. 데이터가 문서의 내용을 의미한다면, 메타데이터는 문서의 속성에 관한 정보를 보여준다. 문서를 만든 사람, 만든 날짜, 시스템에 마지막으로 저장된 일자, 문서를 만든 이유 등을 예로 들 수 있다. 메타데이터는 사용하는 데이터에 맥락을 부여해 데이터를 더 쉽게 처리하고 이해할 수 있게 해준다.   바로 이런 점에서 메타데이터는 기업에게 매우 유용하다. 메타데이터는 잘 사용하기만 하면, 기업 운영에 필요한 인사이트를 빠르게 찾는 데 도움이 된다. 특히 데이터 거버넌스와 책임감 있는 데이터 활용이라는 측면에서 유용하다. 메타데이터가 데이터 투명성과 품질을 확실하게 해줄 수 있기 때문이다. 메타데이터를 부가적으로 활용한다는 것은, 기업 내에 메타데이터 관리 정책을 도입함으...

메타데이터 데이터 관리 GDPR

2021.06.28

데이터는 강력한 도구다. 비즈니스에 있어 특히 그렇다. 그럼에도 정작 데이터의 대응물인 메타데이터와 그것의 유용성에 대해 제대로 아는 비즈니스 리더는 그리 많지 않다. 기업이 메타데이터를 이해하고 관리 정책을 도입하면, 더 많은 인사이트를 바탕으로 보다 나은 성과를 도출할 수 있다.  데이터는 모든 기업에서 활용되는 중요 자산이며, 리더의 정보 기반 비즈니스 의사결정을 돕는다. 작은 데이터 하나가 이니셔티브의 방향성을 완전히 바꾸어 더 나은 결과로 이어질 수도 있다. 그러다 보니 기업이 데이터와, 이를 통해 얻을 수 있는 인사이트에 집착하는 것은 당연하다.    하지만, 기업 다수는 정작 데이터의 대응물인 메타데이터를 낯설어 한다. 메타데이터가 데이터에 맥락을 더해 만들어내는 가치에 대해서도 익숙하지 않다. 대체로 메타데이터가 간과되기 때문이다. 만약 메타데이터가 필요치 않거나 무엇이 메타데이터인지 모른다면, 당신은 메타데이터를 IT 자산의 부산물 정도로 치부해버릴 가능성이 높다.  메타데이터를 사용해야 하는 이유 넓은 의미에서, 메타데이터는 데이터에 대한 정보를 제공한다. 즉, 본질적으로 데이터에 관한 데이터다. 공유용 문서를 예로 들어 보자. 데이터가 문서의 내용을 의미한다면, 메타데이터는 문서의 속성에 관한 정보를 보여준다. 문서를 만든 사람, 만든 날짜, 시스템에 마지막으로 저장된 일자, 문서를 만든 이유 등을 예로 들 수 있다. 메타데이터는 사용하는 데이터에 맥락을 부여해 데이터를 더 쉽게 처리하고 이해할 수 있게 해준다.   바로 이런 점에서 메타데이터는 기업에게 매우 유용하다. 메타데이터는 잘 사용하기만 하면, 기업 운영에 필요한 인사이트를 빠르게 찾는 데 도움이 된다. 특히 데이터 거버넌스와 책임감 있는 데이터 활용이라는 측면에서 유용하다. 메타데이터가 데이터 투명성과 품질을 확실하게 해줄 수 있기 때문이다. 메타데이터를 부가적으로 활용한다는 것은, 기업 내에 메타데이터 관리 정책을 도입함으...

2021.06.28

“데이터 성숙도 부족으로 고객 데이터 플랫폼(CDP) 도입 지연”

엡실론(Epsilon), 어도비(Adobe), 퍼블리시스 그룹(Publicis Groupe)이 포레스터 컨설팅(Forrester Consulting)에 의뢰해 수행한 설문조사 결과에 따르면 데이터 성숙도와 실행 가능성 부족으로 고객 데이터 플랫폼(CDP)의 활용도가 떨어지고 있다.  ‘APAC과 중동 지역의 데이터 중심 인게이지먼트 탐구(The Quest for Data-driven Engagement in APAC and the Middle East)’ 보고서는 CDP 및 광범위한 데이터 가치 사슬 활성화와 관련한 마케팅 담당자들의 우선순위와 직면 과제를 조사했다. 이는 호주, 뉴질랜드, 싱가포르, 인도, UAE를 포함한 APAC과 중동 지역의 은행 및 금융 서비스, 관광, 소매업 부문 고위 관리자 250명을 대상으로 실시한 설문조사를 기반으로 한다.    해당 보고서에 의하면 ‘데이터 관리’ 문제가 (성공적인 CDP 구축 및 운영에 있어) 장애물로 작용하고 있다. 설문조사 응답자들은 이와 관련해 데이터를 단일 리포지토리에 병합하는 것(58%), 고객 프로필을 최신 상태로 유지하는 것(57%), 데이터를 분석해 활용 가능한 인사이트를 찾는 것(56%) 등이 직면한 과제라고 언급했다.  이 밖에 마케팅 및 CX 애플리케이션에 인사이트를 다시 적용하는 것(51%), CDP에 통합할 수 있는 데이터세트를 식별하는 것(49%), 데이터에 관한 사용 사례 결정하는 것(46%), 서로 다른 데이터 소스에 걸쳐 ID를 확인하는 것(45%)에서도 어려움을 겪고 있는 것으로 드러났다.  인사이트를 액션으로 전환하는 것은 큰 과제였다. 전체 설문조사 응답자의 17%는 조직의 모든 고객 데이터에서 단일 통합 프로필을 생성하는 것이 매우 또는 다소 비효율적이라고 말했다. 18%는 고객 데이터 및 인사이트를 사용해 상황에 맞는 고객 인게이지먼트를 유도하는 것이 효과적이지 못하다고 밝혔다. 23%는 채널 및 기기에 걸쳐 행동을 기...

고객 데이터 플랫폼 CDP 데이터 빅데이터 고객 데이터 엡실론 어도비 퍼블리시스 그룹 포레스터 인사이트 데이터 관리 고객 경험 인게이지먼트 퍼스트파티 데이터

2021.06.22

엡실론(Epsilon), 어도비(Adobe), 퍼블리시스 그룹(Publicis Groupe)이 포레스터 컨설팅(Forrester Consulting)에 의뢰해 수행한 설문조사 결과에 따르면 데이터 성숙도와 실행 가능성 부족으로 고객 데이터 플랫폼(CDP)의 활용도가 떨어지고 있다.  ‘APAC과 중동 지역의 데이터 중심 인게이지먼트 탐구(The Quest for Data-driven Engagement in APAC and the Middle East)’ 보고서는 CDP 및 광범위한 데이터 가치 사슬 활성화와 관련한 마케팅 담당자들의 우선순위와 직면 과제를 조사했다. 이는 호주, 뉴질랜드, 싱가포르, 인도, UAE를 포함한 APAC과 중동 지역의 은행 및 금융 서비스, 관광, 소매업 부문 고위 관리자 250명을 대상으로 실시한 설문조사를 기반으로 한다.    해당 보고서에 의하면 ‘데이터 관리’ 문제가 (성공적인 CDP 구축 및 운영에 있어) 장애물로 작용하고 있다. 설문조사 응답자들은 이와 관련해 데이터를 단일 리포지토리에 병합하는 것(58%), 고객 프로필을 최신 상태로 유지하는 것(57%), 데이터를 분석해 활용 가능한 인사이트를 찾는 것(56%) 등이 직면한 과제라고 언급했다.  이 밖에 마케팅 및 CX 애플리케이션에 인사이트를 다시 적용하는 것(51%), CDP에 통합할 수 있는 데이터세트를 식별하는 것(49%), 데이터에 관한 사용 사례 결정하는 것(46%), 서로 다른 데이터 소스에 걸쳐 ID를 확인하는 것(45%)에서도 어려움을 겪고 있는 것으로 드러났다.  인사이트를 액션으로 전환하는 것은 큰 과제였다. 전체 설문조사 응답자의 17%는 조직의 모든 고객 데이터에서 단일 통합 프로필을 생성하는 것이 매우 또는 다소 비효율적이라고 말했다. 18%는 고객 데이터 및 인사이트를 사용해 상황에 맞는 고객 인게이지먼트를 유도하는 것이 효과적이지 못하다고 밝혔다. 23%는 채널 및 기기에 걸쳐 행동을 기...

2021.06.22

칼럼 | ‘타임 투 밸류’를 단축하기 위한 데이터 관리 방식

기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피어(Global DataSphere) 예측> 보고서에 따르면, 비즈니스 및 소비자 데이터는 작년 이후 약 23%의 연평균성장률로 축적되고 있다. 이 중에서 기업 부문의 연평균성장률은 28%이다. 이처럼 축적된 데이터는 2025년까지 180 제타바이트에 이를 것으로 예상된다.  클라우드에서 생성되는 데이터 역시 매년 36% 증가하고 있다. 아울러 엣지에서 다양한 IoT 장치 및 감지 장치를 통해 수집되는 데이터는 매년 33% 늘고 있으며 2025년까지 전체 글로벌 데이터스피어 중 22%를 차지하게 될 전망이다. 기업들 입장에서는 데이터 양이 늘어나면 데이터를 준비(compute‐ready)시키는 작업이 점점 복잡해진다. 그러나 데이터 활용성을 높여주는 효과적인 데이터 관리 프로세스와 플랫폼을 개발하는 작업에 시간과 노력을 기울이는 기업은 그리 많지 않다.  이를테면, 많은 회사들이 고객과 주문, 제품 사용, 설치 기반, 서비스 티켓, 현금 로그, 시장 인텔리전스 등과 관련된 막대한 양의 디지털 트랜잭션 데이터를 수집하고 있고 데이터에서 인텔리전스를 추출할 수 있는 기술이 그 어느 때보다 다양하게 나와 있음에도 불구하고 이러한 데이터를 효과적으로 활용해 각 고객이나 사업에 대한 입체적인 모습을 만들어내는 기업은 드물다. 많은 기업이 이제 확실히 깨달은 것은 보유한 데이터의 양이 많다고 해서 지속적인 경쟁적 우위를 점할 수 있는 것도 아니고 데이터에서 쉽게 가치를 얻을 수 있게 되는 것도 아니라는 점이다. 더구나, 보유 데이터가 늘어나면 기밀유지 문제와 실행 비용이 늘어나고 환경도 더욱 복잡해진다.  보다 나은 데이터 관리 전략을 향하여 오늘날의 데이터 상황은 효과적이고 지능...

데이터 관리 데이터 아키텍처 ETL 데이터 준비

2021.04.08

기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피어(Global DataSphere) 예측> 보고서에 따르면, 비즈니스 및 소비자 데이터는 작년 이후 약 23%의 연평균성장률로 축적되고 있다. 이 중에서 기업 부문의 연평균성장률은 28%이다. 이처럼 축적된 데이터는 2025년까지 180 제타바이트에 이를 것으로 예상된다.  클라우드에서 생성되는 데이터 역시 매년 36% 증가하고 있다. 아울러 엣지에서 다양한 IoT 장치 및 감지 장치를 통해 수집되는 데이터는 매년 33% 늘고 있으며 2025년까지 전체 글로벌 데이터스피어 중 22%를 차지하게 될 전망이다. 기업들 입장에서는 데이터 양이 늘어나면 데이터를 준비(compute‐ready)시키는 작업이 점점 복잡해진다. 그러나 데이터 활용성을 높여주는 효과적인 데이터 관리 프로세스와 플랫폼을 개발하는 작업에 시간과 노력을 기울이는 기업은 그리 많지 않다.  이를테면, 많은 회사들이 고객과 주문, 제품 사용, 설치 기반, 서비스 티켓, 현금 로그, 시장 인텔리전스 등과 관련된 막대한 양의 디지털 트랜잭션 데이터를 수집하고 있고 데이터에서 인텔리전스를 추출할 수 있는 기술이 그 어느 때보다 다양하게 나와 있음에도 불구하고 이러한 데이터를 효과적으로 활용해 각 고객이나 사업에 대한 입체적인 모습을 만들어내는 기업은 드물다. 많은 기업이 이제 확실히 깨달은 것은 보유한 데이터의 양이 많다고 해서 지속적인 경쟁적 우위를 점할 수 있는 것도 아니고 데이터에서 쉽게 가치를 얻을 수 있게 되는 것도 아니라는 점이다. 더구나, 보유 데이터가 늘어나면 기밀유지 문제와 실행 비용이 늘어나고 환경도 더욱 복잡해진다.  보다 나은 데이터 관리 전략을 향하여 오늘날의 데이터 상황은 효과적이고 지능...

2021.04.08

퀀텀, 2021 데이터 관리 방안 발표

퀀텀코리아가 기업의 스토리지 리소스 최적화 및 아카이빙 전략을 소개하는 ‘2021 데이터 관리 방안’을 발표했다. 퀀텀의 노에미 그레이즈도르프 제품 마케팅 디렉터는 “지난해 디지털 기반 비즈니스의 확대로 데이터가 엄청난 속도로 증가했으며, 이는 2021년까지 지속될 것”이라며, “모든 정보가 디지털화되고 있는 가운데, 매일 생성되는 방대한 양의 디지털 콘텐츠를 어떻게 관리, 저장 및 보호할 것인지가 중요해지고 있다”라고 말했다. 퀀텀이 소개하는 ‘데이터 관리 방안’은 ▲관리 오류 최소화를 위한 데이터 자산 관리 시스템을 운영하라 ▲데이터 관리 자동화 프로세스를 활용하여 스토리지 리소스를 제어하라 ▲스토리지 계층간 데이터 이동 자동화로 리소스를 최적화하라 ▲데이터 백년대계, 아카이빙 전략 변화를 주시하여 장기적인 준비가 필요하다 등이다. 기업이 보유하고 있는 데이터 활용을 극대화하기 위해서는 모든 파일 기반 스토리지 시스템을 정기적으로 스캔하고 모든 정보를 수집해 쉽게 액세스할 수 있도록 중앙 위치에 배치하는 시스템이 필요하다. 이러한 시스템은 메타데이터를 컴파일링(compiling)하고, 용이한 검색을 위해 구조화하며, 시스템에 있는 데이터를 빠르게 확인할 수 있는 뷰(view)를 제공한다. 데이터의 중앙 집중 관리 시스템을 구현한 이후에는 메타데이터를 통해 얻은 지식을 적용해 보다 효과적인 스토리지를 구현하고 운영상의 이점을 확보해야 한다. 비즈니스 태그 또는 확장 가능한 속성(attributes)을 데이터에 부여하고 이를 실시간으로 스토리지 리소스를 관리하는 시스템에 연결된 구조화된 형식으로 유지하면 필요한 곳에 효과적으로 데이터를 보관할 수 있다. AI 기술을 이용하여 이 데이터를 색인화(Indexing) 및 카탈로그화(cataloging)하면 이 파일 데이터를 추가 메타데이터와 함께 더욱 가치 있게 만들 수 있고, 보다 용이한 검색과 접근성, 재사용이 가능해진다.  애플리케이션을 설치해 운영할 때, 해당 데이터 관리 자동화는 필수적인...

퀀텀 데이터 관리

2021.02.25

퀀텀코리아가 기업의 스토리지 리소스 최적화 및 아카이빙 전략을 소개하는 ‘2021 데이터 관리 방안’을 발표했다. 퀀텀의 노에미 그레이즈도르프 제품 마케팅 디렉터는 “지난해 디지털 기반 비즈니스의 확대로 데이터가 엄청난 속도로 증가했으며, 이는 2021년까지 지속될 것”이라며, “모든 정보가 디지털화되고 있는 가운데, 매일 생성되는 방대한 양의 디지털 콘텐츠를 어떻게 관리, 저장 및 보호할 것인지가 중요해지고 있다”라고 말했다. 퀀텀이 소개하는 ‘데이터 관리 방안’은 ▲관리 오류 최소화를 위한 데이터 자산 관리 시스템을 운영하라 ▲데이터 관리 자동화 프로세스를 활용하여 스토리지 리소스를 제어하라 ▲스토리지 계층간 데이터 이동 자동화로 리소스를 최적화하라 ▲데이터 백년대계, 아카이빙 전략 변화를 주시하여 장기적인 준비가 필요하다 등이다. 기업이 보유하고 있는 데이터 활용을 극대화하기 위해서는 모든 파일 기반 스토리지 시스템을 정기적으로 스캔하고 모든 정보를 수집해 쉽게 액세스할 수 있도록 중앙 위치에 배치하는 시스템이 필요하다. 이러한 시스템은 메타데이터를 컴파일링(compiling)하고, 용이한 검색을 위해 구조화하며, 시스템에 있는 데이터를 빠르게 확인할 수 있는 뷰(view)를 제공한다. 데이터의 중앙 집중 관리 시스템을 구현한 이후에는 메타데이터를 통해 얻은 지식을 적용해 보다 효과적인 스토리지를 구현하고 운영상의 이점을 확보해야 한다. 비즈니스 태그 또는 확장 가능한 속성(attributes)을 데이터에 부여하고 이를 실시간으로 스토리지 리소스를 관리하는 시스템에 연결된 구조화된 형식으로 유지하면 필요한 곳에 효과적으로 데이터를 보관할 수 있다. AI 기술을 이용하여 이 데이터를 색인화(Indexing) 및 카탈로그화(cataloging)하면 이 파일 데이터를 추가 메타데이터와 함께 더욱 가치 있게 만들 수 있고, 보다 용이한 검색과 접근성, 재사용이 가능해진다.  애플리케이션을 설치해 운영할 때, 해당 데이터 관리 자동화는 필수적인...

2021.02.25

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.9