Offcanvas

��������� ������

‘데이터 무결성' 확보해야 하지만... 흔한 함정 4가지

새로운 비즈니스 환경을 반영하는 데이터가 어떤 형태로든 존재한다면, 비즈니스 성패는 적절한 데이터의 준비와 도구가 확보되었는지에 달려 있다. 마틸리온의 데이브 랭톤 제품 담당 부사장이 데이터 무결성 이니셔티브를 시작하는 조직을 위한 조언을 제시했다. 데이터 팀이 빠지기 쉬운 4가지 함정과 이를 피하는 방법에 대해서다.    매일 생성되는 데이터의 양이 기하급수적으로 늘어나는 있다. 현대 기업에게 데이터의 중요성도 그만큼 커지는 양상이다. 적절히 사용된다면 데이터는 세계에서 가장 값진 자원일 수 있다. 그러나 불완전하고 일관성 없는 데이터 세트는 위험하기만 하며, 그에 따라 기업 수익성에 악영향을 미치게 된다.  DAMA 데이터 관리 지식 체계(DAMA Management Body of Knowledge)의 전문가들은 현대 조직들이 데이터 품질 문제를 해소하는 데 매출의 10 ~ 30% 정도를 소비한다고 추정하고 있다. 데이터 무결성의 중요성을 인식하면서 현대의 데이터 팀은 이제 데이터 준비 작업 뿐 아니라 데이터를 보존하는 일에 노력을 집중하고 있다. 데이터 무결성(Data Integrity)이란 시스템에 있는 데이터의 정확성, 완전성, 일관성, 합치를 아우르는 용어다. 이는 데이터 팀이 달성하고자 하고, 이 달성을 위한 과정들을 망라하는 용어이기도 하다.  이 정의는 여러 데이터 측면으로 구성된다. 예를 들어 데이터의 물리적 무결성(데이터가 안전하게 저장되는 방식), 데이터의 논리적 무결성(정확성, 완전성, 확실성), 합치의 문제(데이터가 GDPR 등 필수 표준에 부합하는지 여부) 등이다.  대체로, 현대의 분산 데이터 시스템은 성능을 극대화하기 위해 논리적 무결성과 관련해 느슨한 구조를 갖추고 있다. 이로 인해 데이터 팀은 데이터 정확성을 위해 다른 전략을 알아보게 된다. 데이터 무결성의 달성은 궁극적으로 한층 우수한 성과, 신뢰성, 액세스를 조직에게 보장하는 방법이다. 데이터 무결성 이니셔티브를 시...

데이터 무결성 데이터 통합 데이터 관리 데이터 품질 데이터 준비 데이터 감사 데이터 검증

2021.11.18

새로운 비즈니스 환경을 반영하는 데이터가 어떤 형태로든 존재한다면, 비즈니스 성패는 적절한 데이터의 준비와 도구가 확보되었는지에 달려 있다. 마틸리온의 데이브 랭톤 제품 담당 부사장이 데이터 무결성 이니셔티브를 시작하는 조직을 위한 조언을 제시했다. 데이터 팀이 빠지기 쉬운 4가지 함정과 이를 피하는 방법에 대해서다.    매일 생성되는 데이터의 양이 기하급수적으로 늘어나는 있다. 현대 기업에게 데이터의 중요성도 그만큼 커지는 양상이다. 적절히 사용된다면 데이터는 세계에서 가장 값진 자원일 수 있다. 그러나 불완전하고 일관성 없는 데이터 세트는 위험하기만 하며, 그에 따라 기업 수익성에 악영향을 미치게 된다.  DAMA 데이터 관리 지식 체계(DAMA Management Body of Knowledge)의 전문가들은 현대 조직들이 데이터 품질 문제를 해소하는 데 매출의 10 ~ 30% 정도를 소비한다고 추정하고 있다. 데이터 무결성의 중요성을 인식하면서 현대의 데이터 팀은 이제 데이터 준비 작업 뿐 아니라 데이터를 보존하는 일에 노력을 집중하고 있다. 데이터 무결성(Data Integrity)이란 시스템에 있는 데이터의 정확성, 완전성, 일관성, 합치를 아우르는 용어다. 이는 데이터 팀이 달성하고자 하고, 이 달성을 위한 과정들을 망라하는 용어이기도 하다.  이 정의는 여러 데이터 측면으로 구성된다. 예를 들어 데이터의 물리적 무결성(데이터가 안전하게 저장되는 방식), 데이터의 논리적 무결성(정확성, 완전성, 확실성), 합치의 문제(데이터가 GDPR 등 필수 표준에 부합하는지 여부) 등이다.  대체로, 현대의 분산 데이터 시스템은 성능을 극대화하기 위해 논리적 무결성과 관련해 느슨한 구조를 갖추고 있다. 이로 인해 데이터 팀은 데이터 정확성을 위해 다른 전략을 알아보게 된다. 데이터 무결성의 달성은 궁극적으로 한층 우수한 성과, 신뢰성, 액세스를 조직에게 보장하는 방법이다. 데이터 무결성 이니셔티브를 시...

2021.11.18

칼럼 | ‘타임 투 밸류’를 단축하기 위한 데이터 관리 방식

기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피어(Global DataSphere) 예측> 보고서에 따르면, 비즈니스 및 소비자 데이터는 작년 이후 약 23%의 연평균성장률로 축적되고 있다. 이 중에서 기업 부문의 연평균성장률은 28%이다. 이처럼 축적된 데이터는 2025년까지 180 제타바이트에 이를 것으로 예상된다.  클라우드에서 생성되는 데이터 역시 매년 36% 증가하고 있다. 아울러 엣지에서 다양한 IoT 장치 및 감지 장치를 통해 수집되는 데이터는 매년 33% 늘고 있으며 2025년까지 전체 글로벌 데이터스피어 중 22%를 차지하게 될 전망이다. 기업들 입장에서는 데이터 양이 늘어나면 데이터를 준비(compute‐ready)시키는 작업이 점점 복잡해진다. 그러나 데이터 활용성을 높여주는 효과적인 데이터 관리 프로세스와 플랫폼을 개발하는 작업에 시간과 노력을 기울이는 기업은 그리 많지 않다.  이를테면, 많은 회사들이 고객과 주문, 제품 사용, 설치 기반, 서비스 티켓, 현금 로그, 시장 인텔리전스 등과 관련된 막대한 양의 디지털 트랜잭션 데이터를 수집하고 있고 데이터에서 인텔리전스를 추출할 수 있는 기술이 그 어느 때보다 다양하게 나와 있음에도 불구하고 이러한 데이터를 효과적으로 활용해 각 고객이나 사업에 대한 입체적인 모습을 만들어내는 기업은 드물다. 많은 기업이 이제 확실히 깨달은 것은 보유한 데이터의 양이 많다고 해서 지속적인 경쟁적 우위를 점할 수 있는 것도 아니고 데이터에서 쉽게 가치를 얻을 수 있게 되는 것도 아니라는 점이다. 더구나, 보유 데이터가 늘어나면 기밀유지 문제와 실행 비용이 늘어나고 환경도 더욱 복잡해진다.  보다 나은 데이터 관리 전략을 향하여 오늘날의 데이터 상황은 효과적이고 지능...

데이터 관리 데이터 아키텍처 ETL 데이터 준비

2021.04.08

기업 내 디지털 트랜스포메이션 작업이 진행되면서 디지털 트랜잭션이 남긴 흔적이 방대해지고 있다. 그러나 데이터에서 맥락 있는 정보(인텔리전스)를 뽑아내기가 여전히 그림의 떡인 기업이 많다. IDC의 <2021-2025년 전세계 글로벌 데이터스피어(Global DataSphere) 예측> 보고서에 따르면, 비즈니스 및 소비자 데이터는 작년 이후 약 23%의 연평균성장률로 축적되고 있다. 이 중에서 기업 부문의 연평균성장률은 28%이다. 이처럼 축적된 데이터는 2025년까지 180 제타바이트에 이를 것으로 예상된다.  클라우드에서 생성되는 데이터 역시 매년 36% 증가하고 있다. 아울러 엣지에서 다양한 IoT 장치 및 감지 장치를 통해 수집되는 데이터는 매년 33% 늘고 있으며 2025년까지 전체 글로벌 데이터스피어 중 22%를 차지하게 될 전망이다. 기업들 입장에서는 데이터 양이 늘어나면 데이터를 준비(compute‐ready)시키는 작업이 점점 복잡해진다. 그러나 데이터 활용성을 높여주는 효과적인 데이터 관리 프로세스와 플랫폼을 개발하는 작업에 시간과 노력을 기울이는 기업은 그리 많지 않다.  이를테면, 많은 회사들이 고객과 주문, 제품 사용, 설치 기반, 서비스 티켓, 현금 로그, 시장 인텔리전스 등과 관련된 막대한 양의 디지털 트랜잭션 데이터를 수집하고 있고 데이터에서 인텔리전스를 추출할 수 있는 기술이 그 어느 때보다 다양하게 나와 있음에도 불구하고 이러한 데이터를 효과적으로 활용해 각 고객이나 사업에 대한 입체적인 모습을 만들어내는 기업은 드물다. 많은 기업이 이제 확실히 깨달은 것은 보유한 데이터의 양이 많다고 해서 지속적인 경쟁적 우위를 점할 수 있는 것도 아니고 데이터에서 쉽게 가치를 얻을 수 있게 되는 것도 아니라는 점이다. 더구나, 보유 데이터가 늘어나면 기밀유지 문제와 실행 비용이 늘어나고 환경도 더욱 복잡해진다.  보다 나은 데이터 관리 전략을 향하여 오늘날의 데이터 상황은 효과적이고 지능...

2021.04.08

데이터 과학자가 겪는 가장 큰 어려움은?··· "고된 데이터 준비 및 정제"

'데이터 정제 및 준비 작업'이 여전히 데이터 과학자 업무의 거의 절반을 차지하고 있는 것으로 나타났다.  데이터 과학자와 소프트웨어 엔지니어가 겪는 가장 큰 어려움은 무엇일까. 아나콘다(Anaconda)의 최근 설문조사에 따르면 고된 데이터 수집 및 정제, 편향된 모델, 데이터 프라이버시, 경험과 기술을 갖춘 전문가 채용의 어려움 등이 주된 문제인 것으로 드러났다.    과학용 컴퓨팅 애플리케이션의 파이썬 배포판 제작 업체 아나콘다가 '2020 데이터 과학 현황 조사(2020 State Of Data Science)'를 공개했다. 이번 설문에는 전 세계 100개국 2,360명이 참여했고 이 중 절반 정도가 미국 개발자였다. 보고서는 최근 데이터 과학 환경이 많이 개선됐음에도 데이터 관련 소모적인 작업이 여전히 데이터 과학자들의 주 업무라고 밝혔다. 응답자들은 데이터 로딩과 정제 작업에 각각 업무 시간의 19%와 26%를 사용한다고 말했다. 이는 전체 업무 시간의 절반에 해당하는 수치다. 이 밖에 모델 선택과 학습, 배포에 각각 11% 정도로, 총 34%를 쓰고 있는 것으로 나타났다. 데이터 과학 실무 관련해서 가장 큰 어려움은 기업의 IT 보안 규정을 준수하는 것이었다. 데이터 과학자와 개발자, 시스템 관리자의 대답이 모두 비슷했다. 이는 주로 새로운 앱을 대규모로 배포하는 것과 관련 있다. 또한 머신러닝과 데이터 과학 앱의 수명주기 문제는 보안 취약점을 패치하면서 다양한 오픈소스 애플리케이션 스택을 유지하는 것 등 내부적인 이슈를 가리킨다고 보고서는 설명했다. 설문 결과 확인된 또 다른 문제는 기업에서 필요로 하는 기술과 교육기관에서 가르치는 기술 간의 차이다. 대학 대부분이 통계와 머신러닝 이론, 파이썬 프로그래밍 수업을 제공하고 학생 대부분도 이런 과정을 듣는다. 그러나 기업이 가장 필요로 하는 데이터 관리 기술은 대학에서 거의 가르치지 않는다. 고급 수학 지식도 필요한 데 학생들이 종종 간과하곤 한다. 학생들은 ...

아나콘다 데이터 과학 데이터 과학자 소프트웨어 엔지니어 데이터 정제 데이터 준비 데이터 프라이버시 파이썬 머신러닝 자바스크립트 자바 줄리아

2020.07.01

'데이터 정제 및 준비 작업'이 여전히 데이터 과학자 업무의 거의 절반을 차지하고 있는 것으로 나타났다.  데이터 과학자와 소프트웨어 엔지니어가 겪는 가장 큰 어려움은 무엇일까. 아나콘다(Anaconda)의 최근 설문조사에 따르면 고된 데이터 수집 및 정제, 편향된 모델, 데이터 프라이버시, 경험과 기술을 갖춘 전문가 채용의 어려움 등이 주된 문제인 것으로 드러났다.    과학용 컴퓨팅 애플리케이션의 파이썬 배포판 제작 업체 아나콘다가 '2020 데이터 과학 현황 조사(2020 State Of Data Science)'를 공개했다. 이번 설문에는 전 세계 100개국 2,360명이 참여했고 이 중 절반 정도가 미국 개발자였다. 보고서는 최근 데이터 과학 환경이 많이 개선됐음에도 데이터 관련 소모적인 작업이 여전히 데이터 과학자들의 주 업무라고 밝혔다. 응답자들은 데이터 로딩과 정제 작업에 각각 업무 시간의 19%와 26%를 사용한다고 말했다. 이는 전체 업무 시간의 절반에 해당하는 수치다. 이 밖에 모델 선택과 학습, 배포에 각각 11% 정도로, 총 34%를 쓰고 있는 것으로 나타났다. 데이터 과학 실무 관련해서 가장 큰 어려움은 기업의 IT 보안 규정을 준수하는 것이었다. 데이터 과학자와 개발자, 시스템 관리자의 대답이 모두 비슷했다. 이는 주로 새로운 앱을 대규모로 배포하는 것과 관련 있다. 또한 머신러닝과 데이터 과학 앱의 수명주기 문제는 보안 취약점을 패치하면서 다양한 오픈소스 애플리케이션 스택을 유지하는 것 등 내부적인 이슈를 가리킨다고 보고서는 설명했다. 설문 결과 확인된 또 다른 문제는 기업에서 필요로 하는 기술과 교육기관에서 가르치는 기술 간의 차이다. 대학 대부분이 통계와 머신러닝 이론, 파이썬 프로그래밍 수업을 제공하고 학생 대부분도 이런 과정을 듣는다. 그러나 기업이 가장 필요로 하는 데이터 관리 기술은 대학에서 거의 가르치지 않는다. 고급 수학 지식도 필요한 데 학생들이 종종 간과하곤 한다. 학생들은 ...

2020.07.01

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.9