2017.11.29

데이터 분석에 관한 12가지 '팩트체크'

Bob Violino | CIO

IT에서는 ‘하이프(Hype)’라는 열풍이 뜨거울수록, ‘오해’와 ‘잘못된 통념’도 커진다. 데이터 분석도 예외는 아니다. 현재 가장 ‘핫’한 정보기술 중 하나인 분석은 기업에 많은 혜택을 가져다줄 수 있다. 그러나 ‘잘못된 통념’은 분석 역량을 적시에 원활하게 전달하는 데 방해가 된다.



분석과 관련된 전략을 수립하거나 확대하고자 하는 기업과 기관이 확인해야 할 12가지에 대해 알아보자.

팩트체크 1: 데이터 분석에는 많은 투자가 필요하다
지금은 모든 기술 관련 활동과 노력에 ‘재무 건전성’이라는 잣대를 들이대는 시대인 것 같다. IT관리자나 현업 관리자가 새로운 프로젝트를 추진하거나 툴 도입을 제안할 때 가장 먼저 듣는 질문 중 하나는 “얼마나 많은 투자나 비용이 필요합니까?”다.

일부는 데이터 분석에는 본질적으로 많은 돈이 들기 때문에, 손에 쥔 예산과 내부 자원이 넉넉한 기업과 기관에만 국한된다고 지레짐작한다. 그러나 모든 데이터 분석 노력에 대규모 투자가 필요한 것은 아니다. 부동산 관련 모바일 및 온라인 서비스를 제공하는 트루리아(Trulia)의 엔지니어링 VP 디프 바르마는 “현재 시장에 데이터 분석의 가치를 실현하도록 도움을 주는 오픈소스 기술과 도구들이 아주 많다. 먼저 내부 데이터 스토리지, 해결해야 할 문제를 제대로 파악해야 한다. 클라우드를 이용하면, 쉽게 비즈니스 문제를 해결하는 데 분석을 활용하기 시작할 수 있다”고 설명했다.

컨설팅회사인 EY의 글로벌 분석 책임자인 베아트리츠 산즈 사이즈는 “최신 분석 기술은 기본적으로 기존 데이터 웨어하우스 시스템보다 훨씬 저렴한 클라우드 시스템과 빅데이터 아키텍처에 기반을 두고 있다”고 말했다.

또한 사이즈에 따르면, 데이터와 분석을 적용해 프로세스 효율성 개선, 매출 증가, 선행적인 위험 관리라는 3가지 성과를 달성할 수 있다. 그는 “전반적으로 데이터와 분석은 모든 기업에 비용 측면의 이익을 제공한다”고 전했다.

팩트체크 2: 분석에는 빅데이터가 필요하다
많은 기업과 기관에서 빅데이터와 분석은 병행되는 개념이다. 비즈니스 인사이트를 생성하고, 의사결정의 품질을 높이는 분석을 수행하기에 앞서 수많은 데이터를 수집해야 한다고 생각하는 것이다.

빅데이터 분석의 이점은 잘 알려지고, 잘 입증되어 있다. 리소스가 풍부한 기업은 데이터 저장소를 분석 프로젝트의 일환으로 활용해 큰 경쟁력을 획득할 수 있다. 그러나 분석에 빅데이터가 필요하다는 생각은 잘못됐다.

리크루팅 회사인 올레지스 글로벌 솔루션(Allegis Global Solutions)의 팀 존슨(Tim Johnson) BI 담당 이그제큐티브 디렉터는 “가능한 많은 데이터를 수집하려 노력하는 경우가 많다. 빅데이터에 ‘흥분’해 있기 때문이다. 그러나 데이터가 많을수록 좋고, 머신이 모든 데이터를 분류 및 정리해 줄 것이라는 생각은 잘못된 생각이다”고 말했다.

애널리스트는 더 많은 데이터가 아닌 특정 데이터가 필요하다. 존슨은 “95%가 자신의 업무와 관련이 있고, 의사결정에 도움을 주며, 성과를 높이는 정보를 찾는다”고 강조했다. 조직은 더 많은 데이터에 초점을 맞추는 대신 비즈니스 사용자를 고려해야 한다. 이를 통해 현업 사용자가 접근해야 하는 데이터의 종류, 이를 제시하는 방법을 판단해야 한다.

존슨은 “여러 형식으로 모든 정보에 접근할 수 있도록 만들기란 아주 힘들다. 또한 도입에 방해가 된다. 따라서 중요한 데이터를 찾고, 이를 가능한 단순한 형태로 전달하는 방법을 판단해야 한다”고 설명했다.

팩트체크 3: 분석은 사람의 편견(편향)을 없애 준다
사람들은 자동화된 시스템은 편향되어 있지 않다고 가정한다. 그러나 사람이 기술을 구현하기 때문에, 편향을 모두 없애는 것은 사실상 불가능하다. 분석과 머신러닝이 사람 때문에 초래된 편향을 없앤다고 생각하는 사람들도 있다.

글로벌 기술 컨설팅 회사인 쏘우트워크스(ThoughtWorks)의 기술 책임자 마이크 메이슨은 “불행히 전혀 사실이 아니다”며 “트레이닝 데이터를 사용해 알고리즘과 분석을 조정한다. 이는 트레이닝 데이터에 있는 특징을 재생산할 수밖에 없다”고 말했다.

메이슨은 “이런 이유로 분석 결과에 약간의 편향, 아주 심한 편향이 반영되는 경우도 있다. 알고리즘의 대답이 공정하지 않거나, 유용하지 않을 수도 있다는 의미다”고 설명했다.

팩트체크 4: 항상 최고의 알고리즘이 이긴다
메이슨은 '데이터가 충분하면 알고리즘이 중요하지 않은 경우도 있다는 점이 밝혀졌다”고 밝혔다. 그는 "데이터의 불합리한 효과성(The Unreasonable Effectiveness of Data)'이라는 IEEE 논문을 증거로 제시했다. 구글 엔지니어들은 이 논문에서 단순한 통계 모델이라도 아주 많은 데이터를 결합할 경우, 수많은 피처와 요약으로 구성된 우수한 인텔리전트 모델보다 더 나은 결과를 제공한다고 주장했다.

메이슨은 “즉 수많은 데이터를 분석해 가장 좋은 결과를 얻을 수 있는 때도 있다는 이야기다”고 전했다.

팩트체크 5: 알고리즘은 ‘페일 세이프(Fail Safe)’다
사람은 본능적으로 통계 모델과 알고리즘을 크게 신뢰한다. 또한 의사결정에 도움을 받기 위해 정교한 모델을 이용해 분석 프로그램을 구축하는 기업들이 증가하고 있다.

존슨은 “사람들은 모델, 알고리즘, 기타 고급 데이터 과학 기법을 이해하지 못한다. 이를 신뢰하는 이유가 여기에 있다”고 말했다. 사용자는 모델에 도전할 지식을 갖고 있지 않다고 생각한다. 그래서 이 모델을 구현한 ‘똑똑한 사람’을 믿기로 선택한다.

존슨은 “지난 50~60년 동안 앞으로 20년이면 AI가 세상을 지배할 것이라는 이야기를 들었다. 그런데 지금도 계속 같은 이야기를 듣고 있다. 머신러닝과 그 결과를 맹목적으로 신뢰하기까지, 극복해야 할 부분이 아직 많이 남아있다. 그때까지는 알고리즘과 모델을 구축한 사람들에게 ‘대답’을 찾기까지 과정을 설명해 달라고 요구해야 한다. 결과를 믿을 수 없다는 의미는 아니다. 분석을 신뢰하고 검증할 수 있도록 투명성을 요구해야 한다는 의미다”고 강조했다.
 


팩트체크 6: 데이터 과학은 ‘신비로운 마법’이다
최근 몇 년간 데이터 과학에 많은 관심이 쏠렸다. 그러면서 그 의미와 개념에 대한 혼돈이 초래되는 경우도 있다. 기본적으로 데이터 과학은 알고리즘을 사용해 데이터에서 패턴을 찾는 것이다.

데이터 스토리지 회사인 마이크론(Micron)의 CIO 트레버 슐츠는 “데이터 과학을 신비롭게 생각하는 경향이 있다”며 “알고리즘이 사람이 이해할 수 있는 수준 이상으로 많은 변수와 데이터 세트를 분석할 수 있기 때문이다”고 말했다.

이어서 슐츠는 “최근 컴퓨팅 성능과 메모리가 크게 확장되면서, 10년 전만 하더라도 어떤 기법을 사용해서도 풀 수 없었던 문제들을 빠르게 해결할 수 있게 되었다. 데이터 과학은 기본적으로 수십 년 동안 확립된 통계 추론 기법이 자연스럽게 발전한 개념이다. 수학을 이해하면, 데이터 과학에 ‘신비로운 부분’은 없다”고 설명했다.

 

2017.11.29

데이터 분석에 관한 12가지 '팩트체크'

Bob Violino | CIO

IT에서는 ‘하이프(Hype)’라는 열풍이 뜨거울수록, ‘오해’와 ‘잘못된 통념’도 커진다. 데이터 분석도 예외는 아니다. 현재 가장 ‘핫’한 정보기술 중 하나인 분석은 기업에 많은 혜택을 가져다줄 수 있다. 그러나 ‘잘못된 통념’은 분석 역량을 적시에 원활하게 전달하는 데 방해가 된다.



분석과 관련된 전략을 수립하거나 확대하고자 하는 기업과 기관이 확인해야 할 12가지에 대해 알아보자.

팩트체크 1: 데이터 분석에는 많은 투자가 필요하다
지금은 모든 기술 관련 활동과 노력에 ‘재무 건전성’이라는 잣대를 들이대는 시대인 것 같다. IT관리자나 현업 관리자가 새로운 프로젝트를 추진하거나 툴 도입을 제안할 때 가장 먼저 듣는 질문 중 하나는 “얼마나 많은 투자나 비용이 필요합니까?”다.

일부는 데이터 분석에는 본질적으로 많은 돈이 들기 때문에, 손에 쥔 예산과 내부 자원이 넉넉한 기업과 기관에만 국한된다고 지레짐작한다. 그러나 모든 데이터 분석 노력에 대규모 투자가 필요한 것은 아니다. 부동산 관련 모바일 및 온라인 서비스를 제공하는 트루리아(Trulia)의 엔지니어링 VP 디프 바르마는 “현재 시장에 데이터 분석의 가치를 실현하도록 도움을 주는 오픈소스 기술과 도구들이 아주 많다. 먼저 내부 데이터 스토리지, 해결해야 할 문제를 제대로 파악해야 한다. 클라우드를 이용하면, 쉽게 비즈니스 문제를 해결하는 데 분석을 활용하기 시작할 수 있다”고 설명했다.

컨설팅회사인 EY의 글로벌 분석 책임자인 베아트리츠 산즈 사이즈는 “최신 분석 기술은 기본적으로 기존 데이터 웨어하우스 시스템보다 훨씬 저렴한 클라우드 시스템과 빅데이터 아키텍처에 기반을 두고 있다”고 말했다.

또한 사이즈에 따르면, 데이터와 분석을 적용해 프로세스 효율성 개선, 매출 증가, 선행적인 위험 관리라는 3가지 성과를 달성할 수 있다. 그는 “전반적으로 데이터와 분석은 모든 기업에 비용 측면의 이익을 제공한다”고 전했다.

팩트체크 2: 분석에는 빅데이터가 필요하다
많은 기업과 기관에서 빅데이터와 분석은 병행되는 개념이다. 비즈니스 인사이트를 생성하고, 의사결정의 품질을 높이는 분석을 수행하기에 앞서 수많은 데이터를 수집해야 한다고 생각하는 것이다.

빅데이터 분석의 이점은 잘 알려지고, 잘 입증되어 있다. 리소스가 풍부한 기업은 데이터 저장소를 분석 프로젝트의 일환으로 활용해 큰 경쟁력을 획득할 수 있다. 그러나 분석에 빅데이터가 필요하다는 생각은 잘못됐다.

리크루팅 회사인 올레지스 글로벌 솔루션(Allegis Global Solutions)의 팀 존슨(Tim Johnson) BI 담당 이그제큐티브 디렉터는 “가능한 많은 데이터를 수집하려 노력하는 경우가 많다. 빅데이터에 ‘흥분’해 있기 때문이다. 그러나 데이터가 많을수록 좋고, 머신이 모든 데이터를 분류 및 정리해 줄 것이라는 생각은 잘못된 생각이다”고 말했다.

애널리스트는 더 많은 데이터가 아닌 특정 데이터가 필요하다. 존슨은 “95%가 자신의 업무와 관련이 있고, 의사결정에 도움을 주며, 성과를 높이는 정보를 찾는다”고 강조했다. 조직은 더 많은 데이터에 초점을 맞추는 대신 비즈니스 사용자를 고려해야 한다. 이를 통해 현업 사용자가 접근해야 하는 데이터의 종류, 이를 제시하는 방법을 판단해야 한다.

존슨은 “여러 형식으로 모든 정보에 접근할 수 있도록 만들기란 아주 힘들다. 또한 도입에 방해가 된다. 따라서 중요한 데이터를 찾고, 이를 가능한 단순한 형태로 전달하는 방법을 판단해야 한다”고 설명했다.

팩트체크 3: 분석은 사람의 편견(편향)을 없애 준다
사람들은 자동화된 시스템은 편향되어 있지 않다고 가정한다. 그러나 사람이 기술을 구현하기 때문에, 편향을 모두 없애는 것은 사실상 불가능하다. 분석과 머신러닝이 사람 때문에 초래된 편향을 없앤다고 생각하는 사람들도 있다.

글로벌 기술 컨설팅 회사인 쏘우트워크스(ThoughtWorks)의 기술 책임자 마이크 메이슨은 “불행히 전혀 사실이 아니다”며 “트레이닝 데이터를 사용해 알고리즘과 분석을 조정한다. 이는 트레이닝 데이터에 있는 특징을 재생산할 수밖에 없다”고 말했다.

메이슨은 “이런 이유로 분석 결과에 약간의 편향, 아주 심한 편향이 반영되는 경우도 있다. 알고리즘의 대답이 공정하지 않거나, 유용하지 않을 수도 있다는 의미다”고 설명했다.

팩트체크 4: 항상 최고의 알고리즘이 이긴다
메이슨은 '데이터가 충분하면 알고리즘이 중요하지 않은 경우도 있다는 점이 밝혀졌다”고 밝혔다. 그는 "데이터의 불합리한 효과성(The Unreasonable Effectiveness of Data)'이라는 IEEE 논문을 증거로 제시했다. 구글 엔지니어들은 이 논문에서 단순한 통계 모델이라도 아주 많은 데이터를 결합할 경우, 수많은 피처와 요약으로 구성된 우수한 인텔리전트 모델보다 더 나은 결과를 제공한다고 주장했다.

메이슨은 “즉 수많은 데이터를 분석해 가장 좋은 결과를 얻을 수 있는 때도 있다는 이야기다”고 전했다.

팩트체크 5: 알고리즘은 ‘페일 세이프(Fail Safe)’다
사람은 본능적으로 통계 모델과 알고리즘을 크게 신뢰한다. 또한 의사결정에 도움을 받기 위해 정교한 모델을 이용해 분석 프로그램을 구축하는 기업들이 증가하고 있다.

존슨은 “사람들은 모델, 알고리즘, 기타 고급 데이터 과학 기법을 이해하지 못한다. 이를 신뢰하는 이유가 여기에 있다”고 말했다. 사용자는 모델에 도전할 지식을 갖고 있지 않다고 생각한다. 그래서 이 모델을 구현한 ‘똑똑한 사람’을 믿기로 선택한다.

존슨은 “지난 50~60년 동안 앞으로 20년이면 AI가 세상을 지배할 것이라는 이야기를 들었다. 그런데 지금도 계속 같은 이야기를 듣고 있다. 머신러닝과 그 결과를 맹목적으로 신뢰하기까지, 극복해야 할 부분이 아직 많이 남아있다. 그때까지는 알고리즘과 모델을 구축한 사람들에게 ‘대답’을 찾기까지 과정을 설명해 달라고 요구해야 한다. 결과를 믿을 수 없다는 의미는 아니다. 분석을 신뢰하고 검증할 수 있도록 투명성을 요구해야 한다는 의미다”고 강조했다.
 


팩트체크 6: 데이터 과학은 ‘신비로운 마법’이다
최근 몇 년간 데이터 과학에 많은 관심이 쏠렸다. 그러면서 그 의미와 개념에 대한 혼돈이 초래되는 경우도 있다. 기본적으로 데이터 과학은 알고리즘을 사용해 데이터에서 패턴을 찾는 것이다.

데이터 스토리지 회사인 마이크론(Micron)의 CIO 트레버 슐츠는 “데이터 과학을 신비롭게 생각하는 경향이 있다”며 “알고리즘이 사람이 이해할 수 있는 수준 이상으로 많은 변수와 데이터 세트를 분석할 수 있기 때문이다”고 말했다.

이어서 슐츠는 “최근 컴퓨팅 성능과 메모리가 크게 확장되면서, 10년 전만 하더라도 어떤 기법을 사용해서도 풀 수 없었던 문제들을 빠르게 해결할 수 있게 되었다. 데이터 과학은 기본적으로 수십 년 동안 확립된 통계 추론 기법이 자연스럽게 발전한 개념이다. 수학을 이해하면, 데이터 과학에 ‘신비로운 부분’은 없다”고 설명했다.

 

X