데이터 분석에 관한 12가지 '팩트체크'

CIO

IT에서는 ‘하이프(Hype)’라는 열풍이 뜨거울수록, ‘오해’와 ‘잘못된 통념’도 커진다. 데이터 분석도 예외는 아니다. 현재 가장 ‘핫’한 정보기술 중 하나인 분석은 기업에 많은 혜택을 가져다줄 수 있다. 그러나 ‘잘못된 통념’은 분석 역량을 적시에 원활하게 전달하는 데 방해가 된다.



분석과 관련된 전략을 수립하거나 확대하고자 하는 기업과 기관이 확인해야 할 12가지에 대해 알아보자.

팩트체크 1: 데이터 분석에는 많은 투자가 필요하다
지금은 모든 기술 관련 활동과 노력에 ‘재무 건전성’이라는 잣대를 들이대는 시대인 것 같다. IT관리자나 현업 관리자가 새로운 프로젝트를 추진하거나 툴 도입을 제안할 때 가장 먼저 듣는 질문 중 하나는 “얼마나 많은 투자나 비용이 필요합니까?”다.

일부는 데이터 분석에는 본질적으로 많은 돈이 들기 때문에, 손에 쥔 예산과 내부 자원이 넉넉한 기업과 기관에만 국한된다고 지레짐작한다. 그러나 모든 데이터 분석 노력에 대규모 투자가 필요한 것은 아니다. 부동산 관련 모바일 및 온라인 서비스를 제공하는 트루리아(Trulia)의 엔지니어링 VP 디프 바르마는 “현재 시장에 데이터 분석의 가치를 실현하도록 도움을 주는 오픈소스 기술과 도구들이 아주 많다. 먼저 내부 데이터 스토리지, 해결해야 할 문제를 제대로 파악해야 한다. 클라우드를 이용하면, 쉽게 비즈니스 문제를 해결하는 데 분석을 활용하기 시작할 수 있다”고 설명했다.

컨설팅회사인 EY의 글로벌 분석 책임자인 베아트리츠 산즈 사이즈는 “최신 분석 기술은 기본적으로 기존 데이터 웨어하우스 시스템보다 훨씬 저렴한 클라우드 시스템과 빅데이터 아키텍처에 기반을 두고 있다”고 말했다.

또한 사이즈에 따르면, 데이터와 분석을 적용해 프로세스 효율성 개선, 매출 증가, 선행적인 위험 관리라는 3가지 성과를 달성할 수 있다. 그는 “전반적으로 데이터와 분석은 모든 기업에 비용 측면의 이익을 제공한다”고 전했다.

팩트체크 2: 분석에는 빅데이터가 필요하다
많은 기업과 기관에서 빅데이터와 분석은 병행되는 개념이다. 비즈니스 인사이트를 생성하고, 의사결정의 품질을 높이는 분석을 수행하기에 앞서 수많은 데이터를 수집해야 한다고 생각하는 것이다.

빅데이터 분석의 이점은 잘 알려지고, 잘 입증되어 있다. 리소스가 풍부한 기업은 데이터 저장소를 분석 프로젝트의 일환으로 활용해 큰 경쟁력을 획득할 수 있다. 그러나 분석에 빅데이터가 필요하다는 생각은 잘못됐다.

리크루팅 회사인 올레지스 글로벌 솔루션(Allegis Global Solutions)의 팀 존슨(Tim Johnson) BI 담당 이그제큐티브 디렉터는 “가능한 많은 데이터를 수집하려 노력하는 경우가 많다. 빅데이터에 ‘흥분’해 있기 때문이다. 그러나 데이터가 많을수록 좋고, 머신이 모든 데이터를 분류 및 정리해 줄 것이라는 생각은 잘못된 생각이다”고 말했다.

애널리스트는 더 많은 데이터가 아닌 특정 데이터가 필요하다. 존슨은 “95%가 자신의 업무와 관련이 있고, 의사결정에 도움을 주며, 성과를 높이는 정보를 찾는다”고 강조했다. 조직은 더 많은 데이터에 초점을 맞추는 대신 비즈니스 사용자를 고려해야 한다. 이를 통해 현업 사용자가 접근해야 하는 데이터의 종류, 이를 제시하는 방법을 판단해야 한다.

존슨은 “여러 형식으로 모든 정보에 접근할 수 있도록 만들기란 아주 힘들다. 또한 도입에 방해가 된다. 따라서 중요한 데이터를 찾고, 이를 가능한 단순한 형태로 전달하는 방법을 판단해야 한다”고 설명했다.

팩트체크 3: 분석은 사람의 편견(편향)을 없애 준다
사람들은 자동화된 시스템은 편향되어 있지 않다고 가정한다. 그러나 사람이 기술을 구현하기 때문에, 편향을 모두 없애는 것은 사실상 불가능하다. 분석과 머신러닝이 사람 때문에 초래된 편향을 없앤다고 생각하는 사람들도 있다.

글로벌 기술 컨설팅 회사인 쏘우트워크스(ThoughtWorks)의 기술 책임자 마이크 메이슨은 “불행히 전혀 사실이 아니다”며 “트레이닝 데이터를 사용해 알고리즘과 분석을 조정한다. 이는 트레이닝 데이터에 있는 특징을 재생산할 수밖에 없다”고 말했다.

메이슨은 “이런 이유로 분석 결과에 약간의 편향, 아주 심한 편향이 반영되는 경우도 있다. 알고리즘의 대답이 공정하지 않거나, 유용하지 않을 수도 있다는 의미다”고 설명했다.

팩트체크 4: 항상 최고의 알고리즘이 이긴다
메이슨은 '데이터가 충분하면 알고리즘이 중요하지 않은 경우도 있다는 점이 밝혀졌다”고 밝혔다. 그는 "데이터의 불합리한 효과성(The Unreasonable Effectiveness of Data)'이라는 IEEE 논문을 증거로 제시했다. 구글 엔지니어들은 이 논문에서 단순한 통계 모델이라도 아주 많은 데이터를 결합할 경우, 수많은 피처와 요약으로 구성된 우수한 인텔리전트 모델보다 더 나은 결과를 제공한다고 주장했다.

메이슨은 “즉 수많은 데이터를 분석해 가장 좋은 결과를 얻을 수 있는 때도 있다는 이야기다”고 전했다.

팩트체크 5: 알고리즘은 ‘페일 세이프(Fail Safe)’다
사람은 본능적으로 통계 모델과 알고리즘을 크게 신뢰한다. 또한 의사결정에 도움을 받기 위해 정교한 모델을 이용해 분석 프로그램을 구축하는 기업들이 증가하고 있다.

존슨은 “사람들은 모델, 알고리즘, 기타 고급 데이터 과학 기법을 이해하지 못한다. 이를 신뢰하는 이유가 여기에 있다”고 말했다. 사용자는 모델에 도전할 지식을 갖고 있지 않다고 생각한다. 그래서 이 모델을 구현한 ‘똑똑한 사람’을 믿기로 선택한다.

존슨은 “지난 50~60년 동안 앞으로 20년이면 AI가 세상을 지배할 것이라는 이야기를 들었다. 그런데 지금도 계속 같은 이야기를 듣고 있다. 머신러닝과 그 결과를 맹목적으로 신뢰하기까지, 극복해야 할 부분이 아직 많이 남아있다. 그때까지는 알고리즘과 모델을 구축한 사람들에게 ‘대답’을 찾기까지 과정을 설명해 달라고 요구해야 한다. 결과를 믿을 수 없다는 의미는 아니다. 분석을 신뢰하고 검증할 수 있도록 투명성을 요구해야 한다는 의미다”고 강조했다.
 

---------------------------------------------------------------
빅 데이터와 분석 인기기사
-> 칼럼 | 일기예보와 경영예측
-> "CAO(최고 분석 책임자) 직책이 필요한 시점"
-> '승부, 데이터를 만나다'··· 애널리틱스로 변화하는 스포츠 산업
-> CIO의 새로운 미션 '데이터 분석 전문가를 찾아라!'
-> “애널리틱스 인재 태부족” 몇몇 CIO들의 극복방안
-> "빅 데이터 시각화로 직원 통찰력을 증대시켜라" 이베이의 과제
-> 빅 데이터 애널리틱스, 콜센터에겐 '금광'
---------------------------------------------------------------

팩트체크 6: 데이터 과학은 ‘신비로운 마법’이다
최근 몇 년간 데이터 과학에 많은 관심이 쏠렸다. 그러면서 그 의미와 개념에 대한 혼돈이 초래되는 경우도 있다. 기본적으로 데이터 과학은 알고리즘을 사용해 데이터에서 패턴을 찾는 것이다.

데이터 스토리지 회사인 마이크론(Micron)의 CIO 트레버 슐츠는 “데이터 과학을 신비롭게 생각하는 경향이 있다”며 “알고리즘이 사람이 이해할 수 있는 수준 이상으로 많은 변수와 데이터 세트를 분석할 수 있기 때문이다”고 말했다.

이어서 슐츠는 “최근 컴퓨팅 성능과 메모리가 크게 확장되면서, 10년 전만 하더라도 어떤 기법을 사용해서도 풀 수 없었던 문제들을 빠르게 해결할 수 있게 되었다. 데이터 과학은 기본적으로 수십 년 동안 확립된 통계 추론 기법이 자연스럽게 발전한 개념이다. 수학을 이해하면, 데이터 과학에 ‘신비로운 부분’은 없다”고 설명했다.

 


팩트체크 7: 데이터 과학을 더 많이 활용하려면, 더 많은 데이터 과학자가 필요하다
현재 기술 직종에서 가장 수요가 많은 직종 중 하나가 데이터 과학자다. 그런데 조직은 현재 소속 데이터 과학자가 하는 일을 조정, 더 적은 데이터 과학자로 해야 할 일을 완수할 수 있을지 모른다.

메이슨은 “데이터 과학자들이 데이터 세트를 찾는 업무, 데이터를 처리할 장소로 보내는 업무, 데이터 변환과 정제 등 부가가치를 창출하지 못하는 업무에 많은 시간을 낭비하고 있다. 데이터 과학자 채용이 어렵다는 점을 감안했을 때, 이런 가치가 낮은 일에 데이터 과학자를 투입하는 것은 바람직하지 않다”고 지적했다.

이어서 메이슨은 “우버의 미켈란젤로(Michelangelo) 플랫폼은 데이터 과학자가 데이터를 ‘나르는 일’이 아닌, 피처 엔지니어링, 추출 및 분석에 초점을 맞춰, 훨씬 더 큰 생산성을 발휘할 수 있도록 도와준다”고 설명했다.

팩트체크 8: 분석에 지나치게 많은 시간이 걸린다
상품과 서비스 시장화, 실시간 고객 대응 등 모든 일을 신속하게 처리해야 하는 시대다. 이는 기업이 중시하는 아주 큰 경쟁력 요소이다. 그런데 분석에 지나치게 많은 시간이 필요하다고 생각한다. 이는 ‘속도’와 ‘민첩성’이라는 목표에 반하는 부분이다.

사이즈는 “분명히 많은 시간이 필요한 복잡한 프로젝트도 있다. 그러나 결국은 ‘인재’와 ‘역량’에 달린 문제다. 적합한 인재와 애자일 기법을 적절히 혼합해 활용하면, 큰 문제도 몇 달이 아닌 며칠, 또는 몇 주 내에 해결할 수 있다”고 말했다.

팩트체크 9: 기술이 ‘어려운 문제’다
컨설팅 회사인 ISG의 IT소싱 및 디지털 자문 서비스 디렉터인 제임스 버크에 따르면, 활용할 수 있는 기술이 계속 증가하면서, 분석팀이 원하는 결과를 얻기 위해 구현하고 통합할 툴을 조합해 선택하기 매우 어려운 실정이다.

그러나 진짜 어려운 문제는 따로 있다. 사람과 프로세스, 기술에서 필요한 부분을 모두 가져올 수 있게끔 조직 구조와 운영 모델을 통합하는 것이 진짜 어려운 문제이다. 버크는 “기존 조직 구조 안에서, 또는 그 옆에서 이런 문제를 극복하는 것이 가장 어려운 과업일 수도 있다”고 덧붙였다.

분석 툴이 모든 일을 처리해 줄 것이라고 가정하지 않는 것도 중요하다. 컨설팅 회사인 웨스트 몬로(West Monroe)의 기술 부문 시니어 디렉터인 그렉 레이요크는 “기술만으로 비즈니스 문제를 해결할 수 없다. 데이터 레이크 구축을 서두르다 누구도 쉽게 이해하지 못하는 정보의 ‘늪’이나 ‘습지’를 만드는 경우도 있다”고 지적했다.

그는 “기술만으로는 분석 문제를 해결할 수 없다. 먼저 비즈니스 문제를 파악해야 한다. 그런 후, 이 문제를 해결할 수 있는 데이터를 찾아야 한다. 이는 조직 내 ‘데이터 갭’을 파악하도록 도움을 준다”고 강조했다.

팩트체크 10: 데이터 분석 부서는 별개의 부서가 되어야 한다
컨설팅 및 데이터 수집 회사인 델비니아(Delvinia)의 대표 겸 최고 혁신 책임자 스티븐 마스트에 따르면, 데이터 분석 기능을 별개 부서로 운영하는 기업도 있고, CFT(Cross Function Team)의 일부로 운영하는 기업도 있다.

그는 “모든 부분에서 데이터가 폭증하고, 변화의 속도가 바뀌고 있다. 그리고 부서에 기반을 둔 조직 구조 모델은 여기에 맞지 않는다. 기업이 점차 고객 중심을 지향하는 추세이다. 데이터에 초점을 맞추는 분석 전문가들은 지원을 요청하는 지원부서가 아닌, 사업부서의 핵심에 위치해야 한다”고 강조했다.

이어서 “현재 조직들이 직면한 가장 복잡한 문제의 상당수가 사업부서 안에 있다. 그리고 이런 문제들의 해결책이 데이터에 숨겨져 있는 경우가 많다. 데이터 과학자와 전문가들은 현업과 긴밀하게 협력하면서, 빅데이터 세트와 인공지능을 활용해야 한다. 이는 차세대 제품, 서비스, 고객 경험 창출의 ‘열쇠’다”고 이야기했다.

팩트체크 11: 분석은 박사들의 업무다
분석팀에 교육 수준이 높은 인재들이 많다면 도움이 될 것이다. 그러나 교육 수준이 반드시 성공의 필수 요소는 아니다.

사이즈는 “박사 학위 소지자만 최고 수준의 분석 업무를 수행할 수 있다고 생각하는 경향이 있다. 그러나 최신 분석 기술과 기법에는 여러 혼합된 역량이 필요하다. 엔지니어링 기술과 오픈소스 소프트웨어에 정통해야 한다. 빅데이터 아키텍트, 데이터 엔지니어, 데이터 과학자, 데이터 시각화 전문가 등 여러 기술력을 갖춘 전문가들로 구성된 다양성이 높은 팀이 차이를 만들 수 있다”고 말했다.

팩트체크 12: AI가 일자리와 경제를 파괴할 것이다
역사적으로 새로운 기술은 많은 일자리를 없애고, 산업을 파괴했다. 이런 이유로 AI가 특정 직종을 없앨 것이라는 두려움이 싹트고 있다.

슐츠는 “AI 솔루션이 사람보다 훨씬 더 빨리 능률적으로 해결할 수 있는 문제들이 존재한다. AI는 사람보다 빨리 판독하고, 더 많이 기억하며, 더 복잡한 수학적 관계를 계산할 수 있다. 하지만 생소하거나 새로운 상황은 다루지 못한다. 사람이 AI보다 더 나은 부분이다”고 설명했다.

AI가 성장하면서 줄어들거나, 없어진 직종들이 있다. 향후 다른 직종도 이런 전철을 밟을지 모른다. 그는 “그러나 아직은 AI 기술이 예상하지 못한 상황을 파악해 대처하는 사람의 능력을 대체할 수 없다. 가까운 미래를 기준으로 하면, AI에 가장 효과적으로 접근하는 방법은 알고리즘이 사람보다 나은 능력을 발휘하는 ‘힘든 일’ 가운데 일부를 AI 시스템에 맡겨 사람의 능력을 강화하는 방법이다. AI 때문에 많은 일자리에 변화가 있을 것이다. 그러나 사람들은 앞으로도 계속 이런 비즈니스 생태계에 없어서는 안 될 자리를 차지할 것이다”고 덧붙였다. ciokr@idg.co.kr