2021.05.11

애널리틱스에 만연한 데이터 조작··· 뿌리 뽑을 방법 9가지

Bob Lewis | CIO
너무 많은 조직에서 원하는 결과를 뒷받침하고자 매개변수를 변경해댄 탓에 ‘애널리틱스’가 그야말로 '타락'했다. 데이터 중심 의사결정을 향한 올바른 경로를 설정하는 방법을 살펴본다. 

처음부터 정직한 데이터 활용 문화가 있었어야 했다. 

그 대신 과거를 거슬러 올라가자면 내부수익률(Internal Rate of Return; IRR)이 있었다. 이는 투자 수익을 계산하는 다항식 공식이며, 단일 차원의 분석인 현금 흐름으로 비즈니스 가치를 정의한다. 과거에는 숙련된 회계사들만 계산할 수 있었다. 이는 회계 전문가들을 가치 있게 만들었기 때문에 그 관점에서 보자면 IRR은 좋은 것이었다. 
 
ⓒGetty Images

그러다가 댄 브릭클린이 전자 스프레드시트를 발명했다. 프로메테우스가 힘없는 인간에게 불을 가져다준 것처럼 브릭클린은 스프레드시트를 선사했다. 이를 통해 모든 인류가 스스로 IRR을 계산할 수 있게 됐다. 

문제는 관리자들이 IRR을 계산하는 차원을 넘어 기본 가정을 변경하는 방법까지 알아냈다는 점이다. 이들은 IRR 생성기에서 원하는 답이 나올 때까지 매개변수를 이리저리 쑤시고 수정했다. 

그 결과 미국 전역의 기업에서 데이터 레이크, 데이터 마트, 데이터 웨어하우스, 애널리틱스 소프트웨어가 관리 매개변수 조정을 위한 플랫폼으로 전락하고 말았다. 즉 이해를 돕기 위한 용도가 아니라, 원하는 결과를 정한 뒤 거꾸로 그 결정을 뒷받침하는 데 필요한 필터와 매개변수를 찾아내려는 용도로 사용됐다. 이게 바로 애널리틱스 전략을 실패로 이끄는 숨겨진 비밀이다.

조직 역학적 관점에서 ‘문화’는 ‘일하는 방식’이다. 다시 말해, 소속된 환경에 대한 반응으로 드러내는 사람들의 학습된 행동이다. 비즈니스 세계에서 이러한 ‘행동’은 대게 함께 일하는 사람들, 특히 매일 마주하는 리더의 행동이다. 

문화는 스스로 강화되는 피드백 루프다. 정직한 데이터 활용 문화로 변화시킨다는 건 이 피드백 루프를 다시 설계한다는 뜻이다. 인내심, 끈기, 자기 인식이 필요하다.

소속 기업의 애널리틱스 전략이 제대로 작동하길 원하는가? 그렇다면 정직한 데이터 활용 문화를 정착 및 발전시켜야 한다. 이를 위한 몇 가지 팁을 소개한다. 

1. 매사 호기심을 가질 것
관리자가 ‘밖에 무슨 일이 일어나는지’ 알고 싶어 하지 않는다면 부하직원 역시 이를 보고하는 데 신경 쓰지 않을 가능성이 크다. 대시보드, 재무 보고서 등에 주의를 기울이면 더욱더 현명해질 수 있으며, 더 나은 정보를 얻을 수 있다. 만약 그렇게 되고 싶지 않다면 신경 쓰지 않아도 된다. 

2. 자신감은 의심에서 나온다
이와는 반대로 확신은 오만에서 비롯된다. 일반적으로 봤을 때 게으른 오만함이 원인이다. 누군가 자신감이 있고 이유를 설명할 수 있다면 좋다. 하지만 그 사람의 확신이 다른 모든 사람의 주장을 막는다면 이는 발전에 방해가 되므로 무시해야 한다. 

3. 의사결정 과정을 정하는 것부터 시작할 것
‘이 결정을 어떻게 내릴 것인가?’라는 질문만 하면 된다. 의사결정부터 시작하면 논쟁으로 이어지기 마련이다. 이 논쟁에서 모든 참여자의 목적은 이기거나 아니면 (이기지 못했을 때) 패배를 거부하는 것이다. 

어떻게 결정을 내릴지부터 대화를 시작하면 논의가 결과의 신뢰도를 높일 방법을 찾는 것으로 바뀐다. 그 결과 더 나은 의사결정을 내릴 수 있고, 의견 합의도 더욱더 수월하다. 또 정직한 데이터 활용 문화의 이점을 이해할 수 있다. 

4. 정직함을 저해하는 요소를 만들지 말 것
정직한 데이터를 요청하면서 이를 ‘책임을 묻기 위해’ 사용한다면 정직한 데이터를 얻을 수 없다. 그렇지 않겠는가? 대안은 이러한 위협이 없어도 의욕을 가지고 책임을 지는 사람을 고용하고 동기를 부여하는 것이다. 이 방법이 훨씬 더 효과적이다. 

5. ‘5만 피트 상공에서 바라본 관점’은 설득이 아닌 설명을 위한 것
위에서 전체를 아우르는 전략적 관점은 중요하다. 하지만 ‘위에서 전체를 아우르는 논리(High-level logic)’라는 말은 모순적이다. 이러한 관점이 진정으로 타당한지 아니면 그저 파워포인트(PowerPoint)에서만 보기 좋은지 좌우하는 건 상세한 증거와 분석이다. 

6. 일화와 비유에 주의할 것
일화와 비유는 설명할 때 유용하지만 이를 설득에 사용해선 안 된다. 다시 말해, 비유는 특정 관점을 설명할 때 그리고 일화는 무엇인가 가능하다는 걸 증명해야 할 때 유용할 수 있다. 그 외에 모든 경우에는 통계적으로 타당한 증거가 필요하다. 

물론 전 영국 총리 벤자민 디즈레일리는 거짓말에는 3가지 종류(그럴듯한 거짓말, 새빨간 거짓말, 그리고 통계)가 있다고 말했는데, 이는 더 추가돼야 할 듯하다. 일화에 근거한 주장은 통계를 바탕으로 한 주장보다 훨씬 더 위험하며, 비유를 기반으로 한 주장은 더욱더 심하다. 물론 ‘증거’를 평가할 수 있으려면 통계를 충분히 이해하고 있어야 한다. 

7. 원본 출처와 너무 멀어진 증거는 의심할 것 
요약된 내용을 요약하고 또 요약한 것을 신뢰해선 안 된다. 특히 듣고자 했던 결과를 알려주는 것이라면 더욱더 그렇다. 아무리 좋은 의도라고 해도 말이 여러 사람을 거치다 보면 왜곡되기 마련이다. 

8. 직감을 믿지 말 것
직감에 귀를 기울이는 건 좋다. 경험에서 우러나온 직감은 무시할 만한 것이 아니다. 그렇다고 무작정 믿어서도 안 된다. 개인적인 경험은 적절한 통계 표본이라고 하기엔 지나치게 작고 지나치게 편향돼 있기 때문이다.  

9. 한 번에 한 가지 결정을 내리는 문화를 구축할 것 
설교하고 잔소리하는 건 효과가 없다. 더욱이 관리자가 설교 내용을 몸소 실천하지 않는다면 그 효과는 더욱더 떨어진다. 따라서 정직한 데이터 활용 문화를 조성하는 최선의 방법은 한 번에 한 가지 결정을 내리는 것이다. 

그리고 문화를 변화시키려고 하는 모든 경우에서 가장 중요한 도구는 바로 ‘거울’이다. ‘일하는 방식’이 잘못된 방향으로 향하고 있는 것처럼 보일 때마다 거울을 들여다봐야 한다. 스스로 하고 있는 어떤 일이 피드백 루프를 오염시키고 있진 않은지 자문해 봐야 하는 것이다. 

더욱더 중요한 건 같은 실수를 반복하지 않는 방법을 파악하는 것이다. 모두 실수를 한다. 하지만 같은 실수를 반복하는 건 실수가 아니다. 이는 나쁜 습관이다. 이러한 습관을 없애는 데 도움을 줄 패치나 새로운 플랫폼은 그 어디에서도 팔지 않는다.
ciokr@idg.co.kr

 



2021.05.11

애널리틱스에 만연한 데이터 조작··· 뿌리 뽑을 방법 9가지

Bob Lewis | CIO
너무 많은 조직에서 원하는 결과를 뒷받침하고자 매개변수를 변경해댄 탓에 ‘애널리틱스’가 그야말로 '타락'했다. 데이터 중심 의사결정을 향한 올바른 경로를 설정하는 방법을 살펴본다. 

처음부터 정직한 데이터 활용 문화가 있었어야 했다. 

그 대신 과거를 거슬러 올라가자면 내부수익률(Internal Rate of Return; IRR)이 있었다. 이는 투자 수익을 계산하는 다항식 공식이며, 단일 차원의 분석인 현금 흐름으로 비즈니스 가치를 정의한다. 과거에는 숙련된 회계사들만 계산할 수 있었다. 이는 회계 전문가들을 가치 있게 만들었기 때문에 그 관점에서 보자면 IRR은 좋은 것이었다. 
 
ⓒGetty Images

그러다가 댄 브릭클린이 전자 스프레드시트를 발명했다. 프로메테우스가 힘없는 인간에게 불을 가져다준 것처럼 브릭클린은 스프레드시트를 선사했다. 이를 통해 모든 인류가 스스로 IRR을 계산할 수 있게 됐다. 

문제는 관리자들이 IRR을 계산하는 차원을 넘어 기본 가정을 변경하는 방법까지 알아냈다는 점이다. 이들은 IRR 생성기에서 원하는 답이 나올 때까지 매개변수를 이리저리 쑤시고 수정했다. 

그 결과 미국 전역의 기업에서 데이터 레이크, 데이터 마트, 데이터 웨어하우스, 애널리틱스 소프트웨어가 관리 매개변수 조정을 위한 플랫폼으로 전락하고 말았다. 즉 이해를 돕기 위한 용도가 아니라, 원하는 결과를 정한 뒤 거꾸로 그 결정을 뒷받침하는 데 필요한 필터와 매개변수를 찾아내려는 용도로 사용됐다. 이게 바로 애널리틱스 전략을 실패로 이끄는 숨겨진 비밀이다.

조직 역학적 관점에서 ‘문화’는 ‘일하는 방식’이다. 다시 말해, 소속된 환경에 대한 반응으로 드러내는 사람들의 학습된 행동이다. 비즈니스 세계에서 이러한 ‘행동’은 대게 함께 일하는 사람들, 특히 매일 마주하는 리더의 행동이다. 

문화는 스스로 강화되는 피드백 루프다. 정직한 데이터 활용 문화로 변화시킨다는 건 이 피드백 루프를 다시 설계한다는 뜻이다. 인내심, 끈기, 자기 인식이 필요하다.

소속 기업의 애널리틱스 전략이 제대로 작동하길 원하는가? 그렇다면 정직한 데이터 활용 문화를 정착 및 발전시켜야 한다. 이를 위한 몇 가지 팁을 소개한다. 

1. 매사 호기심을 가질 것
관리자가 ‘밖에 무슨 일이 일어나는지’ 알고 싶어 하지 않는다면 부하직원 역시 이를 보고하는 데 신경 쓰지 않을 가능성이 크다. 대시보드, 재무 보고서 등에 주의를 기울이면 더욱더 현명해질 수 있으며, 더 나은 정보를 얻을 수 있다. 만약 그렇게 되고 싶지 않다면 신경 쓰지 않아도 된다. 

2. 자신감은 의심에서 나온다
이와는 반대로 확신은 오만에서 비롯된다. 일반적으로 봤을 때 게으른 오만함이 원인이다. 누군가 자신감이 있고 이유를 설명할 수 있다면 좋다. 하지만 그 사람의 확신이 다른 모든 사람의 주장을 막는다면 이는 발전에 방해가 되므로 무시해야 한다. 

3. 의사결정 과정을 정하는 것부터 시작할 것
‘이 결정을 어떻게 내릴 것인가?’라는 질문만 하면 된다. 의사결정부터 시작하면 논쟁으로 이어지기 마련이다. 이 논쟁에서 모든 참여자의 목적은 이기거나 아니면 (이기지 못했을 때) 패배를 거부하는 것이다. 

어떻게 결정을 내릴지부터 대화를 시작하면 논의가 결과의 신뢰도를 높일 방법을 찾는 것으로 바뀐다. 그 결과 더 나은 의사결정을 내릴 수 있고, 의견 합의도 더욱더 수월하다. 또 정직한 데이터 활용 문화의 이점을 이해할 수 있다. 

4. 정직함을 저해하는 요소를 만들지 말 것
정직한 데이터를 요청하면서 이를 ‘책임을 묻기 위해’ 사용한다면 정직한 데이터를 얻을 수 없다. 그렇지 않겠는가? 대안은 이러한 위협이 없어도 의욕을 가지고 책임을 지는 사람을 고용하고 동기를 부여하는 것이다. 이 방법이 훨씬 더 효과적이다. 

5. ‘5만 피트 상공에서 바라본 관점’은 설득이 아닌 설명을 위한 것
위에서 전체를 아우르는 전략적 관점은 중요하다. 하지만 ‘위에서 전체를 아우르는 논리(High-level logic)’라는 말은 모순적이다. 이러한 관점이 진정으로 타당한지 아니면 그저 파워포인트(PowerPoint)에서만 보기 좋은지 좌우하는 건 상세한 증거와 분석이다. 

6. 일화와 비유에 주의할 것
일화와 비유는 설명할 때 유용하지만 이를 설득에 사용해선 안 된다. 다시 말해, 비유는 특정 관점을 설명할 때 그리고 일화는 무엇인가 가능하다는 걸 증명해야 할 때 유용할 수 있다. 그 외에 모든 경우에는 통계적으로 타당한 증거가 필요하다. 

물론 전 영국 총리 벤자민 디즈레일리는 거짓말에는 3가지 종류(그럴듯한 거짓말, 새빨간 거짓말, 그리고 통계)가 있다고 말했는데, 이는 더 추가돼야 할 듯하다. 일화에 근거한 주장은 통계를 바탕으로 한 주장보다 훨씬 더 위험하며, 비유를 기반으로 한 주장은 더욱더 심하다. 물론 ‘증거’를 평가할 수 있으려면 통계를 충분히 이해하고 있어야 한다. 

7. 원본 출처와 너무 멀어진 증거는 의심할 것 
요약된 내용을 요약하고 또 요약한 것을 신뢰해선 안 된다. 특히 듣고자 했던 결과를 알려주는 것이라면 더욱더 그렇다. 아무리 좋은 의도라고 해도 말이 여러 사람을 거치다 보면 왜곡되기 마련이다. 

8. 직감을 믿지 말 것
직감에 귀를 기울이는 건 좋다. 경험에서 우러나온 직감은 무시할 만한 것이 아니다. 그렇다고 무작정 믿어서도 안 된다. 개인적인 경험은 적절한 통계 표본이라고 하기엔 지나치게 작고 지나치게 편향돼 있기 때문이다.  

9. 한 번에 한 가지 결정을 내리는 문화를 구축할 것 
설교하고 잔소리하는 건 효과가 없다. 더욱이 관리자가 설교 내용을 몸소 실천하지 않는다면 그 효과는 더욱더 떨어진다. 따라서 정직한 데이터 활용 문화를 조성하는 최선의 방법은 한 번에 한 가지 결정을 내리는 것이다. 

그리고 문화를 변화시키려고 하는 모든 경우에서 가장 중요한 도구는 바로 ‘거울’이다. ‘일하는 방식’이 잘못된 방향으로 향하고 있는 것처럼 보일 때마다 거울을 들여다봐야 한다. 스스로 하고 있는 어떤 일이 피드백 루프를 오염시키고 있진 않은지 자문해 봐야 하는 것이다. 

더욱더 중요한 건 같은 실수를 반복하지 않는 방법을 파악하는 것이다. 모두 실수를 한다. 하지만 같은 실수를 반복하는 건 실수가 아니다. 이는 나쁜 습관이다. 이러한 습관을 없애는 데 도움을 줄 패치나 새로운 플랫폼은 그 어디에서도 팔지 않는다.
ciokr@idg.co.kr

 

X