2013.01.08

칼럼 | ‘높으신 분이 오판했다?’··· 데이터 분석과 불편한 진실

Rob Enderle | CIO

필자는 숫자의 힘을 믿는다. 그리고 적절히 활용된 애널리틱스는 기업을 넘어서 세계를 바꿀 수 있다고도 믿는다. 사실 애널리스트에겐 이런 믿음이 필요하기도 하다.

하지만 모든 이들이 이 원칙에 동의하지는 않는 듯 하다. 필자는 지난 몇 주 간 2000년 이후의 대형 시장 실패 사례들을 연구하며 많은 임원진들이 실수를 막아줄 정보를 가지고 있으면서도 이를 제대로 사용하지 않는다는 사실을 확인할 수 있었다.

몇 년 전 IBM에서 주요 기업들의 시장 지배력 하락에 대해 그 원인을 분석하는 연구를 진행한 적이 있다. 당시 IBM은 수치를 매우 강조하는 기업이었다. 이 연구에 참여했던 필자는 연구원들이 임원진에게 만족감을 주기 위해 연구 결과를 왜곡하는 모습을 발견했다. 그들의 왜곡 정도는 매우 심각한 수준이었고, 결국 이는 기업의 CEO가 자리를 떠나게 하는, 그리고 미국의 가장 전통적이고 성공적이었던 기업의 존립 자체에 위기를 가져오는 결과로 이어졌다.

많은 임원들은 애널리틱스 툴이 그들에게 의사 결정에 대한 올바른 시각을 제공해줄 것을 기대한다. 그러나 막상 현실에서는 기대와 다른 측면이 있다. 자신들이 저지른 바보 같은 행동을 애널리틱스 툴의 배치로 인해 깨닫게 되는 경우가 빈번히 목격된다. 마치 책임을 면하려고 설치한 블랙박스가 사고에서의 운전자 과실을 뚜렷이 하는 역할만을 하듯이 말이다.

단언컨데 애널리틱스 툴의 가치를 폄하하는 것이 아니다. 하고자 하는 말은 다음과 같다. 정확한 정보보다 긍정적인 정보를 좋아하는, 그리고 적절한 정보를 가진 이가 아닌 가장 직급이 높은 이를 중심으로 판단이 이뤄지는 기업에서는 애널리틱스 툴이 불난 곳의 기름통 같은 존재가 될 것이라는 것이다. 이미 내려진 잘못된 결정이 사실은 예방 가능한 문제였음을 입증함으로써 속을 쓰리게만 할 것이기 때문이다.

잘못 이용된 애널리틱스 툴은 잘못된 결과물들을 생산할 것이며, 잘못 도출된 결과물은 잘못된 의사 결정을 야기할 것이다. 한 번 시작된 이 악순환의 고리는 당신이 길거리에 나앉게 될 때까지 계속될 것임을 명심하라.

마이크로소프트의 경험: 선 결정 후 분석
약 5년 간 마이크로소프트를 관찰하며 (필자보다 더 수치를 중요시하는 인물인) CEO 스티브 발머가 끔찍한 실수를 저지르고 있다는 것을 확인할 수 있었다. 처음 필자는 그 원인이 마이크로소프트의 내부 시장 연구 기관이 분석한 결과물들이 발머에게 제대로 전달되지 않거나, 기관의 연구원들이 무능력하기 때문이라 추측했다. 하지만 시장 연구 팀장과의 인터뷰 이후 필자는 진짜 문제는 다른 곳에 있음을 깨달았다.

문제는, 이들 연구 기관의 목표가 임원진이 이미 내린 결정을 좀 더 그럴듯하게 꾸며 차후 관련 문제가 발생했을 때 그들을 변호하는데 있었다는 것이었다. 필자는 이메일을 통해 발머에게 이런 지적을 전했지만 답장은 돌아오지 않았다. 하지만 물론 발머 역시 이런 문제를 잘 알고 있을 것이다. 보고된 수치와 실제 결과가 전혀 다른데, 바보가 아니고서야 문제를 알아채지 못할까?

마이크로소프트는 필자가 ‘논쟁 이론(argumentation theory)'을 처음 적용해본 사례이기도 하다. 논쟁 이론이란 우리의 머리 속에는 높은 권위의 인물이 논쟁에서 승리할 것이라는 가정이 내재되어 있음을 설명하는 이론이다.

또 한 가지 재미있는 현상은, 어느 누군가 일단 우위를 점하게 되면 그의 행동이나 주장이 옳은 것인지를 별로 신경 쓰지 않는다는 것이다. 결국, 임원진은 대부분의 상황에서 어렵쟎게 승리를 거두게 되고 다른 이들은 당연스레 이를 따르게 되는 것이다.

이 이론을 발머에게 적용해보자. 굳이 마이크로소프트를 예로 든 이유는 필자가 그들의 문제 해결에 온갖 노력을 기울였지만 그 결과는 비참할 정도로 성공적이지 못했기 때문이다. 또 솔직히 말해 논쟁 이론의 적용에 이들만한 사례가 없던 것 역시 어느 정도 사실이다.

발머는 천재 소프트웨어 개발자 빌 게이츠가 일궈낸 기업에 들어온 비즈니스맨이다. 마치 테니스 팀을 맡게 된 하키 코치에 비유할 수도 있겠다. 한시라도 빨리 상황 개선 노력을 벌이지 않는다면, 팀은 기존의 경쟁력마저 잃어버리게 될 것이다.

필자의 이론은 다음과 같다. 발머는 자신은 지식이 전혀 없는 한 분야의 최고 전문가들이 모인 기업의 수장 자리를 맡게 되었고 기업을 운영하는 과정에서 어떤 실수를 저지르게 되었다. 그리고 그 실수를 정상적인 과정으로 포장하기 위해 연구를 지시했던 것이다.

하지만 실질적으로는 그가 이런 행동을 하는 대신 애널리틱스 툴을 좀 더 발전적인 방향으로 활용하는 것이 마이크로소프트는 물론 스스로에게 보다 나은 결정이었을 것이다. 필자는 그가 지금이라도 생각을 다시 해보길 바란다. 아직 시간은 너무 늦지 않았다.

선분석 후 결정
IBM에서 활동할 당시 필자가 참여한 가장 안타까운 결정을 꼽으라면 ROLM 매각을 떠올리곤 한다. 당시 필자는 분석 팀에 속해 있었고, 제출한 보고서에는 이들 유닛을 매각하는 대신 운영 방향에 변화를 줘 볼 것을 제안하는 내용이 담겨져 있었다. 아직 ROLM이 여러 영역에서 상당한 가치를 제공할 것으로 판단됐기 때문이다.

또한 연구 결과는 ROLM을 지멘스(Siemens)에 매각하는 것이 이들 유닛을 완전히 망쳐버리는 결과를 가져올 것이라는 사실 역시 보여주고 있었다. 이 보고서에 귀를 기울였다면 IBM은 ROLM을 다른 기업에 판매하거나, 판매 시점을 늦춰야 했다.


그러나 안타깝게도 IBM은 인수 5년 만에 50%의 손실을 입으며 이들 업체를 지멘스에 넘기고 말았다. ROLM 측에도 역시 막대한 손실이 가해졌다. 분석 보고서는 이러한 내용들을 분명히 언급하고 있었지만, 비즈니스는 귀를 닫았고 결국 수십 억 달러를 공중에 날려버리게 되었다.




2013.01.08

칼럼 | ‘높으신 분이 오판했다?’··· 데이터 분석과 불편한 진실

Rob Enderle | CIO

필자는 숫자의 힘을 믿는다. 그리고 적절히 활용된 애널리틱스는 기업을 넘어서 세계를 바꿀 수 있다고도 믿는다. 사실 애널리스트에겐 이런 믿음이 필요하기도 하다.

하지만 모든 이들이 이 원칙에 동의하지는 않는 듯 하다. 필자는 지난 몇 주 간 2000년 이후의 대형 시장 실패 사례들을 연구하며 많은 임원진들이 실수를 막아줄 정보를 가지고 있으면서도 이를 제대로 사용하지 않는다는 사실을 확인할 수 있었다.

몇 년 전 IBM에서 주요 기업들의 시장 지배력 하락에 대해 그 원인을 분석하는 연구를 진행한 적이 있다. 당시 IBM은 수치를 매우 강조하는 기업이었다. 이 연구에 참여했던 필자는 연구원들이 임원진에게 만족감을 주기 위해 연구 결과를 왜곡하는 모습을 발견했다. 그들의 왜곡 정도는 매우 심각한 수준이었고, 결국 이는 기업의 CEO가 자리를 떠나게 하는, 그리고 미국의 가장 전통적이고 성공적이었던 기업의 존립 자체에 위기를 가져오는 결과로 이어졌다.

많은 임원들은 애널리틱스 툴이 그들에게 의사 결정에 대한 올바른 시각을 제공해줄 것을 기대한다. 그러나 막상 현실에서는 기대와 다른 측면이 있다. 자신들이 저지른 바보 같은 행동을 애널리틱스 툴의 배치로 인해 깨닫게 되는 경우가 빈번히 목격된다. 마치 책임을 면하려고 설치한 블랙박스가 사고에서의 운전자 과실을 뚜렷이 하는 역할만을 하듯이 말이다.

단언컨데 애널리틱스 툴의 가치를 폄하하는 것이 아니다. 하고자 하는 말은 다음과 같다. 정확한 정보보다 긍정적인 정보를 좋아하는, 그리고 적절한 정보를 가진 이가 아닌 가장 직급이 높은 이를 중심으로 판단이 이뤄지는 기업에서는 애널리틱스 툴이 불난 곳의 기름통 같은 존재가 될 것이라는 것이다. 이미 내려진 잘못된 결정이 사실은 예방 가능한 문제였음을 입증함으로써 속을 쓰리게만 할 것이기 때문이다.

잘못 이용된 애널리틱스 툴은 잘못된 결과물들을 생산할 것이며, 잘못 도출된 결과물은 잘못된 의사 결정을 야기할 것이다. 한 번 시작된 이 악순환의 고리는 당신이 길거리에 나앉게 될 때까지 계속될 것임을 명심하라.

마이크로소프트의 경험: 선 결정 후 분석
약 5년 간 마이크로소프트를 관찰하며 (필자보다 더 수치를 중요시하는 인물인) CEO 스티브 발머가 끔찍한 실수를 저지르고 있다는 것을 확인할 수 있었다. 처음 필자는 그 원인이 마이크로소프트의 내부 시장 연구 기관이 분석한 결과물들이 발머에게 제대로 전달되지 않거나, 기관의 연구원들이 무능력하기 때문이라 추측했다. 하지만 시장 연구 팀장과의 인터뷰 이후 필자는 진짜 문제는 다른 곳에 있음을 깨달았다.

문제는, 이들 연구 기관의 목표가 임원진이 이미 내린 결정을 좀 더 그럴듯하게 꾸며 차후 관련 문제가 발생했을 때 그들을 변호하는데 있었다는 것이었다. 필자는 이메일을 통해 발머에게 이런 지적을 전했지만 답장은 돌아오지 않았다. 하지만 물론 발머 역시 이런 문제를 잘 알고 있을 것이다. 보고된 수치와 실제 결과가 전혀 다른데, 바보가 아니고서야 문제를 알아채지 못할까?

마이크로소프트는 필자가 ‘논쟁 이론(argumentation theory)'을 처음 적용해본 사례이기도 하다. 논쟁 이론이란 우리의 머리 속에는 높은 권위의 인물이 논쟁에서 승리할 것이라는 가정이 내재되어 있음을 설명하는 이론이다.

또 한 가지 재미있는 현상은, 어느 누군가 일단 우위를 점하게 되면 그의 행동이나 주장이 옳은 것인지를 별로 신경 쓰지 않는다는 것이다. 결국, 임원진은 대부분의 상황에서 어렵쟎게 승리를 거두게 되고 다른 이들은 당연스레 이를 따르게 되는 것이다.

이 이론을 발머에게 적용해보자. 굳이 마이크로소프트를 예로 든 이유는 필자가 그들의 문제 해결에 온갖 노력을 기울였지만 그 결과는 비참할 정도로 성공적이지 못했기 때문이다. 또 솔직히 말해 논쟁 이론의 적용에 이들만한 사례가 없던 것 역시 어느 정도 사실이다.

발머는 천재 소프트웨어 개발자 빌 게이츠가 일궈낸 기업에 들어온 비즈니스맨이다. 마치 테니스 팀을 맡게 된 하키 코치에 비유할 수도 있겠다. 한시라도 빨리 상황 개선 노력을 벌이지 않는다면, 팀은 기존의 경쟁력마저 잃어버리게 될 것이다.

필자의 이론은 다음과 같다. 발머는 자신은 지식이 전혀 없는 한 분야의 최고 전문가들이 모인 기업의 수장 자리를 맡게 되었고 기업을 운영하는 과정에서 어떤 실수를 저지르게 되었다. 그리고 그 실수를 정상적인 과정으로 포장하기 위해 연구를 지시했던 것이다.

하지만 실질적으로는 그가 이런 행동을 하는 대신 애널리틱스 툴을 좀 더 발전적인 방향으로 활용하는 것이 마이크로소프트는 물론 스스로에게 보다 나은 결정이었을 것이다. 필자는 그가 지금이라도 생각을 다시 해보길 바란다. 아직 시간은 너무 늦지 않았다.

선분석 후 결정
IBM에서 활동할 당시 필자가 참여한 가장 안타까운 결정을 꼽으라면 ROLM 매각을 떠올리곤 한다. 당시 필자는 분석 팀에 속해 있었고, 제출한 보고서에는 이들 유닛을 매각하는 대신 운영 방향에 변화를 줘 볼 것을 제안하는 내용이 담겨져 있었다. 아직 ROLM이 여러 영역에서 상당한 가치를 제공할 것으로 판단됐기 때문이다.

또한 연구 결과는 ROLM을 지멘스(Siemens)에 매각하는 것이 이들 유닛을 완전히 망쳐버리는 결과를 가져올 것이라는 사실 역시 보여주고 있었다. 이 보고서에 귀를 기울였다면 IBM은 ROLM을 다른 기업에 판매하거나, 판매 시점을 늦춰야 했다.


그러나 안타깝게도 IBM은 인수 5년 만에 50%의 손실을 입으며 이들 업체를 지멘스에 넘기고 말았다. ROLM 측에도 역시 막대한 손실이 가해졌다. 분석 보고서는 이러한 내용들을 분명히 언급하고 있었지만, 비즈니스는 귀를 닫았고 결국 수십 억 달러를 공중에 날려버리게 되었다.


X