2016.03.15

칼럼 | 애널리틱스는 어떻게 오용되는가

Rob Enderle | CIO

이미지 출처 : St. Louis Circuit Attorney's Office

필자가 애널리틱스에 대해 가장 우려하는 것은 잘못 사용하는 경우가 많다는 점이다. 올바른 결정을 하기 위해서가 아니라 이미 내려진 잘못된 결정을 확인하기 위해 사용된다.

이런 현상은 옳은 일이 아니라 인기를 얻는 일을 좇는 경향이 두드러진 정치와 이슈 논쟁에서 나타난다. 예를 들어 지난 대통령 선거는 보는 것 자체가 고통이었다. 민주당과 공화당은 각자 애널리틱스를 활용했지만, 공화당의 프로세스는 너무 엉망이어서 승리를 잘못 예측하고 결국 패배했다.

최근에는 워싱턴 포스트가 기사로 다룬 콜롬비아 대학의 연구 보고서가 눈에 띈다. 지난 64년 동안 진행된 총기 관리에 관한 130건의 연구 결과를 보면 총기 환매 프로그램(불법 무기를 반납하면 일정 금액의 상품권으로 보상하는 것) 등의 노력이 비용 낭비일 뿐이며 정신적으로 문제가 있는 사람에게 총기를 판매하지 않는 것이 좋다는 것이 주요 내용이다.

어떤 연구조사든 가장 중요한 것은 사실을 인정하고자 하는 의지다. 만약 의사결정권자가 사실을 인정하고 싶지 않다면 이런 조사 노력은 물거품이 되고 그 책임자는 일자리를 잃을 위험에 처하기 때문이다. 하지만 아이러니하게도 보고서 위조에 능동적으로 참여하는 임원이 있는 기업에서 일할 때 '단순히' 시장 분석 결과를 위조한다 하더라도 결국 회사가 어려움을 겪게 되면서 자신도 해고당할 가능성이 커진다.

필자가 총기 관리를 소재로 다룬 것은 시사와 관련된 사안이면서 동시에 수정헌법 2조 또는 생명을 구하는 것과는 거의 상관이 없기 때문이다. 핵심은 한쪽이 다른 쪽을 통제하려 애널리틱스를 악용한다는 것이고, 그 결과 수치가 훼손되는 경우가 많다는 점이다. 이제 더 본격적으로 살펴보자.

사실을 인정하려는 의지가 있는가
총기 관리 측면에서 대표적 정책 중 하나가 총기 환매 프로그램을 시행한 후 길거리에서 얼마나 많은 총기가 사라졌는지 보여주는 것이다. 모두가 무엇인가 성과를 냈다는 좋은 느낌을 받는다. 하지만 콜롬비아 대학 연구는 이것이 총기 사망 사고에 크게 영향을 끼치지 않았다고 결론짓는다. 실제 변화를 유도할 수 있는 곳에 쓰일 돈이 낭비됐다는 지적이다.

수년 전, 직장에서 사용하는 소프트웨어를 집에 가져가서 직장을 다니는 한 합법적인 라이선스를 무료로 사용할 수 있도록 하는 프로그램을 없애고 있다는 대형 소프트웨어 업체와 회의를 한 적이 있다. 그들은 IT 부서에서 이를 요구했기 때문에 이런 결정을 내렸다고 설명했지만, 필자는 제정신이 아닌 것처럼 보였다.

업체는 고객에게 직원이 불법 복제품을 사용하면 고소를 당하게 된다고 경고했고, 고객은 고소를 당하고 싶지 않다고 말했다. 그러자 해당 업체는 고객이 집에서 일하는 프로그램을 원치 않는다고 생각했다. 그러나 고객의 진짜 의도는 '말 그대로' 고소를 당하고 싶지 않다는 것이었다. 결국, 논란 끝에 기존 프로그램을 그대로 두기로 했지만 업체는 고객 신뢰를 상당 부분 잃고 말았다.

총기 환매의 경우 돌려받는 금액이 멀쩡한 총기 가치의 일부에 불과하므로 총을 사용하거나 판매하려는 사람은 참여할 이유가 없다. 이 때문에 실제 문제에는 영향을 끼치지 않게 된다. 이 프로그램을 통해 거둬들인 총은 실제 사용되지 않아 전혀 위험하지 않은 것들뿐이었다. 하지만 이 프로그램으로 인해 상황이 개선됐다는 잘못된 인식을 심어주게 됐다.

분석을 무시하면 결국 실패한다
이 보고서를 읽으면서 한 가지는 확실한 것이 있었다. 미국에서 만들어진 총기 관리 법률 대부분은 자살률 외 다른 것에 거의 영향을 끼치지 못했다. 논란이 있긴 하지만 총기 관리 강화가 자살률에는 긍정적인 영향을 주는 것으로 나타났다. 반면 총기 구매 시 그 배경을 조사하고 교육을 받아야 하는 뉴질랜드의 제도는 전반적으로 상당한 효과를 냈다. 결국, 이 방식을 선택하거나 더 효과적인 곳에 돈을 써야 한다는 결론에 도달하게 된다.

많은 기업이 애널리틱스를 통해 고객이 필요로 하는 제품이 무엇인지 파악하려 한다. 성공을 위해서는 여러 요소가 필요하다. 예를 들어 아이팟(iPod) 경쟁제품을 출시한다면 아이튠스(iTunes) 사용자의 음악을 옮기는 기능 등이 필수적이다. 업체는 이것이 기본적인 요건임을 알고 있었고 기능도 다 개발했다. 그러나 정작 제품을 내놓을 때는 위험이 크다는 이유로 이 기능을 공개조차 하지 않았다. 그 제품은 크게 실패했다.

시장 분석을 제대로 하면 지금 해야 할 일을 알 수 있다. 일부 관리자는 이것이 자유재량인 양 치부하지만 실제로는 절대 그렇지 않다. 경주의 90%를 달리는 것과 우승하는 것은 큰 차이가 있다. 분석 결과를 무시하면 결국 실패하게 된다.

돈 한 푼 쓰지 않고 나올 결론이 반복되는 이유
콜롬비아 연구의 최종 결론을 보면 필자가 평소에 생각했던 것과 크게 다르지 않다. 이런 연구는 한쪽으로 치우치는 경향이 크기 때문에 결론을 신뢰하기 쉽지 않다. 특정 사안에 대해 양쪽 모두 이를 상대방을 꺾기 위한 근거로 활용하고, 그 과정에서 애초 목표였던 '인명 보호'는 완전히 길을 잃게 된다.

그래서 수백만 달러를 쏟아부어 연구한 후에 내린 결론이라는 것이 고작 "살인, 자살할 가능성이 큰 사람과 17세 미만의 청소년에게 총기 판매를 제한하면 총기로 인한 사망 사고를 줄일 수 있다"는 것이다. 분명 지구에는 돈 한 푼 쓰지 않고도 이와 같은 결론을 내놓을 수 있는 사람이 많을 것이다.

더 아이러니한 것도 있다. 지난 수년간 전미 총기협회(NRA)는 미국질병관리본부(CDC)의 총기 연구를 극렬히 반대했다. 대통령이 이를 교묘히 피해 지원했는데, 그렇게 나온 연구 결과 대부분은 NRA의 주장을 지지하는 것이었다. 콜롬비아 대학이 발견한 '일반적인' 사실과도 일치했다. 이런 결과에 대해 사람들은 총기 관리를 해선 안 된다고 생각할까? 필자는 오히려 CDC 연구가 잘못됐다고 생각할 것 같다. 안타까운 일이다.

분명 NRA는 멍청했을 뿐이다. 더 데일리(The Daily)의 최근 보도를 보면 CDC의 연구를 막았던 의원이 지금은 이 프로젝트를 지원하고 있다. 배경을 짐작할 수 있는 전개다. 애널리틱스의 목적은 기존의 판단을 지지하는 것이 아니다. 진실을 찾는 것이다. 그래야만 의미 있는 결정을 내릴 수 있다.

* Rob Enderle은 엔덜 그룹(Enderle Group)의 대표이자 수석 애널리스트다. 그는 포레스터리서치와 기가인포메이션그룹(Giga Information Group)의 선임 연구원이었으며 그전에는 IBM에서 내부 감사, 경쟁력 분석, 마케팅, 재무, 보안 등의 업무를 맡았다. 현재는 신기술, 보안, 리눅스 등에 대해 전문 기고가로도 활동하고 있다. ciokr@idg.co.kr



2016.03.15

칼럼 | 애널리틱스는 어떻게 오용되는가

Rob Enderle | CIO

이미지 출처 : St. Louis Circuit Attorney's Office

필자가 애널리틱스에 대해 가장 우려하는 것은 잘못 사용하는 경우가 많다는 점이다. 올바른 결정을 하기 위해서가 아니라 이미 내려진 잘못된 결정을 확인하기 위해 사용된다.

이런 현상은 옳은 일이 아니라 인기를 얻는 일을 좇는 경향이 두드러진 정치와 이슈 논쟁에서 나타난다. 예를 들어 지난 대통령 선거는 보는 것 자체가 고통이었다. 민주당과 공화당은 각자 애널리틱스를 활용했지만, 공화당의 프로세스는 너무 엉망이어서 승리를 잘못 예측하고 결국 패배했다.

최근에는 워싱턴 포스트가 기사로 다룬 콜롬비아 대학의 연구 보고서가 눈에 띈다. 지난 64년 동안 진행된 총기 관리에 관한 130건의 연구 결과를 보면 총기 환매 프로그램(불법 무기를 반납하면 일정 금액의 상품권으로 보상하는 것) 등의 노력이 비용 낭비일 뿐이며 정신적으로 문제가 있는 사람에게 총기를 판매하지 않는 것이 좋다는 것이 주요 내용이다.

어떤 연구조사든 가장 중요한 것은 사실을 인정하고자 하는 의지다. 만약 의사결정권자가 사실을 인정하고 싶지 않다면 이런 조사 노력은 물거품이 되고 그 책임자는 일자리를 잃을 위험에 처하기 때문이다. 하지만 아이러니하게도 보고서 위조에 능동적으로 참여하는 임원이 있는 기업에서 일할 때 '단순히' 시장 분석 결과를 위조한다 하더라도 결국 회사가 어려움을 겪게 되면서 자신도 해고당할 가능성이 커진다.

필자가 총기 관리를 소재로 다룬 것은 시사와 관련된 사안이면서 동시에 수정헌법 2조 또는 생명을 구하는 것과는 거의 상관이 없기 때문이다. 핵심은 한쪽이 다른 쪽을 통제하려 애널리틱스를 악용한다는 것이고, 그 결과 수치가 훼손되는 경우가 많다는 점이다. 이제 더 본격적으로 살펴보자.

사실을 인정하려는 의지가 있는가
총기 관리 측면에서 대표적 정책 중 하나가 총기 환매 프로그램을 시행한 후 길거리에서 얼마나 많은 총기가 사라졌는지 보여주는 것이다. 모두가 무엇인가 성과를 냈다는 좋은 느낌을 받는다. 하지만 콜롬비아 대학 연구는 이것이 총기 사망 사고에 크게 영향을 끼치지 않았다고 결론짓는다. 실제 변화를 유도할 수 있는 곳에 쓰일 돈이 낭비됐다는 지적이다.

수년 전, 직장에서 사용하는 소프트웨어를 집에 가져가서 직장을 다니는 한 합법적인 라이선스를 무료로 사용할 수 있도록 하는 프로그램을 없애고 있다는 대형 소프트웨어 업체와 회의를 한 적이 있다. 그들은 IT 부서에서 이를 요구했기 때문에 이런 결정을 내렸다고 설명했지만, 필자는 제정신이 아닌 것처럼 보였다.

업체는 고객에게 직원이 불법 복제품을 사용하면 고소를 당하게 된다고 경고했고, 고객은 고소를 당하고 싶지 않다고 말했다. 그러자 해당 업체는 고객이 집에서 일하는 프로그램을 원치 않는다고 생각했다. 그러나 고객의 진짜 의도는 '말 그대로' 고소를 당하고 싶지 않다는 것이었다. 결국, 논란 끝에 기존 프로그램을 그대로 두기로 했지만 업체는 고객 신뢰를 상당 부분 잃고 말았다.

총기 환매의 경우 돌려받는 금액이 멀쩡한 총기 가치의 일부에 불과하므로 총을 사용하거나 판매하려는 사람은 참여할 이유가 없다. 이 때문에 실제 문제에는 영향을 끼치지 않게 된다. 이 프로그램을 통해 거둬들인 총은 실제 사용되지 않아 전혀 위험하지 않은 것들뿐이었다. 하지만 이 프로그램으로 인해 상황이 개선됐다는 잘못된 인식을 심어주게 됐다.

분석을 무시하면 결국 실패한다
이 보고서를 읽으면서 한 가지는 확실한 것이 있었다. 미국에서 만들어진 총기 관리 법률 대부분은 자살률 외 다른 것에 거의 영향을 끼치지 못했다. 논란이 있긴 하지만 총기 관리 강화가 자살률에는 긍정적인 영향을 주는 것으로 나타났다. 반면 총기 구매 시 그 배경을 조사하고 교육을 받아야 하는 뉴질랜드의 제도는 전반적으로 상당한 효과를 냈다. 결국, 이 방식을 선택하거나 더 효과적인 곳에 돈을 써야 한다는 결론에 도달하게 된다.

많은 기업이 애널리틱스를 통해 고객이 필요로 하는 제품이 무엇인지 파악하려 한다. 성공을 위해서는 여러 요소가 필요하다. 예를 들어 아이팟(iPod) 경쟁제품을 출시한다면 아이튠스(iTunes) 사용자의 음악을 옮기는 기능 등이 필수적이다. 업체는 이것이 기본적인 요건임을 알고 있었고 기능도 다 개발했다. 그러나 정작 제품을 내놓을 때는 위험이 크다는 이유로 이 기능을 공개조차 하지 않았다. 그 제품은 크게 실패했다.

시장 분석을 제대로 하면 지금 해야 할 일을 알 수 있다. 일부 관리자는 이것이 자유재량인 양 치부하지만 실제로는 절대 그렇지 않다. 경주의 90%를 달리는 것과 우승하는 것은 큰 차이가 있다. 분석 결과를 무시하면 결국 실패하게 된다.

돈 한 푼 쓰지 않고 나올 결론이 반복되는 이유
콜롬비아 연구의 최종 결론을 보면 필자가 평소에 생각했던 것과 크게 다르지 않다. 이런 연구는 한쪽으로 치우치는 경향이 크기 때문에 결론을 신뢰하기 쉽지 않다. 특정 사안에 대해 양쪽 모두 이를 상대방을 꺾기 위한 근거로 활용하고, 그 과정에서 애초 목표였던 '인명 보호'는 완전히 길을 잃게 된다.

그래서 수백만 달러를 쏟아부어 연구한 후에 내린 결론이라는 것이 고작 "살인, 자살할 가능성이 큰 사람과 17세 미만의 청소년에게 총기 판매를 제한하면 총기로 인한 사망 사고를 줄일 수 있다"는 것이다. 분명 지구에는 돈 한 푼 쓰지 않고도 이와 같은 결론을 내놓을 수 있는 사람이 많을 것이다.

더 아이러니한 것도 있다. 지난 수년간 전미 총기협회(NRA)는 미국질병관리본부(CDC)의 총기 연구를 극렬히 반대했다. 대통령이 이를 교묘히 피해 지원했는데, 그렇게 나온 연구 결과 대부분은 NRA의 주장을 지지하는 것이었다. 콜롬비아 대학이 발견한 '일반적인' 사실과도 일치했다. 이런 결과에 대해 사람들은 총기 관리를 해선 안 된다고 생각할까? 필자는 오히려 CDC 연구가 잘못됐다고 생각할 것 같다. 안타까운 일이다.

분명 NRA는 멍청했을 뿐이다. 더 데일리(The Daily)의 최근 보도를 보면 CDC의 연구를 막았던 의원이 지금은 이 프로젝트를 지원하고 있다. 배경을 짐작할 수 있는 전개다. 애널리틱스의 목적은 기존의 판단을 지지하는 것이 아니다. 진실을 찾는 것이다. 그래야만 의미 있는 결정을 내릴 수 있다.

* Rob Enderle은 엔덜 그룹(Enderle Group)의 대표이자 수석 애널리스트다. 그는 포레스터리서치와 기가인포메이션그룹(Giga Information Group)의 선임 연구원이었으며 그전에는 IBM에서 내부 감사, 경쟁력 분석, 마케팅, 재무, 보안 등의 업무를 맡았다. 현재는 신기술, 보안, 리눅스 등에 대해 전문 기고가로도 활동하고 있다. ciokr@idg.co.kr

X