Offcanvas

������������

기고 | 엉터리 데이터 분석에 주의하라

한 잔의 와인이 체육관에서 한 시간 동안 운동하는 것만큼 건강에 좋다는 이야기가 있다. 임신한 여성에게 초콜릿 다이어트 유익하다는 연구 결과도 화제를 모았다. 자살, 교살, 질식이 미국의 과학, 우주, 기술에 대한 지출과 상관 관계가 높다는 결과가 나오기도 했다. 비즈니스/데이터 분석 부문에 종사하는 전문가들은 이런 괴상하지만 그리 틀리지 않은 연구들에 공통점이 있다는 사실을 잘 알고 있다. 변수들 사이의 상관 관계(correlations )를 나타내는 데이터와 인과성(causality)을 수립하는 데이터를 구분하지 못한다는 것이다. 이런 혼동으로 인해 임신한 여성이 허쉬(Hershey) 초코바를 한두 개 더 먹는다면 그리 심각한 결과로 이어지지 않을 것이다. 그러나 회사가 이런 혼동에 기반해 판단한다면 성과에 치명적일 수 있다. 데이터 분석을 연구하고 가르치는 교수로서 필자는 이런 문제를 반복적으로 목격하고 있다. 일부 비즈니스 사례를 소개한다. Image Credit : Getty Images Bank 쿠폰 남발 고객이 더 많은 제품을 구매하도록 유도하기 위해 우편, 이메일, 모바일 기기로 쿠폰을 전송하곤 한다. 보편적인 마케팅 방법이다. 이 기법의 마케팅 효과를 평가하기 위해 기업들은 보편적으로 단순한 통계 모델을 구성한다. 통계 부서에서 쿠폰을 사용한 고객과 그렇지 않은 고객의 구매 차이를 측정하도록 지시하는 식이다. 그러나 (실제 마케팅 전략에 대해 아는 것이 거의 없는 통계 전문가에게 맡긴) 이런 분석은 쿠폰이 충성 고객들에게 전송되는 경우가 많다는 사실을 고려하지 않은 경우가 많다. 즉 쿠폰이 없을 때 이들 충성 고객으로부터 얻었을 매출을 감안하지 않는 한 분석은 실제 ‘쿠폰 효과’를 과장하기 쉽다. 결국 데이터에 기반해 새로운 전략을 수립한 이 기업은 ‘쿠폰을 남발’하고 불필요한 손해를 입을 것이다. 가격 정책 왜곡 가격 정책은 상관 관계/인과 혼동(corre...

실수 통계 상관관계 데이터 분석 애널리틱스 인과관계

2016.11.11

한 잔의 와인이 체육관에서 한 시간 동안 운동하는 것만큼 건강에 좋다는 이야기가 있다. 임신한 여성에게 초콜릿 다이어트 유익하다는 연구 결과도 화제를 모았다. 자살, 교살, 질식이 미국의 과학, 우주, 기술에 대한 지출과 상관 관계가 높다는 결과가 나오기도 했다. 비즈니스/데이터 분석 부문에 종사하는 전문가들은 이런 괴상하지만 그리 틀리지 않은 연구들에 공통점이 있다는 사실을 잘 알고 있다. 변수들 사이의 상관 관계(correlations )를 나타내는 데이터와 인과성(causality)을 수립하는 데이터를 구분하지 못한다는 것이다. 이런 혼동으로 인해 임신한 여성이 허쉬(Hershey) 초코바를 한두 개 더 먹는다면 그리 심각한 결과로 이어지지 않을 것이다. 그러나 회사가 이런 혼동에 기반해 판단한다면 성과에 치명적일 수 있다. 데이터 분석을 연구하고 가르치는 교수로서 필자는 이런 문제를 반복적으로 목격하고 있다. 일부 비즈니스 사례를 소개한다. Image Credit : Getty Images Bank 쿠폰 남발 고객이 더 많은 제품을 구매하도록 유도하기 위해 우편, 이메일, 모바일 기기로 쿠폰을 전송하곤 한다. 보편적인 마케팅 방법이다. 이 기법의 마케팅 효과를 평가하기 위해 기업들은 보편적으로 단순한 통계 모델을 구성한다. 통계 부서에서 쿠폰을 사용한 고객과 그렇지 않은 고객의 구매 차이를 측정하도록 지시하는 식이다. 그러나 (실제 마케팅 전략에 대해 아는 것이 거의 없는 통계 전문가에게 맡긴) 이런 분석은 쿠폰이 충성 고객들에게 전송되는 경우가 많다는 사실을 고려하지 않은 경우가 많다. 즉 쿠폰이 없을 때 이들 충성 고객으로부터 얻었을 매출을 감안하지 않는 한 분석은 실제 ‘쿠폰 효과’를 과장하기 쉽다. 결국 데이터에 기반해 새로운 전략을 수립한 이 기업은 ‘쿠폰을 남발’하고 불필요한 손해를 입을 것이다. 가격 정책 왜곡 가격 정책은 상관 관계/인과 혼동(corre...

2016.11.11

마케터에게 예측 분석이 필요한 이유

마케터들에게 영업을 맡겨도 얼마 동안은 회사가 유지될 것이다. 하지만 마케터가 판매 예측을 학습하면, 회사에서 성공할 수 있을 것이다. 이미지 출처 : Lattice Engines 판매 예측은 본질적으로 예측 마케팅을 전제로 한 개념으로, 오늘날 기업에서 점점 더 관심을 갖는 분야기도 하다. 기업 전체에서 분석 트렌드를 활용하기 위해, 예측 마케팅은 마케팅 담당자가 가장 수익성이 높은 방향으로 역량을 집중시키도록 알고리즘과 기계학습을 빅데이터에 적용하고 있다. 예측 분석 툴은 특정 고객이 무엇을, 언제, 얼마나 많이 구매할 지를 마케팅 담당자가 사전에 측정할 수 있도록 해준다. 기업은 이 정보에 맞게 캠페인을 조정할 수 있다. 예측 마케팅 사례로는 아마존이 대표적이다. 아마존의 추천 엔진은 이 회사 매출의 약 30%를 차지하는 것으로 알려졌다. 이 같은 성공사례는 래티스엔진(Lattice Engines)같은 예측 분석 솔루션에 대한 투자자의 관심으로도 설명될 수 있다. 최근 래티스는 시리즈 D 펀딩(Series D funding)에서 미화 2,800만 달러를 유치해 현재까지 총 7,800만 달러의 자금을 확보했다고 발표했다. 이 회사의 소프트웨어는 현재 전세계 100개 이상의 기업에 도입됐으며 교차 판매 성공, 해지율 감소 등의 성과를 낳은 것으로 알려졌다. 시장조사기업인 TDWI 리서치에서 고급 분석을 담당하는 이사 펀 핼퍼는 “예측 분석으로 마케터는 고객의 생애주기 전체에서 도움을 받을 수 있다”라고 밝혔다. 이어서 핼퍼는 "예를 들어 예측 분석은 고객을 세분화하고, 고객의 행동에서 패턴을 찾아내 그들이 반응할 것 같은 프로모션을 제공하며, 고객이 무엇을 해지하거나 반품할 지를 예측하는데 도움을 준다”라고 설명했다. 비전문적인 현업 사용자도 쓰기 쉬운 툴로 바뀌면서 실제로 마케팅과 영업은 기업이 예측 분석을 도입할 때 시작하는 최상부 영역 가운데 있다고 그녀는 덧붙...

빅데이터 시리즈 D 펀딩 래티스엔진 인과관계 예측 분석 분석 마케터 상관관계 투자 아마존 추천 엔진

2015.06.15

마케터들에게 영업을 맡겨도 얼마 동안은 회사가 유지될 것이다. 하지만 마케터가 판매 예측을 학습하면, 회사에서 성공할 수 있을 것이다. 이미지 출처 : Lattice Engines 판매 예측은 본질적으로 예측 마케팅을 전제로 한 개념으로, 오늘날 기업에서 점점 더 관심을 갖는 분야기도 하다. 기업 전체에서 분석 트렌드를 활용하기 위해, 예측 마케팅은 마케팅 담당자가 가장 수익성이 높은 방향으로 역량을 집중시키도록 알고리즘과 기계학습을 빅데이터에 적용하고 있다. 예측 분석 툴은 특정 고객이 무엇을, 언제, 얼마나 많이 구매할 지를 마케팅 담당자가 사전에 측정할 수 있도록 해준다. 기업은 이 정보에 맞게 캠페인을 조정할 수 있다. 예측 마케팅 사례로는 아마존이 대표적이다. 아마존의 추천 엔진은 이 회사 매출의 약 30%를 차지하는 것으로 알려졌다. 이 같은 성공사례는 래티스엔진(Lattice Engines)같은 예측 분석 솔루션에 대한 투자자의 관심으로도 설명될 수 있다. 최근 래티스는 시리즈 D 펀딩(Series D funding)에서 미화 2,800만 달러를 유치해 현재까지 총 7,800만 달러의 자금을 확보했다고 발표했다. 이 회사의 소프트웨어는 현재 전세계 100개 이상의 기업에 도입됐으며 교차 판매 성공, 해지율 감소 등의 성과를 낳은 것으로 알려졌다. 시장조사기업인 TDWI 리서치에서 고급 분석을 담당하는 이사 펀 핼퍼는 “예측 분석으로 마케터는 고객의 생애주기 전체에서 도움을 받을 수 있다”라고 밝혔다. 이어서 핼퍼는 "예를 들어 예측 분석은 고객을 세분화하고, 고객의 행동에서 패턴을 찾아내 그들이 반응할 것 같은 프로모션을 제공하며, 고객이 무엇을 해지하거나 반품할 지를 예측하는데 도움을 준다”라고 설명했다. 비전문적인 현업 사용자도 쓰기 쉬운 툴로 바뀌면서 실제로 마케팅과 영업은 기업이 예측 분석을 도입할 때 시작하는 최상부 영역 가운데 있다고 그녀는 덧붙...

2015.06.15

'인재를 놓치다' 편견이 채용에 미치는 영향

기업은 눈에 띄는 차별을 없애고 다양성을 인정해 주는 업무 환경을 조성하며 성장했다. 그러나 이런 눈에 띄는 게 아닌 무의식 속의 편은 그것을 알거나 바꾸기가 더 어려우며, 특히 사람을 채용하거나 일상적인 업무를 수행하는데 나쁜 영향을 끼칠 수 있다. 이미지 출처 : Thinkstock 직장을 구하는데 키가 중요할까? 이 질문 자체가 우스갯소리처럼 들릴 수 있지만 이는 꽤 신빙성 있는 사실이다. 2004년 6월 미국 응용 심리학회지에 실린 티모시 A. 저지(Timothy A. Judge)와 다니엘 M. 캐이블(Daniel M. Cable)의 연구는 개인의 신장과 직업적 성공 수준 간의 상관관계를 설명하고 있다. 미국의 남성 가운데 신장이 6피트(약 182cm) 이상인 인구는 전체의 15% 수준이었다. 하지만 기업 CEO들의 신장을 조사해본 결과, 신장이 6피트를 넘기는 비율이 60%를 상회하고 있음을 연구진은 확인했다. 저지와 캐이블의 연구는 연령과 성별 조정을 거친 후 진행한 분석에서 개인의 신장이 1인치(약 2.5cm) 커질 때마다 평균 연봉이 미화 789달러 높다는 상관성을 확인하기도 했다. 컨설팅 기업 쿡 로스(Cook Ross)의 공동 설립자이자 현재는 최고 학습 책임자(CLO, Chief Learning Officer)로 재직 중인 하워드 로스는 다양성과 포용을 주제로 발간한 브리핑에서 “CEO를 키로 뽑는다는 것은 불공정의 차원을 넘어, 완전히 부조리한 상황이다. 이는 마치 어떤 직원이 뚱뚱하단 이유만으로 낮은 인사 평가를 받거나, 특정 인종이라는 이유로 뭔지도 모를 약을 처방 받는 것과 다를 바 없는 일이다. 혹은 옷차림에 따라 사람을 구별하고, 학교에서 남자 아이들에게 더 많은 발표 기회를 주는 것과도 전혀 다르지 않다. 그러나 사실 이런 부조리한 예시들은 모두 여전히 우리 생활 곳곳에서 벌어지고 있는 현실들이다. 우리 삶의 많은 결정은 아무런 의미도 지니지 못하는 시각적 정보들에 의해 비논...

CIO 신장 무의식 편견 다양성 상관관계 심리학 채용 응용 심리학회

2015.05.21

기업은 눈에 띄는 차별을 없애고 다양성을 인정해 주는 업무 환경을 조성하며 성장했다. 그러나 이런 눈에 띄는 게 아닌 무의식 속의 편은 그것을 알거나 바꾸기가 더 어려우며, 특히 사람을 채용하거나 일상적인 업무를 수행하는데 나쁜 영향을 끼칠 수 있다. 이미지 출처 : Thinkstock 직장을 구하는데 키가 중요할까? 이 질문 자체가 우스갯소리처럼 들릴 수 있지만 이는 꽤 신빙성 있는 사실이다. 2004년 6월 미국 응용 심리학회지에 실린 티모시 A. 저지(Timothy A. Judge)와 다니엘 M. 캐이블(Daniel M. Cable)의 연구는 개인의 신장과 직업적 성공 수준 간의 상관관계를 설명하고 있다. 미국의 남성 가운데 신장이 6피트(약 182cm) 이상인 인구는 전체의 15% 수준이었다. 하지만 기업 CEO들의 신장을 조사해본 결과, 신장이 6피트를 넘기는 비율이 60%를 상회하고 있음을 연구진은 확인했다. 저지와 캐이블의 연구는 연령과 성별 조정을 거친 후 진행한 분석에서 개인의 신장이 1인치(약 2.5cm) 커질 때마다 평균 연봉이 미화 789달러 높다는 상관성을 확인하기도 했다. 컨설팅 기업 쿡 로스(Cook Ross)의 공동 설립자이자 현재는 최고 학습 책임자(CLO, Chief Learning Officer)로 재직 중인 하워드 로스는 다양성과 포용을 주제로 발간한 브리핑에서 “CEO를 키로 뽑는다는 것은 불공정의 차원을 넘어, 완전히 부조리한 상황이다. 이는 마치 어떤 직원이 뚱뚱하단 이유만으로 낮은 인사 평가를 받거나, 특정 인종이라는 이유로 뭔지도 모를 약을 처방 받는 것과 다를 바 없는 일이다. 혹은 옷차림에 따라 사람을 구별하고, 학교에서 남자 아이들에게 더 많은 발표 기회를 주는 것과도 전혀 다르지 않다. 그러나 사실 이런 부조리한 예시들은 모두 여전히 우리 생활 곳곳에서 벌어지고 있는 현실들이다. 우리 삶의 많은 결정은 아무런 의미도 지니지 못하는 시각적 정보들에 의해 비논...

2015.05.21

빅데이터가 아닌 '와이드 데이터'에 집중해야 하는 이유

데이터 그 자체가 조직에 통찰력을 제공해 줄 수 있는 빅데이터는 될 수 없다. 진짜 통찰력은 서로 다른 데이터 세트를 가져와 상관관계를 분석할 때 얻을 수 있기 때문이다. 이미지 출처 : Thinkstock 빅데이터를 지향하는 현 시점에서 많은 기업들이 데이터 수집을 포켓몬 게임 다루듯이 닥치는 대로 쓸어 담고 있다. 하지만 다양한 플랫폼 마케팅 분석 전문기업 섬올(SumAll)의 CEO인 데인 앳킨슨은 대부분의 조직이 데이터에 대해 ‘크게’가 아니라 ‘넓게’ 생각해야 한다고 지적했다. "진정한 데이터의 힘은 다양한 데이터 세트를 가져와 상관관계를 분석할 때 발휘된다"고 앳킨슨은 말했다. 이질적인 데이터 세트를 연계시켜야만 세상이 깜짝 놀랄 만한 사실을 발견할 수 있다는 것이다. 이 아이디어를 표현하기 위해 앳킨슨은 바다와 조수를 예로 들었다. 바다에서 조수가 어떻게 움직이는지 이해하기 위해서는 바다와 달 사이의 상관관계를 이해해야 한다고 설명했다. "고립된 상태로는 원인을 찾을 수 없다"고 그가 말했다. 게다가 적절한 폭의 데이터(즉, 충분히 이질적인 데이터의 근원)을 갖추었다면 데이터의 양이 많지 않아도 효과적인 결과를 얻을 수 있다. 예를 들어, 공공의 이익을 위한 데이터 활용에 주력하는 비영리 조직인 SumAll.org를 통해 섬올은 뉴욕시와 비영리 조직 CAMBA가 무주택 상황을 해결하는 시범 프로젝트를 진행하고 있다. 살던 집에서 내몰린다고 해서 반드시 노숙을 하게 되는 것은 아니다. 하지만 퇴거 고지는 가족이 집을 잃게 되는 주요 원인 중 하나가 될 수 있다. 뉴욕에서 매년 약 20만 세대가 살던 집에서 쫓겨나고 있다. 빅데이터의 측면에서는 그리 대단한 수준의 기록은 아니다. 하지만 20만 세대 대부분이 퇴거 절차의 결과로써 무주택 상태에 놓일 위험이 있다는 점이 문제다. 섬올이 나서기 전 브룩클린(Booklyn)에서 노력을...

CIO 홈리스 노숙 퇴거 주택 비영리조직 와이드 데이터 스마트 데이터 다양성 NGO 통찰력 상관관계 CMO 빅데이터 도시 문제

2015.03.17

데이터 그 자체가 조직에 통찰력을 제공해 줄 수 있는 빅데이터는 될 수 없다. 진짜 통찰력은 서로 다른 데이터 세트를 가져와 상관관계를 분석할 때 얻을 수 있기 때문이다. 이미지 출처 : Thinkstock 빅데이터를 지향하는 현 시점에서 많은 기업들이 데이터 수집을 포켓몬 게임 다루듯이 닥치는 대로 쓸어 담고 있다. 하지만 다양한 플랫폼 마케팅 분석 전문기업 섬올(SumAll)의 CEO인 데인 앳킨슨은 대부분의 조직이 데이터에 대해 ‘크게’가 아니라 ‘넓게’ 생각해야 한다고 지적했다. "진정한 데이터의 힘은 다양한 데이터 세트를 가져와 상관관계를 분석할 때 발휘된다"고 앳킨슨은 말했다. 이질적인 데이터 세트를 연계시켜야만 세상이 깜짝 놀랄 만한 사실을 발견할 수 있다는 것이다. 이 아이디어를 표현하기 위해 앳킨슨은 바다와 조수를 예로 들었다. 바다에서 조수가 어떻게 움직이는지 이해하기 위해서는 바다와 달 사이의 상관관계를 이해해야 한다고 설명했다. "고립된 상태로는 원인을 찾을 수 없다"고 그가 말했다. 게다가 적절한 폭의 데이터(즉, 충분히 이질적인 데이터의 근원)을 갖추었다면 데이터의 양이 많지 않아도 효과적인 결과를 얻을 수 있다. 예를 들어, 공공의 이익을 위한 데이터 활용에 주력하는 비영리 조직인 SumAll.org를 통해 섬올은 뉴욕시와 비영리 조직 CAMBA가 무주택 상황을 해결하는 시범 프로젝트를 진행하고 있다. 살던 집에서 내몰린다고 해서 반드시 노숙을 하게 되는 것은 아니다. 하지만 퇴거 고지는 가족이 집을 잃게 되는 주요 원인 중 하나가 될 수 있다. 뉴욕에서 매년 약 20만 세대가 살던 집에서 쫓겨나고 있다. 빅데이터의 측면에서는 그리 대단한 수준의 기록은 아니다. 하지만 20만 세대 대부분이 퇴거 절차의 결과로써 무주택 상태에 놓일 위험이 있다는 점이 문제다. 섬올이 나서기 전 브룩클린(Booklyn)에서 노력을...

2015.03.17

"브로드밴드 속도 빠를수록 GDP 성장"

브로드밴드 속도가 2배 증가할 때 국내총생산(GDP)은 0.3% 증가한다.   이는 에릭슨과 아서 D. 리틀, 그리고 스웨덴의 샬머스 기술대학이 33개 OECD 국가들을 대상으로 브로드밴드 속도의 영향에 대해 공동 연구한 결과다. OECD 지역의 GDP가 0.3% 성장하는 것은 1,260억 달러에 이르며, 이 성장률은 지난 10년간 OECD 국가들 평균 연간 성장률의 1/7에 해당하는 수치다.   이 연구결과에 의하면 브로드밴드 속도가 추가로 2배 빨라지면, GDP 역시 0.3% 추가 성장하는 것으로 나타났다. 즉, 속도가 4배 증가하면 GDP가 0.6% 성장한다는 것이다.   브로드밴드의 존재 및 속도는 경제 성장을 이끄는 강력한 요인이다. 지난 해 에릭슨과 아서 D. 리틀은 브로드밴드 보급률이 10% 늘어날 때마다 GDP가 1% 성장한다는 결론을 도출했다.   이러한 성장은 직간접적, 그리고 유도된 효과에 기인한다. 직간접적인 효과는 단기 및 중기적인 경제 부양효과를 가져오며, 신규 서비스 및 사업의 창출을 포함하는 유도된 효과는 가장 지속 가능한 분야로서 앞서 언급된 GDP 성장 중 최대 30% 정도까지 차지한다.   에릭슨의 네트워크 사업부 총괄인 요한 위베리는 "브로드밴드는 사회 전반, 비즈니스 및 소비자에게 효율성을 창출하여 경제 성장을 촉발하는 힘을 가지고 있다"며, "이는 좀더 발전된 온라인 서비스, 스마트한 공공 서비스, 재택근무 및 원격회의 등과 같은 기회를 열어주며, 특히 의료 부문에서는 5억 명의 인구가 모바일 애플리케이션을 이용하게 될 것"이라고 덧붙였다. editor@itworld.co.kr

속도 브로드밴드 GDP 상관관계 에릭슨

2011.10.10

브로드밴드 속도가 2배 증가할 때 국내총생산(GDP)은 0.3% 증가한다.   이는 에릭슨과 아서 D. 리틀, 그리고 스웨덴의 샬머스 기술대학이 33개 OECD 국가들을 대상으로 브로드밴드 속도의 영향에 대해 공동 연구한 결과다. OECD 지역의 GDP가 0.3% 성장하는 것은 1,260억 달러에 이르며, 이 성장률은 지난 10년간 OECD 국가들 평균 연간 성장률의 1/7에 해당하는 수치다.   이 연구결과에 의하면 브로드밴드 속도가 추가로 2배 빨라지면, GDP 역시 0.3% 추가 성장하는 것으로 나타났다. 즉, 속도가 4배 증가하면 GDP가 0.6% 성장한다는 것이다.   브로드밴드의 존재 및 속도는 경제 성장을 이끄는 강력한 요인이다. 지난 해 에릭슨과 아서 D. 리틀은 브로드밴드 보급률이 10% 늘어날 때마다 GDP가 1% 성장한다는 결론을 도출했다.   이러한 성장은 직간접적, 그리고 유도된 효과에 기인한다. 직간접적인 효과는 단기 및 중기적인 경제 부양효과를 가져오며, 신규 서비스 및 사업의 창출을 포함하는 유도된 효과는 가장 지속 가능한 분야로서 앞서 언급된 GDP 성장 중 최대 30% 정도까지 차지한다.   에릭슨의 네트워크 사업부 총괄인 요한 위베리는 "브로드밴드는 사회 전반, 비즈니스 및 소비자에게 효율성을 창출하여 경제 성장을 촉발하는 힘을 가지고 있다"며, "이는 좀더 발전된 온라인 서비스, 스마트한 공공 서비스, 재택근무 및 원격회의 등과 같은 기회를 열어주며, 특히 의료 부문에서는 5억 명의 인구가 모바일 애플리케이션을 이용하게 될 것"이라고 덧붙였다. editor@itworld.co.kr

2011.10.10

IDG 설문조사

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.8