2013.08.06

예측 애널리틱스 프로젝트가 실패하는 12가지 시나리오 ②

Robert L. Mitchell | Computerworld

예측 애널리틱스(predictive analytics)에 대해 잘 모르거나, 이미 관련 프로젝트를 진행해 경험해 보았을 수도 있겠다. 어떤 입장에 있건 예측 애널리틱스라는 단어에는 관심이 갈 것이다. 그러나 애석하게도 예측 애널리틱스와 관련한 프로젝트 곳곳에는 함정이 도사리고 있다.

데이터마이닝 전문기업인 엘더 리서치(Elder Research)의 CEO인 존 엘더는 “분석 프로젝트의 대다수는 실수로 가득하다”라고 말했다.

물론 대부분은 치명적인 실수가 아니고 거의 모든 사례에는 개선의 여지가 있다. 그럼에도 많은 프로젝트들이 실패로 끝나곤 한다. 이는 기업이 많은 시간과 비용을 투자했음에도 결과값이 없다는 것을 의미한다.

또 설령 유용한 모델을 개발했다 하더라도 기업 내에서 많은 난관에 봉착하게 된다. 엘더는 자사 프로젝트의 경우 기술적으로는 90%의 성공률을 보였으나, 그 중 65%만이 고객사에 적용되었다고 말했다.

컴퓨터월드는 엘더 리서치(Elder Research), 애봇 애널리틱스(Abbott Analytics), 프리딕션 임팩트(Prediction Impact) 등 3곳의 컨설팅 회사의 전문가들을 대상으로, 최악의 실수에 대해 설문을 진행했다. 이들의 답변을 토대로 다음 리스트를 정리했다. 반드시 실패로 이어지는 12가지 방법들이다.

-> 예측 애널리틱스 프로젝트가 실패하는 12가지 시나리오 ①

7. 대규모 프로젝트부터 시작하기
한 대규모 제약회사는 규모가 커서 반드시 성공할 것이라 예상한 계획이 있었다. 이 회사의 추진 팀은 내부 예측 애널리틱스 서비스를 구축하기 시작하면서, ‘헬스케어 산업 전체를 혁신적으로 바꾸어 놓을’ 무언가를 하기로 결정했다. 딜은 고객사와의 미팅에서 회사관계자들이 이를 공개적으로 언급했던 때를 또렷이 기억한다고 말했다.

그는 하지만 프로젝트의 목표가 너무나 거대해서 이를 성사시키기 위해서는 상당한 투자를 필요로 했다며, “결과값이 바로 나오지 않으면 동일한 투자수준을 지속시켜 나가기 어렵다”라고 말했다.

결과적으로 프로젝트는 과욕으로 인해 중단되었다. 즉 의욕만으로 무모하게 일을 추진해 나가서는 안 된다. 특히 이전에 비슷한 프로젝트를 시행해 본 적이 없는 경우에는 더욱 그렇다. 딜은 “크지 않고 달성 가능한 현실적인 목표를 설정하고, 이를 성취하고 난 후 더 목표를 확대시켜 나가는 것이 필요하다”라고 조언했다..

8. 예측 애널리틱스 모델 개발에 있어 전문가의 조언을 간과하기
예측 애널리틱스를 모델을 만드는 것이 단순히 데이터를 집어넣고 기계를 돌리면 자동적으로 결과가 나오게 되는 것이라 잘못 생각하는 사람들이 있다. 하지만 데이터를 수집하는 데이터 마이닝 전문가들은 그러한 과정이 올바르지 않은 결과값을 도출하게 될 뿐이라고 지적했다.

대표적인 사례로 애봇 애널리틱스의 컨설팅을 받았던 한 컴퓨터 수리업체가 있다. 이 회사는 콜센터에서 고장사례 접수 시 기록된 텍스트를 토대로 했을 때, 기술자들이 출장 서비스 시 어떤 부품을 가지고 가야 하는지에 대해 예측하기를 원했다.

애봇은 “언어의 모호한 특성으로 인해 텍스트를 기반으로 예측 애널리틱스 모델링에 유용한 키 콘셉트를 이끌어 내기 어려웠다”라고 회고했다. 하지만 이 기업은 부품 요청사항과 관련하여 90%이상의 정확도를 원했고, 고장접수 텍스트상의 특정 키워드를 바탕으로 예측하는 초기단계의 예측 애널리틱스 모델을 만들었다.

애봇은 “우리는 각 키워드마다 변수를 할당해 변수마다 1이나 0의 값을 입력했다. 그리고 이를 특정 문제가 발생할 때 고객의 문의전화를 통해 기록한 텍스트에서 해당 키워드가 나올 경우 적용했다. 그러나 이는 완전한 실패였다”라고 말했다.

이후 애봇은 더 많은 데이터를 분석했다. 그는 “중요한 것은 현재 보유하고 있는 데이터를 통합해나가는 과정을 통해 각 속성(attribute)이 좀 더 많은 정보를 담게 하는 것이다”라고 말했다. 그의 그의 팀은 성공적인 접근방법을 내놓았다.

애봇은 “산재된 여러 변수들을 존속시키는 대신, 변수를 10가지 이상의 정보가 많은 변수로 축적했고, 각 변수를 이전에 필요로 했던 부품 내역과 연결 지었다”라고 설명했다. 또한, 수리 이력에 있어 나타난 특정 키워드의 발현을 매칭시켜 특정 부품을 필요로 하게 되는 시점의 비율을 확인하고자 했다.

그는 “데이터를 다시 검토해 데이터 전문가들이 원하는 방향으로 정렬시켜 놓았다. 단순히 알고리즘에 의존해 데이터를 정렬하지 않았다. 알고리즘은 단순히 패턴을 파악하는 부분에 있어서만 유용하기 때문에 우리는 이러한 방법을 사용했다”라고 말했다..

9. 데이터 보유 기업가 자발적으로 협력할 것이라고 기대하기
대다수의 대규모 예측 애널리틱스 프로젝트가 실패로 돌아가는 이유는 고객사들이 이를 진행하기 전에 사내의 이해관계를 전부 고려해 프로젝트가 진행되기에 순탄한 환경을 만들어 놓지 않기 때문이다. 가장 큰 장애물 중 하나는 데이터를 보유하고 통제하는 사람들이거나, 기업 내 이해관계자들이 이 데이터를 어떻게 이용하는지에 대해 통제하는 사람들이다. 엘더리서치의 고객사인 한 소액대출업체는 내부적 분열로 인해 프로젝트에 착수할 수 없었다.

딜은 “IT담당자들로 인해 문제에 빠졌다. 상부로부터 프로젝트를 진행하라는 허가를 받지 못한 것이다”라고 회고하며, 프로젝트에 핵심적인 모든 주요 담당자들은 첫 미팅이 시작하기 전에 프로젝트에 전념했어야 한다고 강조했다.

한 대부업체의 사례가 있다. 이 회사는 대출금 회수율을 높이기 위해 원대한 계획을 가지고 있었다. 애봇은 이 회사의 프로젝트 착수 회의에 참여했다. 그는 “IT 관계자들이 데이터의 통제권을 가지고 있었으며 데이터마이닝 회사의 전문가들과 기업 고위층에 어떠한 통제권도 넘겨주지 않으려 했다”라고 전했다.

이 기업은 예측 애널리틱스 모델 개발에 수천만 달러를 투여했다. 하지만 경영진은 이에 대해 3년간 유보적인 태도를 취했다. 이는 사실상 프로젝트를 취소시키겠다는 결정을 간접적으로 표현한 것이었다. 딜은 “이 기업에서는 예측 애널리틱스 모델을 실행에 옮겨 모델을 통해 예측되는 결과를 토대로 통계치를 수집했으나, 기업의 의사결정의 변화에 영향을 주지 못했다. 완전히 시간 낭비로 볼 수 있다”라고 말했다.

그는 이어 “예측 애널리틱스 모델이 개발되기는 했다. 하지만 회사 내부의 이해관계자들의 합의를 얻어내지 못했기 때문에 적용될 수 없었다”라고 설명했다. 즉 예측 애널리틱스 모델을 성공적으로 적용시키기 위해서는 기업 전반의 합의를 도출하고 경영진의 전폭적인 지지를 얻어내는 것이 필수적이다.




2013.08.06

예측 애널리틱스 프로젝트가 실패하는 12가지 시나리오 ②

Robert L. Mitchell | Computerworld

예측 애널리틱스(predictive analytics)에 대해 잘 모르거나, 이미 관련 프로젝트를 진행해 경험해 보았을 수도 있겠다. 어떤 입장에 있건 예측 애널리틱스라는 단어에는 관심이 갈 것이다. 그러나 애석하게도 예측 애널리틱스와 관련한 프로젝트 곳곳에는 함정이 도사리고 있다.

데이터마이닝 전문기업인 엘더 리서치(Elder Research)의 CEO인 존 엘더는 “분석 프로젝트의 대다수는 실수로 가득하다”라고 말했다.

물론 대부분은 치명적인 실수가 아니고 거의 모든 사례에는 개선의 여지가 있다. 그럼에도 많은 프로젝트들이 실패로 끝나곤 한다. 이는 기업이 많은 시간과 비용을 투자했음에도 결과값이 없다는 것을 의미한다.

또 설령 유용한 모델을 개발했다 하더라도 기업 내에서 많은 난관에 봉착하게 된다. 엘더는 자사 프로젝트의 경우 기술적으로는 90%의 성공률을 보였으나, 그 중 65%만이 고객사에 적용되었다고 말했다.

컴퓨터월드는 엘더 리서치(Elder Research), 애봇 애널리틱스(Abbott Analytics), 프리딕션 임팩트(Prediction Impact) 등 3곳의 컨설팅 회사의 전문가들을 대상으로, 최악의 실수에 대해 설문을 진행했다. 이들의 답변을 토대로 다음 리스트를 정리했다. 반드시 실패로 이어지는 12가지 방법들이다.

-> 예측 애널리틱스 프로젝트가 실패하는 12가지 시나리오 ①

7. 대규모 프로젝트부터 시작하기
한 대규모 제약회사는 규모가 커서 반드시 성공할 것이라 예상한 계획이 있었다. 이 회사의 추진 팀은 내부 예측 애널리틱스 서비스를 구축하기 시작하면서, ‘헬스케어 산업 전체를 혁신적으로 바꾸어 놓을’ 무언가를 하기로 결정했다. 딜은 고객사와의 미팅에서 회사관계자들이 이를 공개적으로 언급했던 때를 또렷이 기억한다고 말했다.

그는 하지만 프로젝트의 목표가 너무나 거대해서 이를 성사시키기 위해서는 상당한 투자를 필요로 했다며, “결과값이 바로 나오지 않으면 동일한 투자수준을 지속시켜 나가기 어렵다”라고 말했다.

결과적으로 프로젝트는 과욕으로 인해 중단되었다. 즉 의욕만으로 무모하게 일을 추진해 나가서는 안 된다. 특히 이전에 비슷한 프로젝트를 시행해 본 적이 없는 경우에는 더욱 그렇다. 딜은 “크지 않고 달성 가능한 현실적인 목표를 설정하고, 이를 성취하고 난 후 더 목표를 확대시켜 나가는 것이 필요하다”라고 조언했다..

8. 예측 애널리틱스 모델 개발에 있어 전문가의 조언을 간과하기
예측 애널리틱스를 모델을 만드는 것이 단순히 데이터를 집어넣고 기계를 돌리면 자동적으로 결과가 나오게 되는 것이라 잘못 생각하는 사람들이 있다. 하지만 데이터를 수집하는 데이터 마이닝 전문가들은 그러한 과정이 올바르지 않은 결과값을 도출하게 될 뿐이라고 지적했다.

대표적인 사례로 애봇 애널리틱스의 컨설팅을 받았던 한 컴퓨터 수리업체가 있다. 이 회사는 콜센터에서 고장사례 접수 시 기록된 텍스트를 토대로 했을 때, 기술자들이 출장 서비스 시 어떤 부품을 가지고 가야 하는지에 대해 예측하기를 원했다.

애봇은 “언어의 모호한 특성으로 인해 텍스트를 기반으로 예측 애널리틱스 모델링에 유용한 키 콘셉트를 이끌어 내기 어려웠다”라고 회고했다. 하지만 이 기업은 부품 요청사항과 관련하여 90%이상의 정확도를 원했고, 고장접수 텍스트상의 특정 키워드를 바탕으로 예측하는 초기단계의 예측 애널리틱스 모델을 만들었다.

애봇은 “우리는 각 키워드마다 변수를 할당해 변수마다 1이나 0의 값을 입력했다. 그리고 이를 특정 문제가 발생할 때 고객의 문의전화를 통해 기록한 텍스트에서 해당 키워드가 나올 경우 적용했다. 그러나 이는 완전한 실패였다”라고 말했다.

이후 애봇은 더 많은 데이터를 분석했다. 그는 “중요한 것은 현재 보유하고 있는 데이터를 통합해나가는 과정을 통해 각 속성(attribute)이 좀 더 많은 정보를 담게 하는 것이다”라고 말했다. 그의 그의 팀은 성공적인 접근방법을 내놓았다.

애봇은 “산재된 여러 변수들을 존속시키는 대신, 변수를 10가지 이상의 정보가 많은 변수로 축적했고, 각 변수를 이전에 필요로 했던 부품 내역과 연결 지었다”라고 설명했다. 또한, 수리 이력에 있어 나타난 특정 키워드의 발현을 매칭시켜 특정 부품을 필요로 하게 되는 시점의 비율을 확인하고자 했다.

그는 “데이터를 다시 검토해 데이터 전문가들이 원하는 방향으로 정렬시켜 놓았다. 단순히 알고리즘에 의존해 데이터를 정렬하지 않았다. 알고리즘은 단순히 패턴을 파악하는 부분에 있어서만 유용하기 때문에 우리는 이러한 방법을 사용했다”라고 말했다..

9. 데이터 보유 기업가 자발적으로 협력할 것이라고 기대하기
대다수의 대규모 예측 애널리틱스 프로젝트가 실패로 돌아가는 이유는 고객사들이 이를 진행하기 전에 사내의 이해관계를 전부 고려해 프로젝트가 진행되기에 순탄한 환경을 만들어 놓지 않기 때문이다. 가장 큰 장애물 중 하나는 데이터를 보유하고 통제하는 사람들이거나, 기업 내 이해관계자들이 이 데이터를 어떻게 이용하는지에 대해 통제하는 사람들이다. 엘더리서치의 고객사인 한 소액대출업체는 내부적 분열로 인해 프로젝트에 착수할 수 없었다.

딜은 “IT담당자들로 인해 문제에 빠졌다. 상부로부터 프로젝트를 진행하라는 허가를 받지 못한 것이다”라고 회고하며, 프로젝트에 핵심적인 모든 주요 담당자들은 첫 미팅이 시작하기 전에 프로젝트에 전념했어야 한다고 강조했다.

한 대부업체의 사례가 있다. 이 회사는 대출금 회수율을 높이기 위해 원대한 계획을 가지고 있었다. 애봇은 이 회사의 프로젝트 착수 회의에 참여했다. 그는 “IT 관계자들이 데이터의 통제권을 가지고 있었으며 데이터마이닝 회사의 전문가들과 기업 고위층에 어떠한 통제권도 넘겨주지 않으려 했다”라고 전했다.

이 기업은 예측 애널리틱스 모델 개발에 수천만 달러를 투여했다. 하지만 경영진은 이에 대해 3년간 유보적인 태도를 취했다. 이는 사실상 프로젝트를 취소시키겠다는 결정을 간접적으로 표현한 것이었다. 딜은 “이 기업에서는 예측 애널리틱스 모델을 실행에 옮겨 모델을 통해 예측되는 결과를 토대로 통계치를 수집했으나, 기업의 의사결정의 변화에 영향을 주지 못했다. 완전히 시간 낭비로 볼 수 있다”라고 말했다.

그는 이어 “예측 애널리틱스 모델이 개발되기는 했다. 하지만 회사 내부의 이해관계자들의 합의를 얻어내지 못했기 때문에 적용될 수 없었다”라고 설명했다. 즉 예측 애널리틱스 모델을 성공적으로 적용시키기 위해서는 기업 전반의 합의를 도출하고 경영진의 전폭적인 지지를 얻어내는 것이 필수적이다.


X