2018.07.12

막무가내 도전은 곤란··· 예측 애널리틱스 도입 원칙 7가지

John Edwards | CIO

예측 애널리틱스(Predictive analytics)는 강력한 도구다. 그러나 이 강력한 도구조차도 사용자가 해당 기술을 배치하거나 활용하는 과정에서 직면할 수 있는 문제를 ‘예측’하지는 못한다.



“내가 관찰한 가장 큰 문제는 애당초 문제가 있다는 것을 깨닫지 못하는 것이다.”

통계 기법과 예측 애널리틱스(Predictive Analytics)를 비즈니스 프로세스에 적용하는 데 있어 선구자 역할을 한 W. 에드워드 데밍는은 예측 애널리틱스와 관련해 위와 같은 조언을 강조하곤 한다. 

그에 따르면 예측 애널리틱스에서 큰 문제들이 계획과 초기 배포 단계에서는 잘 드러나지 않는다. 기술이 예상한 성과를 전달하지 못하면서 문제가 점차 대두되곤 한다. 애석하게도 이러한 문제 상당수는 미리 예방할 수 있었던 것들이다. 

엣지 장치 분석 소프트웨어 개발사인 SWIM.AI의 사이먼 크로스비 CTO에 따르면, 예측 애널리틱스 프로젝트에서는 특히 미흡한 계획과 비현실적인 기대 때문에 발생하는 문제와 도전과제가 많다.

“예측 애널리틱스는 저절로, 자동으로 복잡한 시스템에 사용하고, 이를 개선시키는 ‘마법 지팡이’가 아니다. 추구하는 인사이트의 종류를 정확히 인식하고, 재빨리 가설을 세우고 동적으로 데이터 스트림에 분석을 적용, 상관관계나 이례(이상이나 변칙)를 찾고 미래의 성과를 예측할 수 있는 도구들을 선택해야 한다”라고 그는 설명했다.

예측 애널리틱스 도입 시 자주 발생하는 도전과제를 피하거나 해결할 수 있도록 도움을 주는 7가지 조언을 정리했다.

1. 공식 전략을 수립해 이행한다
‘즉시 해치우는’(Winging it) 방식은 복잡한 엔터프라이즈 기술인 예측 애널리틱스에 효과적으로 접근하는 방법이 아니다. 위험 관리 컨설팅 회사인 CBIZ 리스크 앤 어드바이저리 서비스(CBIZ Risk and Advisory Services)의 스콧 무디 시니어 매니저는 “예측 애널리틱스 전략 수립의 첫 번째 단계는 성취할 목표와 목적을 결정하는 것”이라고 말했다.

‘매출을 증진시킬 수 있도록 예측 애널리틱스를 배포할까?’, 부정 행위나 위험 영역을 감지할 수 있도록 예측 애널리틱스를 배포할까?’ 등을 예로 들 수 있다.

그는 “목표와 목적을 기반으로 전략을 발전시켜야 훨씬 더 효과적으로 목표와 목적 달성에 필요한 부분에 노력을 집중할 수 있다”라고 말했다.

컬미네이트 스트래티지 그룹(Culminate Strategy Group)의 캐리 설리반 대표는 최초 ‘재고 조사’를 실시하라고 권장했다. 여러 사업 단위의 관련 데이터 소스를 모두 조사해 예측 애널리틱스에 대한 준비 상태를 판단하라는 의미이다. 그녀는 “인접 시스템과 프로세스 전반에 걸쳐 볼륨과 히스토리, 형식, 중복 등을 기록해야 한다”라고 설명했다.

또 핵심 비즈니스 영역에 예측 애널리틱스를 전개하기 전, 몇 차례 비공식적 테스트를 실시하는 것이 좋다는 조언이다. 실제 비즈니스 상황에서 기술이 어떤 방식으로 활용되는지 파악하기 위해서다. 마케팅이나 고객 서비스 같이 데이터가 풍부한 영역을 대상으로 테스트를 실시한다. 설리반은 “예측 애널리틱스가 할 수 있는 일에 대해 모두 동일한 기대를 갖도록 만드는 데 목적이 있다”라고 설명했다.

2. 데이터 품질을 확보한다
예측 애널리틱스에서 인사이트를 얻기 위해서는 신뢰할 수 있는 데이터가 필요하다. 부정확한 데이터는 거의 대부분의 경우에 잘못된, 또는 잘못 인도하는 결과를 가져온다. 무디는 “가장 먼저 할 일은 데이터가 시스템에 입력이 될 때 자동으로 입력을 통제 및 관리하는 것”이라고 강조했다.

조직이 데이터 품질을 통제 및 관리할 수 없는 경우가 있다. 외부 공급자로부터 데이터를 입수하는 경우를 예로 들 수 있다. 이 경우, 분석 프로세스의 첫 단계로 데이터 품질을 확인 및 검토해야 한다. 무디는 “데이터 품질 문제를 확인해 수정하지 않고 분석을 하게 될 경우 추후 품질 문제를 발견했을 때 다시 분석을 해야 되는 문제가 있다”라고 경고했다.

크로스비는 그러나 지금은 몇 년 전처럼 데이터 품질에 아주 까다로울 필요는 없다고 덧붙였다. 그는 “다행히 기술이 발전하면서 과거처럼 데이터를 ‘정리(클린)’하거나 완벽히 파악할 필요가 없어졌다. 학습 기술을 활용, 자동으로 ‘그레이 데이터'의 스키마를 추론할 수 있다”라고 말했다.

그에 따르면, 정말 중요한 것은 가능한 많은 로우(미가공) 데이터에 액세스 하는 것이다. 그는 “즉 시스템을 구현해 수 많은 데이터를 수집해야 한다”라고 강조했다.

3. 데이터 볼륨(양)을 관리한다
일반적으로 많은 데이터 풀에 접근하는 것이 좋다. 그러나 예측 애널리틱스 시스템에 지나치게 많은 데이터를 공급할 경우 필수 프로세스가 느려진다. 또 불필요하게 비밀 데이터가 유출 또는 노출될 위험이 높아진다.

무디는 “지나치게 많은 데이터에 엑세스 하게 될 경우 분석에 사용할 적합한 데이터 파악에 어려움을 겪을 수 있다. 적절한 수준에서 데이터 볼륨을 유지해야 예측 애널리틱스에 적합한 데이터를 사용할 수 있다”라고 말했다.

유용하게 활용될 수 있는 데이터세트, 확실히 무시할 수 있는 데이터세트를 정확히 이해해야 효율적이면서 효과적으로 볼륨을 관리할 수 있다. 이런 결정을 내릴 수 있는 역량을 갖고 있는 사람은 숙련된 데이터 사이언티스트이다. 무디는 “데이터 사이언티스트는 때때로 대부분의 사람들이 ‘노이즈’로 판단해 버리는 데이터에서 ‘가치’를 발견하곤 한다”라고 강조했다.

4. 데이터 프라이버시/소유권을 존중한다
정부의 감시 감독이 불과 몇달 전과 비교해도 훨씬 엄격해졌다. 이에 기업들은 데이터 프라이버시(개인 정보 보호) 및 오너십(소유권)과 관련, 과거보다 훨씬 큰 도전에 직면한 실정이다. 예측 애널리틱스 도입자들 또한 예외가 아니다. 분석에 필요한 데이터만 사용하고, 이런 파일에만 액세스를 하도록 제한해야 한다.

무디는 “데이터 프라이버시를 존중하는 또 다른 방법은 개인을 식별하는 필드를 가리는 방법이다. 데이터에서 신원 식별 부분을 없애 데이터 프라이버시에 대한 우려를 낮춰주는 도구들이 많다”라고 전했다.

2018.07.12

막무가내 도전은 곤란··· 예측 애널리틱스 도입 원칙 7가지

John Edwards | CIO

예측 애널리틱스(Predictive analytics)는 강력한 도구다. 그러나 이 강력한 도구조차도 사용자가 해당 기술을 배치하거나 활용하는 과정에서 직면할 수 있는 문제를 ‘예측’하지는 못한다.



“내가 관찰한 가장 큰 문제는 애당초 문제가 있다는 것을 깨닫지 못하는 것이다.”

통계 기법과 예측 애널리틱스(Predictive Analytics)를 비즈니스 프로세스에 적용하는 데 있어 선구자 역할을 한 W. 에드워드 데밍는은 예측 애널리틱스와 관련해 위와 같은 조언을 강조하곤 한다. 

그에 따르면 예측 애널리틱스에서 큰 문제들이 계획과 초기 배포 단계에서는 잘 드러나지 않는다. 기술이 예상한 성과를 전달하지 못하면서 문제가 점차 대두되곤 한다. 애석하게도 이러한 문제 상당수는 미리 예방할 수 있었던 것들이다. 

엣지 장치 분석 소프트웨어 개발사인 SWIM.AI의 사이먼 크로스비 CTO에 따르면, 예측 애널리틱스 프로젝트에서는 특히 미흡한 계획과 비현실적인 기대 때문에 발생하는 문제와 도전과제가 많다.

“예측 애널리틱스는 저절로, 자동으로 복잡한 시스템에 사용하고, 이를 개선시키는 ‘마법 지팡이’가 아니다. 추구하는 인사이트의 종류를 정확히 인식하고, 재빨리 가설을 세우고 동적으로 데이터 스트림에 분석을 적용, 상관관계나 이례(이상이나 변칙)를 찾고 미래의 성과를 예측할 수 있는 도구들을 선택해야 한다”라고 그는 설명했다.

예측 애널리틱스 도입 시 자주 발생하는 도전과제를 피하거나 해결할 수 있도록 도움을 주는 7가지 조언을 정리했다.

1. 공식 전략을 수립해 이행한다
‘즉시 해치우는’(Winging it) 방식은 복잡한 엔터프라이즈 기술인 예측 애널리틱스에 효과적으로 접근하는 방법이 아니다. 위험 관리 컨설팅 회사인 CBIZ 리스크 앤 어드바이저리 서비스(CBIZ Risk and Advisory Services)의 스콧 무디 시니어 매니저는 “예측 애널리틱스 전략 수립의 첫 번째 단계는 성취할 목표와 목적을 결정하는 것”이라고 말했다.

‘매출을 증진시킬 수 있도록 예측 애널리틱스를 배포할까?’, 부정 행위나 위험 영역을 감지할 수 있도록 예측 애널리틱스를 배포할까?’ 등을 예로 들 수 있다.

그는 “목표와 목적을 기반으로 전략을 발전시켜야 훨씬 더 효과적으로 목표와 목적 달성에 필요한 부분에 노력을 집중할 수 있다”라고 말했다.

컬미네이트 스트래티지 그룹(Culminate Strategy Group)의 캐리 설리반 대표는 최초 ‘재고 조사’를 실시하라고 권장했다. 여러 사업 단위의 관련 데이터 소스를 모두 조사해 예측 애널리틱스에 대한 준비 상태를 판단하라는 의미이다. 그녀는 “인접 시스템과 프로세스 전반에 걸쳐 볼륨과 히스토리, 형식, 중복 등을 기록해야 한다”라고 설명했다.

또 핵심 비즈니스 영역에 예측 애널리틱스를 전개하기 전, 몇 차례 비공식적 테스트를 실시하는 것이 좋다는 조언이다. 실제 비즈니스 상황에서 기술이 어떤 방식으로 활용되는지 파악하기 위해서다. 마케팅이나 고객 서비스 같이 데이터가 풍부한 영역을 대상으로 테스트를 실시한다. 설리반은 “예측 애널리틱스가 할 수 있는 일에 대해 모두 동일한 기대를 갖도록 만드는 데 목적이 있다”라고 설명했다.

2. 데이터 품질을 확보한다
예측 애널리틱스에서 인사이트를 얻기 위해서는 신뢰할 수 있는 데이터가 필요하다. 부정확한 데이터는 거의 대부분의 경우에 잘못된, 또는 잘못 인도하는 결과를 가져온다. 무디는 “가장 먼저 할 일은 데이터가 시스템에 입력이 될 때 자동으로 입력을 통제 및 관리하는 것”이라고 강조했다.

조직이 데이터 품질을 통제 및 관리할 수 없는 경우가 있다. 외부 공급자로부터 데이터를 입수하는 경우를 예로 들 수 있다. 이 경우, 분석 프로세스의 첫 단계로 데이터 품질을 확인 및 검토해야 한다. 무디는 “데이터 품질 문제를 확인해 수정하지 않고 분석을 하게 될 경우 추후 품질 문제를 발견했을 때 다시 분석을 해야 되는 문제가 있다”라고 경고했다.

크로스비는 그러나 지금은 몇 년 전처럼 데이터 품질에 아주 까다로울 필요는 없다고 덧붙였다. 그는 “다행히 기술이 발전하면서 과거처럼 데이터를 ‘정리(클린)’하거나 완벽히 파악할 필요가 없어졌다. 학습 기술을 활용, 자동으로 ‘그레이 데이터'의 스키마를 추론할 수 있다”라고 말했다.

그에 따르면, 정말 중요한 것은 가능한 많은 로우(미가공) 데이터에 액세스 하는 것이다. 그는 “즉 시스템을 구현해 수 많은 데이터를 수집해야 한다”라고 강조했다.

3. 데이터 볼륨(양)을 관리한다
일반적으로 많은 데이터 풀에 접근하는 것이 좋다. 그러나 예측 애널리틱스 시스템에 지나치게 많은 데이터를 공급할 경우 필수 프로세스가 느려진다. 또 불필요하게 비밀 데이터가 유출 또는 노출될 위험이 높아진다.

무디는 “지나치게 많은 데이터에 엑세스 하게 될 경우 분석에 사용할 적합한 데이터 파악에 어려움을 겪을 수 있다. 적절한 수준에서 데이터 볼륨을 유지해야 예측 애널리틱스에 적합한 데이터를 사용할 수 있다”라고 말했다.

유용하게 활용될 수 있는 데이터세트, 확실히 무시할 수 있는 데이터세트를 정확히 이해해야 효율적이면서 효과적으로 볼륨을 관리할 수 있다. 이런 결정을 내릴 수 있는 역량을 갖고 있는 사람은 숙련된 데이터 사이언티스트이다. 무디는 “데이터 사이언티스트는 때때로 대부분의 사람들이 ‘노이즈’로 판단해 버리는 데이터에서 ‘가치’를 발견하곤 한다”라고 강조했다.

4. 데이터 프라이버시/소유권을 존중한다
정부의 감시 감독이 불과 몇달 전과 비교해도 훨씬 엄격해졌다. 이에 기업들은 데이터 프라이버시(개인 정보 보호) 및 오너십(소유권)과 관련, 과거보다 훨씬 큰 도전에 직면한 실정이다. 예측 애널리틱스 도입자들 또한 예외가 아니다. 분석에 필요한 데이터만 사용하고, 이런 파일에만 액세스를 하도록 제한해야 한다.

무디는 “데이터 프라이버시를 존중하는 또 다른 방법은 개인을 식별하는 필드를 가리는 방법이다. 데이터에서 신원 식별 부분을 없애 데이터 프라이버시에 대한 우려를 낮춰주는 도구들이 많다”라고 전했다.

X