Offcanvas

BI / CIO / 빅데이터 | 애널리틱스 / 신기술|미래

기고 | 빅 데이터, 과거의 BI는 잊어라

2013.03.28 Bernard Golden  |  CIO

더 나은 정보 분석, 더 나은 성능, 하지만 비용은?
이런 류의 기계 학습은 전통적인 BI에겐 사형 선고와 다름 없다. BI 자체가 일련의 데이터에 반해 통찰력을 강화해 온 과정이기 때문이다. “날씨가 따듯해지면 크루즈 여행을 예약하는 사람들이 많아진다. 그러니 날씨와 크루즈 예약의 상관 관계에 대한 보고서를 작성하라.”

이런 접근 방식의 문제는 데이터간의 올바른 상호 관계에 대한 판단을 인간이 내린다는 것이다. 바로 이런 부분에서 문제가 복잡해진다. 한 사람의 판단(그리고 편견)에 의지해 관련 데이터를 찾아내는 것이다. 데이터 스스로에게 관련 데이터를 찾아내도록 하는 것이 훨씬 효과적임에도 불구하고 말이다.

그리고 바로 여기서 골치가 아파진다.

“데이터에게 다 알아서 하라고 하자”라고 말하는 순간 드는 생각은 더 많은 데이터를 모아야겠다는 것이다. 말하자면, 모바일 업체가 소비재 회사와 계약을 맺고 서비스 제공자를 바꾸는 고객에 대한 분석을 위해 다른 류의 제품을 사는 소비자들의 소비 습관에 관한 정보를 얻을 수도 있는 것이다.

어쨌거나 고객에게 있어서는 무선 인터넷 제공업체를 계속 이용할 이유를 주는 것과 마찬가지니 나쁠 것이 없다고 생각할 수도 있다. 그렇지만 필자는 재정과 신용이라는 부분에 대해 더 걱정이 된다. 이 두 분야야 말로 수년간 데이터 수집과 정확성의 ‘전장’이었기 때문이다.

간단히 무시하면 되는 허술한 모바일 제공 서비스와는 달리, 부정확한 신용 평가 보고서는 심각한 결과를 낳을 수 있다. 신용 기관들로 하여금 데이터 소스를 밝히고 부정확한 정보를 수정할 권한을 요구하기 위해 정치적인 움직임까지 있어왔다.

지난 주 본 새로운 유형의 빅 데이터 신용 분석 업체 ‘제스트 파이낸스(ZestFinance)’가 이런 생각을 들게 했다. 최근 기가옴(GigaOm) 컨퍼런스에서, 제스트 파이낸스는 자사가 “7만 여 개의 데이터 신호를 사용하며 10개의 기계 학습 알고리즘을 사용해 개인 융자를 평가하는 새로운 보험 회사’라고 설명했다. 실제로 이 회사는 잠재적 차용인이 웹사이트에 올라와 있는 공지사항을 읽었는지와 같은 전통적이지 않은 신호에 주목한다. 이를 통해 그 사람이 돈을 갚을 사람인지 판단하는 것이다.

모든 데이터 신호를 활용함으로써 회사 측에서는 기존 신용 조사서에서 낮은 평가를 받았지만 다른 데이터 요소를 살펴봤을 때 꽤 괜찮아 보이는 사람들을 찾아낼 수 있게 된다.

그건 좋은데, 만약 데이터 신호 분석 결과 당신이 채무 변제 불능의 위험이 있는 채무자라는 결론이 난다면 어떡할 것인가? 아니면 당신이 이웃들보다 0.5%포인트 가량 더 비싼 대출 이자를 내고 있었다는 사실을 알게 된다면? 대체 왜 이렇게 된 것이냐고 따지면, 아마도 회사 웹사이트에 올라온 공지 사항을 읽지 않았기 때문이라는 대답을 듣게 되거나, 아니면 아예 답을 듣지 못할 가능성이 더 크다. 당신이 연락한 사람이 잘 모르고 있거나, 아니면 알고리즘은 회사의 ‘기밀’에 해당하기 때문에 알려줄 수 없다고 할 것이기 대문이다.

테크놀로지 트렌드에 대해 불필요한 우려를 자아내는 사람이 되지 않으려 노력하는 편이지만, 빅 데이터 분야의 이런 측면은 분명 걱정거리가 아닐 수 없다. 데이터와 신용 분석은 언제나 폭발적이었으며 기계 학습과 빅 데이터는 더 하면 더 했지 덜 하진 않을 것이다. 특히 업계가 기계 학습으로의 전환 과정에 부여할 비밀성과 애매한 판단 기준 때문에 말이다.

그러니까, BI는 죽었다고 할 수 있다. 우리는 사람이 비효율적으로 데이터를 걸러 내는 방법을 버리고 기계 학습을 통해 연관된 패턴과 결과를 찾아 내는 새로운 방법으로 옮겨 가는 길목에 서 있다. 앞으로 수십 년 동안은 이런 변화로 인해 업계에 활기찬 변화가 있을 것이다.

*Bernard Golden는 클라우드 관리 소프트웨어 업체인 엔스트라투스 네트워크(enStratus Networks)의 엔터프라이즈 솔루션 담당 부사장이다.ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.