AI / CIO / 머신러닝|딥러닝 / 빅데이터 | 애널리틱스
미스터 쿠퍼(Mr. Cooper)는 18개월 전 고객 서비스 에이전트(담당자)들을 대상으로 고객들의 문제에 대한 해결책을 제안하는 지능형 추천 시스템을 출시했다. 과거 네이션스타(Nationstar)로 불렸던 이 회사는 고객이 380만 명에 달하는 미국 최대의 비은행권 모기지(주택 담보 대출) 서비스 제공하며, 이 프로젝트를 통해 큰 비용을 절약하리라 기대했다. 그러나 이 회사의 CIO 스리다르 샤르마는 9개월 뒤에 에이전트들이 시스템을 사용하지 않는 것을 알았다고 말했다. 이후 사용하지 않는 이유를 파악하는 데 6개월이 걸렸다.
시스템은 관련이 없는 추천을 했다. 그러나 문제의 원인이 머신러닝 알고리즘은 아니었다. 고객이 자신의 문제를 직접 설명한 데이터가 아닌, 고객 문제를 기술적으로 기술한 데이터를 트레이닝 데이터로 사용한 것이 문제였다.
“우리는 고객이 요청하는 문제의 원인을 고객이 사용하는 ‘용어’로 캡처하는 데 실패했다. 내부에서 사용하는 기술 용어로 코딩을 한 것이다”라고 그는 말했다.
고객 서비스 에이전트가 통화 결과를 기록한 시스템 피드백 메커니즘에도 카테고리가 중복되는 문제가 있었고, 이로 인해 문제가 악화되었다. 그러나 샤르마는 이로 인해 회사에 초래된 비용은 공개하지 않았다.
미스터 쿠퍼 같은 AI 프로젝트 실패가 드문 일은 아니다. 최근 IDC의 한 조사 결과에 따르면, 약 30%의 회사만 AI 프로젝트의 성공률이 90%라고 대답했다. 실패 비율이 10~49%인 회사의 비율이 절반을 훨씬 넘었다. AI 프로젝트가 절반 이상 실패했다고 대답한 비율도 3%였다.
인력 부족, 이 기술에 대한 비현실적인 기대를 중요한 도전과제로 꼽은 응답자 비율이 1/3을 넘었다. 23%는 필요한 데이터가 없어 AI 프로젝트가 실패했다고 대답했다.
샤르마는 “실패의 징후가 처음 보일 때 프로젝트를 중단하는 경향이 있다. 그러나 이렇게 하면 곤경에 빠진다”라고 밝혔다.
미스터 쿠퍼는 내년에 CRM 시스템을 대대적으로 혁신하는 프로젝트의 일환으로 다시 고객 서비스 프로젝트를 추진할 계획이다. 또 계속해서 AI에 전념하고 있다. 가장 최근에는 비정형 데이터 분석이 필요한 ML 프로젝트를 추진했다. 이는 비즈니스에 긍정적인 혜택을 가져왔고, 미래에 활용할 더 나은 언어 트레이닝 데이터를 구현하도록 도움을 주고 있다.
그는 “힘들게 얻은 교훈이자 학습이다. 일이 잘 되지 않을 때에도 계속 궤도가 유지되도록 CEO와 CFO를 한 배에 태워야 한다”라고 설명했다.
데이터 부족
데이터 문제는 AI 프로젝트가 기대에 부합하지 못하도록 만드는 가장 큰 이유 중 하나이다. 맥킨지가 지난해가을 발표한 보고서에 따르면, AI 기술 애플리케이션에 제약을 주는 가장 큰 도전 과제 중 2개가 데이터와 관련이 있다.
첫째, 미스터 쿠퍼처럼 많은 기업들이 머신러닝 알고리즘을 트레이닝할 때 활용할 수 있는 적절히 분류된 데이터를 확보하는 데 어려움을 겪고 있다. 데이터가 적절히 분류되어 있지 않다면, 사람이 시간을 투자해 데이터를 분류해야 한다. 그리고 이로 인해 프로젝트가 지연되거나, 실패할 수 있다. 데이터와 관련된 두 번째 문제는 프로젝트에 적절한 데이터가 없는 것이다.
PwC(프라이스워터하우스쿠퍼스)의 파트너 겸 글로벌 AI 리더인 아난드 라오는 “적절한 데이터가 없는 경우가 많다. 적절하지 않고, 분류되지 않은 데이터 때문에 모델을 구축하지 못해 애를 태우곤 한다. 이런 문제로 실패를 겪는 기업들이 많다”라고 설명했다.
NAS(National Audubon Society)는 야생 조류 보호에 인공지능을 활용하고 있다. 예를 들어, 지난 7월에는 기후 변화가 목초지에 서식하는 38종의 조류에 어떤 영향을 미치는지 AI를 이용해 분석한 후, 그 결과를 발표했다.
NAS의 보존 과학 부문 부회장인 채드 윌시는 “기후 변화 속도를 늦추는 노력을 기울이지 않을 경우, 목초지에 서식하는 조류 가운데 42%의 취약성이 아주 많이 높아질 것이다. 그러나 여기에 대해 조처를 할 수 있다면, 취약성을 8% 수준으로 줄일 수 있다”고 강조했다.
NAS의 모든 AI 프로젝트가 성공한 것은 아니다. 지난여름, NAS는 해변에 서식하는 갈색펠리컨과 검은 집게 제비갈매기의 개체 수를 파악하기 위해 머신러닝을 활용하고자 시도했다. 이 파일럿 프로젝트는 자원봉사자들이 텍사스 해안 섬들로 드론을 비행해 수집한 이미지 세트에 토대를 두고 있었다.
윌시는 “이 지역을 통과하는 허리케인이 조류 개체군에 어떤 영향을 줬는지 파악하고 싶었다”라고 말했다.
갈색펠리컨의 경우, 시스템이 필요 사항에 부합할 정도로 정확성을 갖게 만드는 데 2,000개의 분류된 이미지가 필요했다. 그러나 검은 집게 제비갈매기의 이미지가 충분하지 않았다. 그는 “다른 컴퓨터 비전 애플리케이션의 경우, 인터넷에서 구할 수 있는 이미지들을 사용할 수 있을지 모른다. 그러나 우리의 경우, 아주 특정적인 조류 이미지가 필요했다”라고 설명했다.
예를 들어 설명하면, 대부분의 조류 사진들은 드론이 비행하면서 아래를 향해 촬영한 사진이 아닌, 사람이 지상에서 촬영한 사진들이다. 또 파일럿 연구였기 때문에 NAS는 다시 더 많은 사진을 촬영할 리소스를 갖고 있지 않았다.