2019.08.09

'바보야, 문제는 데이터야!' AI가 프로젝트가 폭망한 6가지 이유

Maria Korolov | CIO
AI 프로젝트가 기대에 미치지 못하는 주된 이유 중 하나는 데이터에 있다. 그러나 실수를 통해 배우고 장기적으로 노력할 수 있다면 AI 프로젝트가 더 나은 결과를 가져올 것이다.
 
ⓒGetty Images Bank


미스터 쿠퍼(Mr. Cooper)는 18개월 전 고객 서비스 에이전트(담당자)들을 대상으로 고객들의 문제에 대한 해결책을 제안하는 지능형 추천 시스템을 출시했다. 과거 네이션스타(Nationstar)로 불렸던 이 회사는 고객이 380만 명에 달하는 미국 최대의 비은행권 모기지(주택 담보 대출) 서비스 제공하며, 이 프로젝트를 통해 큰 비용을 절약하리라 기대했다. 그러나 이 회사의 CIO 스리다르 샤르마는 9개월 뒤에 에이전트들이 시스템을 사용하지 않는 것을 알았다고 말했다. 이후 사용하지 않는 이유를 파악하는 데 6개월이 걸렸다.

시스템은 관련이 없는 추천을 했다. 그러나 문제의 원인이 머신러닝 알고리즘은 아니었다. 고객이 자신의 문제를 직접 설명한 데이터가 아닌, 고객 문제를 기술적으로 기술한 데이터를 트레이닝 데이터로 사용한 것이 문제였다.

“우리는 고객이 요청하는 문제의 원인을 고객이 사용하는 ‘용어’로 캡처하는 데 실패했다. 내부에서 사용하는 기술 용어로 코딩을 한 것이다”라고 그는 말했다.

고객 서비스 에이전트가 통화 결과를 기록한 시스템 피드백 메커니즘에도 카테고리가 중복되는 문제가 있었고, 이로 인해 문제가 악화되었다. 그러나 샤르마는 이로 인해 회사에 초래된 비용은 공개하지 않았다.

미스터 쿠퍼 같은 AI 프로젝트 실패가 드문 일은 아니다. 최근 IDC의 한 조사 결과에 따르면, 약 30%의 회사만 AI 프로젝트의 성공률이 90%라고 대답했다. 실패 비율이 10~49%인 회사의 비율이 절반을 훨씬 넘었다. AI 프로젝트가 절반 이상 실패했다고 대답한 비율도 3%였다.

인력 부족, 이 기술에 대한 비현실적인 기대를 중요한 도전과제로 꼽은 응답자 비율이 1/3을 넘었다. 23%는 필요한 데이터가 없어 AI 프로젝트가 실패했다고 대답했다.

샤르마는 “실패의 징후가 처음 보일 때 프로젝트를 중단하는 경향이 있다. 그러나 이렇게 하면 곤경에 빠진다”라고 밝혔다.

미스터 쿠퍼는 내년에 CRM 시스템을 대대적으로 혁신하는 프로젝트의 일환으로 다시 고객 서비스 프로젝트를 추진할 계획이다. 또 계속해서 AI에 전념하고 있다. 가장 최근에는 비정형 데이터 분석이 필요한 ML 프로젝트를 추진했다. 이는 비즈니스에 긍정적인 혜택을 가져왔고, 미래에 활용할 더 나은 언어 트레이닝 데이터를 구현하도록 도움을 주고 있다.

그는 “힘들게 얻은 교훈이자 학습이다. 일이 잘 되지 않을 때에도 계속 궤도가 유지되도록 CEO와 CFO를 한 배에 태워야 한다”라고 설명했다.

데이터 부족
데이터 문제는 AI 프로젝트가 기대에 부합하지 못하도록 만드는 가장 큰 이유 중 하나이다. 맥킨지가 지난해가을 발표한 보고서에 따르면, AI 기술 애플리케이션에 제약을 주는 가장 큰 도전 과제 중 2개가 데이터와 관련이 있다.

첫째, 미스터 쿠퍼처럼 많은 기업들이 머신러닝 알고리즘을 트레이닝할 때 활용할 수 있는 적절히 분류된 데이터를 확보하는 데 어려움을 겪고 있다. 데이터가 적절히 분류되어 있지 않다면, 사람이 시간을 투자해 데이터를 분류해야 한다. 그리고 이로 인해 프로젝트가 지연되거나, 실패할 수 있다. 데이터와 관련된 두 번째 문제는 프로젝트에 적절한 데이터가 없는 것이다.

PwC(프라이스워터하우스쿠퍼스)의 파트너 겸 글로벌 AI 리더인 아난드 라오는 “적절한 데이터가 없는 경우가 많다. 적절하지 않고, 분류되지 않은 데이터 때문에 모델을 구축하지 못해 애를 태우곤 한다. 이런 문제로 실패를 겪는 기업들이 많다”라고 설명했다.

NAS(National Audubon Society)는 야생 조류 보호에 인공지능을 활용하고 있다. 예를 들어, 지난 7월에는 기후 변화가 목초지에 서식하는 38종의 조류에 어떤 영향을 미치는지 AI를 이용해 분석한 후, 그 결과를 발표했다.

NAS의 보존 과학 부문 부회장인 채드 윌시는 “기후 변화 속도를 늦추는 노력을 기울이지 않을 경우, 목초지에 서식하는 조류 가운데 42%의 취약성이 아주 많이 높아질 것이다. 그러나 여기에 대해 조처를 할 수 있다면, 취약성을 8% 수준으로 줄일 수 있다”고 강조했다.

NAS의 모든 AI 프로젝트가 성공한 것은 아니다. 지난여름, NAS는 해변에 서식하는 갈색펠리컨과 검은 집게 제비갈매기의 개체 수를 파악하기 위해 머신러닝을 활용하고자 시도했다. 이 파일럿 프로젝트는 자원봉사자들이 텍사스 해안 섬들로 드론을 비행해 수집한 이미지 세트에 토대를 두고 있었다.

윌시는 “이 지역을 통과하는 허리케인이 조류 개체군에 어떤 영향을 줬는지 파악하고 싶었다”라고 말했다. 

갈색펠리컨의 경우, 시스템이 필요 사항에 부합할 정도로 정확성을 갖게 만드는 데 2,000개의 분류된 이미지가 필요했다. 그러나 검은 집게 제비갈매기의 이미지가 충분하지 않았다. 그는 “다른 컴퓨터 비전 애플리케이션의 경우, 인터넷에서 구할 수 있는 이미지들을 사용할 수 있을지 모른다. 그러나 우리의 경우, 아주 특정적인 조류 이미지가 필요했다”라고 설명했다.

예를 들어 설명하면, 대부분의 조류 사진들은 드론이 비행하면서 아래를 향해 촬영한 사진이 아닌, 사람이 지상에서 촬영한 사진들이다. 또 파일럿 연구였기 때문에 NAS는 다시 더 많은 사진을 촬영할 리소스를 갖고 있지 않았다.
 


학습 데이터의 편향
데이터가 없거나 부족해 AI 프로젝트가 방해를 받은 또 다른 사례가 있다. 프리츠 랩(Fritz Lab)은 사람 사진 속 머리카락을 식별하는 모델을 구축하려 시도했다. 프리츠는 모바일 개발사가 데이터를 중앙 서버로 다시 보내 처리할 필요 없이, 스마트폰에서 직접 실행되는 AI 모델을 빌드하는 것을 돕고 있다.

이 회사의 제임슨 툴은 “라이브 비디오에서 머리카락을 감지, 실시간으로 색을 바꾸는 기능을 빌드하기 원했다”라고 전했다.

처음에는 모든 것이 좋았다. 그러나 알고리즘에 심각한 결함이 있었다. 시스템이 공개되었을 때 아주 큰 문제를 초래할 수 있는 결함이었다.

툴은 “다행히 우리는 내부 직원, 그리고 채용한 사람들이 수동으로 테스트를 많이 한다. 이런 테스트로 특정 인종에서 문제가 있다는 사실을 알게 되었다. 데이터 세트를 다시 조사했다. 그리고 데이터 세트에서 해당 집단에 대한 데이터가 없다는 것을 확인했다”라고 설명했다.

무료, 또는 유료로 트레이닝에 이용할 수 있는 이미지 데이터 세트가 아주 많다. 그러나 기업은 필요한 특정한 종류의 데이터가 충분히 있는지 확인해야 한다.

그는 “자신의 사용자 기반을 대표하는 테스트 케이스용 데이터 세트를 독자적으로 구축하는 시간과 노력이 출발점이 되어야 한다”라고 말했다.

프리츠 랩은 빠진 이미지를 수집, 수동으로 주석을 추가해 분류했다. 툴은 “이는 사용할 수 있는 데이터로 인한 제약이 있을 때, 시스템에 편향이 발생하기 쉽다는 사실을 뒷받침해주는 사례다”라고 강조했다.

최근 PwC 조사 결과에 따르면, AI에 편향이 있는지 평가하는 공식 프로세스를 운영하고 있지 않은 기업이 절반이 넘는다. 또 AI 솔루션을 구현하기 전에 인종적인 영향과 함의를 우선시해 평가할 것이라고 대답한 비율은 25%에 불과하다.

 

CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.



2019.08.09

'바보야, 문제는 데이터야!' AI가 프로젝트가 폭망한 6가지 이유

Maria Korolov | CIO
AI 프로젝트가 기대에 미치지 못하는 주된 이유 중 하나는 데이터에 있다. 그러나 실수를 통해 배우고 장기적으로 노력할 수 있다면 AI 프로젝트가 더 나은 결과를 가져올 것이다.
 
ⓒGetty Images Bank


미스터 쿠퍼(Mr. Cooper)는 18개월 전 고객 서비스 에이전트(담당자)들을 대상으로 고객들의 문제에 대한 해결책을 제안하는 지능형 추천 시스템을 출시했다. 과거 네이션스타(Nationstar)로 불렸던 이 회사는 고객이 380만 명에 달하는 미국 최대의 비은행권 모기지(주택 담보 대출) 서비스 제공하며, 이 프로젝트를 통해 큰 비용을 절약하리라 기대했다. 그러나 이 회사의 CIO 스리다르 샤르마는 9개월 뒤에 에이전트들이 시스템을 사용하지 않는 것을 알았다고 말했다. 이후 사용하지 않는 이유를 파악하는 데 6개월이 걸렸다.

시스템은 관련이 없는 추천을 했다. 그러나 문제의 원인이 머신러닝 알고리즘은 아니었다. 고객이 자신의 문제를 직접 설명한 데이터가 아닌, 고객 문제를 기술적으로 기술한 데이터를 트레이닝 데이터로 사용한 것이 문제였다.

“우리는 고객이 요청하는 문제의 원인을 고객이 사용하는 ‘용어’로 캡처하는 데 실패했다. 내부에서 사용하는 기술 용어로 코딩을 한 것이다”라고 그는 말했다.

고객 서비스 에이전트가 통화 결과를 기록한 시스템 피드백 메커니즘에도 카테고리가 중복되는 문제가 있었고, 이로 인해 문제가 악화되었다. 그러나 샤르마는 이로 인해 회사에 초래된 비용은 공개하지 않았다.

미스터 쿠퍼 같은 AI 프로젝트 실패가 드문 일은 아니다. 최근 IDC의 한 조사 결과에 따르면, 약 30%의 회사만 AI 프로젝트의 성공률이 90%라고 대답했다. 실패 비율이 10~49%인 회사의 비율이 절반을 훨씬 넘었다. AI 프로젝트가 절반 이상 실패했다고 대답한 비율도 3%였다.

인력 부족, 이 기술에 대한 비현실적인 기대를 중요한 도전과제로 꼽은 응답자 비율이 1/3을 넘었다. 23%는 필요한 데이터가 없어 AI 프로젝트가 실패했다고 대답했다.

샤르마는 “실패의 징후가 처음 보일 때 프로젝트를 중단하는 경향이 있다. 그러나 이렇게 하면 곤경에 빠진다”라고 밝혔다.

미스터 쿠퍼는 내년에 CRM 시스템을 대대적으로 혁신하는 프로젝트의 일환으로 다시 고객 서비스 프로젝트를 추진할 계획이다. 또 계속해서 AI에 전념하고 있다. 가장 최근에는 비정형 데이터 분석이 필요한 ML 프로젝트를 추진했다. 이는 비즈니스에 긍정적인 혜택을 가져왔고, 미래에 활용할 더 나은 언어 트레이닝 데이터를 구현하도록 도움을 주고 있다.

그는 “힘들게 얻은 교훈이자 학습이다. 일이 잘 되지 않을 때에도 계속 궤도가 유지되도록 CEO와 CFO를 한 배에 태워야 한다”라고 설명했다.

데이터 부족
데이터 문제는 AI 프로젝트가 기대에 부합하지 못하도록 만드는 가장 큰 이유 중 하나이다. 맥킨지가 지난해가을 발표한 보고서에 따르면, AI 기술 애플리케이션에 제약을 주는 가장 큰 도전 과제 중 2개가 데이터와 관련이 있다.

첫째, 미스터 쿠퍼처럼 많은 기업들이 머신러닝 알고리즘을 트레이닝할 때 활용할 수 있는 적절히 분류된 데이터를 확보하는 데 어려움을 겪고 있다. 데이터가 적절히 분류되어 있지 않다면, 사람이 시간을 투자해 데이터를 분류해야 한다. 그리고 이로 인해 프로젝트가 지연되거나, 실패할 수 있다. 데이터와 관련된 두 번째 문제는 프로젝트에 적절한 데이터가 없는 것이다.

PwC(프라이스워터하우스쿠퍼스)의 파트너 겸 글로벌 AI 리더인 아난드 라오는 “적절한 데이터가 없는 경우가 많다. 적절하지 않고, 분류되지 않은 데이터 때문에 모델을 구축하지 못해 애를 태우곤 한다. 이런 문제로 실패를 겪는 기업들이 많다”라고 설명했다.

NAS(National Audubon Society)는 야생 조류 보호에 인공지능을 활용하고 있다. 예를 들어, 지난 7월에는 기후 변화가 목초지에 서식하는 38종의 조류에 어떤 영향을 미치는지 AI를 이용해 분석한 후, 그 결과를 발표했다.

NAS의 보존 과학 부문 부회장인 채드 윌시는 “기후 변화 속도를 늦추는 노력을 기울이지 않을 경우, 목초지에 서식하는 조류 가운데 42%의 취약성이 아주 많이 높아질 것이다. 그러나 여기에 대해 조처를 할 수 있다면, 취약성을 8% 수준으로 줄일 수 있다”고 강조했다.

NAS의 모든 AI 프로젝트가 성공한 것은 아니다. 지난여름, NAS는 해변에 서식하는 갈색펠리컨과 검은 집게 제비갈매기의 개체 수를 파악하기 위해 머신러닝을 활용하고자 시도했다. 이 파일럿 프로젝트는 자원봉사자들이 텍사스 해안 섬들로 드론을 비행해 수집한 이미지 세트에 토대를 두고 있었다.

윌시는 “이 지역을 통과하는 허리케인이 조류 개체군에 어떤 영향을 줬는지 파악하고 싶었다”라고 말했다. 

갈색펠리컨의 경우, 시스템이 필요 사항에 부합할 정도로 정확성을 갖게 만드는 데 2,000개의 분류된 이미지가 필요했다. 그러나 검은 집게 제비갈매기의 이미지가 충분하지 않았다. 그는 “다른 컴퓨터 비전 애플리케이션의 경우, 인터넷에서 구할 수 있는 이미지들을 사용할 수 있을지 모른다. 그러나 우리의 경우, 아주 특정적인 조류 이미지가 필요했다”라고 설명했다.

예를 들어 설명하면, 대부분의 조류 사진들은 드론이 비행하면서 아래를 향해 촬영한 사진이 아닌, 사람이 지상에서 촬영한 사진들이다. 또 파일럿 연구였기 때문에 NAS는 다시 더 많은 사진을 촬영할 리소스를 갖고 있지 않았다.
 


학습 데이터의 편향
데이터가 없거나 부족해 AI 프로젝트가 방해를 받은 또 다른 사례가 있다. 프리츠 랩(Fritz Lab)은 사람 사진 속 머리카락을 식별하는 모델을 구축하려 시도했다. 프리츠는 모바일 개발사가 데이터를 중앙 서버로 다시 보내 처리할 필요 없이, 스마트폰에서 직접 실행되는 AI 모델을 빌드하는 것을 돕고 있다.

이 회사의 제임슨 툴은 “라이브 비디오에서 머리카락을 감지, 실시간으로 색을 바꾸는 기능을 빌드하기 원했다”라고 전했다.

처음에는 모든 것이 좋았다. 그러나 알고리즘에 심각한 결함이 있었다. 시스템이 공개되었을 때 아주 큰 문제를 초래할 수 있는 결함이었다.

툴은 “다행히 우리는 내부 직원, 그리고 채용한 사람들이 수동으로 테스트를 많이 한다. 이런 테스트로 특정 인종에서 문제가 있다는 사실을 알게 되었다. 데이터 세트를 다시 조사했다. 그리고 데이터 세트에서 해당 집단에 대한 데이터가 없다는 것을 확인했다”라고 설명했다.

무료, 또는 유료로 트레이닝에 이용할 수 있는 이미지 데이터 세트가 아주 많다. 그러나 기업은 필요한 특정한 종류의 데이터가 충분히 있는지 확인해야 한다.

그는 “자신의 사용자 기반을 대표하는 테스트 케이스용 데이터 세트를 독자적으로 구축하는 시간과 노력이 출발점이 되어야 한다”라고 말했다.

프리츠 랩은 빠진 이미지를 수집, 수동으로 주석을 추가해 분류했다. 툴은 “이는 사용할 수 있는 데이터로 인한 제약이 있을 때, 시스템에 편향이 발생하기 쉽다는 사실을 뒷받침해주는 사례다”라고 강조했다.

최근 PwC 조사 결과에 따르면, AI에 편향이 있는지 평가하는 공식 프로세스를 운영하고 있지 않은 기업이 절반이 넘는다. 또 AI 솔루션을 구현하기 전에 인종적인 영향과 함의를 우선시해 평가할 것이라고 대답한 비율은 25%에 불과하다.

 

CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.

X