Offcanvas

AI / How To / 로봇|자동화 / 머신러닝|딥러닝 / 비즈니스|경제

AI 프로젝트는 안녕한가··· ‘인공지능 ROI’ 측정하는 법

2022.09.13 Maria Korolov  |  CIO
‘인공지능’의 ROI를 측정하는 일은 어렵지만 필수적이다. 여기서는 AI 이니셔티브가 성과를 거두고 있는지 명확하게 파악할 방법을 살펴본다. 

AI는 기술로서 그리고 사용 방식으로서 모두 전환기에 있다. 기업들은 점점 더 많은 AI 파일럿을 연구소에서 가져와 대규모로 배포하고 있으며, 그 결과 몇몇 기업들은 상당한 이점을 누리고 있다. AI를 둘러싼 불확실성과 상관없이 (AI의) 잠재력을 무시한다면 오래된 방식으로 비즈니스를 하는 기업들은 역사 속으로 사라질 수 있다.  

하지만 AI에서 가치를 도출하기란 어려운 일이다. 많은 기업의 모델은 튜닝되지 않을 수 있다. 학습 데이터 세트가 충분하게 크지 않을 수 있다. 고객이 미심쩍어할 수 있다. 편견, 윤리, 투명성 우려도 있다. 또 AI 이니셔티브가 준비되기 전에 프로덕션에 투입하거나, 결과를 제대로 검증하기 전에 AI 전략을 확장하는 것은 엄청난 비용을 초래할 수 있으며, 혹은 심각하게는 AI 이니셔티브가 비즈니스에 해로운 방향으로 갈 수도 있다.

그렇다면 AI 프로젝트가 기업을 변화시킬지 아니면 방해할지 어떻게 알 수 있을까? IT 리더들이 AI의 가치를 어떻게 평가할 수 있는지 살펴본다.
 
ⓒGetty Images Bank

성숙한 기술 vs. 획기적인 기술 
모든 이니셔티브 또는 기술의 비즈니스 가치를 측정하는 것이 항상 선형적이진 않다. 특히 성숙도와 비즈니스 잠재력을 고려하면 AI도 예외는 아니다. 데이터 마이닝, 비용 및 교육 비용 절감, 투자, 새로운 사용을 촉진할 역량 등 입증된 예측 가능한 변수가 ROI와 관련하여 의사결정에 영향을 미치지만 새로운 기술이든지 확립된 기술이든 상관없이 어느 정도 신뢰를 두는 것이 중요하다.

나사(NASA)의 제트 추진 연구소(Jet Propulsion Laboratory; JPL)에서 AI 프로젝트의 ROI를 측정하는 핵심 요소는 기술 성숙도다. JPL의 최고 기술 및 혁신 책임자 크리스 매트맨은 몇몇 AI 활용 사례는 높은 수준의 성숙도에 있다고 말했다. 그는 “비즈니스 프로세스 자동화를 예로 들겠다. 모든 기업에 있는 지루하고 반복적인 업무가 JPL에도 있다. 그래서 AI를 사용하여 (이를테면) 티켓 처리, 검색, 데이터 마이닝, 계약 및 하도급 계약 검토 등의 많은 일을 자동화하고 있다”라고 전했다. 

그에 따르면 JPL은 데이터로봇(DataRobot), 구글 클라우드(Google Cloud)를 비롯한 상용 기술도 사용한다. 특정 기술에 투자할 가치가 있는지 결정하기 위해 JPL은 비용, 시간, 리소스를 절약할 수 있는지 조사한다. 매트맨은 “성숙하다면 이를 보여줄 수 있어야 한다”라고 언급했다.  

중간 수준의 성숙도에 있는 기술이라면 JPL은 해당 기술이 새로운 사용 사례를 지원할 수 있는지 그리고 비용이 얼마나 필요한지 살펴본다. 그는 “예를 들어 JPL은 화성 탐사를 하고 있고, 이를 지원하는 심우주 통신망이 있다. 화성에서 지구로 하루에 약 200장의 사진을 보낼 수 있다”라고 말했다. 

이어 “화성 탐사 로봇(Perseverance)에는 완두콩 크기의 두뇌가 있다. 이는 스마트폰 프로세서로 구동된다. 특히 우주에서 작동해야 하는 만큼 우주 방사선에 내구성이 강해야 했고, (이 부분을 업그레이드해) 지구 밖 환경을 충분히 견딜 수 있다고 봤다. 원활하게 작동하긴 하지만 구형 칩이기 때문에 고급 AI나 ML은 수행하지 않는다”라고 전했다.

하지만 퍼서비어런스에 탑재돼 화성에 보내진 인저뉴어티(Ingenuity; 화성 탐사 헬기)에는 AI 칩인 퀄컴 스냅드래곤 프로세서가 탑재돼 있다. “이는 신형 칩을 가지고 더 많은 AI 작업을 할 수 있다는 점을 보여줬다”라고 그는 말했다. 

여기서 AI는 현재 가능하지 않은 새로운 사용 사례를 가능하게 할 것이다. 예를 들면 탐사 로봇은 하루에 200개의 이미지를 전송하는 대신, AI를 사용하여 이미지 자체를 분석하고 예컨대 특정 방향에 건조한 호수 바닥이 있다는 것을 설명하는 100만 개의 텍스트 캡션을 지구로 보낼 수 있다. 매트맨은 “오늘날 이미지보다 텍스트로 더 많은 가시성을 얻을 수 있다”라고 언급했다. 

마지막으로 가장 첨단적이고 실험적인 AI 기술이라면 성공의 척도는 새로운 과학 발전이 이뤄지고, (이 기술로 인해) 새 논문이 작성 및 출판되는지다. 

그는 “모델을 학습시키고 구축하는 데 비용이 든다”라고 말했다. 구글 및 마이크로소프트 등 대기업은 방대한 양의 교육 데이터에 즉각 액세스할 수 있지만 JPL에서는 데이터세트를 확보하기 어렵고 분석 및 라벨링을 위해 박사급 전문가가 필요하다. 매트맨은 “나사에서 새 AI 모델을 학습시키는 데 드는 비용은 상업적 산업의 10배에서 20배다”라고 전했다. 

나사가 더 적은 수동 라벨링으로 AI 모델을 만들 수 있도록 하는 새로운 기술들이 나오고 있다. 예를 들어 생성(generative) 네트워크는 합성 학습 데이터를 만드는 데 사용될 수 있다고 그는 설명했다. 연구용으로 쓰이는 딥페이크도 마찬가지다. 

AI 측정 및 영향 범위 파악하기
AI 프로젝트의 비즈니스 영향을 직접 측정할 방법이 없다면 기업들은 관련 KPI에서 데이터를 마이닝할 수 있다. 이러한 프록시 변수는 일반적으로 비즈니스 목표와 관련되며, 고객 만족도, 출시 시간, 직원 유지율 등을 포함할 수 있다.

애틀랜틱 헬스 시스템(Atlantic Health System)의 수석 부사장 겸 CIO 수닐 다들라니는 환자가 모든 의사결정의 중심에 있는 자사 시스템이 한 예라고 말했다. 여러 측면에서 AI 투자 수익은 환자 치료의 개선 사항을 통해 측정된다. 이러한 환자 중심의 측정 기준에는 입원 기간 단축, 치료 시간 단축, 보험 확인 시간 단축, 사전 보험 승인 시간 단축 등이 포함된다고 그는 설명했다. 

또 다른 프로젝트는 AI를 사용하여 영상의학 전문의를 지원하는 것이다. 여기서의 KPI는 영상의학 전문의가 비정상적인 발견에 관한 경고를 얼마나 자주 받는지다. 대들라니는 “2022년 4월 기준으로 영상의학 전문의의 99%가 AI를 사용하여 1만 2,000건 이상의 연구를 분석했다. 이로 인해 약 600개의 경고 알림이 트리거됐다. 이를 통해 내과의가 잠재적으로 심각한 문제를 가능한 한 빨리 해결할 수 있다”라고 말했다. 

미국에서 다섯 번째로 큰 회계법인 RSM에서 AI 투자는 긴밀하게 연결된 2가지 경로를 따른다. 하나는 직원들이 업무를 더욱더 잘 할 수 있도록 지원하는 생산성 및 분석 도구다. 다른 하나는 동일하거나 유사하지만 고객이 사용하는 도구라고 이 회사의 경영 컨설팅, 비즈니스 및 기술 혁신팀의 파트너 리처드 데이비스는 언급했다. 

예를 들면 고객과 협력할 때 RSM은 회계, 영업, 마케팅, 인사, 물류 등 여러 시스템에서 데이터를 가져와 단일 창으로 통합해야 할 수 있다. 데이비스는 AI가 이 과정을 가속화하는 데 유용하다고 말했다. 아울러 AI를 사용하여 이러한 시스템에서 업무가 어떻게 이뤄지는지, 근본적인 문제와 장애물이 어디에 있는지 식별할 수도 있다.

그렇다면 AI와 관련해 이 회사가 적절한 방향으로 가고 있는지는 어떻게 알 수 있을까? 데이비스는 세부적인 RSM의 AI 이니셔티브 또는 ROI 투자 정보를 밝히진 않았지만 “첫째, 도구 사용을 매우 명확하게 측정할 수 있다. 시간이 지남에 따라 원하는 것은 효율적으로 제공되는 참여다”라고 전했다. 또 데이비스는 이러한 참여 증가가 생산성 향상으로 이어져야 한다고 말했다. 그는 “무언가 하는 데 일주일이 걸린다면, 목표는 이를 하루로 줄이는 것일 수 있다”라고 덧붙였다. 

비즈니스 이점에 집중하기 
AI의 성공을 측정하는 것도 주관적일 수 있다. MIT의 AI 연구 과학자이자 소매 산업에서 데이터 과학자로 활동하는 유제니오 주카렐리는 AI 프로젝트를 평가하는 것은 AI 자체를 개발하는 것만큼 ‘예술’이라고 언급했다.

그렇다 하더라도 AI가 비즈니스에 미치는 영향을 설명할 수 있는 게 중요하다고 그는 강조했다. “KPI는 모델 자체를 중심으로 설정돼선 안 된다. 프로젝트의 최종 목표인 비즈니스 및 인력 지표를 중심으로 설정돼야 한다”라면서, “그렇지 않으면 성공한 것처럼 보이지만 실제로는 기업에 효과적인 영향을 미치지 않는 기술 지표를 선택하기 쉽다”라고 주카렐리는 말했다. 

아울러 (BMW와 텔스트라에서 데이터 과학을 담당하기도 했던) 주카렐리는 진행 상황을 단독으로 측정해서는 안 된다고 말했다. 예를 들어 AI 프로젝트가 이미 다른 이유로 개선되고 있는 무언가를 개선하기 위해 설계됐다면, 실제 AI로 개선되는 부분이 어느 정도인지 판단하기 위한 대조군이 필요하다는 게 그의 설명이다.

IT 보안 및 ID 거버넌스와 관리 전문 자문 그룹 코스티더티(Costidity)의 설립자 블라디슬라프 샤피로는 AI 프로젝트의 다른 가치 있는 KPI는 (이를테면) 잘못된 경고 알림의 감소나 과도한 권한의 자동 제거가 될 수 있다고 말했다. 그는 최근 작업한 AI 기반 보안 프로젝트에서 오탐지율이 3배 줄었으며, 이전에 수작업이었던 많은 프로세스가 자동화됐다고 밝혔다. 샤피로는 “이 수치를 최고 경영진에게 보여주면 AI 프로젝트가 침해 위험을 줄이고, 거버넌스를 개선한다는 것을 이해한다”라고 덧붙였다. 

점진적으로 성공 측정하기 
글로벌 서비스 전문 회사 젠팩트(Genpact)의 수석 디지털 전략가 산제이 스리바스타바는 비용 절감으로 이어지는 자동화가 AI의 경제적 이점을 보여주는 가장 쉽고 명확한 방법이라고 언급했다. 하지만 AI는 또한 새로운 수익원을 촉진하거나 심지어 기업의 비즈니스 모델을 완전히 바꿀 수도 있다고 말했다. 

예를 들어 한 항공기 엔진 제조업체는 AI를 통해 고장을 예측하고 물류를 개선하면서 엔진을 서비스로 제공할 수 있다고 봤다. 그는 “최종 소비자는 엔진 자체보다 비행 마일을 사는 게 더 좋다. 이는 새로운 비즈니스 모델이다. AI가 이를 가능하게 하기 때문에 기업의 운영 방식을 바꾼다”라고 전했다.

스리바스타바에 따르면 비즈니스에 미치는 영향도 분명하다. 그래서 해당 시간 내에 AI 투자를 정당화하기 위해 이 제조업체는 장기적인 목표가 필요했지만, 이를 다른 방식으로 측정할 수 있는 단기 프로젝트로 변환했다. 그는 “‘10년 안에, 업계를 바꾸겠다’라고 말하는 대신, ‘1년 차에는 어떤 부품을 비축해야 하는지 살펴보기 시작할 것이다’이라고 말하라. 아직 항공 마일리지로 업계를 바꾸고 있지는 못하다. 그저 ‘적절한 양의 적절한 부품이 필요하다’라고 말하는 게 낫다. 이는 창고 시스템을 최적화하고, 재고 투자 금액을 줄이기 위한 1년짜리 프로젝트다”라고 설명했다.

공급망 최적화 외에도 고객 만족도를 포함한 기타 단기적 척도가 포함될 수 있다. 스리바스타바는 “예를 들어 비행기가 뭄바이에서 부품 하나를 기다리느라 5일 동안 묶여 있어야 한다면 고객은 불만을 느끼게 될 것”이라고 덧붙였다. 

전략적 비전과 정렬하기 
몇몇 AI 프로젝트가 단기적으로는 수익에 타격을 줄 수 있지만, 장기적으로는 여전히 중요하고 변혁적이라는 현실이 있다. 예를 들면 고객 서비스 챗봇을 출시하는 기업은 (이를 통해) 지루하고 반복적인 업무를 없앨 수 있다. 가트너의 애널리스트 휘트 앤드류는 “하지만 챗봇이 별로 좋지 않을 수 있다. 어떤 직원들은/사람들은 업셀링에 능숙하고, 고객들과 소통하길 원할 수 있기 때문이다. 그래서 기업이 이를 원하지 않을 수도 있다”라고 말했다. 

따라서 어떤 기업이 되고 싶은지로 되돌아가야 한다고 그는 언급했다. 앤드류는 “이를테면 배송이 잘못되면 고객이 전화를 걸어 어디에 있는지 물어보고, 한번 거래하고 나면 고객에게 한 달에 한 번 제품을 판매하려고 하는 그런 회사인지 질문을 던져봐야 한다”라고 덧붙였다. 

기업이 ROI를 측정하여 AI 기반 혁신에 초점을 맞추고 아울러 고객 중심이라는 비전을 가지고 있다면, 수익에 미치는 즉각적인 타격을 잠재적으로 더 의미 있는 다른 지표로 볼 수도 있다. 앤드류는 “완전히 자동화된 기업은 시장 점유율을 높여 더욱더 성공할 수 있다. 예를 들어 데이터를 구축하면 한 번에 더 관련성 높은 사람에게 연락할 수 있어서다. 논리는 다음과 같다. AI가 고객을 더 행복하게 하고, 직원들을 더 성공하게 할 것이라고 말하라. 그다음 추진하라”라고 말했다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.