Offcanvas

AI / CIO / How To / 디지털 트랜스포메이션 / 머신러닝|딥러닝 / 애플리케이션

AI 프로젝트를 될성부르게··· 제대로 '파일럿'하는 방법

2022.11.04 Robert Mitchell  |  CIO
미국 버지니아 주 알렉산드리아에 소재한 특허청(US Patent & Trademark Office ; USPTO)에서는 AI가 다방면으로 활약하고 있다. 특허 분류 프로세스를 가속화하고 사기를 감지하도록 도우며 심사관이 유사 특허를 검색하는 업무를 보조한다. 이러한 AI 기능은 모두 파일럿 프로젝트로 시작된 것이다. 

USPTO의 제이미 홀콤비 CIO는 “개념 증명(PoC)은 신기술을 배우고, 비즈니스 가치 가설을 테스트하고, 비용 낭비의 위험을 줄이고, 전체 생산 구현 결정 여부를 파악하는데 사용하는 핵심 접근 방식”이라고 말했다. 

인도 전자 상거래 공급업체 플립카드(Flipkart)도 11개 언어를 사용하는 고객층에게 텍스트 및 시각적 검색을 지원하는 프로젝트 배포에 앞서 파일럿 프로젝트를 진행했다. 딥러닝을 사용하여 사용자 의도 감지, 언어 번역, 음성 대 텍스트 및 텍스트 음성 변환 기능을 통합하는 모델을 구축하는 대화형 봇 프로젝트였다. 플립카트 또한 컴퓨터 비전, 자연어 처리, 머신러닝 및 기타 AI 기술의 적용을 비즈니스의 다른 부분으로 빠르게 확장하고 있다. 

그러나 AI 파일럿 및 PoC 프로젝트 다수가 생산 현장에 도입되기 전에 실패로 끝난다. 이유는 다양하다. 데이터, 인력, 경영진의 지원, 지표 및 이정표의 부재 등이다. 때로는 빠른 실패의 반복이 요구되기도 한다. 플립카드의 가나파시 크리슈난 엔지니어링 부사장은 “원하는 품질에 도달하는데 1~2년이 걸릴 수도 있다. 높은 수준의 인내심이 요구된다”라고 말했다. AI 파일럿 프로젝트를 성공적으로 수행하고 확장하는데 필요한 원칙을 살펴본다.
 
Image Credit : Getty Images Bank

성공의 발판을 마련하라
기업들은 성공적인 인공지능(AI) 파일럿 프로젝트를 준비하고, 이를 생산으로 옮기고, 성과를 내기 위해 발빠르게 움직이고 있다. 포레스터의 인공지능/머신러닝(AI/ML) & 데이터 사이언스의 분석가인 로완 커란은 “AI 프로젝트가 주류에 진입하는 것을 목격하고 있다. 기업의 57%가 AI 프로젝트를 실행하거나 확장하고 있으며 70~75%는 이러한 프로젝트에서 분명한 가치를 보고 있다”라고 말했다. 또한 최근 EY 설문조사에 따르면 CIO와 IT 리더의 53%가 AI가 적합한 데이터 및 분석이 향후 2년간 최고의 투자 분야가 될 것이라고 답했다.

그러나 이러한 파일럿 프로젝트의 대부분은 하향식 지원의 부족에서 시작하여 몇 가지 이유로 인해 시작도 하기 전에 실패할 운명에 처해 있다. 홀콤비는 “임원 지지자가 필요하고 적절한 자금을 확보해야 한다”라고 말했다.

실제로 성공적인 프로젝트는 CIO가 프로젝트에 자금을 지원하겠다는 의지를 가지고 임원들의 지원을 받고, 조직의 전반적인 디지털 전환 전략에 AI를 통합할 때 발생한다. 

명확한 기대치를 설정하는 것 또한 관건이다. 크리슈난은 “이것을 배포하면 비즈니스를 근본적으로 변화시킬 것이라는 기대는 금물이다. 시간이 걸리는 긴 과정이기 때문이다”라고 전했다.

PoC는 조직 내에서 역량을 구축하는 연습이 될 수도 있다. 그것은 제약회사 엘리 릴리가 취한 접근법이다. 이 제약회사의 정보 및 디지털 솔루션 담당 부사장 겸 정보 책임자인 팀 콜먼은 “PoC에서 기술 및 프로젝트 제공을 위한 규모의 차원을 실험하고 학습한다”라고 말했다. 회사의 팀은 임상 및 과학 콘텐츠 저작부터 제품 개발, 고급 검색, 일반 관리 기능에 이르기까지 비즈니스 영역에서 자연어 발견, 생성, 번역을 위한 자연어 처리 기능을 적용하고 있다.

그러나 EY의 글로벌 AI 컨설팅 리더인 댄 디아시오는 이러한 역량 구축 연습을 광범위한 혁신 가치를 창출해야 하는 파일럿 프로젝트와 혼동하지 말라고 경고했다. “능력을 쌓고 싶을 수 있지만, 필요한 영향력을 투자자에게 의미 있는 방식으로 전달해야 한다면 조심해야 한다”라고 말했다.

그것이 애틀랜틱 헬스 시스템(Atlantic Health System)이 인공지능(AI)과 머신러닝(ML) 프로젝트에 접근하는 방식이다. 이 의료 서비스 제공자는 방사선 의학 전문의를 지원하기 위해 영상 평가에서 그리고 영상을 주문하고 이를 일정에 이르기까지 여러 프로세스 단계를 거쳐 이동하는 사전 승인 자동화에서 성공적으로 파일럿을 확장했다. 

서닐 다들라니 SVP&CIO는 “AI는 고립된 이니셔티브가 아니라 디지털 전환의 일부가 되어야 한다. 우리는 AI와 ML을 어떻게 진행할지에 대한 공식적인 거버넌스 구조와 투자 계획을 가지고 있다”라고 말했다. 

그리고 엘리 릴리에서는 프로젝트 제안서가 앞으로 나아가기 전에 3가지 기준을 통과해야 한다: ROI 측면에서 비즈니스 가치를 제공하고, 수용할 수 있는 성공 확률을 가지며, 결과는 비즈니스 전략과 우선순위와 일치해야 한다. 

예를 들어, 약물 보고에 중점을 둔 회사의 첫 번째 AI 프로젝트 중 하나인 모자이크 PV의 주요 동인은, “높은 수준의 품질과 규정 준수를 유지하면서 생산성을 높이고 부작용 처리 비용을 줄이는 것”이었다고 그는 말했다. 

질문은 무엇인가? 
성공적인 파일럿은 비즈니스 문제를 정의하는 것으로 시작된다. AI 기반 프로젝트에 대해 대기업과 컨설팅 하는 글로벌 전문 서비스 기업 젠팩트(Genpact)의 수석 디지털 전략가인 산자이 스리바스타바는 “질문을 찾는 답변으로 끝나지 말라. 답변보다는 질문으로 시작하는 비즈니스 결과에 초점을 맞춘 프로젝트가 일반적으로 잘 된다”라고 말했다. 

이후에는 AI가 최선의 답인지 판단하라. 크리슈난은 “그 프로젝트가 할 가치가 있을 만큼 충분히 복잡한 기준에 적합한가? 단순한 규칙 기반 접근 방식으로 할 수 있다면 그렇게 하라! 그러나 수십 만 또는 수백 만 개의 규칙이 있는 경우 소프트웨어 기반 접근 방식을 사용하는 것은 실현 가능하지 않다”라고 말했다. 

올바른 측정 지표 및 데이터가 있는가? 
USPTO의  AI 프로젝트는 2가지 지표 세트를 필요로 한다: 모델의 성능 면에서의 기술적 지표 그리고 AI 프로젝트의 비즈니스 가치를 정량화 하는 지표들이다.

아틀란틱 헥스 시스템은 소규모 비즈니스 부문에 대해 명확한 비즈니스 KPI를 갖춘 파일럿을 구현하여 성공을 보장하려 한다. 예를 들어, 영상 평가 시스템은 심장학과 및 기타 영역으로 빠르게 확장되는 신경학 부서의 소규모 파일럿 배포에서 시작됐다. 8주 만에 팀은 신경학을 위한 성공적인 파일럿을 만들었고, 결과를 입증했으며 심장학과와 다른 모든 서비스 라인으로부터 승인을 받았다. 

플립카트(Flipkart)는 USPTO와 마찬가지로 먼저 기술 모델 지표에 초점을 맞춘 다음 A/B 테스트를 실행하여 비즈니스에 어떤 영향을 미칠지 알아본다. 현재, 그 팀은 AI 지원 대화형 봇을 개발하고 테스트하는 작업을 하고 있다. 

그들은 ‘답변 가능성’ 즉, 로봇이 질문에 얼마나 잘 대답하는지를 측정하는 것으로 시작했다. 그들은 현재 그것이 비즈니스에 측정 가능한 영향을 미칠지 여부를 결정하기 위해 현재 A/B 테스트를 실행하고 있다.

AI 프로젝트는 빅데이터를 필요로 하며, 적절한 속도, 볼륨 및 다양성이 필요하다고 대들라니는 말했다. “데이터 품질이 좋지 않으면 [예상된] 결과를 볼 수 없다”라고 그는 강조했다.

스리바스타바 또한 “데이터 수집, 조화, 엔지니어링 및 거버넌스는 AI 시스템 구축에 들어가는 작업의 90%이다. 10%에 집중하고 90%를 놓는다면 처음부터 죽기 때문에 데이터의 기반을 구축하라”라고 말했다.

또한 A/B 테스트 간에 지속적인 피드백을 제공할 수 있어야 한다. 즉, 모델을 조정할 수 있도록 실시간으로 데이터를 반환할 수 있어야 한다. 그러나 데이터를 신속하고 자동화된 방식으로 제공하도록 조직 설정이 되어 있지 않을 수 있다. 

예를 들어, 예측 모델을 작업하는 동안 팀이 고객의 구매 정보에 대한 정보를 자동으로 캡처하지 않으면 해당 루프를 닫을 수 없다. 또한 고객 선호도는 시간이 지남에 따라 변경될 수 있으므로 전체 배포 후에도 피드백 루프를 계속하는 것이 중요하다. 만약 회사의 모델이 그것을 설명하지 않았다면, 기업은 원하는 결과, 즉 ‘모델 드리프트’라고 알려진 결과를 얻지 못할 가능성이 크다.

그것은 확장할 것인가? 
파일럿이 전체 롤아웃으로 확장할 수 있다는 것이 사전 기대일 수 있지만, 그 증거는 파일럿에 있다. 그렇다면 파일럿에서 전체 배포로 확장할 수 있는 적절한 리소스가 있는 지 여부도 중요하다.

디아시오는 “확장하려면 코드를 간소화하고, 새로운 기술을 도입하고, AI 또는 ML을 하나의 데이터 저장소 대신 엣지로 밀어 넣고, 새로운 팀을 고용하고, 데이터 라벨링 공장을 설립해야 할 수 있다. 필요한 엔지니어링 기술이 모두 갖춰져 있는지 확인하라”라고 말했다. 

파일럿을 실행하라 
플립카트는 파일럿을 위해 클라우드 및 관련 ML옵스 기능을 활용하고 있다. 크리슈난은 “시작하기 위해서는 파일럿에게 많은 엔지니어링 지원이 필요하며, 파일럿은 자주 반복해야 하고 빠르게 실패해야 한다. 그러기 위해서는 대형 클라우드 서비스 공급업체가 제공하는 MLOps 인프라가 필요하다” 말했다. 

그는 파일럿 팀이 목표물에 얼마나 근접했는지에 대한 정기적인 진행 상황 업데이트를 보고하고, 파일럿 중에 기대치가 올바르게 설정되었는지 확인할 것을 권장했다. 그는 “처음 파일럿을 하는 동안 바늘을 3%만 움직이면 잘 하고 있는 것”이라고 덧붙였다. 

그리고 당장 이득을 볼 것이라고 기대하는 것은 무리다. 복잡한 파일럿이 3개월 안에 효과를 보기는 어렵다. 배포하고, 격차를 찾고, 다시 배포하고, 계속 점진적으로 향상시켜야 한다.

도중에 실패했다고 해서 반드시 파일럿이 끝나는 것은 아니다. USPTO의 증강 분류 시스템은 처음에 실패했다. 홀콤비는 “우리는 제대로 정리되지 않은 데이터 세트에서 시작했다”라고 말했다. 그러나 팀은 시스템이 수동 프로세스보다 훨씬 더 잘 작동할 때까지 재조정하고 파일럿을 진행할 수 있었다. 그는 “실패하더라도 그냥 포기하지 말라! 왜 실패했는지 알아보라”라고 말했다. 

최종평가 
이러한 CIO, IT 임원 및 컨설턴트는 다양한 방법을 사용하여 파일럿 프로젝트를 평가했다. 아틀란틱 헬스 시스템에서는 초기 파일럿이 완료되면 결과를 평가하고 파일럿을 연장할지, 생산으로 전환할지, 손실을 줄일지를 결정해야 한다. 

대들라니는 “파일럿은 구체적인 척도를 제공해야 한다. 우리가 유망한 결과를 볼 때만 ‘이러한 규모를 확장하려면 어떤 것이 필요하고, 얼마나 많은 시간이 걸릴 것이며, 가치를 창출할 시간이 얼마나 필요할 것이며, 기술 인프라 리소스에 어떤 투자가 필요할 것이며, 어떻게 운영할 것인가’라고 말할 수 있다”라고 말했다. 

콜먼은 파일럿들이 실패하는 이유는 여러 가지가 있다고 말했다: 불충분한 AI 기술, 불충분하게 라벨링 된 데이터, 불분명한 프로젝트 비전 또는 가치 제안, 민첩하고 실패에 빠른 사고방식의 부족, 그리고 비즈니스 채택을 촉진하기 위한 임원 후원과 조직 변화 관리의 부족이다. 

특히 수익에 중요한 지표들을 보고하고 있는지 확인해야 한다. 예를 들어, 가격 책정 알고리즘이 5,000만 달러를 절약할 것으로 예상된다면, 지금까지 실현된 것과 예상되는 잠재력 사이에 차이가 있을 수 있다고 디아시오는 말했다. 

그는 “큰 규모의 프로젝트에 대해 이야기할 때 파일럿들은 종종 그 정도의 가치를 창출할 수 있는 신뢰성이 부족하기 때문에 실현된 가치를 가능한 한 추적하기 위한 힘든 작업도 해야 한다”라고 말했다.

파일럿의 규모 조정 여부도 재평가해야 할 시점이다. 스리바스타바는 “많은 PoC가 기술적으로 매우 성공적이지만, 확장하면 경제적으로 성공하지는 못한다”라고 말했다. 다른 고려 사항에는 확장에 걸리는 시간과 필요한 리소스가 포함된다. 

하지만 길게 보면 그림이 바뀔 수 있다. 콜먼은 “단기적으로 규모를 달성할 수 없는 상황에서도, 성공 확률이 높은 소규모 프로젝트 범위는 여전히 단기적인 비즈니스 가치를 제공할 수 있다. 또 기술 역량과 기술은 성장하여 규모의 장벽을 해소할 수 있다”라고 말했다.

그런 다음 인프라가 있다. 확장 시 구성, 네트워크 대역폭, 스토리지 및 컴퓨팅을 포함하여 모든 가정을 확인해야 한다. 크리슈난은 “확장하려면 많은 엔지니어링 지원이 필요하며, 이 부분에서 클라우드 기반 ML옵스 인프라가 도움이 될 수 있다”라고 말했다. 

마지막으로, AI를 업스트림 및 다운스트림 워크플로우에 통합할 수 있는지 확인하라. 예를 들어, 고장 예측은 필요한 시간과 장소에 예비 부품이 있는지 확인하기 위해 업스트림 공급망 시스템에 통합하지 않은 경우 도움이 되지 않는다. 마찬가지로, 해당 정보는 유지보수 일정을 조정하기 위해 다운스트림에 사용되어야 한다.

천천히 시작하고, 빨리 실패하며, 인내심을 가져라
성공적인 AI/ML 파일럿을 위한 열쇠는 초기 계획부터 시작한다. 앞으로 나아가기 전에 최고 경영진의 동의 및 재정적 지원을 받아라. 홀콤비는 “상부에 우군을 가지고 있어야 한다”라고 말하며, 처음부터 모든 이해 관계자를 참여시켜야 한다. 

AI/ML 파일럿 프로젝트는 강력한 비즈니스 활용 사례와 함께 전반적인 디지털 전환 전략의 일부로 수행되어야 한다고 대들라니는 말했다. 기대에서 결과를 얻기 위해서는 인내가 필요하다. 성공을 정의하는 기술 및 비즈니스 영향 지표를 모두 생성하고 적절한 리소스가 있는지 확인하면서 스스로의 역량을 파악한다. 올바른 팀을 구성하고 빠르게 실패할 준비를 하라. 따라서 팀에 적절한 기술과 도메인 전문 지식을 혼합하는 것이 성공적인 AI 파일럿 프로젝트의 핵심이다. 

그는 “파일럿 단계에서도 교차 기능 팀이 필요하다. 우리는 이것이 임상 워크플로우의 일부가 되기 때문에 모든 사람이 [파일럿에] 참여하도록 했다. 처음부터 참여해야 한다”라고 말했다.

이러한 모든 인재를 보유하고 있지 않은 조직은 외부 파트너와 하이브리드 팀을 구축하는 것을 고려할 수 있다. 중소기업은 더 많은 역할을 아웃소싱 해야 할 것이다. 스리바스타바는 “제조 업종에서는 ML과 비즈니스를 모두 이해할 수 있는 직원이 팀에 필요하다. 그것은 찾기 쉬운 역량 조합이 아니므로 교차 훈련이 중요하다”라고 말했다.

궁극적으로, 아틀란틱 헬스 시스템이 ML 기반 이미징 평가 시스템을 사용한 것처럼 실제 비즈니스 결과를 산출한 다음 비즈니스의 다른 영역으로 확장할 수 있는 대상 프로젝트를 고려할 필요가 있다.

파일럿이 전체 프로덕션으로 전환된 후에도 감안해야 할 요소들이 있다. 파일럿 진행 상황에서부터 최신 비즈니스 정보를 반영하고, 완전히 배포되면 프로젝트의 기능을 제대로 전달해야 한다. 다른 사업부가 자체 애플리케이션에 활용할 수 있는 플랫폼을 구축할 필요도 있다. 

스리바스타바는 “파괴와 성장을 원하는 기업은 가치를 창출하는 방식을 바꿔야 한다. AI 없이는 이를 수행할 수 없다. 거기에 투자하지 않으면 한 손이 등 뒤로 묶이게 될 것이다”라고 말했다. ciokr@idg.co.kr
추천 테크라이브러리

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.