기업의 생성형 AI 프로젝트가 ‘실패’하는 4가지 이유

데이터는 AI 프로젝트 성과를 가로막는 주요 문제이다. 하지만 생성형 AI 기술이 고도화되면서 데이터 외에도 신경 써야 하는 요소는 더 늘고 있다. 
 

지난 6월 뉴질랜드 슈퍼마켓 체인 운영사인 파크앤세이브(Pak'nSave)는 식재료 목록을 업로드하면 챗봇이 레시피를 제안하는 ‘세이비 밀봇(Savey Meal-Bot)’이라는 AI 챗봇을 출시했다. 뉴질랜드에서 버려지는 음식물 쓰레기 규모가 매년 1,500 뉴질랜드달러라는 점을 고려해 파크앤세이브는 세이비 밀봇을 비용을 절약해주는 도구라고 홍보하기도 했다. 

18세 이상 사용자만 이용 가능하고, 레시피 내용은 사람이 따로 검토하지 않고, 식품 정보만 챗봇에 입력해야 한다는 경고문이 있었지만, 많은 사용자가 세이비 밀봇을 악용하기 시작했다. 특히 8월에는 다소 끔찍한 이유로 전 세계적으로 입소문이 났다. 세이비 밀봇이 어느 한 사용자에게 ‘놀라운 요리 모험’이란 이름으로 ‘표백제를 넣은 서프라이즈 밥’을 만들 것을 제안했기 때문이다. 여기서 끝이 아니다. 세이비 밀봇이 제안한 또 다른 음식 ‘아로마 워터 믹스’는 인체에 유해한 염소 성분를 배출하는 레시피였지만, ‘갈증을 해소하고 감각을 상쾌하게 해주는 완벽한 무알코올 음료’라고 소개했다. '신비한 고기 스튜'라는 레시피에는 ‘500g의 다진 인육’라는 재료를 제안했으며 ‘마법 같은 맛으로 당신을 놀라게 할 맛있고 푸짐하고 편안한 요리’라고 표현했다.

물론 이런 레시피를 보고 실제로 요리를 만든 고객 사례는 보고되지 않았다. 논란 끝에 현재 세이비 밀봇은 식용 가능한 식재료 정보만 입력 가능하도록 업데이트된 상태다. 그럼에도 불구하고 아직도 황당한 레시피 조합이 계속 만들어지고 있다. 

이번엔 법률 업계를 살펴보자. 미국 레비도우 & 오버만(Levidow, Levidow & Oberman, P.C.) 소속 변호사는 챗GPT를 사용하여 변론문을 작성한 후 가짜 인용문과 인용으로 가득 찬 법률 의견을 제출하면서 로펌 신뢰도를 크게 하락시켰다. 
 
판사는 6월 판결에서 해당 로펌 변호사에게 벌금 5,000달러를 부과했다. 두 변호사가 ‘변호사로서 책임감을 제대로 갖추지 못하고 존재하지 않는 사법 의견서를 제출하고 사법 명령이 그 존재에 의문을 제기한 후에도 가짜 의견서를 계속 고수했다’고 봤기 때문이다. 

컨설팅 기업 pwc는 최근 많은 기업과 협력하여 생성형 AI 프로젝트의 시작을 돕고 있다. pwc는 생성형 AI에 대한 과장 광고 탓에 혹은 과도한 기대감 덕에 관련 프로젝트가 순조롭게 진행되지 않은 현상을 자주 목격하고 있다고 설명했다.

pwc의 파트너 겸 생성형 AI 시장 출시 전략 리더인 브렛 그린스타인(Bret Greenstein)은 “생성형 AI는 기존 AI나 머신러닝보다 훨씬 광범위한 기술이기 때문에 재해 발생 가능성도 크다”라고 설명했다. 기업에서 생성형 AI 도입 후 원하는 결과물을 얻지 못했다면 다음 4가지 실패 사유를 살펴보면 좋다.

실패 이유 1. 거버넌스 부족
생성형 AI 프로젝트가 원하는 대로 진행되지 않았다면 거버넌스나 관리 감독 영역에서 준비가 부족했던 것이 아닌지 알아봐야 한다. 앞서 이야기한 세이비 밀봇과 비슷한 형태로 많은 기업이 내부적으로 비슷한 실수를 저지르고 있다.

가령 그린스타인은 5개월 전에 상용 AI 도구의 프라이빗 클라우드 인스턴스를 사용하여 생성형 AI를 구현한 중견 금융 기업 A와 협력하면서 비슷한 문제를 발견한 적 있다. 일단 A 금융 기관은 기업 사용자가 자체 애플리케이션을 구축할 수 있도록 API를 개방했다. 관련 AI와 API로 구축된 것은 HR 챗봇이었다. 문제는 HR 챗봇이 노출하면 안 되는 복지 프로그램을 추천했던 것이다. HR 챗봇이 잘못된 옵션을 추천하면 직원은 1년 내내 복지 혜택을 놓칠 수 있었다. HR 챗봇을 이용한 직원은 복지 혜택의 진위여부를 확인하지 않았다. 심지어 화를 냈지만 해당 챗봇이 권위 있는 도구라고 믿으며 정확한 정보를 제공한다고 여겼다.

이런 사례를 감안했을 때 그린스타인은 기업이 API를 개방하고 외부에서 원하는 대로 무엇이든 만들도록 내버려 두는 것은 권장하지 않는다. 대신 거버넌스를 통해 사려 깊고 규율 있는 접근 방식을 취하라고 조언한다. 그는 “정확성을 평가하고, 편견을 관리하고, 환각을 처리하는 생성형 AI를 구축하는 체계적인 방법이 있으며, 올바른 것을 추천하는지 확인하기 위해 사람이 개입해야 한다”라고 덧붙였다. 

A 금융 기업은 챗봇을 한 달 동안 운영했고, 피드백은 좋지 않았다. 다행히 챗봇 오류가 조기에 발견되어 직원에게 심각한 영향을 미치지 않았지만 경영진에 대한 신뢰가 흔들리기는 했다. 그렇다고 AI 프로젝트를 축소해야 할까? 기업이 생성형 AI를 과도하게 조절하고 적용 규모를 축소하면 경쟁업체에 뒤처지고, 기회를 놓치는 순간을 마주할 수 있다. 

실제로 AI 인프라 연합(AI Infrastructure Alliance, AIIA)이 대기업 고위 임원 1,000여 명을 대상으로 7월에 발표한 설문조사에 따르면, 응답자 54%는 AI 또는 ML 애플리케이션 관리 실패로 인해 손실이 발생했다고 답했다. 또한 응답자 63%가 그로 인해 손실 규모가 5,000만 달러 이상이라고 답했다.

실패 이유 2. 급증하는 비용
생성형 AI 관련 인기 챗봇은 대부분 무료로 제공된다. 이런 무료 도구로 기업은 테스트를 진행하면 비즈니스 이점을 제공하는 애플리케이션을 저렴하고 쉽게 찾을 수 있다. 하지만 무료만 쓰다 보면 비용에 대한 문제를 놓칠 수 있다. 기업이 엄격하게 통제된 환경에서 파일럿 프로젝트를 진행해도 비용은 생각보다 적을 수 있다. 하지만 향후 공식 버전으로 프로젝트를 광범위하게 배포할 때가 되면 비용이 파일럿 때와는 달리 매우 높게 청구될 수 있다. 

보안 교육 기업 산스 인스티튜트(SANS Institute)의 수석 커리큘럼 디렉터이자 총괄 교수 롭 리(Rob Lee)는 기업이 외부 공급업체를 이용할 때도 비슷한 문제를 겪을 수 있다고 설명했다. 아직 아무도 대규모로 생성형 AI를 배포한 경험이 없어 비용 예측이 어려운 것이다.

롭 리는 “기업은 아직 굳은살이 없다”라며 “이전에 생성형 AI 작업을 수행한 적이 있고 비용을 정확하게 예측할 수 있다면 관련 기업은 이미 엄청난 문의를 받고 있을 것”이라고 설명했다. 

롭 리에 따르면, 현재 클라우드를 통해 AI를 배포하는 경우에도 모든 API 호출이 합산된 사용량을 예측하긴 어렵다. 그는 “이전 시스템을 기반으로 인간의 행동을 예측할 수는 없다”라며 “생성형 AI가 만들어낼 인간의 행동은 아무도 모르는 상태”라고 설명했다. 

롭 리는 과도기적 상황에서 발생하는 추가 비용도 있다고 지적했다. 예를 들어 새 집을 사야 한다면 현재 살고 있는 집을 팔아야 하는데, 이전 집이 예상보다 빨리 팔리지 않는다면 두 채의 집을 동시에 구입해야 하는 상황에 처할 수 있다. IT도 마찬가지다. 롭 리는 “전환이 생각보다 오래 걸릴 때 그 비용을 기업이 감당할 수 있을지 생각해봐야 한다”라고 설명했다. 특히 생성형 AI는 워낙 새로운 기술이기 때문에 아무도 정확하게 예측할 수 없다.

롭 리는 "데이터 세트의 크기도 고민해야 한다”라며 “스토리지와 해당 스토리지에 대한 호출에 대한 비용이 발생한다. 일부 애플리케이션의 경우 전 세계에 여러 곳에 스토리지를 배포하고 백업도 해야 한다”라고 설명했다.

AIIA 설문조사에 따르면, 대기업이 생성형 AI를 도입하는 데 있어 두 번째로 큰 장애물은 비용이었다. 

실패 이유 3. 비현실적인 기대치
생성형 AI에 대한 과대 광고로 인해 일부 비즈니스 리더는 AI를 ‘마법의 총알’처럼 여길 수 있다. 미국의 솔루션 통합업체인 인사이트(Insight)의 제품 혁신 부문 CTO인 아몰 아즈가온카르(Amol Ajgaonkar)는 “현재 업계에서는 AI의 현실적인 부분을 제대로 바라보고 있지 않다”라며 “그럼에도 일부 논의가 이미 기업의 의사 결정 과정에 스며들고 있다”라고 우려했다.

예를 들어, 지난 여름 미국 서부에 위치한 한 글로벌 전자제품 제조 및 유통업체 B는 고객을 위한 가격 정보 문서를 작성하기 위해 콘텐츠 생성 시스템을 구축하고자 했다. 아즈가온카르는 “해당 회사에는 수만 개의 계정을 관리하는 8,000명 이상의 대면 세일즈 담당자가가 있었다”라며 “제품 및 서비스 가격 책정은 새로운 프로젝트에 대한 업무 분장표를 작성하는 데 지속적으로 필요한 자료다. 관련 콘텐츠 생성을 생성형 AI로 쉽게 할 수 있을 것이라고 기대했다”라고 설명했다. 

B 기업은 AI가 과거 데이터를 살펴보고 과거의 관련 사례를 찾은 다음 새로운 고객 요청에 적용할 수 있다고 생각했다. 아즈가온카르는 “그들은 생성형 AI가 필요한 결과를 내놓을 것이라고 기대했다. 과거 가격을 제시하면 AI가 이를 검토한 후 비슷한 물건의 가격이 얼마인지 알려줄 수 있지 않을까 했다”라고 설명했다. 

막상 프로젝트를 시작해보니 생성형 AI가 실제로 어떻게 작동하는지 B사에 설명하는 것은 끊임없는 도전과제였다.

아즈가온카르는 “B사는 외부 자료를 읽고 와서 우리를 밀어붙였다”라며 “B사의 원하는 아이디어는 매우 간단한 것이었지만 실제로 바라는 비즈니스 가치는 엄청나게 컸다. AI 업계의 과대 광는 실제 결과물을 만드는데 매우 쉽다고 홍보한다. 하지만 현실은 그렇지 않다”라고 설명했다. 

이러한 사고방식은 기업에 실망과 실패를 안겨줄 수 있으며, 심지어 AI의 이점에 대한 환멸을 불러일으킬 수도 있다.

아즈가온카르는 프로젝트를 작은 단계로 나누고 각 단계를 달성하기 위한 최선의 방법을 분석하는 것이 해결책이라고 조언했다. 실제로 프로젝트를 진행하다 보면 생성형 AI가 적합하지 않은 경우가 많다. 예를 들어, 과거 문서를 검색하여 관련 사례를 찾는 작업은 기존 접근 방식을 통해 더 효율적으로 수행할 수 있지만, 문서를 요약하는 작업은 생성형 AI가 잘 할 수 있는 작업이라는 것이 그의 설명이다. 

한편 미래를 예측하려면 고급 분석 및 ML 모델을 적용해야 한다. 서로 분리된 많은 부분을 하나의 제안서로 모을 수 있다면 비즈니스 로직을 보다 수월하게 처리할 수 있다. 특히 어떤 서비스를 포함해야 구체적으로 명시해 놓으면 더욱 좋다. 단순한 수학적 계산을 위해 생성형 AI를 사용한다면 효과도 떨어지고 결과의 정확도도 낮을 것이다. 

아즈가온카르는 “물론 계산을 위한 플러그인을 작성할 수 있다”라며 “하지만 기본적으로 우리 기업은 계산을 위해 생성형 AI에 의존하지 않는다”라고 설명했다.

그렇다면 최종 제안서를 어떻게 구성할 수 있을까? 일부 섹션은 법무팀에서 작성해야 하고 절대 변경되면 안 된다. 그는 “법무팀이 관여한 부분은 늘 기본적으로 반복해서 써야 하는 영역이다”라며 “요약본을 만들 때 생성형 AI을 활용할 수 있다”라고 설명했다. 

아즈가온카르에 따르면, 결국 B사는 작업 명세서 작성에 필요한 시간을 크게 단축할 수 있는 솔루션을 얻을 수 있었다. 하지만 그 지점에 도달하기까지 약간의 교육이 필요했다. 교육이 없었다면 이 프로젝트는 실망감만 남기고 끝났을 것이다.

기업은 종종 생성형 AI 프롬프트를 작성할 때 성인 동료에게 설명하는 것처럼 지시 사항을 입력한다. 아즈가온카르는 이를 잘못된 생각이라고 지적했다. 그는 “10대 자녀에게 지시를 내리는 것처럼 생각해야 한다”라며 “때때로 반복해서 말해야 제대로 기억할 수 있다. AI는 지시를 들을 때도 따르지 않을 때도 있다. 마치 다른 언어를 사용하는 것과 같다. 무언가를 운영할 때 이러한 사소한 부분을 이해하는 것이 프로젝트 성공의 큰 부분을 차지한다”라고 밝혔다. 

‘생각의 나무(Tree of Thought, ToT)’ 처럼 응답의 품질을 개선하는 방법도 있지만, 응답을 구체화하기 위해서는 여러 번의 프롬프트 입력이 필요하다.

아즈가온카르는 “이러한 방법은 가볍게 조사하는 과정에서는 괜찮다”라며 “하지만 실제로 프로덕션을 운영할 때는 비용을 생각해야 한다. 프롬프트에 입력하는 모든 질문은 비용이다. 각 플랫폼은 자체 기준에 따라 소비 토큰에 대해 비용을 청구한다”라고 밝혔다. 여기에 각 질문에 답변하는 데 걸리는 시간도 어느 정도 필요하다는 것도 잊지 말아야 한다. 

아즈가온카르는 “모든 요청에 대해 사고의 생각의 나무 방식을 사용하고 설명을 요청해야 한다면 비용이 매우 많이 들 것이다”라며 “백지 수표가 주어진다면 같은 프롬프트를 다양한 방식으로 수천 번 실행하여 원하는 결과를 정확하게 얻을 수 있다. 하지만 그것이 가치를 창출하는 데 꼭 필요할까? 이것이 바로 솔루션을 구축할 때 균형을 잡아야 하는 이유다”라고 조언했다. 

실패 이유 4. 데이터 문제
인사이트의 엔지니어인 카름 타글리엔티(Carm Taglienti)도 최근 비현실적인 기대치로 인해 AI 프로젝트가 좌초될 뻔한 프로젝트를 겪었다.

타글리엔티는 “AI 프로젝트의 실패는 99%가 기대치 때문”이라며 “기술의 실패가 아니라 사람들이 기술로 무엇을 할 수 있을지에 대한 기대치가 달라서 문제가 생긴다”라고 설명했다.

타글리엔티는 미국의 대형 칩 제조 회사 C사의 사례를 공유해 주었다. C사는 공급망 관리 문제를 해결하기 위해 AI를 사용하고자 했다. 문제는 C사가 AI가 할 수 없는 일을 해줄 것으로 기대했을 뿐만 아니라 첫 번째 시도에서 모든 일이 해결되기를 바랐다는 것이다. 하지만 AI 프로젝트에서는 한 단계에서 다른 단계로 넘어갈 때마다 첫 번째 접근 방식이 작동하지 않을 가능성이 높다. 그렇기 때문에 조정이 필요하다. 이러한 장벽을 만날 때마다 기업은 AI 프로젝트를 포기하는 것을 고려한다. 하지만 C사 사례는 조금 특이했다. 기대치 문제 뿐만 아니라 좋은 데이터가 부족하다는 기술적 문제도 있었다.

C사는 과거 특정 칩이나 부품을 구할 수 없을 때 대체품을 찾기 위해 노동 집약적인 수작업 프로세스를 겪었다. 타글리엔티는 “하지만 수작업은 비즈니스에 필요한 수준만큼 민첩하지 못했다”라고 설명했다. 이 프로세스 중 일부는 의사 결정 트리와 전문가 시스템으로 대체할 수 있었지만, 관련 시스템이 견고하진 않았다. 업계에 변화가 생길 때면 전체 의사 결정 트리를 업데이트해야 했다. 그러나 AI를 사용하려면 대량의 깨끗한 데이터가 필요했다. 하지만 학습 데이터로 사용할 수 있는 구성 요소를 철저하게 검색하는 경우는 드물었다.

매번 경쟁력 분석을 할 수는 없는 상황이었기에 C사는 선호 공급업체 목록과 상위 백업 목록을 고수하고 대규모 공급업체 검토는 거의 하지 않았다.

사용할 수 있는 데이터 중에서는 형식이 처리하기 어려운 경우도 있었다. 타글리엔티는 “제조업체라면 사양서를 작성한다”라며 “하지만 신속하게 수집할 수 있는 형식이 아니었다”라고 밝혔다.

제조업체의 시설 위치, 적시 납품에 대한 평판과 같은 미묘한 문제도 있었다. 타글리엔티는 “웹을 스크랩하고 상장 기업이라면 10-K를 살펴보는 등의 작업을 해야”라며 “단순히 작동하는 부품을 찾았다고 말하는 것보다 훨씬 더 많은 것이 있다”라고 설명했다.

타글리엔티에 따르면, 이런 종류의 분석은 생성형 AI가 등장하기 전에도 자동화가 가능했지만, 처음에 사람들이 생각하는 것보다 훨씬 더 복잡한 과정이었다. 드문 일이 아니었다. 사용 가능한 데이터의 부족은 오랫동안 AI 및 ML 프로젝트의 문제였다.

AIIA 설문조사에서도 데이터 문제는 생성형 AI를 배포하는 기업의 84%에게 중요한 과제였다. 실제로 PwC의 그린스타인은 최근 백오피스 처리를 자동화하려는 한 소비재 기업 D와 협력한 경험이 있다.

그린스타인은 “D사는 AI 서비스를 이미 구축해 놓았다”라며 “클라우드 인프라 기반도 갖춰져 있었다. 직원들도 준비비된 상태였다. 하지만 데이터에 접근하는 것이 어렵다는 부분을 D사는 예상하지 못했다”라고 설명했다.

심지어 어떤 데이터는 D 회사에 없는 API 라이선스가 필요했다. 라이선스를 얻기 위해 조달 프로세스를 거쳐야 했는데, 이 프로세스는 몇 달이 걸릴수도 있었다.

그린스타인은 “또 다른 시스템에서는 조직별로 매우 높은 수준의 액세스 제어가 이루어졌다”라며 “세 번째 시스템은 사용자 기반 제어였다. 생성형 AI의 경우 이 모든 것을 조정해야 했지만 빠르게 조정할 수 없었다”라고 밝혔다.

그린스타인은 장기적으로는 해당 기업은 필요한 모든 데이터를 확보할 수 있었지만 몇 달을 허비했을 것이라고 표현했다. 그는 “이 경우에는 다른 사용 사례로 전환했다”라며 “하지만 경영진은 시간과 열정을 잃었다. 생산성이 높아질 것이라는 기대에 부풀어 있던 직원들은 모두 좌절했고, 데이터 관련 사항을 고려하지 않은 IT 팀은 경영진에 대한 신뢰를 잃었다”라고 표현했다.

그린스타인은 기업이 잠재적인 AI 사용 사례의 우선순위를 첫 번째는 영향력, 두 번째는 위험, 세 번째는 데이터로 정해야 한다고 설명했다. 그는 “이 사용 사례를 수행하기 위한 데이터가 있는지, 데이터를 사용할 수 있는 권한이 있는지, 접근 가능한지, 유용할 만큼 깨끗한지를 물어야 한다”라며 “이런 질문에 답을 못한다면 시작하지 않아야 한다. 다른 사용 사례를 찾아야 한다”라고 설명했다.
ciokr@idg.co.kr