“AI 벤더를 상대하는 방법은…” 경험자들이 전하는 6가지 팁

CIO
기업 대다수에게 DIY 인공지능은 너무나도 먼 존재다. 시중의 AI 벤더를 선택하는 이유다. 각종 미사여구를 극복하고 진정한 비즈니스 가치를 창출하기 위한 방안들을 정리했다. 
 
ⓒ Image Credit : Getty Images Bank



인공지능 및 관련 기술로 인해 비즈니스의 판도가 뒤바뀔 것이 확실하다. 그렇다면 관건 중 하나는 그러한 기술을 구축할 것인가 구매할 것인가다. 일부 기업들은 처음부터 자체적인 솔루션을 구축하겠지만, 기업 대부분은 상용 툴을 사용함으로써 더 빠르고 더 저렴하고 더 나은 결과를 얻을 수 있다.  

인공지능 기술은 아직 완전히 검증되지 않았다. 따라서 얼리 어답터 기업은 벤더 관계에 있어 어느 정도 우위에 있다. 특히 공급업체들의 성공 사례가 될 만한 프로젝트를 하려는 경우, 이들 공급업체는 맞춤형 구성과 통합을 수행하거나, 무료 컨설팅이나 교육을 제공하거나, 대폭적인 할인을 제공할 가능성이 높다.

하지만 AI 공급업체와의 협력이 항상 달콤한 것은 아니다. 어떤 기술 벤더와 협력할 때 발생할 수 있는 통상적인 문제 외에도 AI, 머신러닝 및 이와 유사한 기술에 대해서는 약간 섬세함이 필요하다.

과장에 주의하라
일리노이 주 링컨셔에 소재한 HR 서비스 회사인 얼라이트 솔루션(Alight Solutions)은 2014 년에 AI 기반의 챗봇을 탐색하기 시작했다. 

이 회사는 3,000개 기업을 대상으로 광범위한 HR 관련 서비스를 제공하고 있다. 고객사의 고용인원을 모두 합치면 2,300만 명이 넘을 정도다. 그렇기 때문에 지원담당자들은 정말 많은 전화와 채팅상담을 받고 있다. 질문 중 대다수가 중복되기는 하지만 해답은 직원마다 다를 수 있다.   

AI 시스템은 질문을 이해할 수 있어야만 할 뿐 아니라 특정인에게 맞는 구체적인 해답도 찾아낼 수 있어야 한다. 또한, 해답을 찾지 못하는 경우에는 담당자에게 연결시켜 줄 수 있을 만큼 똑똑해야 한다. 

얼라이트는 공급업체들과 논의하는 과정에서 시장에 엄청난 과장이 존재한다는 사실을 발견했다. 공급업체들은 시장에 선보일 준비가 다 되어 있다는 식으로 자연어 처리 시스템을 자신 있게 소개했다. "그러나 그들의 시스템을 시험해 보면, 작은 문구 변경에도 불구하고 시스템이 제대로 작동하지 않는다는 것을 알게 될 것"이라고 얼라이트의 이브라힘 쿠리 제품 개발 및 혁신 담당 이사는 말했다. 

이러한 부풀리기 문제는 조금도 나아지지 않았다고 그는 말한다. "솔직히 AI 와 머신러닝 마케팅으로 오늘날에는 과장이 더욱 심해진 것 같다"라고 그는 덧붙였다. 

실제 학습 곡선을 대비하라
AI 시스템은 훈련을 필요로 한다. 투입되자마자 일을 시작하는 게 아니다. 그러나 일부 판매업자들은 그 시스템이 인간이 전혀 개입하지 않고 작동한다는 식으로 약속한다고 쿠리는 지적했다. 얼라이트는 결국 그런 약속들을 하지 않은 회사를 찾아가게 되었다. 

"벤더들의 약속을 믿고 싶겠지만 애석하게도 이는 현실과 거리가 멀다. 그 시스템이 제대로 작동하는지 확인하기 위해 프로세스를 갖춰야 할 것이다. 훈련시키고 감시하고, 효과가 있는지 확인하는 데 돈을 투자해야 할 것이다'라고 쿠리는 말했다.
 
실제로 2016년 가을 얼라이트가 이 공급업체인 베린트(Verint)와 함께 일하기로 결정한 후에도 시스템이 갖춰지기까지 다시 반년이 걸렸다.  

그는 "고객사들 간에는 많은 차이가 있다. 한 고객사 내에서도 직원들의 수준은 제각각이다. 관리 그룹, 노조 그룹, 시간별 그룹 등이 있을 수 있다. 개인을 기준으로 답을 바꿀 수 있는 시스템을 구축해야 할 것이다"라고 말했다.

얼라이트 역시 기업의 서비스를 잘아는 전문가들로 구성된 팀이 필요했다. 쿠리는 "틀린 대답을 내도 무방한 산업이 아니다. 어떤 답이든 간에 정확해야 한다. 답을 할 수 없다면 담당자에게 연결시켜주는 모델을 만들어야 한다. 서비스 센터가 업무시간이면 웹 채팅 담당자에게 넘기도록 하고 업무시간이 아니라면 담당자가 다시 전화할 수 있도록 약속을 잡게 한다"고 그는 설명했다. 

콜센터 운영과 통합하여 AI 시스템이 그 정도 수준의 지식을 갖추도록 하는데 시간이 걸렸던 것이다. 

파일럿, 파일럿, 파일럿
얼라이트는 프로젝트를 추진하기 전에 베린트와 먼저 광범위한 실험을 했다. 쿠리는 "여러 업체들의 시스템을 테스트했다. 수많은 보안, 아키텍처 업데이트 및 변경이 필요했다. 여러 가지 시스템을 테스트한 후에 하나의 파일럿에 초점을 맞췄다. 그 실험을 통해 이것이 앞으로 나아가는 길이라는 확신을 주는 결과를 얻었다"라고 말했다.

공급업체를 테스트하는 것은 부동산 기업 프리암 캐피털(Priam Capital)에게도 핵심 과제다. 이 회사는 중서부와 동남부에 있는 사무용 빌딩을 구입해서 관리하는데 이들 빌딩에는 여러 업체가 임대로 입주해 있다.  

그 회사가 안고 있는 어려움은 직원들이 서류 작업을 하는데 너무 많은 시간을 소비하고 있고, 건물을 구매하는 데는 시간을 충분히 할애하지 못한다는 것이었다. 상업용 임대차 계약은 아주 복잡해서 때로는 100페이지가 넘으며, 개별적으로 협상된 세부사항만도 수백 건에 이른다. 게다가, 오래된 임대차 계약은 모두 종이로 되어 있었다.

이 회사의 설립자이자 CEO인 아비셰크 마투르는 많은 업체들이 AI 기반의 광학 문자 인식과 자연 언어 처리를 제공하고 있다고 전하며, 하지만 이들 기술은 종종 효과가 없거나, 이와 같이 특별한 분야에는 효과가 없었다고 지적했다. "AI 시장에는 교묘한 속임수가 아주 많다"고 그는 말한다. 

그래서 2년 전 프리암이 공급업체를 선정할 때 가장 어려운 임대차 계약서를 모아 공급업체들이 처리할 수 있는지 살펴보았다. 이 회사가 선택한 공급업체인 레버턴(Leverton)은 임대차 계약의 핵심 요소를 식별하는 데 필요한 구체적인 부동산 분야 전문지식을 갖추고 있었다. "정말 이렇게 부동산 임대차 계약에 초점을 둔 업체는 아무데도 없었다"라고 마투르는 말했다.

이러한 사실은 시험 덕분에 분명히 확인할 수 있었다. 그는 "많은 다른 시스템들을 시험했을 때, 대부분은 매우 중요한 뉘앙스를 포착하지 못했다. AI를 구매하기 전에 시험해 볼 것을 권한다"라고 그는 덧붙였다.

 



투명성을 고려하라
어떤 AI 시스템도 완벽하지는 않다. 더욱이 내부 알고리즘이 완전히 이해하기 어렵다면 결과가 잘못된 것인지를 파악하기가 좀더 어려울 수 있다.  

상업용 임대차 계약에서의 실수는 상당한 재정적 손실을 초래할 수 있다. 따라서 프리암에서도 내부를 들여다 볼 수 없는 이 ‘블랙 박스’ 문제가 걱정거리였다. 이를 해결하기 위해, 레버턴의 툴은 임대차 계약에서 모든 세부사항을 끌어 모을 뿐 아니라, 원래의 문서에 있는 텍스트로 이어지는 링크도 포함한다.

아비나브 소마니 레버턴 CEO는 "AI가 모든 것을 제대로 하게 만드는 방법은 없다. 누구나 집어내기 어려운 어떤 뉘앙스나 낯선 용어들이 있기 때문이다"라고 말했다. 이에 따라 프리암은 시스템과 그것을 사용하는 자산 관리자들 사이에는 협력 관계를 구축했다. 이 시스템은 자산운용사가 계약서의 세부사항을 신속하게 검토할 수 있도록 해주는 것 외에 인간이 주의해서 살펴보는 것이 필요한 부분도 강조해서 알려주게 된다.

IT 컨설팅 회사인 부즈 앨런 해밀턴의 로렌 닐 책임은 "현재 AI 시스템의 설명성, 투명성, 내장된 편견을 이해하는 데 많은 연구가 진행되고 있다"라고 전하며 공급업체들의 모델이 어떻게 만들어지고 훈련되었는지에 대해 더 많은 정보를 확인할수록, 해당 모델들의 한계가 무엇인지 더 많이 이해할 수 있다고 말했다.

사이버보안 자문회사인 NCC 그룹에서 연구팀장을 맡고 있는 제니퍼 퍼닉 역시 AI 모델에 너무 비밀스러운 태도를 보이는 공급업체들과 함께 일하는 것을 경고했다.

그녀는 "일반적으로, 자사의 알고리즘과 구현방식에 대해 말하기를 꺼리는 공급업체를 조심해야 한다. 자신들이 사용하는 알고리즘 툴의 종류에 대해서는 기꺼이 알려주는 업체가 바람직하다. 예를 들어, 오픈소스 라이브러리를 기반으로 하는 것인지, 그리고 그것들이 데이터에 어떻게 적용될 것인지 등에 대해서 말이다”라고 설명했다.

퍼닉은 이어 “제품의 비밀을 알려줄 수 없다는 주장하는 이들과 혁신성 사이에는 역상관관계가 있다고도 말할 수 있다”라고 말했다. 

투명성의 또 다른 측면, 즉 오늘날 어떤 회사의 최우선 관심사가 되어야 하는 다른 이유는 사생활과 보안이다. 특히 AI 시스템은 데이터가 극도로 많은 데이터를 요구하기 때문에 데이터가 민감할 경우 기업을 위험에 빠뜨릴 수 있다.

“예를 들어, 공급업체에서 데이터를 자신들의 클라우드로 이동하도록 요구하는가? 유능한 보안팀은 제대로 배치되었는? 데이터가 공급업체 직원들에게 일반 평문 텍스트로 보여지는가? 툴 자체의 분석 성능을 넘어서는 고려사항이 많다"라고 그녀는 말했다. 만약 민감한 데이터를 다루는 기업이라면 온프레미스 솔루션을 제공하는 벤더를 고려해야 한다. 

비즈니스 가치에 집중하라
회계 및 컨설팅 기업 베이커 틸리 버쵸우 크라우스(Baker Tilly Virchow Krause)의 첨단 기술 및 혁신 책임자인 와카스 마흐무드는 회사의 디지털 트랜스포메이션 전략을 이끌기 위해 1년 반 전에 이 회사에 합류했다.

전 세계 사업장에서 약 4,000명이 근무하는 베이커 틸리는 여러 차례의 합병을 거쳤기 때문에 개선하거나 표준화해야 할 프로세스가 아주 많았다. 이 과정에서 베이커 틸리는 기술 지원을 위해 챗봇 시스템을 시행하고자 했다.   

마흐무드는 독자적으로 구축할 수는 없었다며, "기술이 부족했다. 그리고 내부적으로 구축하려 했다면 걸렸을 시간도 문제였다. 오랜 시간이 걸렸을 것이다" 라고 말했다. 

마흐무드에게 AI 공급업체와의 관계가 성공하는 핵심은 구체적인 목표를 가진 프로젝트를 선정하는 것이다. 그는 "AI를 시행하기 전에 제대로 된 비즈니스 사례와 적절한 필요성이 없다면 성공하지 못할 것"이라고 말했다.

워크플로우 자동화를 위해 베이커 틸리는 이미 성공적인 관계를 맺고 있던 나이스 로보틱 오토메이션(NICE Robotic Automation)을 선정했다. 이 회사는 이전보다 1/3의 시간을 단축시켜주는 자동화 작업 프로젝트를 진행한 바 있다.

마흐무드는 “단순히 비용을 청구할 수 있는 시간을 늘림으로써 얻을 수 있는 단기적인 이득을 추구하고자 하지 않았다. 고객에게 고부가가치 서비스를 제공하고자 하는 것이다"라고 설명하며, 작업흐름 자동화 전략의 장기적인 목표는 의사결정에 도움을 주는 예측 분석을 추가하는 것이며, 이를 통해 약간의 인력이 필요한 작업들을 없애는 것이었다고 전했다.

“그러면 사람들을 더 고부가가치 업무에 투입할 수 있다”라고 그는 덧붙였다.

베이커 틸리는 12주 동안의 작업을 통해 챗봇을 배치했으며, 결과적으로 기술 지원 시간을 35% 줄였다. 마흐무드는 “우리는 티켓 솔루션에 1년 동안 8만 시간 정도를 소비했다. 사람들이 패스워드를 재설정하도록 하고 새로운 프린터를 설치해주고 새로운 소프트웨어를 다운로드하게 도와주는 일 등등 말이다”라고 전했다. 

그는 이어 “섹시한 정도까지는 아니지만 덕분에 부담이 크게 줄었다”라고 덧붙였다. 

한편 두 프로젝트 모두 장기적인 계획의 일부다. 마흐무드는 "총체적인 데이터 전략, 데이터 관리 방법, 데이터 사용 방법, 아키텍처가 갖춰야 할 모습 등을 만들어가고 있다. 중간 단계로는 AI 성능을 갖춘 분석 엔진을 탑재할 플랫폼을 만들고 있다"라고 밝혔다. 

참을성을 길러라 
마흐무드는 베이커 틸리의 AI 여정의 큰 그림을 그렸으며, 현재 아직 초기 단계에 머물러 있다. 그는 "많은 인내심이 필요하다”라고 말했다.

콘스텔레이션 리서치(Constellation Research)에 따르면 많은 이들이 얼마나 많은 노력이 필요한지, 그리고 얼마나 많은 돈이 필요한지 항상 과소평가하곤 한다. 

이 조사 기업의 수석 애널리스트 겸 설립자인 레이 왕은 "고객들이 전형적으로 직면하는 가장 큰 문제는 이러한 프로젝트를 하고 싶어하면서도, 그들은 단지 개념 증명(POC) 단계를 위한 자금만 지원한다는 사실이다. 하지만 이것들은 장기 프로젝트다"라고 강조했다.

이어 기업이 좋은 비즈니스 사례가 없던 초기 프로젝트를 선정한다면 사람들은 흥미를 잃게 된다고 그는 경고했다. 

왕은 “많은 기업들에서 이런 일이 일어난다. 정말이지 엄청난 돈을 낭비하는 셈이다”라고 말했다. ciokr@idg.co.kr