인터뷰 | ‘측정 기준 구체화’로 생성형AI 도입 효과를 높이다··· 크리스 베디 서비스나우 CIO

서비스나우는 생성형 AI 관련 서비스를 제공하는 동시에 내부적으로도 생성형 AI를 적극 활용하고 있다. 서비스나우 CIO 크리스 베디(Chris Bedi)는 새로운 기술 도입 과정에서 ‘측정’ 방식에 대한 고민을 특히 많이 했다고 밝히며, 다른 기업에도 비슷한 노력을 할 것을 추천했다.
 

생성형 AI 경쟁이 본격화되면서 소프트웨어 공급 업체들도 AI 관련 기능을 내세우는 데 여념이 없는 상황이다. 서비스나우는 생성형 AI 기능을 최초로 발표한 것은 아니지만, 주요 플랫폼 공급업체 중에서는 매우 빠른 속도로 AI 기반 서비스를 공개하고 있다. 

서비스나우의 CIO 크리스 베디는 “서비스나우는 생성형 AI 관련해서 그만큼 준비가 잘 됐기 때문에 업데이트된 기능도 빠르게 내놓을 수 있었다”라며 “지난 몇 년간 서비스나우는 대규모 언어 모델을 개발해 왔다”라고 설명했다. 

실제로 서비스나우의 워크플로우 자동화 플랫폼 ‘나우’에는 최근 ‘나우 어시스트’가 추가됐다. 고객은 나우 어시스트로 IT 서비스 관리, 고객 서비스 관리, HR 서비스에 맞춤화된 텍스트 생성 및 요약 기능을 이용할 수 있다. 또한 문의 사항을 분류하고 응답을 자동화하는 등 상담원의 생산성 향상에도 도움을 받을 수 있다. 

나우 어시스트에는 서드파티 기업이 문의 시스템 자동화 확장 프로그램을 만들 수 있다. 그런 면에서 이번 나우 어시스트의 AI 기능이 서드파티 기업에게 안 좋은 소식이 될 수 있지만 베디는 “큰 영향은 받지 않을 것”이라고 설명했다.

기존 서비스에 AI 기능을 도입한 벤더는 서비스나우 뿐만이 아니다. 가령 오픈AI 만해도 11월 초에는 누구나 지침과 추가 지식을 결합해 맞춤 챗GPT를 만들 수 있는 도구를 출시했다. 기업은 오픈AI의 새로운 도구로 AI 기술을 간단히 만들 수 있기에, 타사 공급업체에 의존할 가능성이 줄어든다. 

베디는 “당연히 단일 플랫폼에 AI 기능을 통합하는 것은 가치가 있는 일이다”라며 “다른 기업의 CIO도 최근 나에게 단일 플랫폼으로 복잡성을 줄이고 싶고 개별적인 포인트 솔루션 구매를 원하지 않는다는 의견을 전했다”라고 설명했다.

생성형 AI의 활용
서비스나우의 나우 플랫폼을 다른 기업에 판매할 뿐만 아니라 서비스나우 안에서도 쓰이고 있다. 일종의 고객 0호인 베디는 불과 몇 주 만에 새로운 생성형 AI 기능을 도입하는 데 성공했다. 

베디는 이미 나우 플랫폼의 새로운 생성형 AI 기능을 활용하여 고객과 직원의 사용자 경험을 개선하고 상담원의 생산성을 향상하며 디지털 트랜스포메이션을 가속화하고 있다고 말했다. 생성형 AI로 셀프 서비스 접근성을 높이고 문제 해결 도구로 활용하면서 사용자 경험 개선과 생산성 향상했다는 것이다. 

베디는 “AI는 사람의 의도를 훨씬 더 강력하게 파악할 수 있고, 도움말 문서에서 알아야 할 내용을 가져와서 바로 표시할 수 있다. 이는 엄청난 능력이다”라고 설명했다. 물론 과거에도 자동화 도구로 문제를 분류하고 해결할 수 있었지만 생성형 AI는 그보다 더 정교한 도움을 준다고 한다. HR 직원, IT 서비스 데스크 운영자, 고객 서비스 상담원, 영업 직원 등 다양한 소속의 직원이 생성형 AI를 도구로 대량의 문서를 살펴보고 필요한 답을 찾을 수 있다는 것이다. 

베디는 “서비스나우는 하나의 대규모 언어 모델(LLM)로 모든 시장 출시 콘텐츠와 제품 설명서를 색인화했다”라며 “새로운 영업 직원도 바로 입사 당일에 필요한 지식을 갖추도록 도울 수 있다”라고 설명했다. 베디에 따르면, 이러한 분류 도구는 많은 기업에 매우 빠르게 도입되고 있다. 

디지털 트랜스포메이션 영역에서 생성형 AI는 텍스트를 입력하면 코드(Text to code) 또는 작업 흐름(text to flow)으로 변환하는 기능 개발에 쓰일 수 있다. 특히 텍스트를 작업 흐름을 변환하는 기능은 로우코드 개발 플랫폼 구추 과정에서 유용하다. 복잡한 프로세스를 작업하는 비즈니스 분석가의 경우 “텍스트를 작업 흐름으로 바꾸는 도구를 사용하면 필요한 작업의 70~80%는 빨리 달성할 수 있다”라며 “일단 기본 흐름이 완성되면, 남은 영역은 기술적으로 조금 더 숙련된 직원이 직접 빈 부분을 채워주면 된다”라고 설명했다. 이러한 도구는 비즈니스 팀과 기술 팀을 더욱 긴밀하게 연결하는 기반을 제공한다고 그는 덧붙였다.

생성형 AI가 인간의 일자리를 빼앗을 수 있다는 우려에 베디는 개발자에게는 그런 위험이 거의 없다고 설명했다. 그는 “소프트웨어 엔지니어가 줄어드는 것은 아니다. 오히려 기존 인력으로 더 많은 업무를 수행할 수 있고, 심지어 평범한 소프트웨어 엔지니어를 최고의 소프트웨어 엔지니어로 만들 수도 있다”라고 설명했다. 

생성형 AI 프로젝의 성공 열쇠 ‘측정’
베디는 내부 프로젝트에서 얻은 교훈을 기반으로 생성형 AI 애플리케이션을 최대한 활용하고자 하는 CIO에게 몇 가지 조언을 제공했다. 일단 그는 측정이 핵심이라고 말했다. 목수가 목재를 잘 맞추기 위해 ‘두 번 측정하고 한 번 자르라’고 조언하는 것처럼, 베디는 만족도, 도입 여부, 적용 범위, 비즈니스 영향이라는 네 가지 범주의 측정요소를 사용하여 생성형 AI의 적합성을 측정했다.

감성은 직원들이 워크플로우에서 생성형 AI를 얼마나 기꺼이 사용할지를 측정하는 척도가 될 수 있다. 베디는 IT 상담원에게 생성형 AI 기능이 생산성 향상에 얼마나 도움이 되었는지 질문을 던졌는데, 한 달 사용 후 58%가 그렇다고 답했다고 한다.

베디는 도입 여부는 완전히 다른 지표라고 말했다 ‘마음에 든다’고 말하는 것과 ‘채택하고 있다'고 말하는 것은 매우 다르다는 것이다. 그는 “실제로 생성형 AI를 도입해 보니 업무 흐름에 자연스럽게 녹아들지 않는 AI는 결국 사라진다는 교훈을 얻었다"라고 설명했다.

적용 범위는 ‘생성형 AI가 현재 마주하는 문제를 해결할 수 있는가?’의 기준이 되는 영역이다. 베디는 “생성형 AI는 텍스트를 잘 분석하고 요약ㅎ하므로 사례 요약과 같은 작업의 경우 적용 범위가 100% 된다”라며 “하지만 검색에서는 생성형 AI가 답변에 기여해서는 안 되는 특수한 신뢰 임계값을 정의하게 된다. 특정 수치 이하에서는 일반적인 도움말 문서에서 원하는 답을 검색에서 제공해야 한다. 이런 영역에서 적용 범위는 생성형 AI가 실제로 역할을 수행할 수 있는 횟수의 비율로 정의할 수 있다”라고 말한다.

마지막으로 베디는 비즈니스 영향력은 속도, 생산성, 고객 순추천지수(Net Promoter Score, NPS), 직원 순추천지수 등 일반적으로 익숙한 KPI로 측정할 수 있다고 말했다. 그는 “생성형 AI에 뛰어들려는 곳이라면 앞서 언급한 네 가지 범주의 메트릭 그리고 해당 메트릭 관련해서 실제 상황을 정확히 반영해 파악할 수 있는 방법을 생각해야 한다”라고 설명했다. 
ciokr@idg.co.kr