일문일답 | “고객 지원 기능에 챗GPT 적용해보니..." 인터콤 머신러닝 디렉터

대기업과 중소기업 모두 활용 방안을 모색하고 있는 센세이션의 주인공이 챗GPT다. 11월 출시 이후 5일 만에 100만 명의 사용자를 확보했다. 이후 두 달 동안 등록한 사용자는 2억 명을 넘어선다. 

아틀라시안, 아마존, 리프트를 포함해 전 세계적으로 2만 5,000곳 이상의 기업을 대상으로 고객 지원 소프트웨어를 제공하는 인터콤은, 챗GPT 사용 측면에서 최첨단에 있는 기업이다. 이 회사는 최근 챗GPT의 대규모 언어 모델인 GPT-3.5의 기능을 사용해 자사 플랫폼에 AI 지원 기능을 추가했다. 

인터뷰의 머신러닝 책임자인 퍼걸 리드는 회사의 AI 기반 고객 서비스 소프트웨어(레졸루션 봇)에 챗GPT 기능을 추가함으로써 명백한 이점을 기대할 수 있다고 말했다. 그러면서도 그는 간과할 수 없는 우려 사항도 있다고 경고했다. 컴퓨터월드가 리드와 만나 업무용으로 챗GPT를 사용하는 방법과 이로 인한 주요 과제에 대해 이야기를 나눴다. 



Q. 회사에 대한 설명, 그리고 왜 기존 제품에 대한 업그레이드가 필요하다고 느꼈는지 답변을 부탁한다. 

A. “우리의 비즈니스는 기본적으로 ‘고객 서비스’다. 우리는 기업들이 이용할 수 있는 메신저를 만든다. 누군가(소비자 등)가 고객 지원 혹은 서비스 문제를 겪으면, 이들은 기업 웹 사이트를 방문해 메신저에 입력하기 시작한다. 왓츠앱 채팅과 유사하다. 웹사이트의 우측 아래 구석에 이러한 메신저들이 뜨는 것을 본 적이 있을 것이다.”

“인터콤(Intercom)은 이 분야의 선두 기업이며 비즈니스 메신저를 처음으로 개척한 회사 중 하나다. 이 메신저를 기반으로 고객 기업의 지원 담당자(support reps)를 위한 전체적인 고객 지원 및 플랫폼을 구축한다. 지원 담당자(우리는 ‘팀메이트(teammates)’라고 부른다)는 고객 지원 질문에 매일 반복적으로 답변하는 업무를 맡은 이들을 말한다. 

“챗GPT가 무작위적이고 시끄러운 대화를 다룰 수 있는 역량을 가졌음을 우리는 목격했다. 인간은 질문을 할 때 사용하는 방식은 꽤나 까다롭다. 가령 대화 중에 사람들은 대화에서 이미 몇 번 오간 말로 다시 돌아가 언급할 수 있다. 이는 전통적인 머신러닝 시스템이 다루기가 어려웠지만 오픈AI의 새로운 기술은 능숙하게 대응하는 것으로 보인다.”

“우리는 챗GPT 및 GPT 3.5를 시험해 보았고 굉장하다고 생각했다. 우리의 봇 및 이전에 보유했던 고객 지원 담당자용 기능을 혁신할 것으로 기대한다.”

Q. 업그레이드 생성 및 출시에 어느 정도 시간이 소요됐나? 

“내부적으로 12월 초에 제품 작업을 시작해 1월 둘째 주에 첫 프로토타입 데모를 완성했다.”

“상당히 빠른 개발 주기다. 1월 중순경 108명의 고객이 베타 버전을 사용했으며, 1월 말에 베타 버전을 추가로 출시했다. 현재 오픈 베타 단계에 있기 때문에 이를 사용하는 수백 명의 인터콤 고객들이 더 있다. 사람들은 매일 자신의 프로덕션 작업에서 이를 사용하고 있지만, 상당히 새롭기 때문에 우리는 여전히 이를 ‘베타’로 분류한다.”

“오픈AI가 가진 이러한 개방형 API는 일반적으로 사용되는 API에 비해 상당히 비싸다. 무언가를 요약하도록 시킬 때마다 상당히 많은 비용이 든다. 5센트 혹은 10센트 정도가 들 것이다. 시간이 경과함에 따라 상당히 비싸진다. 사람을 고용하는 것보다는 훨씬 저렴하지만 이는 결국 기업들이 해답을 알아내야 할 문제다.”

“이게 우리가 여전히 베타 단계에 있는 또 다른 이유다. 여전히 이것의 경제학에 대해 알아가는 중이다. 이를 통해 비용 대비 더 많은 시간을 절약할 수 있다고 확신하기는 한다. 그러나 이 모든 경제학은 어떻게 작동하며 이러한 것들을 위한 바람직한 구축 방법은 무엇일까? 풀어가야 할 과제다.”

Q. 챗GPT 및 오픈AI의 GPT 3.5 대형 언어 모델 간 차이점은 무엇인가? 제품을 만들기 위해 이 둘을 따로 작업했나? 

“개인적으로 챗GPT는 GPT 3.5 모델의 프론트 엔드에 가깝다고 생각한다. 그러나 챗GPT에 기반해 구축하는 모든 이는 오픈AI가 GPT 3.5라고 부르는 동일한 기본 모델에 기반해 구축한다. 기본적으로 같다. 차이는 사용자 인터페이스다.”

“챗GPT는 약간 더 많은 가드레일로 훈련되었기 때문에 이 프로그램이 원치 않는 무언가를 요청할 경우 ‘나는 단지 대형 언어 모델일 뿐이다. x 혹은 y를 할 수 없다’고 언급할 것이다. 반면 기저 언어 모델은 이러한 가드레일이 없다. 인터넷에서 최종 사용자와 대화하도록 훈련받지 않았다. 제품을 구축하는 모든 이는 챗GPT 인터페이스가 아닌 기저 모델을 사용한다. 그러나 이해의 정교함 및 기저 모델의 역량 측면에서는 기본적으로 동일하다.”

“우리가 사용하고 있는 모델인 ‘텍스트-다빈치-003(Text-Davinci-003)’은 오픈AI가 챗GPT와 같은 날에 출시했기 때문에 현재 모두가 이를 사용해 작업하고 있다.”

Q. 무엇을 구축할 것인가에 대해 선택할 수 있었나? 새로운 서비스 담당자 기능을 구축하는 데 사용할 수 있었던 서드파티의 대규모 언어 모델이 또 있었나? 

“현재의 챗GPT는 오픈AI가 호스트하는 모델 중 하나의 애플리케이션이다. 엄밀히 말하면, 챗GPT는 웹사이트에 사는, 일반 대중 및 챗GPT류의 무언가(ChatGPT things)를 만드는 모든 이를 위한 오픈AI의 서비스다. 챗GPT를 구동하기 위한 것과 동일한 동일한 오픈AI 모델을 사용하고 있다고 말하는 게 더 정확한 표현이다.”

Q. 챗GPT가 (인터콤의) 레졸루션 봇(Resolution Bot) 제품과 동일한 작업에 사용되고 있나? 

“초기에 내놓은 기능은 최종 사용자가 아닌 지원 담당자를 위한 기능이였다. 현재 최종 사용자를 위한 챗봇을 준비하고 있으며, 지원 담당자를 위한 머신러닝 기반 생산성 기능도 갖추고 있다. 초기 제품은 지원 담당자를 개선하는 기능을 갖추고 있다. 최종 사용자를 위한 게 아니다.”

“이와 같이 한 이유는 오픈AI의 현재 머신러닝 모델 대다수가 환각(hallucinations) 현상을 겪고 있기 때문이다. 특정 질문에 대한 답을 물었는데 답을 가지고 있지 않은 경우, 상당히 빈번하게 옳은 사실인양 말을 지어낸다.”

“그럴듯한 ‘다음 완성(next completion)’을 생성하는 게 이 챗봇의 미션이라고 생각해보자. 사용자에게 제시한 답변이 사실이라는 점을 확실히 하지 않고 답변을 지어낸다. 이로 인해 초기에는 최종 사용자의 질문에 답하도록 하는 것에 대해 주저했다. 여전히 봇이 답을 꾸며내는 것에 대해 고객이 불편함을 느낄까봐 우려스럽다. 또한 초기 테스트 결과, 고민없이 고객이 완전한 GPT 기반 봇을 사용하도록 하는 것은 상당히 좋지 않은 생각임이 드러났다. 이와 관련해 우리는 지속적인 해결 노력을 기울이고 있으며, 미래에는 이를 위한 해결책이 있으리라 본다.”

Q. 사실인양 답을 지어낸다면 이 도구가 지원 담당자에게 과연 도움이 될까? 

“우리가 이 분야에서 일하고 있고 물론 내부적인 R&D 프로토타입을 갖추고 있지만, 현재로서는 이름을 붙이거나 내놓기로 한 것이 없다.”

“초기에는 오직 지원 담당자를 지원하기 위해 챗봇을 출시했다. 이들은 일반적으로 올바른 답변이 무엇인지 알고 있기 때문이다. 또한 이들은 90%의 경우 직접 입력할 필요가 없기 때문에 챗봇을 통해 더욱 신속하고 효율적으로 작업할 수 있다. 그리고 사소한 환각 현상이나 부정확함이 있는 나머지 10%의 경우, 이들이 문제를 해결할 수 있다.”

“따라서 약간 인터페이스처럼 된다. 구글 독스(Google Docs) 혹은 제안을 제공할 수 있는 단어예측(predictive texting)을 사용하는 경우, 제안이 가끔 틀리더라도 괜찮다. 그러나 제안이 맞았을 경우에는 속도를 높일 수 있어 효율성이 개선된다. 우리가 처음 내놓은 게 바로 이것이며 1월 말까지 수백 명의 고객이 베타 버전을 사용했다. 또한 시작도 상당히 좋았다. 새로운 기능에 대한 매우 긍정적인 피드백을 많이 받았다. 이를 통해 지원 담당자의 효율성은 높아졌고 이를 통해 많은 볼륨을 소화할 수 있었다.”

“담당자가 작성하는 부분에서 이 모델은 직관적으로 텍스트의 어구를 바꿔 말할 수 있도록 돕지만 최종 사용자에게 자동으로 이를 전송하는 것은 아니다. 이 모델은 팀메이트가 효율성을 높일 수 있도록 힘을 실어주기 위해 고안됐다.”

Q. 고객 담당자를 위한 강력한 다른 챗GPT 기능도 있나? 

“그렇다. 우리가 구축한 또 다른 기능은 요약 기능이다. 이러한 대형 언어 모델들은 기존 텍스트를 처리하는 데 탁월하며, 큰 기사나 (텍스트) 대화 요약을 생성하는 데 있어서도 뛰어나다. 지원 담당자들은 문제가 과도하게 복잡해질 경우 대화를 중단해야 한다. 또한 이를 감독관에게 넘겨야 하고 종종 최종 사용자와 나눈 대화의 요약을 작성해야 한다. 때때로 대화에 응답하는 것만큼 요약을 작성하는 데 시간이 걸린다고 말하는 담당자들이 일부 있다.” 

“이 기술은 텍스트 요약 및 압축에 탁월하다. 텍스트를 상당히 줄인다. 따라서 우리가 구축한 기능 중 가장 자랑스럽게 생각하는 기능이 요약 기능이다. 버튼을 누르면 지금까지의 대화를 요약하도록 설계한 기능이다. 이를 편집한 후 에스컬레이션(escalation)하려는 모두에게 전송할 수 있다.”

“기능의 모든 첫 번째 물결은 루프(loop)에 인간을 포함하도록 설계됐다. 인간은 이 기능을 보강한다. 고객 서비스 담당자들은 전체 대화를 읽고 관련 사실을 추출하는 데 몇 분을 사용할 필요가 없다. 대신 AI가 관련 사실을 추출한 다음 담당자는 승인만 하면 되거나 뉘앙스가 일부 누락되었다고 말하기만 하면 되는 것이다.”

“이러한 모델들은 이전 모델에 비해 훨씬 더 개선됐다. 그러나 여전히 완벽하지는 않다. 여전히 때때로 뉘앙스를 누락한다. 숙련된 인간 담당자라면 이해할 내용을 여전히 이해하지 못하는 경우가 있다.”

Q. 어떻게 니즈에 맞게 챗GPT 소프트웨어를 수정했나? 수정된 버전은 어떻게 작동하나? 

“오픈AI는 텍스트를 보내고 이 모델이 제공하는 텍스트를 다시 받을 수 있는 API를 제공한다. 과거와 달리, 사용자는 영어로 원하는 바를 ‘말하며’ 이 기술을 사용할 수 있다. 다음과 같은 일련의 텍스트를 보내는 상황을 생각해볼 수 있다. 
 

“해주기를 원하는 작업을 포함해 이 텍스트를 보내면 텍스트를 되돌려 받는다. 이 경우에는 현재 요약된 버전이 포함된다. 그런 다음 우리는 이를 처리하고 지원 담당자에게 제시해 사용 여부를 선택하도록 한다.”


상담원과 고객이 나눈 대화와 이를 요약한 사례. (https://twitter.com/destraynor/status/1620478507792076801)

“사람들이 이를 통해 수행할 수 있는 작업 중 하나는 이메일을 요약하는 것이다. 이메일은 종종 아래 이메일의 이전 기록을 모두 포함하고 있으며, 사용자는 이를 사용해 해당 이메일 스레드를 요약할 수 있다. 과거 프로그래밍 언어들이 하지 못했던 방식으로 작동하는 것이다. 단 원하는 것을 실행하도록 하기 위해서는 많은 주의를 기울여야 한다. 무언가를 하도록 요청할 때는 오류 방지를 위해 상당히 구체적으로 해야 한다. 기존과 다른 유형의 기술이다. 전통적인 머신러닝과는 다른 기술이다.”