Offcanvas

AI / CIO / 디지털 트랜스포메이션

일문일답 | “문서 처리 돕는 AI 도구, 98% 정확도 이르렀다” 세지윅 리아 쿠퍼 CDO

2024.05.13 Lucas Mearian  |  Computerworld
글로벌 보험금 청구 관리 회사 세지윅이 수천 건의 보험금 청구 문서 처리를 돕는 생성형 인공지능(genAI) 도구를 출시한 지 거의 1년이 지났다. 이제 이 기술의 정확도가 거의 완벽에 가깝다고 회사 측은 자신하고 있다.

80개국에서 사업을 펼치는 세지윅이 하루에 수신하는 디지털 보험금 청구 관련 문서는 약 170만 쪽에 달한다. 수신 이후에는 문서가 유효한지 여부와 처리 방법을 결정해야 까다로운 심사 과정이 필요하다.

2023년 4월, 세그윅은 문서 요약, 데이터 분류, 보험금 청구 분석 업무를 돕는 생성형 AI 도구인 사이드킥(Sidekick)을 공개했다. 오픈AI의 GPT-4를 사용한느 사이드킥을 통해 회사는 "대규모 언어 모델을 다양한 목적에 맞게 제한 없이 생성"해 활용한다.

지난 12월, 컴퓨터월드는 회사의 글로벌 최고 디지털 책임자인 리아 쿠퍼와 생성형 AI에 대해 이야기(영문)를 나눴다. 당시 그는 세지윅의 사이드킥 생성형 AI 기술이 1만 4,000개의 문서를 샅샅이 훑어보고 "놀라울 정도로" 정확하게 요약을 뽑아낼 수 있다고 전했다. 5개월 후, 쿠퍼는 사이드킥이 처리한 문서가 5만 개가 넘었으며, 1,000명 이상의 심사관이 평가한 결과 문서 요약의 정확도가 98% 이상이었다고 전했다.

컴퓨터월드는 최근 쿠퍼와 함께 이 주제에 대해 다시 인터뷰를 진행했다. 그는 회사가 그 동안 AI에 대해 배운 점과 사이듴닉의 구체적인 개선사항에 대해 공유했다.
 
세지윅 글로벌 CDO 리아 쿠퍼
Q. 사이드킥이 평가하는 문서의 종류에 대해 알려달라. 모두 의료 관련 보험 문서인가? 아니면 다양한 문서인가? 그리고 얼마나 긴 문서인가? 

"초기 파일럿에서는 산재 보상 분야의 의료 문서를 주로 다뤘다. 이후 다른 유형의 문서와 사진으로 검증 범위를 확장했다. 테스트 단계에서 문서의 평균 길이는 6~7쪽이었지만 25~30쪽에 이르는 긴 문서도 있었다."

Q. 사이드킥에 대해 간단히 소개해달라. 어떻게 오픈AI의 GPT-4를 사용해 개발했고, 문서 관리 시스템과 어떻게 연결되었는가? 

"우리는 생성형AI의 장점을 최대한 활용함으로써 청구 전문가들이 일상 업무에서 이점을 누릴 수 있도록 하기 위해 사이드킥을 개발했다.

“보험금 청구 관리의 바쁜 업무를 줄여 효율성을 높이고 직원들이 고객을 돌보는 데 집중할 수 있다면 프로세스뿐 아니라 보험금 청구 경험도 혁신할 수 있다고 봤다. 첫 번째 이니셔티브는 보험금 청구를 위해 접수되는 문서를 요약하는 것이었다. 데이터가 안전하게 유지되도록 세지윅 환경에 챗GPT를 배포한 다음, 첫 번째 사용 사례를 평가하여 생성형AI를 성공적으로 구현할 수 있는지 일단 확인하고자 했다.”

"사이드킥의 파일럿 단계에서 5만개 이상의 문서를 통합하는 등 성공적으로 완료했다고 말할 수 있어 몹시 기쁘다. 이제 막 두 번째 단계를 마무리한 상태다. 이 단계에서는 독점적인 보험금 청구 관리 시스템에 사이드킥 기술을 통합했다. 생산성 향상을 위해 아주 중대한 부분이었다.”
 
"향후 어떻게 하면 이 도구를 비즈니스와 더 연관성 있게 만들 수 있을까? 어떻게 하면 생산성을 높이고, 해결 시간을 단축하며, 전술적인 애플리케이션에서 전략적이고 개념적인 애플리케이션으로 전환할 수 있을까? 우리의 차별화 요소가 바로 여기에 있다. 하나의 도구가 아니라 여러 기능이 결합되어 확장 가능하고 신속하게 배포할 수 있는 플랫폼을 고유한 방식으로 만들어냈다. 향후 50년 동안 축적된 보험금 청구 모델에 대한 이해에 더해 동급 최고의 데이터 과학 프로그램을 통해 쌓아온 노하우에 생성형 AI를 결합하면 보험금 청구 산업을 혁신하는 비즈니스 모델로 도약할 수 있을 것이다.”

Q. 지난번 인터뷰에서는 약 500명의 직원이 사이드킥을 사용하고 있다고 말한 있다. 그 숫자가 그대로 유지되고 있는가? 업무에 생성형 AI를 어떻게 활용하고 있나? 

"현재 1,100명 이상의 직원이 이 도구를 사용하고 있다. 심사관들은 이 기술을 사용하여 청구 문서를 요약하고 전체 프로세스를 신속하게 처리하고 있다."

Q. 사이드킥을 사용하는 직원들로부터 긍정적인 피드백과 부정적인 피드백으로는 어떤 것이 있는가? 

"직원들은 실제로 이 제품을 더 빨리 널리 사용할 수 있게 해달라고 요청하고 있다. 이 솔루션을 사용해 본 직원들이 요약의 정확성과 청구 시간 단축에 대해 동료들에게 이야기하면서 새로운 도구에 대한 기대감을 불러일으키고 있다."

Q. 98% 이상의 정확도는 어떻게 나온 수치인가?

"사이드킥의 파일럿 단계에서 우리는 사이드킥의 출력 결과를 평가하는 직원들에게 지속적으로 피드백을 요청했다. 심사관들은 문서가 성공적으로 요약되었는지 또는 누락된 부분이 있는지 알려달라는 요청을 받았다.

"AI 프로그램을 판단하는 한 가지 핵심은 사용자가 이 새로운 프로세스의 일부로 무엇을 판단하는지 이해할 수 있도록 결과물에 대한 기대치를 설정하는 것이다. 심사관이 무엇을 찾고 있는지 파악하고 출력 결과를 정의함으로써 우리는 성공적인 것으로 간주되는 것과 그렇지 않은 것에 대한 기준을 설정할 수 있었다.”

"'현장에 있는' 사용자로부터 실제 피드백을 얻는 것은 매우 중요하다. 일반적으로 이러한 요약본을 수작업으로 작성하는 사람이 AI를 채점했다. 처음 몇 달 동안은 피드백을 바탕으로 다수 수정했고, 시험관의 머릿속을 시뮬레이션하기 위해 프롬프트 엔지니어링을 여러 번 반복해야 했다.”

"문제를 해결하고 초기 테스트 점수에 만족한 후에는 1,100명의 직원에게 더 광범위하게 배포했고, 최종적으로 사이드킥의 점수를 98% 이상의 정확도로 규정했다. 기술 도입에 있어 비즈니스 파트너의 참여는 성공 여부를 결정하는 데 매우 중요했다. 이러한 주장을 실제 사용자들이 뒷받침하지 않는다면 기업은 성공적인 기술 도입을 실현하지 못할 것이다."

Q. 생성형 AI가 창출한 시간 절약과 잠재적인 생산성 향상에 대해 말해달라.

"이 기술은 조직 전반에 걸쳐 효율성을 향상시켰고 앞으로도 계속 향상시킬 것이다. 우리는 비교적 복잡하지 않지만 필요한 단계인 보험금 청구 관리 관련 작업을 자동화하는 방법을 찾고자 노력해 왔다. 내 관점에서 볼 때, 우리는 주의를 덜 기울여야 하는 영역(예: 간단한 청구)을 간소화하고 심사관이 고객과의 더 빠르고 협력적으로 참여할 수 있는 다른 유형의 청구에 집중할 수 있도록 하는데 초점을 맞추고자 한다. 최소한의 조사가 필요한 보험금 청구에서 부사를 줄이고, 대신 더 많은 주의와 임상 자원, 고객과의 시간이 필요한 보험금 청구에 손해사정사를 투입하고자 한다. 결과적으로 누군가의 인생에서 어려운 시기를 더 잘 돌볼 수 있게 될 것이다"

Q. 매일 약 170만 건의 보험금 청구 관련 문서를 수신하므로 생성형 AI가 처리하는 5만 건의 문서는 상대적으로 적은 비율이다. 이러한 문서가 전체를 정확하게 대표하도록 하기 위해 어떤 방법론을 사용했는가? 

"이번 출시 과정에서 특정 속성을 가진 문서만 선별하지 않았다. 우리는 큰 그림을 원했다. 이를 위해 보험금 청구 분석을 위한 새로운 기술 프로그램에서 우리와 협력하기를 원하는 고객들과 함께 작업했다. 우리는 고객과 직접 협력하여 보험금 청구 프로세스 중에 이 새로운 기술을 사용할 수 있도록 승인을 받았고, 고객이 합류한 후에는 모든 문서에 생성형 AI 솔루션을 적용했다. 이를 통해 모든 유형의 클레임과 문서에 대한 노출을 확보할 수 있었고, 모든 시나리오에 대해 생성형 AI를 철저히 검증할 수 있었다."

Q. 이 프로젝트를 통해 배운 점은 무엇인가? 

"처음 생성형 AI를 업무에 통합했을 때는 언제 어떻게 적용하는 것이 가장 좋은지 빠르게 배워야 했다. 생성형 AI 기술은 매일매일 빠르게 발전하고 있는 것 같다. 이는 생성형 AI를 잘 적용하기 위해서는 끊임없는 학습과 과제 해결이 필요하다는 의미다. 그야말로 민첩한 환경에서 일할 수 있는 기회를 제공한다는 점에서 리더십에 있어서도 흥미진진하고 압도적인 시기다.”

"많은 기사와 미디어에서 생성형 AI를 인터넷의 출현과 비교했다. 실제로 몇 가지 주요한 유사점이 있다. 세그윅과 전 세계 기업들이 이러한 기술 도구에 투자하고 있지만, 가장 큰 성공을 거둘 기업은 이 기술을 잘 활용하는 방법에 대해 비판적으로 생각하는 기업이라는 점이 그 중 하나다. 운영 모델에 생성형 AI를 가장 적용하는 방법을 파악하여 각 도구에 가장 적합한 사용 사례를 식별하는 것이 중요하다. 이러한 도전과 기회가 계속되는 가운데 혁신이 계속되면서 어떤 새로운 기회가 생겨날지 기대가 된다."

Q. 이번 사이드킥 시험 기간 동안 예상치 못한 문제가 발생했는가? 

"이번 사이드킥 평가판에서 여러 가지 긍정적인 점을 발견했다. 즉, 현재 사용 가능한 생성형 AI 제품들의 신뢰성이 예상보다 훨씬 높았다는 점이다.”

"초기 정확도는 놀라울 정도로 높았고, 클레임 관리 팀에 매우 유용하다는 것이 입증됐다. 과거에는 갓 실용화된 기술 도구가 이 정도로 효과적이지는 않았다. 이러한 초기 성공은 현재 인공지능의 빠른 혁신과 비즈니스 모델 및 운영 전반에 걸친 인공지능의 현재 및 잠재적 활용 가능성을 낙관하게 한다."

Q. 생성형 AI 여정의 다음 단계는 무엇인가? 더 큰 규모의 도입을 계획하고 있는가? 아니면 비즈니스의 다른 영역에서 활용할 것을 고려하고 있는가? 그렇다면 그 영역은 무엇인가? 

"다음 단계는 데이터 과학, 의사 결정 엔진, 동적 API 지원과 함께 새로운 기술 도구를 결합하여 워크플로우를 혁신하는 데 초점을 맞추는 것이다. 이러한 도구를 새로운 플랫폼에 결합하면 이전에는 불가능했던 간단한 클레임에 대한 로우터치 자동화가 가능해질 것으로 본다. 우리는 운영 모델을 구축하고 업계 지형에 대한 이해를 확보했다. 덕분에 새로운 '머스트 해브'에 대한 기반을 마련했다. 우리는 어떤 기업보다 이를 잘 이해하고 있다고 자부한다.”

"한편 새로운 생성형 AI 도구를 배포하면서 직면한 현실이 있다. ‘새로운 데이터나 증빙 문서를 통해 이 사실을 알게 됐다. 그렇다면 이것이 보험금 청구에 어떤 의미가 있는가?’라는 질문이 출현했다. 바로 이때 데이터 과학이 개입한다. 수년간의 업계 최고 수준의 운영과 고객과의 협업을 통해 미래를 알려줄 수 있는 데이터 세트를 확보했다. 생성형 AI에서 학습한 정보를 예측 모델링의 분석 AI와 결합하면 보험금 청구의 발전을 촉진하고 보험금 심사관에게 처방적 권장 사항을 제공할 수 있다.”

"이와 관련해 중요한 포인트가 있다. 우리의 목표는 직원들이 잘하는 비판적 사고와 판단을 대체하는 것이 아니다. 더 나은 결정을 내릴 수 있도록 관련성 있고 신속한 데이터를 제공하는 것이 목표다. 간단히 말해, '이 청구건은 우리에게 이런 교훈을 주었으니 대비하라’라고 말할 수 있게 될 것이다.

"청구 라이프사이클의 다음 단계로 넘어갈 수 있고, 최적의 해결 경로를 찾기 위해 더 멀리 바라볼 수 있을 것이다. 클레임 해결 시간은 줄어들고, 얼리어답터들은 기술 지원의 혜택을 더 빨리 누릴 수 있으며, 고객들의 경험은 개선될 것이다. 생성형 AI, 데이터 과학, 50년간의 지식으로 구성된 삼각형을 통해 우리는 그 어느 때보다 더 지능적이고 상황에 맞는 클레임 모델을 만들 수 있는 독보적인 위치에 서게 됐다고 자부한다."

Q. 생성형 AI 도입을 고려 중인 다른 기업에게 팁이나 권장 사항이 있는가? 

"AI 분야에 자금이 몰리고 빠른 속도로 개발이 이뤄지고 있다. 결과적으로 이 도구를 사용하는 방법에 대한 지식과 이해가 버거울 지경이다. 기업들은 이 기술을 기존 프로세스와 통합하는 방법을 찾기 위해 고군분투하고 있다. 사람을 배제하지 않고 사람이 판단을 내리는 데 도움이 되는 리소스를 추가함으로써 비즈니스 방식을 의미 있게 혁신할 수 있는 방법에 집중하는 것이 중요하다.”
 
"나는 기술과 운영 간의 강력한 파트너십을 촉진하는 것이 생성형 AI의 핵심이라고 말하고 싶다. 어떤 프로세스도 신성하지 않다는 생각으로 업무에 접근해야 하며, 회사와 직원은 새로운 혁신과 효율성을 찾기 위해 AI를 활용하는 것을 두려워해서는 안 된다.”

"그리고 마지막 팁이 있다. 전체 비즈니스 모델에 유용할 수 있는 포괄적인 애플리케이션이 있다는 가정은 있을 수 없다는 것이다. 우리의 사례를 든다면, 복잡한 보험금 청구의 경우 보험금을 청구하는 사람과 협력하기 위해서는 사람이 있어야만 한다. 생성형 AI와 같은 기술 솔루션을 활용함으로써 사람이 프로세스의 가장 중요한 측면에 집중할 수 있는 토대를 마련할 수 있다." ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.