Offcanvas

AI / 분쟁|갈등 / 비즈니스|경제 / 애플리케이션

‘기업의 AI 책임 문제 강조’… 에어캐나다 챗봇 사건의 시사점

2024.02.21 Grant Gross  |  Computerworld
항공사 에어캐나다가 고객 서비스 챗봇의 가격 책정 실수에 대해 비용을 지불하라는 판결을 받았다. 분석가들은 이 사건을 기업이 AI 도구 모니터링에 투자해야 하는 이유를 보여주는 사례로 언급했다.
 
ⓒ Getty Images Bank

캐나다 민사 해결 재판소가 에어캐나다에 고객 서비스 챗봇 실수에 대한 배상금을 지급하라는 명령을 내렸다. 또한 기업이 인공지능(AI) 도구를 더 잘 훈련하고 모니터링해야 할 필요성도 강조됐다.

브리티시컬럼비아주에 거주하는 제이크 모팻은 2022년 11월 온타리오의 할머니 장례식에 가기 위해 에어캐나다 웹사이트를 방문했다. 당시 웹사이트 챗봇은 정가로 티켓을 발권한 뒤 90일 이내에 상조 할인을 신청하면 일부를 환불받을 수 있다고 안내했다.

모팻은 이후 할머니의 사망증명서를 첨부해 할인을 요청했지만 에어캐나다는 할인 제공을 거부했다. 고객이 사전에 신청할 경우 상조 할인을 제공한다는 내용이 애어캐나다 웹사이트 정책에 잘못 기재돼 있었다는 이유에서다. 하지만 법정은 상조 환불금과 법정 비용으로 약 600달러를 지급하라고 명령했다. 이는 모팻이 지불한 항공권 가격의 절반에 해당하는 액수다.

이를 두고 가트너의 AI 담당 수석 부사장인 아비바 리탄은 챗봇 및 기타 생성형 AI 도구를 사용하는 기업이 “챗봇 생산성 향상에 따른 비용을 절감하기 위해” 모니터링에 더 투자해야 한다고 지적했다. 그는 “그렇지 않으면 생산성 향상으로 얻는 것보다 법적 수수료와 벌금에 더 많은 비용을 내게 될 것”이라고 말했다.

민사 해결 재판소 위원인 크리스토퍼 리버스는 에어캐나다 사건에서 모팻의 편을 들어 챗봇이 “자신의 행동에 책임을 지는 별도의 법적 존재”라는 항공사 측의 주장을 받아들이지 않았다.

리버스는 지난 14일 판결문에서 웹사이트에 기재된 정보의 책임은 기업에 있다면서 웹사이트의 할인 정보가 챗봇이 제공한 정보보다 더 신뢰할 수 있는 이유를 납득시키지 못했다고 지적했다. 리버스는 “고객에 대한 주의 의무는 에어캐나다에 있다. 일반적으로 주의 표준에 따르면 회사는 오해의 소지가 없도록 정확하게 표현하기 위해 주의를 기울여야 한다”라고 말했다.

AI 시장에 초점을 맞추고 있는 애널리스트 3명은 챗봇과 기타 AI 도구를 사용하는 기업이 그 결과를 점검할 필요가 있다는 데 동의했다. 리탄은 생성형 AI 답변의 약 30%가 ‘환각’이라고 불리는 허구라고 말했다.

리탄은 “챗봇을 사용하는 기업은 환각, 부정확한 정보, 불법 정보 등 비정상적 출력을 식별하는 가드레일을 도입하고 사람이 이를 사전에 조사하고 차단하거나 승인하는 검토 작업을 설정해야 한다. 특히 고객 대면 애플리케이션의 출력은 정확해야 하며, 고객이나 챗봇을 관리하는 조직을 잘못된 길로 안내하지 않도록 해야 한다”라고 설명했다.

또한 그녀는 생성형 AI 챗봇을 사용하는 기업이 안정성, 보안 및 안전 관리에 투자하지 않는 한 고객 서비스 상호 작용에 대비하긴 어렵다고 주장했다. 다시 말해 챗봇을 사용하는 기업은 이상 징후 감지 도구가 발견하는 예기치 않은 응답을 수동으로 검토할 수 있도록 해야 한다.

한편 IDC의 지식 검색 및 대화형 AI 리서치 매니저인 헤일러 서덜랜드는 챗봇이 잘못된 정보를 제공하는 사례를 통해 기업이 책임감 있는 AI에 집중해야 할 필요성을 인식해야 한다면서, 기업이 사용하는 AI 도구를 테스트하고 교육하는 데 더 투자해야 한다고 조언했다.

서덜랜드는 “AI가 어떤 형식이나 UI로 제공되든 기업은 고객에게 제공하는 정보에 대해 책임을 져야 하기 때문에 신중히 진행하는 것이 바람직하다”라고 말했다. 그녀는 챗봇과 기타 AI 도구에 관심을 보이는 기업에게 고객 서비스에 바로 뛰어들기보다는 직원 지식 지원 같이 덜 민감한 내부 업무에 먼저 사용할 것을 권했다. 

또한 그녀는 AI 환각 현상이 잘못된 정보도 그럴듯하게 포장한다고 지적하면서 이 문제를 해결하기 위해 “지속적인 테스트뿐만 아니라 훈련 단계에서 챗봇의 출력을 바인딩, 연결, 검증하는 ‘루프 내 인간’ 및 기타 메커니즘이 포함돼야 한다”라고 말했다.

포레스터의 부사장 겸 수석 애널리스트인 데이비드 트루그는 또 다른 문제로 오늘날 챗봇이 몇 가지 간단한 작업만 처리할 수 있다는 점을 꼽았다. 그는 “안타깝게도 챗봇을 배포하는 기업은 종종 효과를 과신하는 경향이 있다. 효율적인 봇을 만드는 데 따르는 복잡성은 과소평가된다. 그중 자주 무시되는 것은 인간 중심 설계와 대화 설계에 필요한 전문 지식이다”라고 지적했다.

트루그는 챗봇에 특별한 법적 지위를 기대해서는 안 된다고 말했다. 그는 “챗봇은 회사의 다른 웹사이트나 앱과 마찬가지로 소프트웨어다. 소프트웨어를 배포해 고객과 상호 작용하는 모든 조직은 소프트웨어가 수행하는 작업에 대한 책임이 있다. 챗봇이 사람의 언어를 사용하기 때문에 고객이 챗봇을 의인화하기도 쉽지만, 그렇다고 해서 기업이 챗봇의 잘못된 행동에 대해 책임을 회피할 만한 변명의 여지는 없다”라고 설명했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.