‘생성 AI, 신뢰성 확보 쉽지 않네’··· 빙AI, 덕어시스트의 ‘출처 제공 기능’ 검토해보니...

작년 11월부터 세상을 뜨겁게 달군 생성 AI의 돌풍에 이어 최근에는 환각 현상(hallucination)에 대한 지적과 우려가 나오고 있다. 특히 챗GPT는 답변의 출처를 아예 밝히지 않는다. 그 와중 개인 정보 보호를 우선으로 하는 미국의 검색엔진 덕덕고(DuckDuckGo)가 환각 현상을 줄이기 위해 오직 위키피디아의 정보를 출처로 삼아 답변을 생성하는 AI 서비스를 최근 출시했다. 회사의 주장대로 덕어시스트가 과연 출처를 제대로 밝히는지 시험해봤다. 답변에 웹사이트 출처를 표시하는 빙AI 챗봇도 같이 비교해봤다.
 

오픈AI가 지난 11월 챗GPT를 출시한 이래 처음 몇 달 동안 온 세계가 놀라움을 감추지 못했다. 전작인 GPT-2 모델이 비해 약 100배 더 많은 파라미터(머신러닝 데이터)로 학습한 덕에 거의 모든 질문에 놀라울 정도로 자연스러운 답변을 내놓을 수 있기 때문이다. 

하지만 챗GPT의 힘입어 마이크로소프트, 구글 및 다른 업체가 모두 생성 AI 레이스에 가담하자 최근에는 생성 AI의 한계점에 대한 지적이 나오기 시작했다. 주요 한계점은 환각(hallucination)이라고 불리는 현상이다. 생성 AI가 사실이 아닌 내용을 사실처럼 가장하거나, 정보가 불완전할 때 엉뚱한 답변을 내놓는 현상을 일컫는다. 
 

환호에서 환각으로 

구글은 2월 9일 바드(Bard) AI 발표 행사의 시연 화면에서 벌써 ‘제임스 웹 우주망원경이 태양계 밖 행성에 대한 최초의 사진을 찍었다’라는 허위 사실을 보여주는 수모를 겪었고, 뉴욕타임스(NYT)의 IT전문 칼럼니스트 케빈 루스는 16일(현지시간) 빙AI 챗봇과 약 2시간 동안 개인적인 이야기를 나눈 결과 “원치 않게 2류 검색엔진에 갇힌 변덕스럽고 조울증에 걸린 10대 같았다”라고 평가했다. 

챗GPT 또한 엉뚱한 답변을 여러 차례 내놓았다. 한국에서는 대표적으로 조선왕조실록의 맥북 던짐 사건에 대해 알려달라는 질문에 마치 이런 사건이 있는 것처럼 답변해 많은 누리꾼들의 반응을 모았다. 

챗GPT는 답변의 출처를 아예 밝히지 않는다. 출처를 다는 기능이 있었다면 ‘맥북 던짐’ 같은 이야기는 내놓을 수 없는 답변이다. 

빙AI 챗봇은 그나마 정보형 질문에 대해서 답변의 출처를 밝힌다. 마이크로소프트는 빙AI가 “빙 검색엔진에 최적화된 GPT 기술을 적용한 것(OpenAI has used this infrastructure to train the breakthrough models that are now being optimized for Bing)”이라고 말했다. 검색 결과가 여러 웹사이트를 나열하듯이 빙AI 챗봇은 답변에 웹사이트 링크를 주석으로 단다. 
 

위키피디아 vs 빙GPT

이어 덕덕고가 지난 3월 8일 AI 기반 인스턴트 응답 서비스 덕어시스트(DuckAssist)의 베타 버전을 출시한다고 밝혔다. 덕덕고에 따르면 덕어시스트는 사용자 쿼리를 추적하지 않으며, 위키피디아 출처만을 이용한다. ‘환각’ 현상을 최소화하기 위해서다. 덕어시스트 AI 서비스는 덕덕고 브라우저 확장 프로그램을 설치해 이용할 수 있다. 
 

덕어시스트를 써본 결과 회사의 말 대로 아직 활용할 수 있는 방법이 많지 않다. 모든 검색 질문에 답변할 수 없으며, 비교적 간단한 질문에만 답변할 수 있다. 또한 위키피디아 정보를 쓰는 만큼 최신성이 떨어진다. ‘대한민국의 상황이 어때’라는 질문에 말 그대로 백과사전 같은 답변을 내놓았다. 
 

반면 빙AI는 질문에 ‘현재 상황’이라고 구체적으로 물어보지 않았음에도 위안부 문제와 4월 윤석열-바이든 정상회담 등의 최신 현안을 소개했다. 

그러나 덕어시스트나 빙AI 모두 간단한 질문에도 출처를 정확히 밝히지 못하거나 질이 낮은 출처를 제공하는 모습을 종종 보였다. 예컨대 ‘소셜 미디어는 정신 건강에 부정적인 영향을 미치는가’는 오늘날 학교에서 흔히 거론되는 토론 주제다. 따라서 주장을 뒷받침하는 근거의 출처가 매우 중요하다. 
 

덕어시스트는 이 질문에 ‘소셜미디어는 고립감이나 거식증 같은 부정적 감정을 초래해 신체적, 정신적 건강에 악영향을 끼칠 수 있다. 신체 이미지 만족, 불안, 우울, 자살 생각 등으로 치닫을 수도 있어 소셜 미디어 사용을 줄이는 게 좋다’라고 답변했다. 

그러나 문제는 출처였다. 위키피디아 ‘정신 건강(mental health)’ 페이지의 ‘홍보 및 예방(Promotion and Prevention)’ 섹션을 안내했다. 이 항목의 주 내용은 정신 건강에 대한 정보를 알리고 예방하기 위해 소셜 미디어를 활용하는 방법이다. 문단 끝부분에만 과도한 소셜 미디어 사용이 바람직하지 않다고 나와 있다. 소셜 미디어에 대한 위키피디아 페이지에 청소년 정신 건강에 끼칠 수 있는 악영향을 설명하는 내용이 있음에도 '홍보 및 예방' 페이지를 출처로 쓴 것이다.
 

빙AI 챗봇도 마찬가지로 과도한 소셜 미디어 사용이 해로운 정신 건강 문제를 초래할 수 있다는 비슷한 답변을 제시했다. 그다음 ‘psychreg.org’, ‘medicalnewstoday.com’ 등의 웹사이트를 출처로 달았다. 덕어시스트에 비해 확실히 연관성이 높은 사이트였지만, 한 가지 허점을 발견했다. ‘psychreg.org‘라는 사이트는 소셜 미디어가 정신 건강에 악영향을 끼친다는 것을 입증하는 ‘연구 결과가 있다(study shows)’라는 주장을 거듭 언급했지만 정작 연구 결과의 출처를 찾을 수 없었다. 즉 이는 좋은 출처라고 보기 어려운 웹사이트다. 

이렇듯 두 가지 서비스를 직접 사용해 본 결과, 출처를 달아 답변의 신뢰성을 높이려는 생성AI 서비스에도 여러 허점이 남아 있는 것으로 보인다. 연관성이 낮은 출처를 제시하거나, 알맞은 출처를 제시해도 저품질의 출처인 등의 문제가 발생했다.

인공지능 윤리학자인 앤드루 스트레이트는 트위터에 “챗GPT는 마법으로 만들어진 것이 아니며, 인간 노동력과 스크랩된 데이터로 이루어진 방대한 공급망에 의존한다. 이 중 대부분은 출처가 불분명하고 동의 없이 사용된다”라며 “이는 심각하고 근본적인 문제이며 오픈AI가 해결지 않는 듯보인다”라고 말한 바 있다. ethan_moon@idg.co.kr