블로그 | 챗GPT로 직원 대체?··· ‘루저’의 생각

다국적 투자은행 골드만 삭스(Goldman Sachs)는 AI가 정규직 일자리 3억 개를 대체할 것으로 전망한다. 사람 직원이 만든 것과 구별할 수 없을 만큼 완성도 높은 콘텐츠를 만들어낸다는 것을 근거로 들었다. 비슷한 시기 IBM CEO 아르빈드 크리슈나는 AI 챗봇이 7,800명 직원을 대체할 수 있다며 채용을 중단했다. 이처럼 AI 유행에 '망설임 없이' 올라탄 기업은 IBM 만이 아니다. 지난 2월 레줌빌더닷컴(ResumeBuilder.com) 조사에 따르면, 기업 경영진의 25%가 직원을 대체하기 위해 자신의 기업에서 이미 챗GPT를 사용하고 있다고 답했다.
 

하지만 조금 더 냉정해 지자. 챗GPT를 서비스하는 오픈AI CEO 샘 알트만조차 챗GPT를 이용해 중요한 업무를 처리해서는 안된다고 경고했다. 챗GPT가 매우 인상적인 것처럼 보이는 것은 필자도 인정한다. 하지만 이 서비스를 자세히 들여다볼수록 그것이 전부가 아니라는 것을 알 수 있다.

무엇보다 챗GPT는 말을 지어낸다. 예를 들어 제임스 조이스와 블라디미르 레닌이 1916년 스위스 취리히에서 만났을까? 챗GPT는 천연덕스럽게 그렇다고 하지만 사실이 아니다. 그런 일은 일어나지 않았다. AI 기능이 추가된 빙(Bing)으로 검색해 보면, 이런 만남이 없었다는 뉴욕 타임스 기사를 확인할 수 있다. 하지만 거짓말이라는 안내 없이 단지 주장이라고 서술할 뿐이다. 이른바 'AI 환각(A.I. hallucination)'이다.

더 심각한 거짓 답변 사례도 있다. 빙은 때때로 자신의 거짓 답변을 위해 마치 소스가 있는 것처럼 만들어낸다. 정작 이 소스를 클릭해 보면 404 오류 메시지가 보일 뿐이다. 스탠포드대학의 최신 연구에 따르면 AI가 답변의 근거라고 제시한 4가지 중 1가지가 실제로는 답변과 아무런 관련이 없었다. 이 글에도 여러 가지 링크가 달려 있다. 필자가 해당 정보를 어디에서 얻었는지 누구나 확인할 수 있도록 하기 위해서다. 손쉬운 팩트체크인 셈이다. 반면 AI는 밤이나 낮이나 거짓말을 한다. 해당 영역의 전문가이거나 혹은 모든 장황한 답변을 일일이 팩트체크하지 않으면 거짓말임을 사실상 알아챌 수 없다.

심지어 AI 엔진은 사용자가 정확한 정보를 입력해도 신뢰할 수 없는 결과를 내놓는다. 빙 AI 초기 서비스 당시 2022년 3분기 갭(Gap)의 실적 리포트를 자동으로 만들어주는 데모가 있었는데, 대부분 데이터가 크게 잘못된 것이었다. 예를 들어 빙이 만든 갭 보고서는 총 이익률이 37.4%이고, 대손충당금을 제외한 조정 이익률이 38.7%라고 했다. 따라서 빙이 대손충당금을 포함해 총 이익률을 37.4%라고 명시한 것은 잘못된 것이었다. 필자도 상식적으로 아는 이런 계산조차 제대로 하지 못한다면, 다른 중요한 업무를 어떻게 믿고 맡길 수 있겠는가?

필자는 최근 여러 가지 보고서와 Otter.AI 녹취록 등을 요약하는 데 챗GPT를 종종 사용한다. 하지만 안타깝게도 이런 갭 보고서와 같은 실수를 거의 매일 볼 수 있다. 유용한 것은 분명하지만, 필자는 직업이 이런 오류를 찾아내는 사람이다. 대부분 사용자는 이런 식으로 챗GPT를 사용하지 않는다. 대신 챗GPT가 만들어낸 문서와 메모, 코드를 무턱 대고 신뢰한다. 지금과 같은 상황에서 AI에 대한 신뢰가 매우 어리석은 것처럼 보이는 이유다.

챗GPT 혹은 이와 유사한 서비스는 매우 그럴 듯하게 답변을 한다. 꽤 신뢰성이 있어 보인다. 하지만 이는 마치 더닝-크루거(Dunning–Kruger, 무능력한 사람에서 나타나는 인지 편향의 하나로, 자신의 능력과 지식을 과대평가하는 것) 효과가 작동하는 방식과 다를 바 없다. AI는 자신이 내놓는 답변을 알고 있는 것처럼 보이지만, 대부분은 출처도 불분명한 대답을 단지 쏟아내는 것에 불과하다. 그런데도 너무나 많은 사람이 AI가 자신의 말을 '알고' 답변에 대한 팩트체크를 할 수 있다는 환상을 갖고 있다.

실제로 챗GPT는 흔히 생각하는 그런 서비스가 아니다. AI 엔진은 매우 정교한 자동 완성 '빈칸 채우기' 기술일 뿐이다. 이들이 내놓는 답변은 질문 내용에 대해 바로 이어서 나올 가능성이 높은 단어를 나열하는 방식으로 만들어진다. 이것은 곧 이 단어가 정확하거나 문맥에 맞다는 것을 의미하는 것은 아니다. 단지, 서비스가 가진 LLM(large language model)에서 통계적으로 나올 확률이 가장 높은 단어를 보여주는 것이다. 이는 AI가 진정으로 창의적이지는 않다는 의미이기도 하다. AI가 만든 다음 오행시를 보자. 이 오행시가 말이 안되는 것은 아니지만, 소설이나 단편, 실제 산문이라고 보기는 힘들다.
 
소설가 닉 콜라코브스키는 트위터를 통해 "AI로 만든 단편, 소설, 각본 같은 것을 옹호하는 사람들은 한결같이 실제로 이런 일을 스스로 하지 못하는 이들이다. 이런 능력의 차이가 없어지길 바라는 루저들이 이런 툴을 쓴다"라고 말했다. 필자도 동의한다. 마찬가지로 AI가 직원을 대체해 문제를 해결할 것이라고 생각하는 CEO와 기업 경영진 역시 루저다. AI는 조심해서 쓰면 직원이 더 생산적으로 일하는 데 도움이 되는 것이 분명하다. 헬프데스크와 회계, 프로그래밍 같은 분야가 대표적이다. 하지만 기존 직원을 대체한다? 아직은 머나먼 미래의 이야기다.

필자는 AI 챗봇을 더 오래 사용할수록 이것이 사람을 대체할 준비가 전혀 되지 않았다는 확신이 오히려 강해졌다. 설사 가능하다고 해도 최소 몇년은 더 걸릴 것이다.
editor@itworld.co.kr