칼럼 | AI 과대광고, 누구에게도 도움이 되지 않는다

억만장자들이 그리는 미래 AI 유토피아는 오늘날 생성형 AI 모델이 갖고 있는 심각한 문제를 해결하는 데 전혀 도움이 되지 않는다. 보안 문제부터 해결해야 한다.

AI 과대광고는 때로는 너무 어처구니가 없어서 AI가 제 역할을 하도록 만드는 중요한 일로부터 우리의 관심을 흩뜨려 놓는다. 예를 들어, 빌 게이츠의 AI 찬가를 듣다 보면, 앞으로 5년 이내에 “디바이스에 일상 용어로 원하는 것을 말하기만 하면 될 것”이라고 생각하기 쉽다. 당연히 그렇게 될 것이다. 그리고 일론 머스크가 약속만 하고 있는 완전 자율주행 자동차에 앉아서 이런 명령을 내릴지도 모른다. 
 

이렇게 AI의 미래에 대한 과대광고에 빠져들면, 비현실적인 기대치를 설정할 위험이 크다. 잘못 설정된 기대치는 투자, 특히 보안 영역에 대한 투자에 나쁜 영향을 미칠 수 있다. 설사 빌 게이츠가 말하는 유토피아에 도달했다고 해도, LLM에 대한 프롬프트 인젝션 같은 보안 문제를 해결하지 못하면 디스토피아처럼 느껴질 것이다.
 

완전 자율 주행이라는 환상

빌 게이츠는 수십 년 동안 AI 에이전트를 기다려 왔다. 클리피 2.0 같은 것을 말하는 것이 아니다. 게이츠는 “클리피는 다이얼 전화와 스마트폰만큼이나 AI 에이전트와 공통점이 없다”고 선언했다. 사용자의 온라인 상호 작용과 실제 위치를 추적할 수 있는 권한이 주어지면 [AI]는 사용자가 참여하는 사람, 장소, 활동에 대한 강력한 이해력을 키울 수 있다는 것이 이유이다.

오늘날 온라인 광고가 동작하는 방식과 비슷하다. “맞아. 매일 보는 믿을 수 없을 만큼 정교한 광고”라고 생각하지 않았다면, 빌 게이츠의 미래에 대한 비전이 가진 문제점을 발견하게 될 것이다. 게이츠는 AI가 헬스케어와 개인 교습 서비스 등등을 누구나 이용할 수 있도록 할 것이라고 말하지만, 인류가 사회적 약자에게 발전된 기술을 선물한 기록은 그리 많지 않은 것이 현실이다.

이제 자율주행 자동차에 대한 머스크의 일관된 예측을 살펴보자. 장밋빛 미래를 예측하기는 쉽지만 실현하기는 훨씬 어렵다. 게이츠는 "AI 에이전트가 5년 안에 거의 모든 활동과 삶의 모든 영역을 도울 수 있을 것"이라고 장담하지만, 실제로 미드저니 같은 생성형 AI 툴을 사용해 이미지를 편집해 본 사람이라면 결과물이 매우 나쁘다는 것을 잘 알게 된다. 이는 비단 품질의 문제만이 아니다. 필자는 직장 동료들을 대상으로 마리오 브라더스 캐릭터를 만들어 보았는데, 아시아인보다 백인을 더 잘 만들어 내는 것을 발견했다. 최악의 고정관념을 기괴하게 합쳐놓은 것 같은 결과물이 나온 것이다. 그러니 아직 갈 길이 멀다.

하지만 마법처럼 5년 안에 AI가 게이츠가 말한 모든 일을 할 수 있게 되고 편견도 해결된다고 해도 여전히 해결해야 할 보안이라는 장애물이 있다.
 

프롬프트 인젝션의 위험성

사이먼 윌리슨은 "프롬프트 인젝션을 실제 위협으로 이해하기 위한 핵심은 AI 모델이 설계상 믿을 수 없을 정도로 속기 쉽다는 것을 이해하는 것”이라고 말했다. 윌리슨은 소프트웨어 개발과 일반적인 활용에 있어 AI의 잠재력을 전문적이고 열정적으로 지지하는 사람 중 한 명이지만, 개선이 필요한 부분에 대해서는 주저하지 않고 지적하기도 한다. 윌리슨은 "안전하게 구축하는 방법을 모르겠다. 그리고 이런 허점은 가상의 문제가 아니라 우리가 AI를 기반으로 많은 제품을 출시하는 큰 걸림돌이 되고 있다"고 강조했다.

문제는 LLM이 읽은 모든 내용을 그대로 믿는다는 것이다. LLM은 콘텐츠를 수집하고 프롬프트에 응답하도록 설계되어 있다. 하지만 좋은 프롬프트와 나쁜 프롬프트를 구분할 줄은 모른다. 그만큼 속기 쉽다. 윌리슨의 말처럼 "이 모델들은 누군가가 말하는 것은 무엇이든 믿는다. 정보의 출처를 고려할 수 있는 좋은 메커니즘이 없다." LLM에 기말 리포트를 작성해 달라고 부탁하는 정도라면 괜찮지만(윤리적 문제는 있지만 보안 문제는 없다), 민감한 기업 정보나 개인 정보를 LLM에 입력하기 시작하면 어떻게 될까?

사설 LLM이라 로컬에서 오프라인 상태로 운영한다는 것만으로는 충분하지 않다. 윌리슨은 "다른 사람이 보낸 이메일이나 다른 사람이 작성한 웹 페이지를 LLM이 읽는다면, 그 사람이 LLM에 추가 지시를 주입할 수 있다"고 설명한다. 사설 LLM이 사용자를 대신해 작업을 수행할 수 있는 기능을 가지고 있다면, 공격자도 사용자를 대신해 작업을 수행할 수 있기 때문이다. 윌리슨은 프롬프트 인젝션을 "공격자가 자신의 명령어를 LLM에 몰래 삽입해 해당 명령어가 소유자가 보낸 것으로 착각하도록 속이는 방법"이라고 정의한다.

소유자가 할 수 있는 것은 무엇이든 공격자도 할 수 있다. 프롬프트 인젝션은 피싱과 악성코드를 완전히 새로운 차원으로 끌어올린다. SQL 인젝션은 간단하게 수정할 수 있지만, 프롬프트 인젝션은 전혀 그렇지 않다. 래디컬 브리핑(Radical Briefing)은 "마치 디지털 판도라의 상자를 코딩한 것과 같다. 매우 훌륭하지만, 잘못된 명령을 내리면 대혼란을 일으킬 수 있을 정도로 속기 쉽다"고 묘사했다. 
 

스스로 보호하지 않는 AI

AI 에이전트를 대면 업무에 배치하면 문제는 더 심각해지겠지만, 그렇다고 해결할 수 없다는 말은 아니다. 까다로운 문제이지만 해결 불가능한 문제는 아니기 때문이다. AI 전문가 레온 슈미트의 말처럼 언젠가는 “인공지능이 일종의 '인증'을 통해서만 민감한 데이터를 공개하도록 가르치는 방법"을 찾아낼 수도 있을 것이다. 하지만 이런 인증을 파악하는 것은 그리 간단한 일이 아니며, AI는 스스로 보호하는 데 큰 도움이 되지 않을 것이다.

우리는 오랫동안 AI를 잘못 이해해 영상의학과 의사, 소프트웨어 개발자 등의 종말을 부추겨 왔다. 애널리스트 베네딕트 에반스는 "챗GPT는 5년 또는 50년 안에 터미네이터 수준으로 확장될 수도 있고, 그렇지 않을 수도 있다. 우리는 아직 모른다”라고 말했다. 에반스의 말이 맞다. 아무도 모른다. 우리가 아는 것은 AI 보안에 더 많은 투자가 이뤄지지 않는다면 아무리 장밋빛 AI 과대광고도 결국 파멸처럼 느껴질 것이라는 점이다. 프롬프트 인젝션 문제를 해결해야 한다.
editor@itworld.co.kr