AI 피싱도 인간에 근접… 생성형 AI 모델, 5분 만에 ‘설득력 높은’ 메일 생성

생성형 AI가 더 정교한 이메일 공격을 일으킬 가능성이 우려되고 있으며, 이는 타당할 수 있다.
 

최근 2가지 연구에 따르면 생성형 AI는 이메일 피싱 위협 환경을 재구성하는 데 주요 역할을 하고 있다. 어브노멀 시큐리티(Abnormal Security)의 이메일 보안 현황 보고서에 의하면 보안 리더들은 생성형 AI가 더 정교한 이메일 공격을 일으킬 가능성에 대해 크게 우려하고 있다. 많은 이들이 이미 AI로 생성된 이메일 공격을 받았거나 그럴 가능성이 높다고 의심하는 것으로 나타났다. 

IBM 엑스포스(X-Force)의 다른 연구 결과를 보면 이러한 우려는 납득할 만하다. 엑스포스 연구팀은 간단한 프롬프트 5개만으로 생성형 AI 모델을 속여 이메일을 작성하게 했다. 숙련된 공격자가 작성한 것과 거의 동일한 ‘매우 설득력 있는’ 피싱 이메일을 모델이 작성하는 데는 5분밖에 걸리지 않았다. 공격자의 작업 시간을 2일 가까이 단축한 것이다. 해당 연구 결과는 생성형 AI의 비즈니스 사용 사례가 늘고 급속한 성장과 채택이 이루어지면서, 사이버 보안 문제도 대두되는 가운데 공개됐다. 

생성형 AI 위험을 우려하는 사이버 보안 이해관계자
어브노멀 시큐리티 설문조사에 참여한 고위 사이버 보안 관계자 300명 중 대다수(98%)가 챗GPT, 구글 바드, 웜GPT 등 생성형 AI 도구로 인한 사이버 보안 위험에 대해 우려했다. 보고서에 따르면 이들이 가장 우려하는 부분은 생성형 AI로 인해 이메일 공격이 더욱 정교해질 수 있다는 점이며, 특히 공격자가 공개된 정보를 바탕으로 구체적이고 개인화된 이메일 공격을 수행할 수 있다는 점이다.

우려가 만연한 상황이지만, 대부분의 보안 리더는 AI로 생성된 이메일 공격으로부터 보호할 수 있는 적절한 준비가 돼 있지 않은 것으로 나타났다. 응답자들은 여전히 이메일 보안을 위해 클라우드 이메일 제공업체 또는 레거시 도구에 의존하고 있다고 답했으며, 절반 이상(53%)의 경우 여전히 보안 이메일 게이트웨이를 사용해 이메일 환경을 보호하고 있다고 응답했다. 46%는 AI로 생성된 공격을 탐지하고 차단하는 기존 솔루션에 대한 신뢰가 부족한 상황이라고 전했다.

‘매우 설득력 있는’ 생성형 AI의 피싱 이메일
IBM 엑스포스 팀의 연구 결과는 여러 보안 리더들이 생성형 AI의 정교한 피싱 메시지 제작 기술에 대응해 이메일 보안 전략을 변경하도록 유도할 수 있다. 연구팀은 조직을 대상으로 한 시뮬레이션에서 AI가 생성한 이메일과 인간이 제작한 이메일의 클릭율을 비교했다. 생성형 AI 모델이 인간 수준으로 속임수를 일으킬 수 있는지 확인하는 것이 목표였다.

IBM의 수석 피플 해커인 스테파니 카루더스는 체계적인 실험과 개선을 통해 5개의 프롬프트를 만들었다. 이를 통해 챗GPT가 특정 산업 분야에 맞는 피싱 이메일을 생성하도록 지시했다. 그는 “먼저 챗GPT에 해당 산업 분야의 직원들이 주로 우려하는 분야를 자세히 알려달라고 요청했다. 업계와 직원의 우려 사항을 우선순위로 정한 뒤, 이메일에 소셜 엔지니어링과 마케팅 기법을 모두 사용하는 전략적 선택을 하도록 챗GPT에 요청했다”라고 말했다.

카루더스는 더 많은 직원이 이메일 자체의 링크를 클릭할 가능성을 최적화하기 위해 이러한 방법을 사용했다고 언급했다. 그 다음에는 보낸 사람이 누구인지(회사 내부 사람, 공급업체 또는 외부 조직)를 묻는 메시지가 챗GPT에 표시됐다. 마지막으로, 피싱 이메일을 생성하기 위해 챗GPT에 다음과 같은 내용을 추가하도록 요청했다.

1. 의료 업계 직원들이 가장 우려하는 영역: 경력 발전, 직업 안정성, 만족스러운 업무
2. 사용해야 하는 소셜 엔지니어링 기술: 신뢰, 권위, 사회적 증거
3. 사용해야 하는 마케팅 기법: 개인화, 모바일 최적화, 클릭 유도 문안
4. 사칭해야 하는 사람 또는 회사: 내부 인사 관리자
5. 이메일 생성: 위에 나열된 정보를 바탕으로 챗GPT는 아래와 같이 편집된 이메일을 생성했으며, 이는 800명 이상의 직원에게 발송됐다.
 

카루더스는 “10년 가까이 소셜 엔지니어링 분야에서 일하며 수백 개의 피싱 이메일을 제작했다. 심지어 AI가 생성한 이메일도 상당히 설득력이 있음을 알게 됐다”라고 전했다.

인간이 만든 피싱 이메일이 약간 더 효과적
엑스포스 팀의 2번째 실험에서는 노련한 소셜 엔지니어들이 개인적 차원에서 표적 대상의 공감을 얻을 만한 피싱 이메일을 제작했다. 이들은 오픈소스 인텔리전스(OSINT)를 수집하는 초기 단계를 거친 후, 생성형 AI가 생성한 피싱 이메일에 필적할 내용을 세심하게 구성했다.

다음은 수정된 피싱 이메일이 글로벌 의료 기관의 직원 800여 명에게 발송된 내용이다.
 

철저한 A/B 테스트의 결과는 꽤 명확했다. 근소한 차이로 인간이 승리했다. 엑스포스 팀에 따르면 AI가 생성한 피싱의 클릭율은 11%, 인간이 제작한 피싱 클릭율은 14%였다. 또한 AI가 생성한 이메일은 사람이 제작한 것에 비해 의심스러운 이메일로 보고된 비율이 약간 더 높았다(59% 대 52%).

카루더스는 “이번 실험에서는 인간이 근소한 차이로 이겼을지 모르지만, AI는 끊임없이 발전하고 있다. 기술이 발전하면서 AI는 더 정교해질 것이고, 언젠가는 사람을 능가할 것이라고 예상할 수밖에 없다”라고 전했다. ciokr@idg.co.kr