AI 경쟁 중인 사이버 공격자와 방어자… “AI 발전 속도, 예측 빗나갈 만큼 빨라”

AI 기술의 발전으로 이를 사용한 사이버 공격 위협도 증가하고 있다. 사이버 보안 분야에서는 AI 생성 위협을 배포하는 데 비대칭적 우위를 점하고 있는 악의적 공격자를 방어하는 기술에 더 많이 투자하는 것으로 나타났다. 
 

인공지능의 강력한 성능과 빠른 진화는 사이버 보안 환경도 변화시키고 있다. 이로 인해 사이버 보안은 기회와 도전에 직면했다. 챗GPT와 같은 도구를 시작으로 강력한 생성형 AI 시스템이 디지털 생태계의 주축이 되면서, 사이버 보안 전문가들은 새로운 위협을 식별하고 방어하기 위해 AI 기술에 점점 더 의존하게 될 것으로 예상되고 있다. 

보안 기업 엑소니어스(Axonius)는 지난 8일 IT 및 보안 팀의 현황에 대한 설문조사 결과를 발표했다. 또한 AI 시대의 가능성을 실현하고 위험에 대처하기 위해 AI가 어떻게 사이버 보안 의제의 최우선 순위로 부상하고 있는지 설명했다. 설문조사는 미국, 영국, 호주의 직원 수 500명 이상 950개 기업에 속한 IT 및 보안 의사결정권자를 대상으로 진행됐다. 

설문조사에 따르면 응답자의 4분의 3(76%)이 12개월 전에 비해 조직에서 AI 또는 머신러닝에 더 많은 비용을 지출하고 있다고 했으며, 응답자 5명 중 4명 이상(85%)이 내년에 조직의 IT 및 보안 운영에 AI를 적용하는 데 관심이 있다고 답했다. 또한 지난 12개월 동안 IT 또는 보안 인력을 감축한 조직의 IT 및 보안 의사결정권자 5명 중 2명(39%)은 감축된 인력의 업무량을 따라잡고자 AI 기반 도구를 도입해 업무를 간소화했다고 말했다.

이러한 결과는 다른 설문조사 결과와도 일치한다. 이에 참여한 IT 및 보안 의사결정권자의 약 4분의 3(72%)이 생성형 AI가 조직의 사이버 보안에 미칠 잠재적인 악영향을 우려하고 있다고 밝혔다.

조사 결과에서 알 수 있듯 사이버 방어자들은 AI 위협에 대처하기 위해 AI 기술을 점점 더 많이 사용하고 있으며, AI 기반 멀웨어 및 침입 도구를 통해 지속적으로 진화하는 위협 행위자에 대처해 나갈 계획이다. 엑소니어스의 보안 담당 수석 디렉터 다니엘 트라우너는 “AI 기술로 공격자가 훨씬 더 빠르고 저렴하게 작업할 수 있다면, 방어자 역시 보유 리소스로 어떻게 하면 더 빠르고 저렴하게, 효과적으로 일을 할 수 있을지 고민해야 한다”라고 설명했다. 

공격자가 비대칭적 우위를 점할 수 있는 창구는?
AI 기술 도입 초기에는 방어자가 최신 AI 방어 도구를 상대적으로 느리고 신중하게 채택하면서, 이를 더 빨리 도입하는 공격자에게 일시적인 비대칭적 우위를 제공할 수 있다. 파일럼(Phylum)의 CSO 피터 모건은 “AI의 발전이 너무 빠르기 때문에, AI를 사용하는 사람들이 무슨 일이 일어나고 있는지 완전히 이해하기를 바랄 수는 없다. 지금은 시차가 큰 문제다”라고 말했다. 

그는 “공격자가 1%의 성공 확률이 있는 방법을 고안해 내는 데 비해 사이버 방어 시스템을 구축하는 데는 오랜 시간이 걸린다. 공격자가 1,000개, 10,000개, 100,000개의 표적을 노린다면 1%의 성공률이 얼마나 될지 계산하기는 매우 쉽다. 하지만 방어자의 입장에서 1%의 성공은 큰 도움이 되지 않는다. 실제로 고객 및 사용자가 신뢰할 수 있는 수준으로 제품화되려면 90%는 넘어야 한다. 시간이 오래 걸릴 수밖에 없다”라고 덧붙였다. 

일부 전문가는 비대칭 우위가 사이버 보안 분야에서 이미 오랫동안 다뤄온 문제라고 말했다. 크라우드섹(CrowdSec)의 파트너십 책임자 안드레아 에르비에는 “보안 분야에서 일하는 사람이라면 누구나 나쁜 점 없이 좋은 점만 볼 순 없지 않겠나? 항상 신기술의 잠재적인 결과가 무엇일지 생각하려고 노력한다. 현재 사이버 보안에서 AI의 이점을 살펴봤을 때, 여러 이점은 동시에 결점이기도 하다”라고 말했다. 

에르비에는 AI의 등장이 동전의 양면과도 같다면서, “한 가지 확실하게 말할 수 있는 것은 생성된 AI가 많은 일상적 업무를 자동화할 수 있다는 사실이다. 대규모로 작업을 매우 빠르게 수행할 수 있다는 점에서 이는 좋은 일로 볼 수 있다. 하지만 사이버 범죄자의 손에 들어가면 나쁜 일이 될 것이다”라고 설명했다. 

바이킹 클라우드(Viking Cloud)의 글로벌 보안 아키텍트인 페이야즈 마카니는 현재 AI가 비대칭적 위협이 되고 있다고 해도 방어자가 두려워할 필요는 없다고 언급했다. 그는 "AI는 이미 몇 년 전부터 다양한 형태로 존재해 왔다. 심지어 수십 년 전부터 그렇다. 작년부터 AI가 전면에 등장하기 시작하면서 새로운 기술로 여겨졌고, 이 때문에 두려운 존재가 된 것 같다"라고 말했다.

그는 "AI를 두려워할 필요는 없다. AI를 몇 가지 다른 방식으로 바라볼 수 있는데, 사이버 보안의 밝은 면에서 보든 그렇지 않든 AI를 우리가 하는 일을 위한 지원 도구로 생각하면 된다. 어느 쪽이든 사이버 보안은 다양한 방식으로 인공지능을 활용할 능력을 갖추고 있다고 생각한다"라고 전했다. 

방어자가 직면하게 될 AI 위협
AI 기술의 발전으로 방어자가 직면하게 될 위협의 유형을 예측하기는 어렵다. 그 중 공격자가 대규모로 합성 콘텐츠를 생성할 수 있는 능력은 크게 우려되는 사항이다. 모건은 “새롭거나 실제처럼 보이는 콘텐츠를 합성해 생성하는 능력은 매우 흥미로울 것이다. 국가 단위에서 일어나는 일을 예로 들어보면, 공격자가 일련의 계정을 실제처럼 보이게 하기 위해 온라인에 존재감을 구축하려고 할 때 AI가 전체 프로세스를 대신할 수 있다”라고 말했다.

그는 “새 계정을 만들고, 그 안에 여러 콘텐츠를 넣고, 상호 작용하도록 한다. 위협 행위자는 수년 동안 사람들에게 이 작업을 시켜 온라인에서 신원을 구축해 왔다. 실제 사람처럼 보였으며, 이러한 합성 기술을 발전시키는 데는 많은 시간과 노력이 필요했다. 이제 챗GPT로 콘텐츠를 생성하면 이 모든 작업을 수행할 수 있다. 처리를 자동화하기 위해 몇 가지 코드를 작성하기만 하면 된다. 공격자가 대량으로 할 수 있는 일의 지형을 바꾸고 있다”라고 덧붙였다.

공격자들이 현재 가장 빈번하게 사용하는 악성 AI 사용 사례는 피싱 이메일이다. 언어 개선과 관련해 사이버 방어자들도 문제에 빠르게 대응하고 있다. 마카니는 “피싱 사례는 양쪽 모두에서 작동하는 기술의 좋은 예다. 악의적 사용자들은 더 나은 피싱 이메일을 만들기 위해 챗GPT 또는 기타 생성 모델을 사용한다. 하지만 보안 업체들도 피싱 이메일이나 기타 유형의 스팸 패턴을 탐지하기 위해 유사한 기술을 보안 도구에 통합하고 있다”라고 전했다. 

모건은 "AI는 공격자가 피싱 공격을 더 쉽게 할 수 있게 해주지만, 필연적으로 방어도 더 강력하게 만들 것"이라고 내다봤다.

AI 기술의 신중한 도입 필요
빠르게 변화하고 작동 방식이 복잡하고 불투명한 AI 기술을 신중하게 구현하지 않으면, 사이버 방어자에게 책임을 물을 수 있을까? 삼성, 애플, 스포티파이, 버라이즌, 아마존 등 점점 더 많은 기업이 이러한 책임 중 하나인 민감한 고객 또는 기업 데이터의 유출을 피하기 위해 직원들의 챗GPT 사용을 제한하고 있다. 

지난 10월 말 미국 증권거래위원회(SEC)가 알려진 사이버 보안 위험 및 취약성과 관련된 사기 및 내부 통제 실패로 솔라윈즈(SolarWinds)와 그 CISO를 고소했다. 이로 인해 정보 보안 커뮤니티 내에서 격렬한 논쟁이 벌어졌고, 기업의 사이버 보안 관행을 둘러싼 의문은 더 커지고 있다. 모건은 “AI와 관련된 새로운 공격이 등장할 때, 새로운 공격이기 때문에 방어하지 않았다는 이유로 누군가를 합리적으로 기소하거나 처벌할 수는 없을 것”이라고 주장했다. 

엑소니어스의 트라우너는 업계가 이미 AI 위험과 책임을 모니터링하는 데 적극적이라고 말했다. 그는 “보안 업계가 위험과 책임에 대해 매우 세심한 주의를 기울이고 있다는 것은 지금까지 나온 여러 프레임워크만 봐도 알 수 있다. 이미 대규모 언어 모델 애플리케이션을 위한 OWASP 톱10이 발표됐다. NIST는 인공지능 위험 관리 프레임워크를 발표했다. 바이든 행정명령도 있었다”라고 설명했다. 

그러나 결론적으로 AI가 너무 빠르게 발전하고 있기 때문에, 향후 몇 년 동안 AI를 어떻게 배포할 것인지에 대한 공격자와 방어자 모두의 예측이 빗나간 상황이다. 트라우너는 “개인적으로 경험한 다른 많은 기술과 비교했을 때, AI에 대해 한 가지 말하고 싶은 점은 발전 속도가 매우 독특하다는 것이다. 이렇게 빠르게 발전하는 기술은 본 적이 없다”라고 덧붙였다. ciokr@idg.co.kr