칼럼 | ‘마치 사이버 군비 경쟁처럼’… 생성형 AI 시대의 ‘맞대결’서 살아남기

AI는 위협 행위자와 기업을 보호하는 보안 팀 사이의 경쟁을 이끌어내고 있다. 기술 업계가 앞서 나가기 위해서는 정부와의 협력이 필수적이다.
 

생성형 AI의 빠른 개발은 이미 사이버 보안에 큰 영향을 미치고 있다. 조 바이든 미국 대통령은 지난 10월 광범위한 행정명령(EO)을 통해 각국 정부의 대응을 촉구했다.

‘인공지능의 안전하고 신뢰할 수 있는 개발 및 사용에 관한 행정명령’은 이전 행정명령에서 부족했던 AI 기술의 안전성을 보장하는 방법에 대해 지침을 제공한다. 또한 AI의 급속한 발전에 따른 도전 과제에 대해서도 설명하고 있다. EO는 미국 내에서 AI를 안전하고, 보안을 유지하며, 신뢰할 수 있는 방식으로 사용할 것을 주장하지만, 가장 시급한 과제는 선한 의도로 사용할 때 AI의 잠재력을 활용하고 악한 의도에 대해서는 AI 사용을 방지하는 방법을 마련하는 것이다.

한 가지 확실한 점은 방어자와 공격자 모두 생성형 AI의 이점을 누리고 싶어 한다는 것이다. 현재로서는 어느 쪽이 우위를 점할지 예측하기 어렵다. 이 경쟁은 두 그룹 모두 시간, 노력, 비용을 투자해야 하는 경쟁이며, 양측 모두 폭발적인 성공을 거둘 수 있다.

하지만 혼란스러워할 필요는 없다. 조직, 보안 담당자, 정부 기관은 지금부터 조치를 취해 공격자와 보조를 맞추고, 더 많은 협업, 지속적인 입법 체계, 혁신이 번창할 수 있는 안전한 공간을 확보해 주도권을 잡을 수도 있다.

위협 행위자와 보안팀 모두의 역량을 강화하는 AI
공격자의 경우, AI는 특히 대규모의 소셜 엔지니어링 및 사칭 공격에 전례 없는 속도와 힘을 더할 수 있다. AI가 없다면 공격자는 피싱 이메일을 모방하기 전에 먼저 오래된 이메일을 샅샅이 뒤져 커뮤니케이션 스타일을 파악해야 한다. 즉 CFO의 이메일을 노리는 피싱 공격에는 더 많은 시간이 소요된다. 능숙한 작문 능력을 입증한 생성형 AI 모델은 이 작업을 매우 빠르게 수행하므로 더 많은 수익 위협 캠페인을 가능케 할 수 있다. 현재 공격자가 한 번에 10개의 피싱, 이메일 침해 공격을 실행할 수 있다면, AI는 버튼 클릭 한 번으로 몇 초 만에 수천 개의 공격을 실행할 수 있다.

이러한 유형의 공격이 성공하는 이유는 공격자가 한 번에 더 많은 수의 잠재적 피해자를 표적으로 삼을 수 있기 때문이다. 이는 의심할 여지없이 AI의 화력에 의해 증폭된다. 생성형 AI가 악의적으로 사용되면 공격의 강도와 결과의 심각성을 악화시키는 것으로 확인됐다.

물론 이러한 공격은 눈에 잘 띄지 않는다. 업계에서는 공격을 탐지하고 대응하는 AI 기반 기술을 내세울 것이다. 하지만 대응책을 개발하는 데는 6개월 이상이 소요될 수 있으며, 그 사이 많은 조직이 취약 상태에 놓이게 된다.

이것이 바로 ‘군비 경쟁’이 작동하는 방식이다. 예를 들어 악성 AI 챗봇 개발자가 대규모 언어 모델의 지식 베이스로 다크 웹 전체를 활용하는 챗봇 같은 더 정교한 도구를 개발하고 있다는 주장도 있다.

한편 사이버 보안 업계에서도 이러한 요구에 부응해 AI를 활용하는 솔루션을 선제적으로 개선하고 있다. 한 가지 분명한 사례는 기존 보안 결함을 수정하는 경우다. 이는 대부분 수작업으로 시간이 많이 소요되는 프로세스였다. 즉 리소스 부족과 맞물려 레거시 제품을 취약하게 만들기도 했다. 자동화된 공격이 증가하면서 취약점을 수동으로 해결하는 것도 어려워지고 있다. 이제 업계는 AI를 사용해 소프트웨어 개발 프로세스를 왼쪽으로 이동하고, 처음부터 취약점을 제거하는 자동화된 수정에 우선순위를 두고 있다.

AI는 향후 몇 년 내에 사이버 보안의 모든 범주에서 이러한 종류의 혁신을 가능하게 할 것이다. AI 모델은 보안 관제 센터(SOC) 팀의 주니어 어시스턴트 역할을 맡을 전망이다. 개발 과정에서 발견되는 취약점이 줄어들면 위협의 완화와 방어가 더 쉬워질 것이라는 기대도 있다.

AI 경쟁에 대비해 산업과 정부가 협력해야 하는 이유
생성형 AI는 빠르게 진화하고 있어 사이버 군비 경쟁의 결과를 섣불리 예측하기 어렵다. 다만 협업이 핵심이라는 점은 분명하다. EO에 언급된 규제가 중요하긴 하지만, 모든 문제를 해결할 순 없다.

현재 기술 기업이 AI 제품을 계속 출시하며 경쟁의 파트너로서 중요한 역할을 하고 있다. 이 과정에서 얻는 고객의 피드백은 혁신을 촉진하고 데이터를 보호하며 사회적 우려를 해소하는 미래의 AI 규제를 마련하는 데 중요하다. 민관 파트너십은 수십 년 동안 산업 전반에서 활용돼 왔다. AI에서도 마찬가지다. 정부와 기술 업계 간의 협력은 AI 혁신과 안전이 번창할 수 있는 장소를 조성하는 데 필수적이다.

업계와 정부는 사이버 범죄자나 기존 조직의 무분별한 AI 사용으로부터 대중을 보호하기 위해 보호 장치를 지속적으로 평가해야 한다. EO는 AI 시스템의 안전성을 보장하고 엄격한 자격 요건을 충족하는 표준을 개발할 것을 약속하고 있다. 이러한 자격 요건과 표준이 진정한 의미의 표준이 되려면 계속해서 개선이 이뤄져야 한다.

미국 상무부는 AI가 생성한 콘텐츠에 명확한 라벨을 붙이기 위해 워터마킹 및 콘텐츠 인증 지침을 개발할 예정이다. 알파벳(Alphabet), 메타(Meta), 오픈AI(Open AI)와 같은 기업은 이미 이러한 조치를 이행하기로 약속한 바 있다. 이러한 접근 방식은 과거 컬러 복사기가 발전하던 때와 유사하다. 당시 컬러 복사기가 화폐를 위조할 수 있을 정도로 발전하자 미국 비밀검찰국(US Secret Service)은 인쇄된 페이지에 디지털 워터마크를 삽입할 것을 프린터 제조업체에 요구했다. 그러나 이 방식에는 악의적 행위자가 오용할 수 있는 문제도 있었다.

AI 기술의 책임감 있는 개발과 배포를 보장하기 위해서는 법률 프레임워크의 진화가 계속돼야 한다. 투명성, 가시성, 이해도를 초석으로 삼아 기술 업계와 정부가 협력해 위험을 완화하고 위협에 대응할 수 있다.

생성형 AI에 대한 사전 예방적 접근 방식 수용
이제 사이버 보안 군비 경쟁은 AI를 운전석에 앉히며 새 국면에 접어들고 있다. 모든 신기술은 양날의 검과 같지만, 생성형 AI의 힘과 잠재력은 특히 이를 더 날카롭게 만들 수 있다.

‘고양이-쥐 게임’은 시작됐다. 군비 경쟁이 어떻게 전개될지는 불확실하지만, 선제적 대응이 업계와 정무 모두에 중요하다. 다행인 소식은 AI가 전례 없는 속도로 획기적인 규제 도입을 이끌고 있다는 점이다. 미지의 영역을 받아들일 때 방어적인 AI 전략을 개선하기 위해서는 전방위적인 노력이 필요하다. ciokr@idg.co.kr