Offcanvas

AI / CSO / 보안

‘이제 AI 보안이 문제다’ CISO가 '레드팀 훈련'에 주목해야 하는 이유

2023.03.17 Ericka Chickowski  |  CSO
AI와 머신러닝(ML)은 디지털 전환의 핵심 도구지만, CISO를 비롯한 보안 전문가에게는 감시해야 하는 거대한 위협 표면이 생겼다는 점을 잊어선 안 된다. 
 
ⓒGetty Images Bank

AI는 회사 기술 스택의 필수가 됐다. 비즈니스 의사 결정, 재무 예측, 예측 유지보수 및 수많은 기능을 지원한다. 따라서 AI 위험 관리는 CISO와 사이버 보안 리더가 빠트릴 수 없는 영역이 됐다. AI 보안 위협을 관리하려면 AI 배포의 취약점에 대한 위협 모델링 및 테스트가 필요하다.

AI 레드팀이란 직접 적이 돼보는 훈련을 통해 AI 시스템의 위협을 모델링하고 평가하는 사이버 보안 기법이다. 데이터 과학자이자 AI 위협 전문가인 패트릭 홀은 "머신러닝 시스템의 무결성과 기밀성을 시험하는 공격 훈련을 수행해야 한다"라고 조언했다. 그러나 아직 업계 모범 사례가 표준화되고 있는 단계에 불과해 AI 레드팀 훈련에 대한 확실한 가이드라인이 없는 상황이다. 
 

레드팀 훈련, 업계 표준부터 

MITRE ATLAS 프레임워크와 같은 AI 위협을 연구하고 테스트하기 위한 자원이 있긴 하다. 그러나 AI 모델과 AI 기반 애플리케이션을 체계적으로 검증할 수 있는 확고한 프레임워크가 아직 없다. 지금 레드팀 훈련이라고 하면 보안 전문가는 보통 주기적으로 AI 모델을 공격하거나, 현재 AI 및 ML 관련 위협을 포착해 문서화하는 정도를 생각한다. 

베리빌 머신러닝연구소(BIML) 설립자인 게리 맥그로는 지금 사이버 보안 분야에서 통용되는 'AI 레드팀'이라는 용어 자체가 현실과 다르다고 주장했다. 레드팀은 마치 실제 공격자처럼 보안 시스템을 침투해야 한다. 그러나 현재 업계의 정의는 ‘남용 방지’에 가깝다고 그는 지적했다. 이러한 이유로 맥그로가 운영하는 BILM이 알려진 ML 공격 분류법을 개발하고, ML 시스템의 아키텍처 위험 분석을 수행하는 방법을 연구하고 있다. 

AI 시스템과 관련된 위협은 해커의 의도적 공격이나 설계상 결점인 경우가 많으며, CIA의 3대 보안 요소인 기밀성, 무결성, 가용성이 모든 영향받을 수 있다. NCC 그룹의 수석 과학자인 크리스 앤리는 AI 시스템에 내장된 고유한 보안 문제를 조명한 바 있다. 예컨대 부적절한 데이터 처리는 개인 정보 침해로 이어질 수 있으며, 머신러닝 모델이 무단으로 도용될 위험이 있다. 게다가, 공격자들은 학습 데이터를 조작해 AI 시스템을 조종할 수도 있다. 이는 데이터 포이즈닝(data poisoning)이라고도 불린다. 따라서 오늘날 첨단 AI 기술을 보호하고 강화하려면 포괄적인 접근 방식이 필요하다.

데이터 공유 문화가 갈수록 확산되고 AI가 급속도로 발전하면서 데이터 침해 사건이 불거지기 쉽다. 앤리는 AI 위협이 주로 학습과정, 시스템 배치, 데이터 스토리지 시스템 등 예기치 못한 곳에서 발견된다며 모든 부분에서 긴장의 끈을 놓치 않아야 된다고 강조했다.  
 

CISO가 취해야 할 레드팀 전략 

전문가들은 특히 AI 기술에 대한 의존도가 높은 기업의 CISO가 레드팀 훈련을 진지하게 고려해야 한다고 조언한다. 그러나 CISO는 다른 많은 우선순위와도 씨름해야 한다. 그나마 AI 시스템이 위협 행위자가 노리는 1차 공격 대상이 아니라 다행이다. 해커는 보통 가장 쉬운 취약점부터 노리기 때문이다. 

레드팀 훈련에는 다양한 팀의 협력이 필요하다. 보안, AI, 데이터 과학 등 다양한 분야의 전문가들로 팀을 구성하고, 사내 및 타사 소프트웨어 모두에서 사용 중인 AI 모델을 샅샅히 조사한다. 그다음 위협 모델링이라는 작업을 진행한다. 위협 모델링이란 AI 시스템에서 잠재적 위협, 위험 및 취약성을 식별하는 체계적인 프로세스를 말한다. 

AI 레드 팀에 대한 투자를 고려할 때, CISO는 회사의 현재 위험 프로파일에 대한 잠재적인 투자 수익률을 평가해야 한다. AI 시스템이 제기하는 잠재적 위험을 고려할 때 레드 팀 연습에 관련된 비용과 노력이 정당한지 결정하는 데도 도움이 될 것이다.

누스파이어(Nuspire) CSO J.R. 커닝햄은 "AI 보안에 대한 투자를 한다, 안 한다는 흑백 논리로 보지 말고, 점진적으로 AI 보안 테스트 시스템을 구축해 나가는 자세를 취하길 권장한다"라고 말했다. 그는 AI 시스템에 대한 대규모 공격이 2010년대 초 대규모 신용카드 침해와 비슷한 관심을 모을 것이라 예상했다. 

CISO는 위협 모델링을 시작으로 삼을 수 있다. 사이브리즈(Cybrize)의 CSO 다이애나 켈리는 “이러한 시스템을 효과적으로 평가하기 위해서는 팀들이 AI/ML의 위험과 실패에 대한 교육을 받아야 한다. 또한 새로운 애플리케이션이나 워크로드가 도입되면 기업은 AI/ML 사용에 대해 공급업체와 논의해야 한다”라고 말했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.