'AI 사각지대 이해하기'… 하이브리드 환경 전반에서 AI를 식별하고 보호하려면

AI가 기업 생태계의 필수적인 요소로 자리 잡으면서, AI의 위치를 파악하고 위험을 줄이는 보안팀의 업무도 중요해지고 있다.
 

가트너에 따르면 2026년까지 생성형 AI API를 사용하거나 AI 지원 애플리케이션을 배포하는 기업의 수가 80% 이상으로 늘어날 전망이다. 다시 말해 AI는 이제 일상적인 비즈니스 운영의 필수 요소로 자리잡고 있다.

작업 대부분은 워크데이, 세일즈포스, 오피스365 같은 클라우드 및 SaaS 애플리케이션에서 이뤄지고 있다. 예를 들어 아마존 웹 서비스(AWS)는 컨택 센터, 가상 비서, 투자 분석, 법률 및 전문 서비스, 의료 진단, 제조 등에서 AI 기반 머신러닝을 적용하기 위해 10만 곳 이상의 조직을 지원한 것으로 알려졌다.

SaaS 및 클라우드 앱에 더 많은 AI 기능이 추가되면서, 앱을 찾아 거버넌스, 위험 및 규정 준수(GRC) 프로그램에 도입하는 CISO의 역할도 중요해지고 있다. 전문가들에 따르면 이런 변화는 데이터 사용 및 보호 전략을 더 면밀히 살펴봐야 한다는 것을 의미한다.

세일즈포스의 최고 신뢰 책임자인 브래드 아킨은 "AI 전략이 데이터 전략만큼이나 중요하다. AI를 도입하는 조직은 신뢰와 혁신의 균형을 유지해야 한다. 전술적으로 보면 이는 기업이 데이터를 분류하고 AI 사용 사례에 대한 구체적인 정책을 구현하는 데 시간을 할애해야 한다는 의미다"라고 말했다.

AI 관련 사각지대를 식별하고 이해하는 방법
AI 계층이 표면 아래에 얼마나 깊숙이 자리 잡고 있는지를 고려하면 말처럼 쉽지 않다. 예를 들어 2024 회계연도에 매출이 11% 증가했다고 발표한 세일즈포스는 아인슈타인1(Einstein 1) 플랫폼 덕분에 고객 서비스, 커머스, 마케팅, 영업을 지원하는 사전 구축 모듈에 AI를 통합했다. 이런 모듈은 챗봇과 같은 서드파티 AI 앱과 통합돼 보안 데이터레이크에 연결하거나 구성에 따라 온프레미스 데이터베이스에 연결할 수도 있다.

머큐리 리스크 앤 컴플라이언스의 CISO이자 사이버 보안 전략가인 매튜 로젠퀴스트는 "오픈소스, 무료 및 유료 생성형 AI 도구는 수천 개에 달하며, 기업은 이런 도구를 새로운 방식으로 활용하기 위해 혁신을 거듭하고 있다. 계약서를 작성하고, 이력서 더미를 검토하고, 상태 보고서 초안을 작성하고, 미디어 리치 마케팅 콘텐츠를 만들고 싶은가? 이를 위해 생성형 AI를 쓸 수 있다. 모든 부서에서 이 기술을 사용하기를 원할 것이다. 하지만 문제는 어떤 민감한 데이터와 시스템이 처리되고 노출되는가다. 그리고 AI 애플리케이션이 어떤 서드파티 시스템에 연결되는가? 이는 상당한 사각지대다"라고 설명했다.

로젠퀴스트는 과거 한 고객이 비밀번호 재설정 작업을 위해 헬프데스크를 AI 챗봇으로 대체하려고 했던 사례를 소개했다. 봇이 사용자를 확인하고 IT 부서의 기업 비밀번호를 재설정하면 시간은 크게 절약할 수 있지만, 로젠퀴스트는 이 시스템을 사용하려면 철저한 테스트, 심사, 보호 없이 인터넷에 노출되는 민감한 자격 증명 시스템에 대한 관리자의 액세스가 필요하다고 말했다. 그는 "파괴적인 기술은 강력하지만 관리의 위험도 수반된다"라고 지적했다.

보안이 취약한 시스템에 연결된 안전하지 않은 AI 문제
AI, 데이터 및 SaaS 플랫폼 분야 전문가이자 최고 법률 책임자인 줄리 사슬로 슈뢰더는 특히 사물 인터넷(IoT)을 통해 백엔드 또는 클라우드 기반 데이터레이크나 저장소에 연결되는 DNS 및 API 등의 위협 벡터가 민감한 데이터에 2가지 주요 취약점을 구성한다고 말했다. 그는 "안전하지 않은 챗봇을 취약한 시스템에 연결해 민감한 데이터에 접근하도록 허용할 때 모든 위협 벡터를 이해하고 해결하지 않는다면 존재하는 모든 글로벌 프라이버시 보호 규정을 위반할 수 있다"라고 설명했다.

그녀는 이 문제를 해결하는 것이 쉽지 않다며 개발자, 데이터 과학자, 사이버 보완, 법률/리스크/규정 준수 등 여러 분야의 전문 지식이 필요하다고 언급했다.

코카콜라 및 기타 포춘 500대 기업의 전 CISO인 르네 구트만은 AI 사용 평가와 관련해 비즈니스 부서가 AI 정책을 수립하고 위험을 관리하는 데 핵심적인 역할이라고 말했다. 여기에는 AI가 채택된 위치를 파악하는 것도 포함된다. 그녀는 "초기 발견은 비즈니스 부서와의 관계에서 시작된다. 이는 AI가 백도어에 들어오는 지 파악하는 데 도움이 된다"라고 말했다.

구트만은 이를 설명하기 위해 지난해 10월 가트너가 2,400명의 글로벌 CIO를 대상으로 실시한 설문조사를 언급했다. 해당 설문조사에서 응답자의 45%는 디지털 딜리버리를 공동 지휘하기 위해 최고 경영진과 협력해 IT와 비즈니스 직원이 함께 일하기 시작했다고 응답했다. 그중 70%는 생성형 AI가 IT 부서를 넘어 디지털 딜리버리의 민주화를 빠르게 진전시키는 획기적인 기술이라고 언급했다.

SSPM 도구가 AI 구성 요소를 식별하고 보호하는 데 유용
구트만은 보안 솔루션 제공업체가 AI 위험을 해결하기 위해 제품에 탑재하고 있는 기능에 대해 CISO와 논의할 것을 권했다. SaaS 보안 태세 관리(SSPM) 같은 기능은 SaaS 애플리케이션을 스캔하고 핵심 SaaS 애플리케이션과 통합된 AI 도구를 표시해 각 도구의 위험 수준과 사용자에 대한 가시성을 제공할 수 있다. 구트만은 "이를 통해 조직 내에서 AI가 어떻게 사용되고 있는지, 조직의 AI 거버넌스 정책이 준수되고 있는지 파악할 수 있다"라고 말했다.

IDC의 클라우드 보안 리서치 매니저인 필립 뷰스에 따르면 모든 SaaS, 클라우드 및 서드파티 인스턴스의 구성과 프로토콜이 서로 다르기 때문에 민감한 데이터 위험에 대해 전체적으로 평가하기란 쉽지 않다. 그는 AI가 추가되면 이 문제가 더 어려워진다면서, "클라우드, SaaS 및 서드파티 앱에서 실행되는 모든 AI 인스턴스를 자동으로 찾을 방법은 없지만, 이 작업에 더 적합한 검색 도구는 몇 가지 있다. 예를 들어 로깅 분석은 조직이 어떤 AI가 어디에서 어떤 목적으로 사용되는지 이해하는 데 유용하다"라고 말했다.

시큐리티.ai(Securiti.ai)의 인공지능 담당 부사장인 마이클 라인하르트는 검색을 내부에서 호스팅되는 AI, 서비스형 AI, AI 기반 SaaS 등 세 부분으로 나누면 도움이 된다고 언급했다. 그는 "자산이 어디에 있는지 파악해야 할 뿐만 아니라 자산의 위험도 평가해야 한다. SaaS 앱을 발견했다고 하더라도 해당 앱이 AI 기반인지는 확실히 알 수 없으며, 데이터 및 AI 학습을 관리하는 방법에 대한 사용 약관도 모르기 때문이다"라고 말했다.

AI 및 데이터 사용 규정 준수
구트만은 또한 데이터 거버넌스를 위해 SaaS 애플리케이션과 서드파티 SaaS API 통합을 검토할 것을 권장했다. 그녀는 "예를 들어 SaaS 보안 서비스 업체는 기업이 SaaS 생태계의 행동과 위험을 더 잘 이해하고 관리할 수 있도록 지원한다"라고 말했다.

AWS, 애저, 구글 및 기타 신뢰 가능한 클라우드 서비스 업체는 대부분 AI 모델에 자체 보안 제어 기능을 내장하고 있다. 또한 보안팀이 AI 사용을 보호하는 데 활용할 수 있는 선택적 제어 기능도 제공한다.

사이버 보드룸의 설립자인 디니스 크루즈는 AI 기반 비즈니스를 지원하는 안전한 환경을 보장하기 위해 클라우드 및 SaaS 앱에 내장되는 구성 기능을 지지한다고 밝혔다.

그에 따르면 AWS 베드록(Bedrock)과 같은 대규모 클라우드 환경에서는 읽기 전용 모델에 액세스할 수 있는데, 이는 민감한 데이터를 학습하지 않고 데이터를 보유하지 않으며 기존 보안 제어를 활용해 모델에 노출된 데이터(인증, 권한 부여, DLP, 통합 가시성 등)를 관리한다.

크루즈는 "전체 보안 모델은 당면한 작업에 가장 적합한 모델로 전송되는 AI 프롬프트를 중심으로 구성되기 때문에 공격 표면이 크게 줄어든다. 모델이 작동해야 하는 자체 콘텐츠와 공간을 가져오면서 이를 제어할 수 있다"라고 말했다.

AWS 같은 기업은 이미 더 안전한 AI 통합을 제공
아마존 베드록 사이언스 디렉터인 셰리 마커스는 베드록 플랫폼을 통해 고객이 이미 AWS에 저장된 데이터에 파운데이션 모델을 도입할 수 있다고 말했다. 적절한 보안 구성과 데이터 보호 제어를 통해 AI 및 AI 애플리케이션 구축에 사용되는 AWS의 데이터도 보호할 수 있다. 그는 "따라서 고객은 생성형 AI를 쓰기 위해 데이터를 외부 모델로 옮길 필요 없이 자체 데이터 경계 내에 머무를 수 있다. AWS 계정 내에 유지되는 개인 생성형 AI 모델이 된다"라고 설명했다.

AWS의 CISO 사무실 수석 책임자인 빌 신은 클라우드 액세스 보안 브로커(CASB), 데이터 손실 방지, DNS 및 프록시 제어, EDR 서비스를 통해 사용자가 AI 서비스에 참여하는 시점을 식별하고 모니터링할 수 있다고 언급했다. 이러한 제어 및 업계 모범 사례는 안전한 AI 구성을 다룬 AWS 블로그의 AI 사용 사례를 참고할 만하다.

서비스 업체와 고객의 '공동 책임'으로서의 AI 보안
아킨은 보안이 클라우드 및 SaaS 서비스 업체와 기업 고객 간의 공동 책임이라며, 이벤트 모니터링 및 감사 추적 같은 선택적 탐지 제어를 통해 고객이 데이터에 액세스하는 사람, 목적, 처리 유형에 대한 인사이트를 확보할 수 있다고 강조했다.

그는 또한 쉴드 플랫폼(Shield Platform) 암호화, 이벤트 모니터링, 아인슈타인 데이터 감지 등의 세일즈포스 신뢰 서비스를 통해 세일즈포스 보안 데이터레이크에서 데이터를 분류하고 데이터 보호 정책을 구성할 수 있다고 설명했다. 더 자세히 살펴보면 세일즈포스 아인슈타인 AI의 '신뢰 계층(Trust Layer)'은 고객에게 데이터 검색과 컨텍스트가 포함된 AI 프롬프트를 안전하게 공급하기 위해 동적 접지(dynamic Grounding)라고 불리는 프로세스뿐만 아니라, 데이터 마스킹 및 제로 데이터 보존에 대한 선택권을 제공한다. 이를 통해 서드파티 LLM으로 프롬프트가 전송될 때 민감한 데이터의 개인 정보 및 보안을 보호할 수 있도록 지원한다.

하지만 사용자의 잘못된 설정과 관련 침해 사례를 고려할 때, 모두가 이런 '공동 책임'이 클라우드와 SaaS에서 처리 및 저장되는 민감한 데이터를 효과적으로 보호한다고 동의하는 것은 아니다. 여기에 다양한 형태와 계층을 가진 AI까지 더해지면 문제는 더 복잡해진다.

AI로 혁신하고 있는 의사 추천 서비스 업체인 임볼드헬스의 CISO인 스티브 듀포는 "말하자면 기존 도구로 해결할 수 있는 문제가 아니다. 비즈니스 문제를 해결하는 데 도움이 되는 여러 가지 방법이 있다면 모두를 살펴봐야 한다. 그리고 내부적으로 유익한 커뮤니케이션 스타일과 실제로 어떤 일을 하는지 직원을 교육할 수 있는 좋은 교육 프로그램이 있어야 한다"라고 설명했다. 

* Deb Radcliff는 사이버 범죄 및 보안 전문 탐사 보도 기자다. 또한 사이버 범죄를 주제로 한 소설 'Breaking Backbones'의 저자이기도 하다. ciokr@idg.co.kr