“지금 아니면 늦는다”··· 생성형 AI ‘보안’ 정책 마련에 분주한 기술 임원들

2024년에도 많은 기업이 생성형 AI를 도입할 방안을 적극 모색하고 있다. 자연스레 보안에 중점을 둔 생성형 AI 정책의 필요성이 그 어느 때보다 높아지고 있다. 최근 생성형 AI 보안 정책을 마련한 보안 임원 6인에게 어떤 시행착오를 겪고 있는지 들어보았다.
 

생성형 AI를 채택하는 기업이 급증하면서 사이버 보안 업계에서 최근 AI 가이드라인이 주요 화두로 떠오르고 있다. 관리 가이드라인이 미처 마련되지 않은 상황에서 생성형 AI가 너무 빨리 도입되는 것은 아닌지 우려의 목소리가 나오는 것이다. 생성형 AI의 보안 위협과 데이터 프라이버시 위험을 감안하면 일리 있는 걱정이다.

이런 상황에서 CISO가 준비해야 할 것은 명확하다. 생성형 AI와 관련된 강력한 AI 보안 정책이 없다면 지금 당장 만들어야 한다는 것이다. 현재 많은 기업이 AI 도입 및 사용에 관한 규정을 명확히 갖고 있지 않지만 생성형 AI는 빠르게 진화하고 있고 엄청난 잠재력을 가지고 있다는 것은 부인할 수 없다. 동시에 보안에 매우 심각한 영향을 줄 만한 기술이므로 생성형 AI 보안 정책은 어찌 됐든 준비해야 한다.

다시 말해 CISO가 개발해야 하는 사이버 보안 정책은 생성형 AI의 비즈니스 도입을 지원할 뿐만 아니라 혁신을 저해하지 않으면서도 위험을 효과적으로 해결하는 방향을 추구해야 한다. 혹시 생성형 AI가 어떻게 발전하는지 일단 지켜보면서 나중에 적절한 보안 정책을 마련할 계획인가? 그런 경우 과거 섀도 IT로 보안 구멍이 생겼던 것처럼 여러 문제를 마주할 수 있다. 많은 직원이 이미 생성형 AI를 활용하고 있는 상황이기에 하루빨리 보안 정책을 마련해야 한다.

지금 AI 보안 정책이 필요한 이유
생성형 AI가 기업에 빠르게 도입되는 상황이지만 기업은 여전히 잠재적인 보안 위험을 제대로 평가하지 않고 있다. 최근 스플렁크와 파운드리의 공동 설문조사에 따르면, 공공 부문의 79%와 민간 부문의 83%가 프로덕션 시스템에서 생성형 AI를 사용하기 시작했다. 응답자의 약 절반이 자동화를 통해 생산성을 높이기 위해 생성형 AI를 사용 중이거나 곧 사용할 예정이라고 답했다. 주요 목적은 자동화였으며, 그 외 혁신 및 아이디어 창출(30%), 상품 또는 서비스 개선(29%), 사이버 위험 감지 및 평가(26%) 등이 AI의 다른 사용 사례로 꼽혔다.

기업은 또한 외부에서 만든 대규모 언어 모델(LLM)을 빠른 속도로 채택하고 있으며, 공공 부문 기업의 69%가 LLM을 사용하고 있거나 곧 사용할 예정이라고 답했다. 민간 부문에서 같은 답변을 한 응답자는 57%에 그쳤다. 서드파티 기업이 개발한 LLM에 대한 우려도 제기되고 있다. 보통 LLM의 학습, 사용, 편향성을 걱정하고 있었다. 설문조사 응답자의 대부분(78%)은 글로벌 윤리 원칙이 AI와 LLM에 대한 규제의 기준이 되기를 바란다고 답했다.

문제는 많은 기업이 AI 이니셔티브를 빠르게 추진하고 있는 반면, 업계와 정부는 AI와 LLM에 대한 적절한 가이드라인과 규제를 확정 짓지 못하고 계속 논의하는 상황이라는 것이다. 그렇기 때문에 기업은 선제적으로 AI 사용에 대한 자체 보안 정책을 수립하여 특정 사용 사례에서 발생할 수 있는 리스크를 완화해 두어야 한다.

섀도 IT에서 얻은 교훈에 귀 기울이기
보안팀은 섀도 IT로 인해 발생하는 수많은 위험과 문제를 완화하는 정책을 통해 섀도 IT를 통제하려고 나름 노력해 왔다. 하지만 워낙 문제 규모가 크기 때문에, 보안 위협을 완벽히 막지 못하곤 한다. 가트너의 조사에 따르면, 2022년에 직원의 41%가 IT 부서가 관리 감독하는 영역 밖에서 기술을 획득, 수정, 생성한 것으로 나타났다. 소프트웨어 정보 제공 업체 캡테라(Capterra)의 2023년 섀도 IT 및 프로젝트 관리 설문조사에 따르면, 중소기업의 57%가 IT 부서의 권한 밖에서 조직에 영향을 미치는 섀도 IT 작업을 수행한 경험이 있는 것으로 나타났다.

생성형 AI는 물론 완전히 다른 개념의 기술이지만, 어떤 면에서 섀도 IT보다 훨씬 빠르게 발전하고 있다. 여기서 얻을 수 있는 교훈은 신기술 사용이 증가함에 따라 보안에 중점을 둔 정책을 초기 단계에 마련해야 한다는 것이다. 관리할 수 없는 규모에 도달한 후에 마련하려 하면 너무 늦다. 생성형 AI가 비즈니스에 끼칠 수 있는 잠재적 보안 위험은 아직 많이 알려지지 않았기 때문에 이를 대비 하지 않으면 더욱 큰 부담으로 작용할 수 있다.

보안에 초점을 맞춘 생성형 AI 정책 만들기
보안 기업 넷스코프(NetSkope)의 CISO 닐 태커(Neil Thacker)는 “조직 대부분은 지난 몇 달 동안 어떤 식으로든 생성형 AI 사용을 실험해 왔지만, 이제는 보안 정책에 미치는 영향을 고려해야 한다”라며 “지금은 서비스의 진정한 가치를 확인하려는 단계에 있지만, 조만간 이를 제어하기 위한 고민을 시작해야 할 것이다”라고 밝혔다.

최근 500명 이상의 고위 IT 리더를 대상으로 실시한 세일즈포스 설문조사에 따르면, 응답자 대다수(67%)가 향후 18개월 이내에 비즈니스에 생성형 AI를 우선적으로 도입할 계획이지만, 거의 모든 응답자가 기술을 성공적으로 활용하면서 보안 문제를 해결하기 위해 추가적인 조치를 취해야 한다는 점을 인정했다.

태커는 현재 규모나 업종과 관계없이 대부분의 조직이 생성형 AI의 안전한 사용을 제어하고 관리하는 방법과 관련하여 동일한 문제를 겪고 있다고 지적했다. 가령 많은 기업에서 어떤 정책에서 생성형 AI를 관리할지 정하지 못하고 있다. 접근 제어와 관련된 문제인지, 데이터 암호화와 관련된 문제일지, 멀웨어와 같은 위협 요소와 관련된 것일지도 아직 불명확하다.

태커는 생성형 AI의 정교한 기능과 도입율 증가로 인해 조직 내 모든 분야에 영향을 미칠 것으로 예상되지만, 결국 이를 대비하는 것은 CISO와 보안팀의 몫이라고 말했다. 태커는 “효과적인 생성형 AI 보안 정책은 사람, 프로세스, 기술이라는 신뢰할 수 있는 보안이라는 3가지를 중심으로 구축할 수 있다”라며 “하지만 생성형 AI의 고유성 때문에 비즈니스 전반의 사용 사례, 잠재적 위험, 정책 적용과 관련해 지속적인 피드백을 받으며 개선돼야 한다”라고 덧붙였다.

비즈니스 연계, CISO의 핵심 과제이자 기회
생성형 AI 보안 정책은 결국 비즈니스와 연계돼야 한다. 물론 정책을 비즈니스와 연계하는 부분은 CISO 입장에서 매우 어려운 과제로 다가올 수 있지만 분명 기회를 만들 수 있다. 대부분의 조직은 생성형 AI를 직접 구축하기보단 생성형 AI 서비스를 구매할 것이다. 어떤 경우는 직접적인 AI 기술 구매가 아닌 외부 기술 통합 과정에서 생성형 AI 연계 기능을 경험할 수 있다. 이런 상황에서 CISO는 생성형 AI 자체 기능 확장은 물론 많은 생성형 AI 비즈니스 사용 사례를 이해해야 한다. 여기에 이를 정책으로 구체화하려면 상당한 시간을 투자해야 한다. 어려워 보이지만 비즈니스 요구와 목표에 따라 보안 제어 방식을 초기에 구축하면서 CISO는 새로운 기회를 만들 수 있다.

궁극적으로 CISO가 만들어야 할 것은 회사 전체에서 거의 자율적으로 이해하고 채택할 수 있는 하향식, 비즈니스에 적합한 보안 정책이다. 보안이 보안팀에만 국한되어서는 안 되며, 다양한 비즈니스 부서에서 보안팀의 도움 없이도 생성형 AI의 안전한 사용을 위해 적용할 수 있어야 한다.

국제 정보 시스템 보안 인증 컨소시엄인 ISC2의 CISO인 존 프랑스(Jon France)는 “결국 고전적인 위험 관리 방식과 유사하다”라며 “비즈니스에 무엇이 중요한지 이해하고 비즈니스가 하는 일과 관련하여 생성형 AI를 개발하거나 사용할 때 발생할 수 있는 위험을 이해해야 한다”라고 밝혔다.

생성형 AI 사용 사례 파악하기
생성형 AI 사용 사례와 그에 따른 보안 정책은 비즈니스마다 다를 뿐만 아니라 부서마다 다를 수 있다. 특히 민감한 정보를 다루거나 규제가 심한 산업에 종사하는 조직은 AI 사용을 처음부터 차단하고 싶을 수 있다.

이미 그렇게 한 기업도 있다. 삼성은 생성형 AI를 사용하던 중 민감한 내부 정보가 실수로 유출된 후 생성형 AI 사용을 금지했다. 그러나 이러한 유형의 엄격하고 포괄적인 사용 금지 접근 방식은 안전하고 혁신적인 사용을 억제한다. 거기다 섀도 IT에서 볼 수 있는 보안 위협을 가져올 수 있다. 그래서 보다 정교하게 사례별 위험 관리 접근 방식을 마련하는 것이 훨씬 더 유익할 수 있다.

보안 기업 호넷시큐리티(Hornetsecurity)의 보안 에반젤리스트인 앤디 시루비체(Andy Syrewicze)는 “예를 들어 개발팀은 생성형 AI 서비스에 업로드해서는 안 되는 민감한 사내 코드를 공지할 수 있다. 마케팅 부서는 상대적으로 여러 일상적인 업무를 처리 과정에서 AI 서비스를 사용하라고 허락할 수 있다”라고 설명했다. 보다 정교하게 사용 권한을 미리 정해 놓은 CISO는 AI 활용 사례 확대와 보안성 확보 사이에 균형을 유지하면서 감이 아닌 정보에 입각한 의사결정을 내릴 수 있다.

생성형 AI의 기능에 대해 최대한 알아보기
다양한 비즈니스 사용 사례에 대해 배우는 것뿐만 아니라 CISO는 계속 발전하고 있는 생성형 AI의 기능에 대해 스스로 공부해야 한다. 프랑스는 “이를 위해서는 약간의 기술이 필요하며, 보안 실무자는 생성형 AI와 관련된 것이 무엇인지 기본 사항을 배워야 한다”라고 말했다.

아바나데(Avanade)의 글로벌 사이버 보안 센터 책임자 제이슨 레빌(Jason Revill)은 “CISO는 이미 기존 보안 기능의 변화를 따라잡는데도 어려운 가운데 생성형 AI와 관련된 고급 전문 지식까지 습득하는 것은 쉽지 않다”라며 “배워야 할 기술 내용이나 규제가 더 많아지기 때문에도 그렇지만 기본적으로 보안 기술 변화의 속도가 기하급수적으로 빨라지고 있어 더욱 그렇다. CISO는 프로젝트가 진행되도록 내버려두기보다는 외부 전문가의 도움을 조기에 도입하여 생성형 AI를 앞당기는 방안을 고려하면 좋다”라고 조언했다.

생성형 AI 보안 정책의 핵심은 ‘데이터 제어’
시루비체는 “최소한 기업은 어떤 유형의 정보를 생성형 AI 도구에서 사용할지 내부 정책을 통해 구체적으로 명시해야 한다”라고 설명했다. 이미 기업 내 민간 정보가 외부 AI 알고리즘에 공유돼 문제가 발생한 사례는 여럿 보고됐다. 따라서 생성형 AI 시스템에 어떤 데이터가 넣을 수 있고 어떻게 사용될 수 있는지에 대한 적절한 지침과 통제가 있어야 한다. 프랑스는 “AI 학습 데이터는 지적재산권 문제를 가져올 수 있다. 모델에 어떤 데이터를 입력할 수 있을지, 그리고 그 데이터가 다른 사람이 사용하고 훈련하는 데 사용될 수 있을지 미리 파악해야 한다”라고 말했다.

AI 기술 업체 이터레이트AI(Iterate.ai)의 공동 창립자이자 CTO인 브라이언 사티아나탄(Brian Sathianathan)은 “데이터 암호화 방법, 익명화 및 기타 데이터 보안 조치에 대한 강력한 정책은 유용하다. 외부 AI 시스템이 함부로 기업의 데이터에 접근, 사용, 전송하는 상황을 방지하여 기술을 더욱 안전하게 만들고 데이터를 보호할 수 있기 때문이다”라고 설명했다.

레빌은 데이터 분류, 데이터 손실 방지 및 탐지 기능은 내부자 위험 관리의 새로운 영역으로 떠오르고 있으며, 이는 생성형 AI 사용을 제어하는 데 핵심이 된다고 말했다. 레빌은 “데이터를 어떻게 보호하고, 테스트하고, 정해진 환경에서 활용할 수 있을지 살펴봐야 한다. 예를 들어 테스트 및 개발 환경은 프로덕션 환경만큼 엄격한 통제가 이루어지지 않는 경향이 있기 때문에 쉽게 공격자의 표적이 될 수 있고, 데이터가 유출될 수 있다”라고 말했다.

콘텐츠 정확성 확인하기
생성형 AI 관련 보안 정책은 데이터 제어 부분 외에도 콘텐츠 부분도 다뤄야 한다. 여기서 가장 우려되는 부분은 ‘환각’ 현상이다. 챗GPT와 같은 생성형 AI 챗봇에서 사용하는 대규모 언어 모델(LLM)이 신뢰할 수 있는 것처럼 보이지만 잘못된 부정확한 내용을 출력하는 것을 환각 현상이라고 말한다. 비즈니스에 중요한 사안과 관련하여 정확성에 대한 추가 분석 없이 출력 데이터를 그대로 믿고 주요 의사 결정을 내린 경우 심각한 문제를 마주할 수 있다.

예를 들어, 기업은 LLM을 활용해 보안 보고서 및 분석 내용을 생성할 수 있다. 이때 LLM이 잘못된 데이터를 만들고 이를 보고서에 반영하는 경우, 잘못된 의사결정을 유도할 수 있다. 태커는 “생성형 AI 보안 정책에는 생성된 콘텐츠의 정확성을 수동으로 검토하여 합리화할 수 있는 명확한 프로세스가 담겨야 한다”라며 “LLM가 출력한 결과를 절대 맹신해서는 안 된다”라고 말했다.

또한 공격자는 LLM을 활용해 악성 코드, 명령 또는 작업을 실행하기도 한다. 이로 인해 승인되지 않은 코드가 실행될 수 있다는 점도 보안 담당자가 인지하고 있어야 한다.

생성형 AI 기반 공격에 대한 대응책 마련하기
현재 보안 기업 딥 인스팅트(Deep Instinct)의 CIO이자 과거 씨티(Citi) 그룹에서 글로벌 인프라 방어 책임자 겸 CISO였던 칼 프로겟(Carl Froggett)은 생성형 AI 기반 공격을 비롯해 대응 방안을 보안 정책에서 다뤄야 한다고 조언했다. 예를 들어, 생성형 AI로 이제 가짜 콘텐츠를 실제 콘텐츠와 구분할 수 없는 상황에서 기업은 누군가를 사칭한 공격이나 소셜 엔지니어링 수법을 어떻게 관리할지 정해야 한다는 것이다.

프로겟은 공격자가 생성형 AI로 누군가의 고유한 표정과 그 집단에서 쓰는 특정 표현을 쓰는 목소리 파일을 만들어 내부 직원을 속일 수 있다고 경고했다. 이런 시나리오는 이메일의 맞춤법 오류나 악성 링크를 탐지하는 것과 같은 기존 소셜 엔지니어링 방어 전략을 무의미하게 만든다는 것이다. 프로겟은 “직원은 실제로 대화를 나누고 목소리를 들었다고 믿게 되고, 그것이 진심이라고 느끼게 된다”라고 덧붙였다. 따라서 기술적 및 인식적인 측면 모두에서 보안 정책은 생성형 AI로 진화된 소셜 엔지니어링 위협에 맞춰 업데이트되어야 한다.

커뮤니케이션과 교육이 보안 정책 성공의 열쇠
모든 보안 정책이 성공하려면 잘 전달되고 접근이 용이해야 한다. 태커는 “이는 기술적인 문제이기도 하지만, 이를 어떻게 전달하느냐의 문제이기도 하다”라며 “이해관계자 관리로 끝나면 안 된다. 보안 정책의 커뮤니케이션도 늘 개선되어야 한다. 특히 CISO는 신기술 혁신과 관련한 보안 정책을 발표할 때 어떻게 비즈니스 관점에서 관련이 있는지 잘 설명할 줄 알아야 한다”라고 밝혔다.

직원 교육 정책도 새로 고려해야 한다. 레빌은 “직원에게 생성형 AI를 책임감 있게 사용하는 방법을 가르치고, 몇 가지 위험 요소를 명확히 설명해야 한다. 또한 기업이 보안을 유지할 수 있는 검증되고 책임감 있는 방식으로 기술에 접근하고 있음을 알려야 한다”라고 말했다.

생성형 AI에 영향받는 공급망 점검하기
생성형 AI 보안 정책에선 공급망 및 서드파티 기술 관리 방안도 다뤄야 한다. 내부 기술을 점검하는 수준으로 외부 서비스도 미리 평가해야 한다. 레빌은 “공급망 위험은 생성형 AI로 인해 사라지지 않는다. 오히려 서드파티 통합 과정에서 주의 깊게 살펴봐야 할 요소가 여럿 있다”라고 말했다.

태커는 클라우드 서비스 제공업체도 점검해야 한다고 말했다. 태커는 “조직은 보통 수백 개의 클라우드 서비스를 활용하고 있으며 이들 모두 서드파티 공급업체다. 대부분의 공급업체에 대해 생성형 AI 관련 보안 위협이 없을지 계속 점검해야 한다. 또한 처음 로그인하거나 서비스를 사용할 때만 아니라 지속적으로 검토해야 한다”라고 밝혔다. 태커는 ▲어떤 데이터를 입력하는가? ▲어떻게 보호되는가? ▲세션은 어떻게 제한되나? ▲데이터가 다른 조직과 모델 트레이닝 간에 공유되지 않도록 어떻게 보장할 수 있나? 같은 요소를 점검하면서 외부 서비스의 위험성을 파악할 수 있다고 조언했다.

태커는 “물론 이런 질문에 바로 답하지 못할 수도 있지만, 최대한 많은 인사이트를 얻으려면 가능한 한 빨리 관련 논의를 시작하는 것이 중요하다”라고 설명했다.

생성형 AI 보안 정책을 흥미롭게 만들기
마지막으로 고려해야 할 사항은 생성형 AI 보안 정책을 최대한 흥미롭고 상호작용할 수 있도록 만드는 것이다. 레빌은 “생성형 AI를 활용하여 생산성을 높이고 직원들의 삶을 더 편하게 만들 수 있는 방법을 고민하고 있다는 것을 직원들에게 알려야 한다. 별거 아닌 거로 생각할 수 있지만 그렇게 알리지 않는 조직은 나중에 곤란한 상황에 처할 수 있다”라고 조언했다.

레빌은 또한 앞으로 더 많은 직원이 자신의 디바이스에서 생성형 AI 기술을 사용하게 될 것이므로 책임감을 갖고 기술을 사용하도록 교육해야 비즈니스 전체를 보호할 수 있다고 설명했다. 레빌은 “결국 목표는 비즈니스의 보안성과 안전성을 높이고 혁신을 저해하지 않는 것”이라고 밝혔다.
ciokr@idg.co.kr