‘AI 보안 길잡이’··· OWASP의 LLM AI 보안 및 거버넌스 체크리스트 톺아보기

생성형 AI 보안 정책을 수립하려는 기업이 있다면 OWASP의 ‘LLM AI 사이버 보안 및 거버넌스 체크리스트’를 살펴보자. 완벽하진 않지만 안전한 AI 사용법을 안내받을 수 있을 것이다.
 

상용 및 오픈소스 AI 모델부터 상용 솔루션까지 AI가 조직에 통합되면서 보안 정책 수립은 기업의 우선 과제로 떠오르고 있다. 다행히 OWASP, 오픈SSF, CISA 같은 보안 업계 단체도 고민에 빠진 기업을 돕기 위한 지침을 빠르게 내놓고 있다.

보안 비영리 재단인 OWASP는 ‘OWASP AI 익스체인지’, ‘AI 보안 및 개인정보 보호 가이드’, ‘LLM 탑 10’ 같은 가이드라인을 발표했다. 지난 2월에는 ‘LLM AI 사이버 보안 및 거버넌스 체크리스트’라는 유용한 자료를 공개했다.

OWASP가 제시한 AI 유형
OWASP에 따르면, 생성형 AI는 머신러닝 종류의 하나로 새로운 데이터를 생성하는 데 중점을 둔다. LLM은 AI 모델 종류의 하나로 인간의 표현과 유사하게 텍스트를 처리하고 생성한다. 특히 LLM은 입력 정보를 기반으로 무엇인가 예측하고 인간의 말투를 닮은 결과물을 출력한다. LLM를 대표하는 서비스 챗GPT의 접속 횟수는 2024년 1월에만 약 16억 건이며, 사용자 수는 약 1억 8천만 명이다.

OWASP의 체크리스트는 분명 주요 보안 위협을 파악하고 막을 방법을 제시하지만 그렇다고 완벽한 것은 아니다. OWASP는 생성형 AI, LLM 및 도구 자체의 사용이 발전하고 성숙함에 따라 해당 체크리스트도 계속 발전할 것이라고 강조했다.

LLM 관련된 위협 종류는 다음 이미지처럼 다양하다.
 

LLM 보안 수준을 높이려면 일단 조직은 LLM 전략을 결정해야 한다. 그래야만 생성형 AI 및 LLM과 관련된 특수한 위험을 처리하고 완화하는 거버넌스 및 보안 방식을 구체화할 수 있다. OWASP는 조직이 LLM 전략을 개발하기 위한 6단계의 실용적인 접근 방식을 다음과 같이 제시한다.
 

또한 조직이 선택할 수 있는 LLM 배포 방식은 다음 그림처럼 다양하다. 즉 퍼블릭 API 액세스, 라이선스 모델, 맞춤형 모델 등 다각도로 고려할 수 있다.
 

다음은 OWASP가 LLM AI 사이버 보안 및 거버넌스 체크리스트에서 제시한 13가지 항목을 요약한 것이다.

적대적 위험
조직은 경쟁자와 공격자 모두를 고려해 적대적 공격을 대비해야 한다. 경쟁업체가 비즈니스 성과를 위해 AI를 어떻게 사용하고 있는지 파악하자. 또한 생성형 AI 공격 및 인시던트에 대응하기 위해 사고 대응 계획(IRP)과 같은 내부 프로세스 및 정책을 업데이트해야 한다.

위협 모델링
위협 모델링은 최근 CISA를 비롯한 여러 보안 단체에서 강조하는 보안 기법이다. 특히 설계 기반 보안 시스템 영역에서 주목받고 있다. OWASP는 조직 차원에서 LLM과 생성형 AI 기반 공격을 이해하고, LLM 및 생성형 AI 플랫폼을 내부 시스템 및 환경에 연결할 때 필요한 적절한 보안 장치를 마련하라고 조언한다.

AI 자산 인벤토리
자신이 무엇을 가지고 있는지 모른다면 보호 자체를 할 수 없다. 생성형 AI와 LLM의 세계에서도 마찬가지다. OWASP는 내부에서 개발한 솔루션과 외부 도구 및 플랫폼 모두에 대한 AI 자산 인벤토리를 파악하라고 설명한다.

자산을 파악할 때는 사용하는 도구와 서비스뿐만 아니라 그 사용에 대한 책임이 누구에게 있는지, 다시 말해 소유권도 알아야 한다. 또한 SBOM에 AI 구성 요소를 포함하고 AI 데이터 소스와 각각의 민감도를 카탈로그화하라는 권장사항도 있다.

기존 도구의 자산을 잘 정리했다면, 향후 추가 혹은 삭제되는 도구와 서비스를 어떻게 안전하게 자산 목록에서 관리할지 프로세스를 마련해야 한다.

AI 보안 및 개인정보 보호 교육
보안 영역에서 사람은 핵심 허점이 될 수 있다. 그래서 보안 및 개인정보 보호 관련 교육이 더욱 필요하다.

OWASP는 특정 생성형 AI/LLM 이니셔티브뿐만 아니라 기술, 작동 방식, 데이터 유출과 같은 주요 보안 고려 사항을 광범위하게 교육하는 것이 중요하다고 강조한다. 또한 조직은 신뢰와 투명성의 문화를 구축해야 한다. 다시 말해 내부에서 어떤 생성형 AI 및 LLM 도구와 서비스를 어떻게 사용하고 있는지 자유롭게 공유하는 환경을 마련해야 한다.

섀도 AI 사용을 방지하려면 결국 조직 내 신뢰와 투명성을 높여야 한다. 그렇지 않으면 직원은 뒤에서 각종 AI 플랫폼을 사용하나 처벌이 두려워 IT 및 보안 팀에게 정보를 공유하지 않을 것이다.

비즈니스 사례 수립
클라우드 도입 초기 시기와 마찬가지로 조직 대부분은 생성형 AI와 LLM을 사용하기 위한 일관된 전략적 비즈니스 사례를 제대로 수립하지 않고 있다. 그저 과대광고에 휩쓸려 그저 경쟁에 뛰어들거나 아니면 아예 관심도 두지 않는 식이다. 그러나 탄탄한 비즈니스 사례가 없으면 조직은 제대로 된 성과를 내지 못하고 더 많은 위협요소를 마주하며 지향점을 잃을 수 있다.

거버넌스
거버넌스는 책임 소재와 명확한 목표 방향을 제시한다. OWASP는 AI 프로젝트를 위한 별도의 ‘RACI 차트(프로젝트 담당자 역할을 명시한 모델)’를 작성하고 위험과 거버넌스를 책임질 사람을 문서로 정리하라고 조언한다. 이를 통해 담당자를 정하고 조직 전체의 AI 정책과 프로세스를 수립할 수 있다.

법률
사이버 보안팀에서 법률까지 고민해야 하나 싶겠지만, AI 영역에서 현재 법적인 부분은 중요해지고 있다. 지금 시대의 AI는 조직의 재정 및 평판에 영향을 미칠 수 있다.

대표적으로 조직은 AI와 관련된 제품 보증, EULA(End-User License Agreement), AI 도구로 개발된 코드 소유권, IP 위험, 계약 면책 조항 등을 검토해야 한다. 따라서 법률 전문가의 조언을 받아 생성형 AI 및 LLM 도입 과정을 살펴봐야 한다.

규제
유럽연합이 인공지능 법을 내놓을 것처럼 많은 정부가 AI 규제안을 내놓고 있다. 당연히 조직은 국가 및 지방단체에서 내놓은 AI 컴플라이언스 요건을 잘 파악해야 한다. 여기에 직원 모니터링 같은 특정 목적을 위한 AI 사용에 대한 동의를 얻고, AI 공급업체의 데이터 저장 및 삭제 방식과 사용 규제를 명확히 이해해야 한다.

LLM 솔루션 사용 또는 구현
LLM 솔루션을 사용하려면 미리 위험 요소를 파악하고 관리책을 마련해야 한다. OWASP는 액세스 제어, 훈련 파이프라인 보안, 데이터 워크플로 매핑, LLM 모델 및 공급망의 취약성을 이해하라고 조언한다. 조직은 솔루션 도입 초기 혹은 그 이후에도 주기적으로 타사에 아예 기술 감사, 침투 테스트, 코드 검토를 요청해볼 수 있다.  

테스트, 평가, 검증 및 유효성 검사(TEVV)
TEVV(Testing, Evaluation, Verification, and Validation) 프로세스는 NIST에서 AI 프레임워크에서 제시한 프로세스다. TEVV를 통해 조직은 AI 모델 수명 주기 전반에 걸쳐 지속적인 테스트, 평가, 검증 및 유효성 검사를 설정하고 AI 모델 기능, 보안 및 신뢰성에 대한 실행 지표를 제공할 수 있다.

모델 카드 및 위험 카드
모델 및 위험 카드는 LLM을 윤리적으로 배포할 때 유용하다. 이런 카드로 AI 시스템을 잘 이해하고 더 신뢰할 수 있다. 특히 편향성 및 개인정보 보호와 같은 잠재적으로 부정적인 결과를 공개적으로 다루는 데 유용하다.

이러한 카드에는 모델 세부 정보, 아키텍처, 학습 데이터 방법론, 성능 메트릭과 같은 항목이 포함될 수 있다. 또한 이런 카드를 활용하면 공정성과 투명성을 높일 수 있기에 책임 있는 AI에 한 발 더 가까워질 수 있다.

RAG : LLM 최적화
RAG(Retrieval-Augmented Generation)은 특정 데이터 소스로 LLM의 성능을 최적화하는 방법이다. 사전 학습된 모델을 최적화하거나 기존 모델을 새 데이터로 재학습하는 효과를 가져온다. OWASP는 조직의 목적에 맞게 LLM의 가치와 효과를 극대화하기 위해 RAG를 구현할 것을 권장한다.

AI 레드팀 구성
마지막으로, OWASP는 취약점을 파악하고 기존 제어 및 방어 체계를 검증하기 위해 AI 레드팀를 구성하라고 권장한다. 다시 말해 AI 시스템 공격자를 모방하는 팀을 만들어 문제 상황을 시뮬레이션 하라는 것이다. 물론 레드팀으로 모든 문제를 해결할 수 없다. 그래도 생성형 AI와 LLM으로 야기되는 전반적인 문제를 파악할 수 있다.

특히 외부 AI 및 LLM 서비스에 대해서도 모의 공격을 실행하며 미리 필요한 요구 사항과 기능을 파악해볼 수 있다. 이를 통해 AI 정책을 올바르게 실행하고 그리고 법적 문제를 피할 수 있다.

더 자세한 내용은 OWASP LLM AI 사이버 보안 및 거버넌스 체크리스트 문서에서 확인할 수 있다.
ciokr@idg.co.kr