Offcanvas
“직장내 챗GPT 사용 규제 혹은 제한에 반대한다”
80
%
자료 제목 :
컨버세이션 스타터스 : 챗GPT 활용 조사
Conversation Starters : 20% of Professionals think ChatGPT Should be Banned in the Workplace
자료 출처 :
Glassdoor
원본자료 다운로드
발행 날짜 :
2023년 06월 14일

AI / 머신러닝|딥러닝 / 보안 / 애플리케이션

CISO가 AI의 장점과 위험성 사이에서 균형을 맞추는 방법

2023.06.28 Maria Korolov  |  CSO
인공지능(AI)이 급속히 성장하고 발전하면서 사이버 보안 업계는 새로운 문제를 마주하고 있다. 데이터 유출, 규정 준수, 신속한 인젝션 공격 등 다양한 위험에 대응하기 위해 CISO는 AI를 이해하고 적극적으로 대비책을 마련해야 한다. 
 
ⓒ Getty Images Bank 

인공지능(AI)이 최근 너무 빠르게 발전하면서 이에 대한 장점과 문제점이 동시다발적으로 나오고 있다. CSIO라면 이런 상황에 지체 없이 적절히 대처해야 한다. 특히 프롬프트 인젝션 공격(injection attacks), 데이터 유출, 거버넌스 및 컴플라이언스 같은 문제를 적극 검토해야 한다. 

사실 AI 프로젝트에서는 늘 보안 관련된 문제가 존재했다. 다만 생성형 AI의 급속한 성장 및 배포로 기존 시스템이 제어하기 어려운 보안 문제가 생기고 있다. 생성형 AI가 확산되면서 등장한 새로운 취약성도 있다. 

가트너가 5월에 공개한 조사 결과에 따르면, 조직의 70%는 챗GPT 사용을 계기로 생성형 AI 사용 또한 검토할 계획을 가지고 있다. 비슷하게 PwC가 5월에 발간한 생성형 AI 분석 보고서에 따르면, 거의 모든 비즈니스 리더들은 단기적으로 AI 시스템과 관련된 최소한 하나의 이니셔티브를 우선순위로 설정하고 있다고 언급하고 있다.  

생성형 AI에 대한 관심은 일시적인 현상이 아닐 가능성이 높다. 골드만 삭스는 생성형 AI가 세계 GDP를 7%까지 끌어올릴 수 있다고 예측하고 있다. 맥킨지에 따르면, AI가 가장 많이 활용되는 영역은 고객 운영, 마케팅 및 영업, R&D, 소프트웨어 엔지니어링 분야다. 예를 들어, 소프트웨어의 경우, 글로벌 전략 컨설팅 회사인 알트먼 솔론(Altman Solon)의 설문 조사에 따르면 기술 기업의 거의 4분의 1이 이미 소프트웨어 개발에 AI를 활용하고 있으며, 66%는 향후 1년 이내에 AI를 채택할 가능성이 있다. 

AI 기반 사이버 공격
앞서 언급한 가트너 조사 결과에 따르면, 경영진의 68%은 생성형 AI의 장점이 위험성을 능가한다고 생각하고 있었다. 위험성이 장점을 능가한다고 생각하는 경우는 5%에 불과했다. 그러나 가트너의 분석가인 프란체스 캐러무지스는 투자가 심화됨에 따라 경영진들은 관점을 바꾸기 시작할 수 있다고 보고 있다. 캐러무지스는 “생성형 AI의 개발 및 배포를 시작함에 따라 조직들은 신뢰, 위험, 보안, 프라이버시 및 윤리적 문제에 직면할 가능성이 높다”라고 지적했다. 

최근 주목받는 보안 문제는 새로운 위협 벡터(threat vector)로 떠오른 프롬프트 인젝션 공격(prompt injection attacks)이다. 가트너의 분석가인 아비바 리탄은 “프롬프트 인젝션 공격은 새로운 공격 벡터이자 침해 벡터다. 기존 보안 제어로는 이를 막기에 충분하지 않다”라며 “다른 경우, 챗봇 사용자가 다른 이의 프롬프트를 볼 수 있었다”라고 언급했다. 

해커들은 챗GPT 및 기타 대규모 언어 모델을 ‘탈옥(jailbreaking)’해 멀웨어를 작성하거나 폭탄 제조 지침을 제공하는 등 해서는 안 되는 일을 하도록 AI를 속이고 있다. 따라서 기업이 고객 서비스와 같은 자체 생성형 AI를 출시하기 시작하면, 악의적 행위자들은 ‘탈옥’을 통해 다른 이의 계정에 액세스하거나 기타 해로운 행동을 수행할 수 있다.

올해 초 OWASP(오픈소스 웹 애플리케이션 보안 프로젝트)는 대규모 언어 모델에서 볼 수 있는 가장 중요한 취약성 상위 10가지를 발표했다. 여기서 프롬프트 인젝션 공격은 1위에 올랐다. 또한 공격자는 이러한 모델을 활용해 악성 코드를 실행하고, 제한된 리소스에 액세스하거나, 훈련 데이터를 오염시킬 수 있다. 기업이 이러한 모델을 자체 배포할 경우, 프롬프트 주변에는 방화벽을, 프롬프트 환경 주변에는 관찰 가능성 및 이상 징후 탐지 기능을 확보할 수 있다. 리탄은 “어떤 상황이 일어나고 있는지 파악할 수 있고 제어 장치를 구축할 수 있다”라고 언급했다. 

서드파티 벤더의 경우 상황이 조금 다를 수 있다. 벤더는 처음에 모델을 만드는 데 사용된 학습 데이터에 대해 최고 수준의 보안 제어 기능을 갖추고 있더라도, 챗봇이 작동하려면 운영 데이터에 접근해야 한. 리탄은 “기존 보호 제어는 모델에 들어가는 데이터 및 프롬프트 인젝션에는 적용되지 않는다. 이상적으로 이 모든 것을 온프레미스에서 처리하면 좋다. 그렇지 않다면 다른 보호 장치를 마련해야 한다”라고 지적했다.  

AI 사용으로 인한 데이터 유출 위험 완화
직원들은 챗GPT를 좋아한다. 채용 관리 서비스인 글래스도어가 직장인 9,000여명을 대상으로 설문 조사한 결과, 응답자 80%가 챗GPT 사용 금지를 반대했다. 그러나 챗GPT는 물론 비슷한 대규모 언어 모델은 사용자와 상호 작용하며 지속적인 훈련을 거친다. 문제는 사용자가 회사 기밀로 가득 찬 문서를 편집하는 데 도움을 요청할 경우, AI는 해당 기밀에 대해 알게 될 수 있고 이후 다른 사용자에게 이러한 정보를 유출할 수 있다는 점이다. 포레스터 리서치의 분석가인 제프 폴라드는 “분명히 있을 법한 시나리고, 현실적인 우려다”라고 설명했다.

데이터 보호 솔루션 업체 사이버헤이븐(Cyberhaven)의 CSO인 크리스 핫슨은 “한 의사는 환자에게 편지를 쓰기 위해 환자 정보를 가져와 챗GPT에 업로드하는 경우도 있었다”라고 언급했다. 

기업용으로 특별히 설계된 플랫폼은 이런 보안 문제를 적극 고려하고 있다고 포레스터의 폴라드는 설명한다. 폴라드는 “데이터로 인해 솔루션 채택을 거부할 수 있기에 데이터를 보관하려는 기술에 관심이 없다”라고 언급했다. 

생성형 AI를 배포하는 가장 안전한 방법은 자체 인프라에서 프라이빗 모델을 실행하는 것이다. 그러나 알트만 솔론에 따르면, 이는 가장 인기 있는 옵션이 아니며, 기업의 20%만이 이러한 옵션을 선호하고 있다. 약 3분의 1은 퍼블릭 인프라 환경을 이용하며, 공급자가 만든 환경을 사용하며 생성형 AI를 배포하는 것을 선택하고 있다. 이런 방식은 보안성 문제를 초래할 수 있으므로 기업은 이용하고자 하는 생성형 AI 벤더에 대한 신뢰성을 충분히 확인해 봐야 한다.

48%의 기업이 가상 프라이빗 클라우드와 같은 서드파티 클라우드 환경에 AI를 배포하고 있다. 상당수의 기업이 이런 방식을 이용 중이다. 예를 들어, 마이크로소프트는 애저 클라우드에서 엔터프라이즈 고객을 위한 안전하고 격리된 챗GPT 배포를 제공한다. 마이크로소프트에 따르면, 1,000개 이상의 기업 고객은 이미 3월에 애저 오픈AI 서비스에서 챗GPT 및 기타 오픈AI 모델을 사용하고 있었으며, 이 수치는 5월 중순을 기점으로 4,500개로 증가했다. 이러한 서비스를 활용하는 회사에는 메르세데스 벤츠, 존슨 앤 존슨, AT&T, 카맥스, 도큐사인, 볼보 및 이케아 등이 포함된다. 

거버넌스 및 컴플라이언스에서의 AI 위험
생성형 AI을 도입하는 기업은 엄청나지만 이를 관리 감독할 역량은 부족할 수 있다. 글로벌 로펌 리드 스미스 LLP(Reed Smith LLP)의 사이버 보안 및 머신러닝에 중점을 두고 있는 파트너인 제리 스테그마이어는 “생성형 AI로 직원 중에는 매주 업무 중 많은 시간을 절약하고 있다. 하지만 기업 입장에서는 누가 그러고 있는지 알지 못한다. 개별적인 직원 수준에서 엄청난 생산성 향상이 이뤄지고 있지만 기업은 얼마나 생산성 향상이 일어나고 있는 인지하지 못하고 있다”라고 지적했다.  

2월에 발표된 피쉬보울(Fishbowl)의 조사에 따르면, 전문가의 43%는 챗GPT와 같은 도구를 사용한 경험이 있으나, 거의 70%가 상사 모르게 사용했다. 이는 기업이 법적 및 규제적 리스크의 형태로 인지하거나 측정할 수 없는 기술적 부채를 안고 있는 것일 수 있다고 스테크마이어는 설명한다. 

설문조사가 아닌 사용량 데이터를 기반으로 한 넷스코프(Netskope)의 최근 보고서에 따르면, 챗GPT의 사용은 매월 25%씩 증가하고 있으며, 전체 직원의 1%가 매일 챗GPT를 사용하고 있다. 그 결과, 기업의 약 10%가 현재 직원의 챗GPT 사용을 차단하고 있다. 

업무 내용 파악뿐만 아니라 생성형 AI와 관련된 법률 및 규제에 대한 가시성 또한 부족하다. 스테크마이어는 “대기업은 어느 정도의 예측 가능성을 필요로 한다. 현재 이러한 불확실성이 상당하다”라고 설명했다. 

모델에 투입되는 지적 재산 및 훈련 데이터에 대한 불확실성, 프라이버시 및 보안 규정에 대한 불확실성, 그리고 새로운 법적 및 규정 준수 위험은 늘 부상하고 있다. 예를 들어, 6월에 미국의 라디오 진행자 마크 월터스는 자신이 자금을 횡령했다는 엉뚱한 말을 챗GPT가 출렸했다며, 챗GPT 개발사인 오픈AI를 명예 훼손으로 고소했다. 물론 챗봇에 응답으로 인해 이를 만든 오픈AI 혹은 기타 회사들은 책임을 져야 하는지는 아직 결론이 나오지 않았다. 제조물 책임법이 어떤 방식으로 적용되느냐에 달려있다. 스테그마이어는 “상당한 배상금이 걸려 있을 경우, 사람들은 창의적으로 법적 이론을 고안해낸다”라고 지적했다. 

스테그마이어에 따르면, 소프트웨어가 제품인지 아닌지와 관련해 그간 몇 가지 변화가 있었으며, 이로 인한 잠재적 영향은 엄청날 수 있다. 또한 유럽의 인공지능 법(AI Act)을 포함해 데이터 프라이버시 관련 새로운 법이 등장할 가능성이 있다. 그러나 이런 법률은 합의를 도출하는 것이 쉽지 않아 가까운 시일에 미국에서 유사한 법이 등장할 가능성은 낮다. 그럼에도 미 연방거래위원회(FTC)는 AI와 관련한 성명을 발표해왔다. 스테그마이어는 “AI는 소비자, 기업 및 규제 기관에게 있어 매력적인 존재다. 이 3가지가 모두 합쳐질 경우, 새로운 시행 혹은 규제 활동이 일어나는 경향이 종종 있다”고 이야기했다. 

AI의 잠재적 문제에 적극 대응하고 싶다면, 개인정보보호 중심 설계(privacy by design), 보안 내재화(security by design) 및 차별금지 원칙(anti-discrimination principles)을 포함해 현재의 모범 사례 도구를 적용할 수 있도록 생성형 AI 학습 곡선을 강화할 것을 권고한다. 스테그마이어는 “생성형 AI와 관련해 ‘일단 행동으로 옮기는 전략(run fast and break stuff)’은 특히 대기업의 경우 규모에 맞는 전략으로 수용되지는 않을 것이다”라고 설명했다. 

안타깝게도, 기업들은 생성형 AI와 관련해 어떤 상황이 일어나고 있다는 것을 인지하고 있더라도 배포 모델에 따라 이에 대한 가시성이 거의 없거나 아예 없을 수 있다. 예를 들어, 직원이 고객에게 편지를 쓰는 동안 챗GPT의 도움을 요청하는 경우, 챗GPT는 답을 제시하는 동안 최소한 고객에 대한 정보를 얻어야 한다. 일정 기간 동안 이 데이터가 오픈AI 서버에 저장되는 것이다. 또한 직원이 챗GPT가 대화 기록을 저장하도록 하는 경우, 이 데이터는 서버에 무기한 남게 된다.  

인사이트 엔터프라이즈(Insight Enterprises)의 엔지니어인 캄 태그리언티는 이러한 데이터 이동 문제는 유럽과 데이터 상주 법(data residency laws)이 있는 기타 관할권에서 특히 중요하다고 언급한다. 그는 “데이터가 어디로 이동하는지 파악하기 어렵다. 제출한 데이터에서 어떤 작업이 수행되었는지 알기 어렵다. 통제 영역을 벗어나게 되면 취약성이 된다”고 지적했다. 생성형 AI를 사용할 계획일 경우, 필요한 제어 장치 마련을 진지하게 고민할 것을 그는 조직들에게 권고한다. 미국 국립표준기술연구소(NIST)의 AI 리스크 관리 프레임워크(AI Risk Management Framework)에서 시작할 수 있다고 그는 설명했다. 

이상적으로 기업은 플랫폼 선택 전 거버넌스 문제를 고려해야 한다. 그러나 KPMG 조사에 따르면, 생성형 AI의 위험을 평가하고 위험 마이그레이션 전략을 구현하기 위해 전담팀을 마련한 조직은 6%에 불과하다. 또한 경영진의 35%만이 회사가 향후 12개월 간 AI 시스템의 거버넌스 개선에 주력할 계획이라고 언급했다. 뿐만 아니라 리스크 전문가의 32%만이 현재 생성형 AI의 적용 계획 및 전략 단계에 관여하고 있다고 답했다. 마지막으로, 5%만이 성숙하고 책임감 있는 AI 거버넌스 프로그램을 마련했다고 답했으나, 19%는 프로그램 마련을 위해 작업 중이며 거의 절반은 프로그램 생성을 계획 중이라고 밝혔다. 

기업은 가장 먼저 무엇을 해야 할까? 옴디아(Omdia)의 엔터프라이즈 보안 관리 수석 분석가인 커티스 프랭클린은 “즉시 생성형 AI 사용의 잠재적인 위험에 대한 직원 교육을 시작할 것을 CSO에게 권장한다. 생성형 AI의 사용을 막을 수는 없겠지만, 이와 관련한 위험이 있다는 사실을 직원들이 인지할 수 있도록 해야 한다. 시급한 과제다. 이 글을 다 읽을 때 즈음이면 이를 위해 어떠한 조치를 취해야 할 것인가에 대해 생각하고 있을 것이다”라고 지적했다. 

다음 단계는 다양한 사업부의 이해관계자가 참여하는 위원회를 구성해 생성형 AI가 조직 내에서 합법적으로 사용될 수 있는 방법을 모색하고 이러한 이점과 리스크 간의 균형을 맞추기 시작하는 것이다. 프랭클린은 “생성형 AI 사용 방식을 결정하고 잠재적 오용 혹은 남용으로부터 조직을 보호할 수 있는 위험 기반 프레임워크를 마련해야 한다”라고 설명했다. 
ciokr@idg.co.kr
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.