“오류 출력 및 규제 위반 위험성 높아”··· 전문가들이 ‘생성형 AI 정책’ 수립을 강조하는 이유

많은 기업이 생성형 인공지능 도구를 테스트하고 배포하면서, 기밀 데이터의 잠재적인 유출은 물론이고 AI 오류, 악의적 공격, 규제 위반 등의 위험에 노출되고 있다. 

예를 들면 지난 2023년 4월 삼성 반도체 사업부가 사업장 내 챗GPT 사용을 허용하자마자 기업 기밀 정보가 유출되는 사고가 났다. 한 엔지니어가 오류를 확인한다는 목적으로 챗GPT에 기밀 소스 코드를 붙여 넣었고, 다른 엔지니어는 챗GPT와 코드를 공유했으며, 코드 최적화를 요청하기도 했다. 
 

챗GPT 개발사 오픈AI는 정보 삭제가 불가능하기 때문에 어떤 기밀 정보도 공유하지 말 것을 요청했다. 

SI 업체 인사이트 엔터프라이즈(Insight Enterprises)의 글로벌 CTO 매튜 잭슨은 “(현시점에서 챗GPT 사용은) 마치 구글을 사용하는 것과 같다. 사용자의 데이터가 오픈AI에 저장된다. 오픈AI는 사용자가 채팅 창에 입력하는 모든 데이터를 사용할 수 있다. 챗GPT를 활용해 콘텐츠를 작성할 수는 있으나 기밀 정보는 넣지 않는 게 좋다”라고 말했다. 

가트너의 부사장 겸 애널리스트 아비바 리탄에 따르면 “핵심은 대규모 언어 모델(LLM)과 다른 생성형 AI 애플리케이션이 ‘완성된 상태’가 아니라는 점이다. 정확성 문제, 책임 및 개인정보보호 문제, 보안 취약점이 여전히 존재하며, 예측할 수 없거나 바람직하지 않은 방향으로 이탈할 수 있다. 한편으로 이런 애플리케이션은 생산성 및 혁신을 크게 향상시킬 수도 있다.” 

인사이트에서 의뢰하고 여론조사기관 해리스 폴(Harris Poll)이 실시한 최신 설문조사에 의하면 비즈니스 리더가 향후 1년 동안 생성형 AI 도구를 도입하는 가장 큰 이유 2가지는 ‘매출 증대’와 ‘혁신 촉진’이다. 거의 절반(49%)에 가까운 비즈니스 리더가 기술 혁신 측면에서 경쟁업체와 보조를 맞추는 것이 올해의 최우선 과제라고 답했다(참고로 2023년 4월에서 5월 동안 1,000명 이상의 임원 이상 직급을 대상으로 설문조사를 진행했다.) 

해당 설문조사에 참여한 비즈니스 리더는 직원 생산성(72%)을 AI의 가장 큰 이점으로 꼽았으며, 고객 참여(챗봇을 통한), 연구 개발이 각각 2위와 3위를 차지했다. 
 

 

폭발적으로 증가하고 있는 AI 채택

언스트 앤 영(Ernst & Young)이 진행한 설문조사 결과에 따르면 대부분의 비즈니스 리더가 향후 3년 이내에 직원 생산성 및 고객 서비스 향상을 위해 생성형 AI를 도입할 계획이다. 또 대다수의 CEO는 제품 혹은 서비스에 AI를 통합하고 있거나 12개월 이내에 통합할 예정이라고 답했다. EY는 해당 설문조사 보고서에서 “오늘날 그 어떤 기업 리더도 AI를 무시할 수 없다. 현재 리더의 82%는 기업이 생성형 AI 같은 디지털 트랜스포메이션 이니셔티브에 투자해야 한다고 생각하며, 그렇지 않으면 도태될 것이라고 보고 있다”라고 전했다. 

해리스 폴에서 실시한 설문조사 응답자의 약 절반은 제품 품질을 보장하고, 안전 및 보안 위험을 해결하기 위해 AI를 도입하고 있다고 밝혔다. 

EY의 설문조사에서 미국 CEO의 42%는 이미 AI 기반 제품 또는 서비스로의 변화를 자본 배분 과정에 완전히 통합했으며, AI 기반 혁신에 적극적으로 투자하고 있다고 답했다. 38%는 향후 12개월 동안 이 기술에 대규모 자본 투자를 할 계획이라고 밝혔다. 
 

아울러 해리스 폴에서 실시한 설문조사에 의하면 전체 응답자의 절반 이상(53%)이 연구 개발(R&D)을 지원하기 위해, 50%는 소프트웨어 개발/테스트에 생성형 AI를 사용할 계획이다. 

C 레벨은 생성형 AI의 중요성은 인식하면서도 동시에 경계심을 늦추지 않고 있다. EY의 설문조사에 참여한 CEO의 63%는 생성형 AI가 선한 영향력을 미치며 비즈니스 효율성을 높일 수 있을 것이라 답한 반면, 64%는 생성형 AI 사용이 비즈니스와 사회에 가져오는 의도치 않은 결과를 관리할 충분한 조치가 취해지지 않고 있다고 지적했다. 

두 설문조사에 따르면 'AI의 의도치 않은 결과'에 대비해 10곳의 기업 중 8곳이 AI 정책과 전략을 수립했거나 고려하고 있다. 
 

AI 문제와 해결책

가트너의 리스크 및 감사 연구 책임자 란쑤에 따르면 생성형 AI는 가트너의 2분기 설문조사에서 2번째로 자주 언급된 위험 요소였으며, 처음으로 상위 10위권에 진입했다. 쑤는 “생성형 AI 도구 사용과 이런 도구에 관한 대중의 인식이 빠르게 증가하고 있을 뿐만 아니라 잠재적 사용 사례 및 그에 따른 잠재적 위험도 광범위해지고 있다”라고 언급했다. 

생성형 AI 앱이 정확하고 사실만을 말하는 것처럼 보이지만 그렇지 않은 데이터를 제시하는 ‘환각 현상’은 (생성형 AI 앱의) 핵심적인 위협이다. 또 AI의 결과물이 의도치 않게 타인의 지적재산권을 침해할 수 있다. 생성형 AI 도구를 사용하면서 사전 통보 없이 사용자 정보를 제3자(벤더 및 서비스 제공업체 등)와 공유할 수 있기 때문에 프라이버시 문제가 발생할 수도 있다. 게다가 해커는 ‘프롬프트 주입 공격’이라는 방법을 사용해 대규모 언어 모델이 쿼리에 응답하는 방식을 조작하고 있다. 

잭슨은 “사람들이 질문을 통해 얻은 데이터가 정확하다고 가정하고, (사실상) 부정확한 데이터로 중요한 비즈니스 의사결정을 내릴 수 있다는 점에서 잠재적인 위험이 있다. 실제로 해리스 폴 설문조사에서 잘못된 데이터 사용은 가장 큰 우려 사항이었으며, 2번째 우려 사항은 보안이었다”라고 말했다.  
 

리탄은 기업이 생성형 AI를 배포할 때 직면하는 문제가 크게 3가지로 나뉜다고 언급했다. 

(1) 입력 및 출력 : 기업의 의사결정 및 기밀성을 훼손하는 허용되지 않은 사용, 기밀 데이터 유출, 부정확한 출력

(2) 프라이버시 및 데이터 보호 : 호스팅된 LLM 공급업체의 시스템을 통한 데이터 유출, 불완전한 데이터 개인정보보호 또는 보호 정책, 규정 준수 실패 등

(3) 사이버 보안 위험 : 해커가 AI의 출력값에 영향을 미치기 위해 LLM 및 매개변수에 액세스하는 것 등

이런 위험을 완화하려면 계층화된 보안 및 위험 관리 접근 방식이 필요하다고 리탄은 권고했다. 기업이 원치 않는 또는 불법적인 입력 및 출력을 줄일 방법은 다음과 같다. 먼저, 기업은 허용 가능한 사용 정책을 정의하고, 생성형 AI 애플리케이션 사용 요청을 기록하는 시스템과 프로세스를 구축해야 한다. 

또 생성형 AI 애플리케이션 사용 시 다양한 감독자의 승인을 받도록 해야 한다. 아울러 호스팅된 LLM 환경에 제출된 정보에 입력 내용 필터를 사용할 수 있다. 이를 통해 기업 정책에 따라 입력 내용을 선별해 허용 가능한 사용인지 확인할 수 있다. 

개인정보보호 및 데이터 보호 위험은 프롬프트 데이터 저장소 호스팅을 옵트아웃하고, 공급업체가 기업 데이터를 사용해 모델을 학습시키지 않도록 함으로써 완화할 수 있다. 또 기업은 호스팅 공급업체의 라이선스 계약을 검토해 LLM 환경에서의 데이터 보호에 관한 규칙과 책임을 정의해야 한다. 
 

마지막으로, 기업은 프롬프트 주입 공격에 주의해야 한다. 이로 인해 데이터가 도난당하거나 고객이 AI 시스템에 의해 사기를 당할 수 있다. 

가트너에 의하면 기업은 액세스 관리, 데이터 보호, 네트워크 및 엔드포인트 보안 등 로컬 엔터프라이즈 LLM 환경에 강력한 보안이 필요하다. 리탄은 생성형 AI 사용자가 엣지, 사이트, 애플리케이션을 보호하는 클라우드 네이티브 소프트웨어 스택에 네트워킹과 보안을 결합한 보안 서비스 엣지(Security Service Edge) 소프트웨어를 배포할 것을 권고했다. 
 

AI의 이점은 위험을 능가한다

기업들이 저지르는 한 가지 실수는 AI 사용이 위험을 감수할 가치가 없다고 판단하는 것이다. 따라서 대부분의 기업이 내놓는 첫 번째 정책은 ‘사용하지 않는 것’이라고 잭슨은 말했다. “자사의 첫 번째 정책도 그랬다. 하지만 애저에서 오픈AI 서비스를 사용해 프라이빗 테넌트를 매우 빠르게 구축할 수 있었다. 그래서 일부 프라이빗 엔터프라이즈 데이터에 연결할 수 있는 안전한 환경을 만들었다. 이를 통해 사람들이 이 데이터를 활용할 수 있었다”라고 덧붙였다. 

잭슨은 자체적인 경험을 바탕으로 한 인사이트의 생성형 AI 사용 사례를 언급했다. “몇몇 파일럿 프로그램을 통해 깨달은 것은 AI가 일반적인 생산성 도구라는 점이다. AI는 수많은 사용 사례를 처리할 수 있다”라면서, “인사이트는 과도한 맞춤화를 위해 길고 지루한 프로세스를 거치기보다는, 각 부서에 일반적인 프레임워크를 배포하고 할 수 있는 작업과 할 수 없는 작업이 무엇인지 알려준 다음 어떤 것을 고안해 내는지 살펴보기로 했다”라고 설명했다. 
 

인사이트가 챗GPT를 처음 사용한 곳은 물류 센터였다. 여기서 AI는 제품 상태 및 공급 시스템 업데이트 같은 일상적인 업무를 수행하고 있다. 잭슨은 “센터에 있던 한 직원이 생성형 AI에게 이런 시스템 업데이트 중 일부를 자동화하기 위한 스크립트를 작성하도록 요청할 수 있다는 점을 깨닫게 됐다. 이는 인사이트가 인사이트 GPT(Insight GPT)라는 비공개 엔터프라이즈용 챗GPT 인스턴스를 전사적으로 크라우드 소싱하면서 나타난 사용 사례였다”라고 설명했다.
 
잭슨에 따르면 이 생성형 AI 프로그램은 인사이트의 센터 운영을 위한 짧은 파이썬 스크립트를 작성해 상당한 양의 작업을 자동화했다. 또 SAP 인벤토리 시스템에서 실행할 수 있는 시스템 업데이트를 지원해 업데이트를 할 때마다 5분씩 걸리던 작업을 자동화했다. “그 결과 생산성이 크게 개선됐다. 나머지 센터에도 적용했더니 일주일에 수백 시간을 절약할 수 있었다”라고 잭슨은 덧붙였다.  

현재 인사이트는 맞춤화가 필요할 수 있는 중요한 사용 사례의 우선순위를 정하는 데 전념하고 있다. 여기에는 프롬프트 엔지니어링을 사용해 LLM을 다른 방식으로 학습시키는 것, 더 다양하거나 복잡한 백엔드 데이터 소스를 연결하는 것 등이 포함된다. 

아울러 챗GPT와 협력해 계약서 작성 방식을 자동화하는 프로젝트도 진행 중이다. 잭슨에 의하면 인사이트는 표준 챗GPT 4.0 모델을 활용해 (이를) 수만 개에 달하는 기존 계약서 라이브러리와 연결했다. 그다음 생성형 AI를 사용해 기업이 수주한 계약을 검색하고, 우선순위를 설정한 다음, CRM 데이터와 상호 참조해 고객을 위한 계약서 작성을 자동화하고 있다.   

잭슨은 “역사적으로 사람들에게 올바른 도구를 제공하면 생산성이 향상되고, 자신에게 이익이 되는 방식을 발견하게 된다. 생성형 AI 기술을 수용하면 직원들은 일하는 방식을 발전 및 향상시킬 수 있는 기회를 얻게 되며, 심지어는 새로운 커리어 경로를 발견할 수도 있다”라고 전했다. 
editor@itworld.co.kr