‘포레스터가 정리한’ 생성형 AI의 비즈니스 활용 사례 7가지와 사례별 보안 위험

생성형 AI 사용 사례는 비즈니스에 따라 크게 다르다. 이로 인해 발생하는 보안 위험도 다양하다.
 

생성형 AI 비즈니스 사용 사례가 늘고 있다. 제품, 서비스, 요소 기술 곳곳의 비즈니스 사용 사례가 꾸준히 증가하는 가운데, 생성형 AI의 보안 문제도 화두가 됐다. 최근 세일즈포스가 500명 이상의 시니어 IT 리더를 대상으로 실시한 설문 조사에 따르면, 응답자의 67%가 향후 18개월 이내 생성형 AI를 비즈니스에 우선 도입할 계획이라고 답했다. 또한 대부분 응답자가 생성형 AI의 보안 문제를 해결하고 충분히 활용하려면 추가 조치가 필요하다는 데 동의했다.

여러 기업이 생성형 AI를 직접 구축하는 대신 구매한다. 일부는 구매하지 않고 통합 번들 형태로 제공받기도 한다. 보안 리더가 비즈니스의 다양한 생성형 AI 사용 사례와 그에 뒤따르는 위험 요소를 이해하려면 시간이 소요된다는 의미다.

포레스터(Forrester)는 최근 보고서에서 생성형 AI를 도입할 가능성이 높은 비즈니스 직무와 주요 사용 사례를 언급했다. 또한 해당 기술이 주류가 되면 대응해야 할 보안 위협과 위험 요소에 대해 설명했다.

생성형 AI 비즈니스 사용이 유력한 7개 직무
포레스터의 생성형 AI 보안 보고서에 따르면, 조직에서 생성형 AI 사용이 유력한 7가지 직무와 보안 위협 및 위험 요소는 다음과 같다:

1. 마케팅: 텍스트 생성기를 사용해 캠페인에 사용할 카피의 초안을 즉시 작성할 수 있다. 포레스터는 이로 인해 데이터 유출, 경쟁 인텔리전스 위협 등이 발생할 수 있다고 밝혔다. 감독 및 거버넌스 프로세스가 충분히 이루어지지 않아 텍스트 공개와 관련해 홍보/고객 문제가 발생할 위험도 있다.

2. 디자인: 포레스터에 따르면 이미지 생성 도구로 디자이너가 영감을 받고, 최소한의 시간과 노력으로 아이디어의 목업을 만들 수 있다. 더 광범위한 디자인 워크플로우에 생성형 AI를 통합할 수도 있다. 이 과정에서 모델 포이즈닝, 데이터 변조, 데이터 무결성 위협의 가능성이 있다. 위험 요소는 데이터 무결성 문제와 생성된 콘텐츠의 잠재적인 저작권/IP 문제에 있다. 디자인의 제약과 정책 위반을 고려해야 한다.

3. IT: 프로그래머는 대규모 언어 모델(LLM)을 사용해 코드의 오류를 찾아내고 문서를 자동으로 생성한다. 여기에도 위험 요소는 있다. 포레스터에 따르면 데이터 유출, 데이터 무결성 위협뿐만 아니라 생성 문서로 인해 기업이 일반적으로 공개하지 않는 중요한 시스템 세부 정보가 노출될 위험이 있다. 

4. 개발자: 튜링봇은 개발자가 프로토타입 코드를 작성하고 복잡한 소프트웨어 시스템을 구현하는 데 도움을 준다. 이는 코드 보안, 데이터 변조, 랜섬웨어, IP 도용 위험을 야기할 수 있다. 잠재적으로는 SDLC 보안 관행을 따르지 않는 불안전 코드, 지적 재산권 라이선스를 위반하는 코드, 랜섬웨어 생산 시스템에 대응하지 못하는 생성형 AI 등 위험 요소가 있다.

5. 데이터 과학자: 생성형 AI는 데이터 과학자가 개인 정보에 대한 위험 부담 없이 필요한 모델 학습 데이터를 생성하고 공유하도록 돕는다. 하지만 데이터 포이즈닝, 데이터 역난독화(deobfuscation), 적대 머신러닝의 위협 등이 발생할 수 있다. 이와 관련된 다른 위험 요소는 합성 데이터 생성 모델이 거론됐다. 포레스터는 합성 데이터 생성 모델이 리버스 엔지니어링되어 ‘공격자가 사용된 소스 데이터를 식별할 수 있게 되는 것’이라고 말했다.

6. 세일즈: 세일즈는 AI 생성을 이용함으로써 아이디어와 새로운 콘텐츠를 만들 수 있다. 좀더 포괄적인 언어를 이용할 수도 있다. 다만 이는 데이터 변조, 데이터 유출, 규정 준수 위협으로 이어질 수 있다. “가령 세일즈가 생성형 AI로 콘텐츠를 생성하고 배포할 때 연락 방법에 대한 선호 정보를 무시할 수 있다”라고 포레스터는 설명했다.

7. 운영: 내부 운영팀은 생성형 AI를 사용해 조직의 인텔리전스를 향상시킨다. 다만 데이터 변조를 일으키거나 데이터 무결성 및 직원 경험에 위협이 있을 수 있다. 포레스터는 의사 결정을 위해 사용되는 데이터가 변조되어 부정확한 실행과 결론으로 이어질 위험이 있다고 말했다.

생성형 AI 보안에 중요한 공급망과 서드파티 관리
포레스터가 발표한 생성형 AI 활용 사례 목록은 기업 내부 업무에 초점을 맞추고 있다. 하지만 보안 리더들이 공급업체와 서드파티의 위험 요소를 간과하지 말 것을 포레스터는 당부했다. 보고서는 “대부분의 조직이 이미 배포된 제품 및 서비스에 생성형 AI를 통합하려고 한다. 보안 리더의 즉각적인 우선 순위는 서드파티 위험 관리다”라고 강조했다. 오늘날 기업이 생성형 AI를 포함하는 제품이나 서비스를 구매할 때 솔루션을 보호하기 위해 공급업체에 의존하는 경향을 보인다. 포레스터는 “마이크로소프트와 구글은 코파일럿과 워크스페이스 같은 서비스에 생성형 AI를 번들로 제공하고 통합하면서 책임을 지고 있다. 다른 공급업체는 자체 에코시스템으로 AI 솔루션을 공급할 것이다. 보안 팀은 앞의 활용 사례를 기반으로 공급업체 보안 및 위험 관리 질문지를 스스로 수집, 정리해야 한다”라고 덧붙였다. ciokr@idg.co.kr