Offcanvas

AI / CIO / CSO / How To / 보안

AI의 은밀한 침투, 통제할 수 있을까?

2024.05.23 Evan Schuman  |  Computerworld
조직 내 생성형 A에 대한 통제는 IT 리더에게 매우 중요하다. 하지만 이를 효과적으로 수행할 수 있는 방법이 있을까?
 
Image Credit : Getty Images Bank

오늘날 생성형 AI가 오늘날 엔터프라이즈 IT에 침투하는 경로는 다양하다. 수백만 달러를 들여 라이선스를 구매한 솔루션, 각종 SaaS 제품에 몰래 숨어 있는 대규모 언어 모델 및 기타 알고리즘, 금지 정책에도 불구하고 생성형 AI를 사용하는 직원과 계약업체 등을 통해 속속 침투하고 있다. 거의 모든 클라우드 환경에 스며들어 있고, IoT에 내장되고 있으며, 거의 모든 서드파티 앱에도 속속 탑재되고 있다.

생성형 AI를 품어가는 SaaS 분야의 빠른 움직임으로 인해 IT 리더들은 AI 전략을 스스로 결정하기보다는 대응하는 데 급급한 처지다. 350개 이상의 브랜드한 120억 달러 규모의 미디어 기업 허스트의 CIO인 아테페 아티 리아지는 "대부분의 사무실과 조직에 CIO와 CTO가 인지하지 못하는 사이에 AI 소프트웨어가 들어왔다”라고 말했다. 오히려 이들 경영진들조차 휴대폰에 최소 50개 이상의 앱을 가지고 있지만, 민감한 데이터를 추출하고 사용할 수 있다는 사실을 정확히 알지 못한다고 그녀는 덧붙였다. 

리아지는 그러나 기업이 모든 것을 잠그거나 막을 수도 없다며, “엄격한 차단 정책은 곤란하다. 그렇게 하면 조직의 혁신 능력을 차단할 수 있다"라고 말했다.

그럼에도 불구하고 몇몇 IT 리더들은 소프트웨어 공급업체가 고객에게 명시적으로 알리지 않고 제품에 AI 구성 요소를 추가하는 '교활한 AI'가 만연하지 못하도록 통제권을 되찾고자 한다. 일부는 계약서에 새로운 조항을 추가함으로써 생성형 AI의 사용처를 규제하려 한다. 도입에 앞서 승인받을 것을 요구하기도 한다. 리아지는 이러한 움직임에 대해 다소 비관적인 입장이다. 대신 생성형 AI에 대응하는 대대적인 변화가 IT 거버넌스에 필요하다고 바라본다.

오늘날의 IT 거버넌스 규칙은 물리적 자산을 중심으로 한다. 또 대부분의 중요 시스템이 온프레미스에 구축되어 있던 시절에 만들어진 규칙들이기도 하다. 리아지는 환경, 시간, 장소가 크게 달라졌다는 입장이다. 

그녀는 "기존 감사 및 거버넌스가 물리적 세계에 맞춰 구조화되어 있다. 그리고 (엔터프라이즈 소프트웨어에) 삽입된 모든 AI 코드와 그 영향을 파악하는 것이 거의 불가능하다. 현재의 IT 거버넌스 절차는 폐기되어야 한다"라고 말했다. 

그녀는 이어 "앞으로 3년 이내에 프로그래머가 코드 대부분을 작성하지 않게 될 것이다. 코드의 60~70%가 AI에 의해 생성된다. 우리는 이러한 AI 세상을 (기존 방식으로는) 관리하거나 통제할 수 없다"라고 예측했다.

시스디그의 사이버 보안 전략 담당 이사이자 가트너 애널리스트였던 안나 벨락은 AI의 폭발적인 증가로 인해 기업 IT가 거버넌스 전술을 완전히 재고해야 한다는 리아지의 의견의 동의했다. 그는 "어차피 IT가 거버넌스에 능숙했던 적도 없다. 현재도 유명무실한 거버넌스에서 큰 도약은 아닌 셈이다"라고 말했다.

그는 이어 IT 거버넌스에 대한 변화의 필요성이 비단 AI에만 국한된 것은 아니라고 지적했다. "클라우드와 쿠버네티스 등을 더 많이 사용하게 되면서 누구도 무슨 일이 일어나고 있는지 정확하게 설명하기가 어려워졌다. LLM이 방점을 찍을 뿐이다"라고 그는 말했다.

컴플라이언스 및 기타 난제
오늘날 AI로 인한 큰 난제로 인해 각종 거버넌스 정부와 지자체들은 기업에게 AI가 회사에서 할 수 있는 일에 제한을 두도록 요구하고 있다.

수많은 AI 규정이 등장한 가운데 이들을 준수하는 것은 물론이거니와 각종 AI 실태를 파악하는 것조차 종종 불가능하다. 벨락은 "터무니없는 AI 규정들도 있다. 생성형 AI가 안전한지 여부도 알기 어렵다. 그럼에도 불구하고 모든 데이터를 빨아들이고 있다"라고 말했다.
 

"생성형 AI는 신입 컨설턴트와 비슷하다. 그들은 틀린 답일지라도 뭔가 말해야 한다고 느낀다" – 데이빗 레이, 최고 개인정보 보호 책임자, 빅ID


생성형 AI의 문제는 단순히 어떤 데이터에 액세스하는지에 그치지 않는다. 데이터를 기반으로 추론하거나 추측한 결과물도 문제가 될 수 있다. 데이터 보안, 개인정보 보호, 규정 준수 및 거버넌스 제공업체인 빅ID의 최고 개인정보 보호 책임자인 데이빗 레이는 생성형 AI의 이러한 추측성 특징이 다른 무엇보다도 문제가 될 수 있다고 강조했다.

그는 "프롬프트로부터 정보가 사용자 인지 없이 수집되는 경우가 많다. 나이와 성별 같은 것들이 유추될 수 있다"라고 말했다.

레이는 '모델 드리프트'를 특히 우려스러운 점으로 지적했다. "AI가 진화함에 따라 이를 신뢰할 수 있을까? 생성형 AI는 신입 컨설턴트와 비슷하다. 그들은 틀린 말이라도 뭔가 말해야 한다고 느낀다"라고 표현했다.

레이는 일단 IT가 엔터프라이즈 환경의 모든 AI 프로그램에 대한 가시성을 확보해야 한다고 주문했다. 그는 "해당 데이터로 무엇을 하고 있는지 반드시 이해해야 한다. 제대로 잠겨 있지 않은 HR의 문서나 이메일이 표시되지는 않는가? 이러한 요소 중 하나라도 변경되면 알림을 받고 옵트아웃할 수 있는 기능을 확인해야 한다"라고 말했다.

AI 공급업체 계약 업데이트
일부 변호사들은 기업이 새로운 AI 현실을 반영하여 소프트웨어 라이선스 계약을 업데이트함으로써 비즈니스를 보호할 수 있다고 주장한다. 스위스 최대 로펌 중 하나인 피셔의 데이비드 로젠탈 파트너는 데이터 및 기술 문제와 규정 준수 규칙을 전문으로 다루는 인물이다. 로젠탈은 최근 링크드인에 AI 보호를 위한 구체적인 계약서 추가 항목을 게시했다.

하지만 로젠탈은 경영진이 먼저 AI에 대한 정의에 동의해야 한다고 강조했다. 그에 따르면 많은 일반적인 비즈니스 기능이 AI에 의해 구동되지만 AI로 간주되지 않곤 한다. "때로는 AI가 학습 시스템일 뿐이다. PDF를 가져와서 텍스트로 변환하는 프로그램, 즉 [OCR 기능]도 바로 AI다. 무엇을 AI라고 부를 것인지에 대해 구분해야 한다”라고 말했다.

로젠탈은 특히 생성형 AI에 대한 우려가 늘고 있다며 “생성형 AI 트렌드로 인해 실제로 통제할 수 없는 기술에 의존하고 있는 것은 아닌지 걱정하는 고객들이 많다. 그들은 대개 공급업체를 통제할 수 있는 [IT] 성숙도를 갖추지 못한다”라고 말했다.

뉴올리언스에 있는 존스 워커 로펌의 파트너이자 기업 규정 준수 그룹의 일원인 앤드류 리 변호사는 계약 변경이 AI 규정 준수 문제를 예방하지는 못하지만 어느 정도 완화할 수 있다고 말했다.

그는 "변호사 관점에서는 계약을 통해 일방적 해법을 강구할 수 있다. 예를 들어 공급업체가 LLM 구성 요소가 포함된 제품을 업그레이드하여 고객 기업이 규정 준수 문제를 겪게 되는 경우 고객에게 면책하는 조항을 넣을 수 있다. (문제를) 해결하지 못할 수도 있지만 책임을 전가할 수는 있다”라고 말했다.

공급업체의 통제가 부족한 경우
공급업체에 대한 계약상 의무를 설정한다고 해서 반드시 지켜지는 것은 아니며, 특히 정기적으로 확인하지 않는다면 더욱 그러하다고 빅ID의 레이는 지적했다. "일부 업체는 계약 과정을 통과하기 위해 필요한 것은 무엇이든 말할 것"이라고 그는 덧붙였다. 

허스트의 리아지 역시 새로운 계약 요건을 통해 AI 폭발을 억제하려는 시도가 효과가 있을지에 대해 회의적이다. "오늘날에도 계약서에 많은 약관이 있지만 기업 내부 자원 등의 이유로 인해 제대로 지켜지지 않는 경우가 허다하다”라고 그녀는 말했다.
 

"[AI]는 기존의 방식으로는 관리될 수 없다." – 아티 레이지, CIO, 허스트


미국 연방 법원의 특별 마스터이자 컨설턴트인 더글러스 브러시도 공급업체의 통제가 AI 문제를 의미 있게 해결하는 데 큰 도움이 될지 의심하는 사람 중 한 명이다.

그는 "공급업체가 AI 위험을 적절히 완화할 수 있는 기술적 통제를 도입할 것이라고 기대하기 어렵다. 블랙박스 특성 때문이다. 특히 생성형 AI는 모든 것을 진공 청소기처럼 빨아들이는 경향을 보인다”라고 말했다.

또 다른 변호사인 브라이언 레빈 EY 상무이사는 벤더에 대한 계약상의 요구가 법적으로 적절한지조차 의문이라고 지적했다. 그는 "지금까지도 공급업체의 소프트웨어와 제품이 어떻게 작동하는지 알 수 없었다. 그저 우리는 그들이 목적에 적합하기를 기대할 뿐이다. 벤더가 목표를 어떻게 달성하고 있는지 가시적으로 보여줘야만 할 의무가 있다고 보기 어렵다"라고 말했다.

결국, 공급업체가 자사 제품의 모든 AI 사용 사례를 공개하지 않아도 되는지, 공개할 수 없는지 여부는 중요하지 않을 수 있으며, AI는 어떤 식으로든 몰래 들어올 가능성이 높다. 다시 거버넌스에 대한 IT의 접근 방식을 전면적으로 바꿔야 한다는 리아지의 주장을 떠올릴 만하다.

그녀는 "어쩌면 우리는 여전히 낡은 관점에서 이러한 것들을 바라보고 있다. 그래서는 언젠가 보호가 불가능해질 수밖에 없다. AI는 기존의 방식으로는 관리될 수 없다"라고 말했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.