Offcanvas

AI / 리더십|조직관리 / 머신러닝|딥러닝 / 비즈니스|경제

“AI 사용, 무작정 줄일 순 없다”··· 섀도우 AI 재난을 피하는 방법 10가지

2024.07.09 Mary K. Pratt  |  CIO
직장에서 승인되지 않은 AI의 사용은 회사 데이터 및 시스템뿐만 아니라 비즈니스 관계까지도 위험하게 할 수 있다. AI에 대한 직원의 호기심을 받아들이고 조직의 가치로 전환하는 방법을 소개한다.
 
ⓒ Getty Images Bank

기술과 관련된 모든 것이 그렇듯 섀도우 IT도 진화해 왔다.

섀도우 IT는 이제 일부 직원의 사소한 요구를 처리하는 SaaS 앱이나 이동 중 업무 파일에 액세스하기 위해 영업팀이 몰래 가져온 개인용 블랙베리 몇 대뿐만 아니라 AI와도 연관될 가능성이 높아졌다. 직원들이 IT팀의 승인 없이 수많은 AI 도구를 테스트하고 있기 때문이다.

데이터 보호 소프트웨어 기업 사이버헤이븐(Cyberhaven)에 따르면 섀도우 AI의 규모는 막대한 수준이다. 올해 봄에 발표된 AI 도입 및 리스크 보고서에서는 사내 챗GPT 사용의 74%, 구글 제미나이(Gemini) 사용의 94%, 바드(Bard) 사용의 96%가 회사 외 계정을 통해 이뤄지고 있는 것으로 나타났다. 직원들이 IT팀의 승인 없이 법률 문서, 인사 데이터, 소스코드 및 기타 민감한 기업 정보를 AI 도구에 제공하면서, 승인되지 않은 AI가 기업 데이터를 먹어치우고 있는 셈이다.

가트너의 부사장 겸 애널리스트인 아룬 찬드라세카란은 섀도우 AI가 피할 수 없는 현실이라고 말했다. 직원들은 바쁜 업무를 덜고 생산성을 높일 수단으로 AI 도구에 호기심을 갖고 있다. 기술에 밀려나지 않기 위해 사용법을 익히는 이들도 있으며, 개인용 AI에 익숙해져 이제는 업무에 적용하기를 원하는 이들도 있다.

무엇이 문제가 될까?
찬드라세카란은 이런 이유들이 일견 타당해 보이지만 섀도우 AI가 조직에 초래하는 리스크를 정당화할 수는 없다고 지적했다. 그는 “대부분의 조직은 섀도우 AI의 리스크가 막대하기 때문에 이를 피하고 싶어 한다”라고 말했다.

찬드라세카란은 섀도우 AI가 민감한 데이터를 노출시킬 가능성을 높이고, 독점 데이터가 AI 모델(특히 오픈소스인 경우)을 더 똑똑하게 만들어 동일 모델을 사용하는 경쟁업체를 도울 수도 있다고 설명했다.

이와 동시에 AI를 효과적으로 사용하는 데 필요한 기술 부족 때문에 리스크 수준은 더 높아진다. 직원들은 AI 모델이 양질의 결과물을 생성하도록 올바른 데이터를 제공하고 최적의 결과물을 생성하도록 유도하면서 결과물의 정확성을 검증할 만큼 숙련되지 않았을 수 있다. 예를 들어 직원이 생성형 AI를 사용해 컴퓨터 코드를 만들 수 있더라도 코드의 구문이나 논리를 이해하지 못하면 해당 코드의 문제를 효과적으로 확인할 수 없다. 찬드라세카란은 “이는 상당히 해로울 수 있다”라고 지적했다.

그는 또한 몰래 AI를 사용하는 직원이 이를 사용하지 않는 직원에 비해 불공정한 이익을 가질 수 있기 때문에 조직에 혼란을 야기한다고 말했다. 그는 “아직 지배적인 트렌드는 아니지만 조직 리더들과 논의할 때 자주 듣는 우려 사항”이라고 설명했다.

섀도우 AI는 법적 문제도 일으킬 수 있다. 가령 승인되지 않은 AI가 타인의 지적 재산에 불법적으로 액세스한다면 조직이 침해에 대한 책임을 져야 할 수도 있다. 또한 차별 금지법 및 회사 정책에 위배되는 편향된 결과를 도출할 수도 있다. 고객과 클라이언트에게 제공될 결과물을 잘못 생성할 수도 있다. 이런 모든 시나리오가 결국 조직에 큰 손해를 끼칠 수 있다. 

실제로 조직은 이미 AI 시스템 장애로 인한 문제에 직면하고 있다. 2024년 2월 캐나다의 한 재판소는 에어캐나다의 AI 챗봇이 소비자에게 잘못된 정보를 제공한 것에 대해 회사의 책임이 있다고 판결했다.

심지어 이 사건을 일으킨 챗봇은 회사가 승인한 기술이었다. IT 리더들은 공식적인 기술도 충분히 리스크가 있는데 섀도우 AI를 방치해 더 많은 리스크를 추가할 이유가 없다고 말했다.

섀도우 AI 재난을 방지하는 10가지 방법
과거 섀도우 IT가 그랬던 것처럼, 승인되지 않은 AI 기술의 사용이나 그 사용으로 인해 발생할 결과를 단번에 막고 해결할 수 있는 솔루션은 없다.

그래도 CIO는 승인되지 않은 AI의 사용을 막고, 재해를 예방하고, 문제가 발생할 경우 그 파급 반경을 제한하는 데 유용한 전략을 채택할 수 있다. IT 리더들이 공유한 10가지 방법을 소개한다.

1. 허용 가능한 AI 사용 정책 설정
웰스 파고의 개인정보 규정 준수 전무이사이자 ISACA의 신흥 트렌드 실무 그룹 위원인 데이비드 쿠오는 CIO가 다른 경영진과 협력해 AI를 언제, 어디서, 어떻게 사용할 수 있는지 설명하는 사용 정책을 만들고 IT 부서의 승인을 받지 않은 기술의 사용 금지를 재차 강조하는 것이 첫째라고 강조했다. 당연한 말처럼 들리지만 대부분의 조직에는 아직 프라이버시 보호팀이 없다. 지난 3월 ISACA가 실시한 설문조사에 참여한 3,270명의 디지털 신뢰 전문가 중 70%는 사내 직원이 AI를 사용하고 있고, 60%는 직원이 생성형 AI를 쓰고 있다고 답했지만 조직의 15%만이 AI 정책을 보유하고 있는 것으로 나타났다.  

2. 리스크와 결과에 대한 인식 구축
쿠오는 첫 번째 방법의 한계를 인정하면서 “사용 정책을 설정하더라도 사람들은 규칙을 어길 수 있다”라고 말했다. 따라서 어떤 일이 일어날 수 있는지 경고하는 것도 중요하다.

글로벌 전문 서비스 및 솔루션 기업 젠팩트(Genpact)의 AI/ML 서비스 글로벌 리더인 스리칸트 메논은 “AI의 위험성을 조직 전체가 더 많이 인식해야 하며, CIO는 리스크를 설명하고 이에 대한 인식을 조직 전체로 확산하는 데 더 적극적으로 나서야 한다”라고 말했다. 일반적으로는 AI와 관련된 리스크와 승인되지 않은 기술 사용으로 인한 리스크 증가를 설명할 수 있다.

쿠오는 “일회성 교육으로 끝낼 수 없는 문제이고, ‘이렇게 하지 말라’라고만 말해서도 안 된다. 직원들을 교육해야 한다. 섀도우 AI로 인해 발생할 문제와 나쁜 행동의 결과에 대해 알려야 한다”라고 덧붙였다.

3. 기대치 관리
리더십 자문 기업 러셀 레이놀즈 어소시에이츠의 글로벌 AI 실무 리더인 파와드 바즈와는 AI 도입이 빠르게 증가하고 있지만 경영진 사이에서 지능형 기술 활용에 대한 신뢰도가 낮아졌다는 연구 결과를 언급했다. 그는 이런 신뢰도 감소가 부분적으로는 AI에 대한 기대와 실제 제공 가능한 역량 사이의 불일치 때문이라고 말했다.

그는 AI가 언제, 어디서, 어떻게, 어느 정도까지 가치를 제공할 수 있는지를 CIO가 교육해야 한다고 조언하면서 “달성하고자 하는 목표에 대해 조직 전체가 일치된 의견을 가지면 신뢰도를 쉽게 조정할 수 있다”라고 말했다. 그러면 직원들이 모든 문제에 대한 만병통치약을 찾기 위해 혼자 AI 솔루션을 쫓아다니는 일을 막을 수 있다.

4. 액세스 제어 검토 및 강화
디지털 트랜스포메이션 솔루션 기업인 UST의 최고 전략 책임자이자 CIO인 크리슈나 프라사드는 데이터 유출이 AI와 관련된 주요 위협이라고 언급했다.

물론 계획된 AI 배포도 리스크는 존재하지만, 이 경우 CIO가 비즈니스, 데이터 및 보안 동료와 협력해 리스크를 완화할 수 있다. 하지만 승인되지 않은 AI를 사용할 경우에는 동일한 리스크 검토 및 완화의 기회를 갖지 못하기 때문에 데이터가 노출될 가능성이 높아진다.

이런 시나리오를 방지하려면 기술, 데이터, 보안팀이 협력해, 데이터 액세스 정책과 제어는 물론 전반적인 데이터 손실 방지 프로그램 및 데이터 모니터링 기능이 승인되지 않은 AI 배포로 인한 유출을 방지할 수 있을 만큼 견고한지 검토해야 한다고 프라사드는 조언했다.

5. AI 도구에 대한 액세스 차단
도움이 될 수 있는 또 다른 방법으로 CIO는 오픈 AI의 챗GPT 같은 AI 도구를 블랙리스트에 추가하고 방화벽 규칙을 적용해 직원들이 회사 내에서 액세스하지 못하도록 할 수 있다. 이 경우 회사 시스템에서 AI 도구에 액세스하지 못하도록 방화벽 규칙을 만들어야 한다.

6. 동참자 확보
쿠오는 섀도우 AI를 방지하기 위해 노력하는 사람이 CIO만이 아니어야 한다고 말했다. 부정적인 결과로부터 조직을 보호할 책임이 있는 최고 경영진의 참여를 유도하고, 공식 IT 조달 및 AI 사용 정책에 위배되는 AI 도구 사용의 위험성을 직원들에게 교육하는 데 그들을 동참시켜야 한다. 

쿠오는 “더 나은 보호를 위해서는 모두가 힘을 합쳐야 한다”라고 덧붙였다.

7. 조직의 우선순위와 전략을 주도하는 ‘IT AI 로드맵’ 만들기
직원들은 대개 업무 수행에 도움이 될 수 있다고 생각해 기술을 도입하는 것이지, 회사에 피해를 주려는 것이 아니다. 따라서 CIO는 직원들 각자의 우선순위를 달성하는 데 유용한 AI 기능을 제공해 승인되지 않은 AI의 수요를 줄일 수 있다.

바즈와는 CIO가 비즈니스 우선순위에도 부합하고 실제로 전략을 구체화하는 AI 로드맵을 수립해 조직을 미래의 성공으로 이끌 기회를 잡아야 한다고 말했다. 그는 “지금은 비즈니스를 재정의하는 순간”이라고 조언했다.

8. ‘안 되는 부서’가 되지 않기
경영 고문들은 CIO 및 최고 경영진이 AI 도입에 주저해서는 안 된다고 말했다. 이는 조직의 경쟁력을 약화시키고 섀도우 AI의 가능성을 높이기 때문이다. 하지만 젠팩트와 HFS 리서치에 따르면 AI 도입을 주저하는 현상은 이미 어느 정도 일어나고 있다. 지난 5월 발표된 보고서에서는 조직의 45%가 생성형 AI에 대해 ‘관망’하는 입장을 취하고 있으며 23%가 생성형 AI에 ‘부정적’인 입장을 보이는 것으로 나타났다.

프라사드는 “AI 사용을 무작정 줄이는 것은 매우 비생산적”이라고 지적했다. 그 대신 CIO는 조직이 이미 사용 중인 플랫폼 내에서 제공되는 AI 기능을 활성화하고, 직원들이 이런 기능을 사용하고 최적화하도록 교육하며 높은 ROI가 예상되는 AI 도구의 채택을 가속화해, 모든 직급의 직원들이 IT팀에서 AI 기반 미래를 위해 노력 중이라고 확신하도록 해야 한다고 그는 말했다.

9. 직원이 원하는 대로 AI를 사용할 수 있도록 지원
ISACA의 지난 3월 설문조사에 따르면 응답자의 80%는 AI로 인해 많은 일자리가 변경될 것이라고 예상했다. EY 컨설팅의 글로벌 데이터 및 AI 리더인 베아트리즈 산즈 사이즈는 직원들에게 AI를 사용해 업무를 개선할 수 있는 도구를 제공해야 한다고 언급했다.

산즈 사이즈는 IT팀뿐만 아니라 조직 전체 직원이 자신만의 혹은 IT팀과 협업해 지능형 비서를 만들 수 있도록 도구와 교육을 제공해야 한다고 조언했다. 또한 그는 CIO가 신속한 지원을 위해 유연한 기술 스택을 구축하고 직원의 요구가 발생하면 새로운 LLM 및 기타 지능형 구성 요소로 전환할 수 있어야 한다면서, 직원들이 솔루션을 구축할 때 외부 소스가 아닌 IT에 의지할 가능성을 높여야 한다고 조언했다. 

10. 새롭고 혁신적인 활용에 개방적인 태도 갖기
AI가 새로운 기술은 아니지만 빠르게 도입률이 증가하면서 더 많은 문제점과 잠재력이 드러나고 있다. 조직이 문제없이 잠재력을 활용하도록 돕고자 하는 CIO라면 직원들이 혼자 AI를 사용할 필요성을 느끼지 않도록 새로운 AI 사용 방식에 대해 열린 마음을 가져야 한다.

바즈와는 AI 환각을 예로 들어 설명했다. 그는 환각이 일반적으로 나쁜 평을 듣고 있지만 마케팅과 같은 창의적 분야에서는 유용할 수 있다면서 “누구도 생각하지 못했던 아이디어를 제공할 수 있다”라고 설명했다.

이런 가능성을 열어두고 어느 정도의 감독이 필요한지에 대한 규칙처럼 적절한 보호 장치를 마련할 수 있다면 IT팀과 CIO는 AI 혁신에 배제되지 않고 초대될 가능성이 높아질 것이다. 그것이 목표가 아닐까?

* Mary K. Pratt는 미국 매사추세츠주에 거주하는 프리랜서다. ciokr@idg.co.kr
 
 
 
 
 
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.