Offcanvas
“AI가 제안하는 내용에 대해 사람이 스스로 판단해야 한다”
90
%
자료 제목 :
2023 데브옵스 자동화와 AI 현황 보고서
The State of DevOps Automation and AI 2023
자료 출처 :
Transposit
원본자료 다운로드
발행 날짜 :
2023년 11월 07일

AI / CIO / CSO / How To / 마케팅 / 분쟁|갈등

‘책임은 결국 사람의 몫’··· 조직이 감안할 생성형 AI 함정 6가지

2023.12.11 Mary Branscombe  |  CIO
생성형 AI에 대한 문턱이 나날이 낮아지고 있지만 때로는 그 문을 넘어서지 않는 게 나을 수 있다. 문제는 오늘날 AI에 대한 각종 논의와 규제가 아직 이 기술의 큰 그림에 집중되어 있기에 기업들이 참고할 만한 구체적인 가이드라인이 드물다는 점이다.

지금까지 생성형 AI에 대한 주요 불만은 자신의 저작물이 허가 없이 대규모 언어 모델(LLM)을 학습하는 데 사용되는 것에 불만을 품은 작가와 아티스트들이 제기해 왔다. 11월 초 수개월간 이어진 작가와 배우들의 파업을 해결하기 위해 헐리우드 스튜디오들은 AI 도구 활용을 제한한다는 약속을 제시해야 했다. 그러나 크리에이티브 산업 외의 기업들도 생성형 AI를 사용할 때 주의해야 한다. 당혹스러운 역효과를 낼 수 있고 법적 분쟁으로 이어질 수 있기 때문이다.

많은 기업이 저작권을 우려하는 분야로 꼽고 있다(FTC도 이에 동의하는 것으로 보인다). 그러나 그것만이 유일한 문제는 아니다.
 
Image Credit : Getty Images Bank


평판 손상
최근 가디언의 경우가 생성형 AI를 사용하면 안 되는 일을 보여주는 교과서적인 사례였다. 마이크로소프트의 AI 뉴스 시스템이 여성의 죽음에 대한 추측을 유도하는 무분별한 여론조사를 자동으로 생성하여 뉴스 기사 중간에 삽입했다. 가디언은 이로 인해 마이크로소프트가 자신들에게 ‘심각한 평판 손상’을 입혔다고 주장했다.

빙(Bing) AI 뉴스가 민감한 뉴스 기사에 모호한 여론조사를 추가한 것은 이번이 처음이 아니다. 이 AI 도구는 논란이 될 만한 서베이 문항을 다수 제작한 바 있다. 결국 사망하게 된 여성에 대한 연명 조치가 옳은 결정인지 그른 결정인지, 국립공원에서 발견된 유골의 신원이 정확하게 식별되었는지, 화재로 50채의 주택이 소실된 지역의 주민들이 긴급 대피 권고를 따랐어야 하는지, 화재로 2명의 어린이가 사망했을 때 어린이 화상 피해자를 위한 모금이 독자들에게 ‘희망과 지지’를 느끼도록 하는지 등을 묻는 여론조사를 만들어 논란을 일으켰다.

이 밖에 AI 기반 빙 챗의 광고에는 맬웨어 링크가 포함되어 있기도 했다. 또 마이크로소프트의 AI 도구는 오타와 방문객에게 푸드뱅크에서 식사를 하도록 제안하고, 바이든 대통령을 비롯한 정치인에 대한 가짜 뉴스를 강조하기도 했다. 이 밖에 한 여배우가 특정 스포츠 코치를 폭행한 것처럼 뉴스의 세부사항을 왜곡하기도 했다. 해당 코치는 오히려 말을 학대한 혐의를 받은 인물이었다.

챗GPT와 같은 생성형 AI 모델이 과거의 AI 오류와 다른 점은 대부분의 경우 적어도 결과를 확인할 기회가 있었다는 점이다. 하지만 이번 가디언의 여론조사는 사람의 승인 없이 자동화된 시스템에 의해 게시된 것이라는 점에서 이색적이다.

마이크로소프트는 이 여론조사를 오류라고 규정하며 조사를 약속했다. 그러나 이미 AI 시스템과 상호 작용 여부를 사용자에게 알리라는 회사의 자체 원칙을 어긴 상태로 관측된다. 또 책임감 있는 AI 사용에 대한 회사의 몇 가지 원칙을 위반한 것으로 보인다. 마이크로소프트는 또한 애저 오픈AI 고객에게 제공하는 조언을 통해 ‘모든 주제에 대한 콘텐츠’를 제작하거나 ‘사실적으로 정확한 최신 정보가 중요한 시나리오’에서 사용하지 않도록 경고하고 있기도 하다. 

AI의 과도한 사용
애저 오픈AI에 대한 포괄적인 투명성 정보 페이지는 서비스가 부적절하거나 모욕적인 콘텐츠를 생성할 수 있을 뿐만 아니라 관련성이 없거나 허위이거나 신뢰할 수 있는 데이터를 잘못 표시하는 응답을 생성할 수 있다고 경고하고 있다. 

또한 피해야 할 몇 가지 시나리오(정치 캠페인, 사용 또는 오용이 생명이나 법적 지위에 영향을 미칠 수 있는 매우 민감한 사건 등)와 의료, 교육, 금융, 법률 등 위험이 높은 영역에서 주의해야 할 몇 가지 시나리오를 나열한다. 그러나 특정 영역에 국한된 질문은 포괄적인 질문보다 문제가 있는 긴 답변이 나올 가능성이 적다.

마이크로소프트는 생성형 AI가 부적절하다고 생각하는 특정 영역을 밝히지 않고 대신 콘텐츠 제작, 언어 요약 또는 개선, 코드 생성, 시맨틱 검색 등 성공적으로 활용되는 영역의 목록을 제공했다. 동시에 회사 대변인은 이렇게 말했다: “우리는 AI가 엄청나게 강력해진 세상에 살고 있으며, AI는 놀라운 일을 할 수 있다. 하지만 이 기술은 성장과 발전의 여지가 충분한 여정이라는 점을 이해하는 것이 중요하다. 이러한 구분은 매우 중요하다.”

생성형 AI로 생성된 혼란스럽고 잘못 작성된 콘텐츠는 이미 비즈니스 환경에서 일반적인 컨퍼런스 요약, 블로그 게시물, 슬라이드 데크 등으로 나타나고 있다.  정작 더 잘 알아야 할 관리자가 결재를 한다는 점이 간과되고 있다. 전문 작가나 보안 교육자들이 생성형 AI가 만든 콘텐츠(어색한 손 모양이 대표적이다)를 제출하는 사례가 늘고 있다. 앞으로 이렇듯 말도 안 되는 일이 일반화될 것이며, 기업들은 평판이 걸려 있는 만큼 경계해야 할 것이다.

무분별한 활용은 내부적으로도 부적절할 수 있다. 가령 설문조사와 퀴즈는 긴 회의와 팀 채팅에 활기를 불어넣어주기에 생성형 AI가 논의된 내용에 기반해 서베이나 퀴즈를 생성하도록 하고 싶은 유혹을 느낄 수 있다. 그러나 누군가가 가족의 질병이나 반려동물의 죽음에 대해 언급한 내용을 생성형 AI가 다루면 큰 문제가 발생할 수 있을 것이다.

산업 인텔리전스 플랫폼 글로벌데이터의 파괴적 기술 부 프로젝트 매니저인 사우라 다가는 “일반적으로 공감, 도덕적 판단, 인간의 뉘앙스에 대한 깊은 이해가 중요한 상황에서는 생성형 AI가 적합하지 않다”라고 강조했다. 그가 제시하는 민감한 영역의 목록은 마이크로소프트의 지침과 유사하다. “오류로 인해 법적, 재정적, 건강 관련 중대한 결과를 초래할 수 있는 고위험 의사 결정은 AI에 적합하지 않을 수 있다”라고 그는 말했다.

멀티모달 모델에 대한 연구가 더 성숙하기 전까지는 잘못된 캡션으로 인해 사진이 불쾌감을 줄 수 있다. 이미지 생성 모델은 모든 간호사는 여성이고 모든 CEO는 남성이라고 가정하기 쉽다. 즉 어떤 시나리오에서든 텍스트와 이미지를 혼합하는 생성형 AI에 주의하는 것이 중요하다.

델 테크놀로지(고객이 마이크로소프트 365 코파일럿 또는 라마 2와 같은 오픈 액세스 모델을 사용하여 AI 시스템을 구축하는 데 도움을 주는 서비스를 제공)의 AI 전략 수석 부사장 매트 베이커는 “이전에는 존재했지만 제대로 해결되지 않았던 문제를 생성형 AI가 증폭시키고 있다. 예를 들어 인사 및 채용과 같이 알고리즘의 편향성이 문제가 될 수 있는 프로세스와 워크플로우를 생각해 보라. 조직은 위생, 우선순위, 데이터 민감도를 정직하게 살펴서 최대한의 보상을 얻고 위험을 최소화할 수 있는 영역에 생성형 AI 도구를 도입해야 한다”라고 경고했다.

AI가 항상 옳다는 가정
인상적이긴 하지만, 생성형 AI 도구는 본질적으로 확률론적이다. 즉, 틀리는 경우가 있으며, 정확하지 않거나 불공정하거나 불쾌감을 줄 수 있는 결과가 나올 수 있다. 그럼에도 불구하고 자신감 있고 설득력 있는 언어로 표현되어 있다는 위험이 있다.

핵심은 바로 사용할 수 있는 결과를 기대하지 말고, 생성형 AI가 유용하게 잘못될 수 있는 방식을 인식하는 데 주의를 기울이는 것이다. 완전히 구워진 완벽한 아이디어를 만들어내는 것이 아니라 새로운 아이디어를 자극하는 브레인스토밍 도구로 활용하라는 이야기다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.