Offcanvas

AI / CIO / 로봇|자동화 / 머신러닝|딥러닝 / 보안 / 분쟁|갈등 / 신기술|미래

'AI 윤리·거버넌스 미흡'이 초래할 수 있는 비즈니스 위험 6가지

2022.05.19 Maria Korolov  |  CIO
어떤 ‘터미네이터’ 영화를 봤느냐에 따라 악당 인공지능 스카이넷(Skynet)의 상황이 다를 터다. 이미 인간을 지배하고 있는 경우가 있는가 하면, 지배하려 하는 상황도 있다. 하지만 SF작가들이 그리는 우려 상황에 ‘통제되지 않는 AI’(uncontrolled AI)가 포함되는 경우는 드물다.

AI 조사 및 자문 기업 에머리(Emeri)가 실시한 ‘2019년 설문조사’에서 AI 전문가 중 14%는 AI가 인간에게 ‘실존적 위협’(existential threat)이라고 응답했다. 실제로 파멸까지는 아니더라도 AI 윤리 부족은 사회와 이 AI 시스템을 도입하는 기업에 큰 위험을 야기할 수 있다.

이런 위험은 흔히 ‘AI 설명가능성’과 관련된다. 또 편향된 데이터 세트에 대한 의존성 또는 적절한 거버넌스 없이 AI 배치하기 등도 현실적인 위험 요소다. IT 리더가 회사의 AI 배치 전략을 수립할 때 고려해야 할 상황을 살펴본다.
 
Image Credit : Getty Images Bank


PR(Public Relation) 재난
지난달, 마더보드(Motherboard)가 입수한 페이스북(Facebook) 문서에 따르면 페이스북은 자사의 사용자 데이터가 어떻게 사용되고 있는지 모르고 있다.

해당 문서에서 페이스북의 프라이버시 엔지니어들은 “시스템이 데이터를 사용하는 방식에 대해 적절한 수준의 통제와 설명가능성이 우리에게는 없다”라고 밝혔다.

이 문서에 따르면 현재 페이스북은 수년간 인프라에 투자하지 않고 해결할 수 없는 ‘인바운드(Inbound) 규정의 쓰나미’에 직면하고 있다. “이것은 새로운 규제 영역이며 우리는 앞으로 몇 년 동안 낯선 요구사항을 보게 될 가능성이 높다. 우리는 우리의 솔루션이 충분할 것이라는 자신감이 매우 부족하다”라고 문서에 기술돼 있다.

적절한 데이터 거버넌스 없이 AI를 배치한 기업에 어떤 문제가 있을 수 있는지를 보여주는 이 사건은 최근 AI 관련 PR 재난 중 하나에 불과하다.

2014년, 아마존은 압도적으로 남성 후보자를 선호하는 AI 기반 채용 소프트웨어를 개발했다.

2015년, 구글의 포토(Photos) 앱은 흑인들의 사진에 ‘고릴라’라는 라벨을 적용했다. 그리고 페이스북은 분명 이 실수로부터 배우지 못했다. 지난 가을 페이스북은 사용자들이 흑인이 등장하는 비디오를 시청한 후 ‘영장류에 대한 비디오를 계속 시청할 것인가?’라는 질문을 받았으며, 페이스북은 사과해야 했다.

2016년에 트위터에서 공개된 마이크로소프트의 테이(Tay) 챗봇은 곧 인종차별, 여성 혐오, 반 셈족 메시지를 작성하기 시작했다.

잘못된 홍보는 AI 프로젝트에 대해 기업들이 갖고 있는 가장 큰 두려움이라고 법률 기업 L&L(Loeb & Loeb)의 기술 및 소싱 활동 의장 켄 애들러가 말했다. 그는 “모르는 사이에 편향이 내재된 솔루션을 구현하는 것에 대해 걱정하고 있다. 인종적, 윤리적, 성차별적 일 수 있다”라고 말했다.

부정적인 사회적 영향
편향된 AI 시스템은 이미 피해를 유발하고 있다. 여성을 차별하는 신용 알고리즘, 특정 직원에게 리더십 과정을 추천하지 않는 HR 도구로 인해 불이익을 받는 사례다.

경우에 따라 이런 추천이 말 그대로 삶과 죽음의 문제일 수 있다. 인사이트(Insight)의 엔지니어 캄 태글리엔티가 근무했던 한 커뮤니티 병원이 그랬다.

병원 응급실을 찾은 환자들은 방문한 목적 외의 문제가 있는 경우가 많았다고 태글리엔티가 말했다. 그는 “병원에 와서 가슴 통증을 호소하는 경우 혈액 문제나 기타 문제가 있을 수 있다”라고 설명했다.

이 병원의 데이터 사이언스 팀은 이런 동반질병을 확인하는 시스템을 개발했다. 치명적일 수 있지만 병원이 알아차리지 못해 환자를 돌려보냈다가 결국 사망하는 문제를 피하기 위해서였다.

하지만 문제는 의료적 고려사항과 병원의 자원 한계를 고려할 때 의사가 AI 시스템의 추천에 대해 언제 조치를 취해야 하는지였다. 알고리즘이 발견한 상관관계가 약한 경우 의사는 환자에게 병원의 시간과 돈을 낭비하는 불필요한 검사를 받게 할 수 있다. 

반면 검사가 수행되지 않고 치명적인 문제가 발생하는 경우 병원이 커뮤니티에 제공하는 서비스의 가치에 대한 더 큰 문제가 떠오르게 된다. 알고리즘이 낮기는 하지만 가능성을 제시한 경우에는 더욱 그렇다.

즉 자원이 제한된 경우에는 실용적인 솔루션이 아니며, 여기에서 윤리가 필요하다고 그가 말했다.

또 다른 옵션은 더 나은 훈련 데이터를 수집하여 알고리즘을 개선함으로써 더욱 정교하게 추천하도록 하는 것이다. 

해당 병원은 데이터 수집에 대한 투자를 늘려 대응했다. 또 자원에 대한 수식의 균형을 조정하는 방법을 찾고자 했다. “데이터 사이언스를 통해 동반질병을 놓치고 있음을 알게 되는 경우 항상 의사가 환자를 만날 필요가 있을까? 전문 간호사를 대신 활용할 수 있지 않을까? 자동화할 수 있을까?”라고 그는 말했다.

해당 병원은 환자 일정 관리 메커니즘을 개발하여 주치의가 없는 사람들이 주중 등 ER이 덜 바쁜 시기에 응급실 의사를 방문할 수 있도록 했다. 

규제를 통과하지 못하는 시스템
젠팩트(Genpact)의 최고 디지털 전략가 산자이 스리바스타바는 대출 결정을 개선하기 위해 AI를 사용하려 하는 한 대형 글로벌 금융 서비스 기업과 협력했다.

은행은 결정을 내릴 때 연령이나 성별 등 특정 기준을 사용해서는 안 되지만 AI 훈련 데이터에서 연령 또는 성별 데이터 포인트만 제외시키는 것으로는 부족하다고 스리바스타바가 말했다. 왜냐하면 데이터에 연령 또는 성별과 관련된 다른 정보가 포함되어 있을 수 있기 때문이다.

그는 “그들이 사용한 훈련 데이터 세트에 상관관계가 많았다. 그래서 그들은 계획했던 것보다 큰 위험에 노출됐다”라고 말했다.

해당 은행은 결국 훈련 데이터 세트를 다시 살펴보고 다른 모든 데이터 포인트를 추적하여 제거해야 했으며, 이로 인해 몇 개월이나 낭비했다.

여기에서 교훈은 시스템을 개발하는 팀이 데이터 사이언티스트로만 구성되어서는 안 되며 다양한 주제 사안 전문가를 포함해야 하는 것이라고 그가 말했다. 그는 “데이터 사이언티스트로만 AI 프로젝트를 수행하지 말라”라고 말했다.

의료는 규제 요건을 충족하지 못하는 경우 프로젝트 전체가 원점으로 되돌아갈 수 있는 대표적인 산업이다. 코로나19 백신을 개발하는 한 글로벌 제약 기업에 그런 일이 발생했다.

E&Y(Earnst & Young)의 글로벌 금융 서비스 위험 리더 마리오 슐레너는 “많은 제약 기업들이 솔루션을 더 빨리 찾기 위해 AI를 사용했다. 한 기업은 알고리즘을 발전시켰다. 하지만 알고리즘 개발 프로세스를 중심으로 하는 거버넌스의 부재 때문에 개발이 무용지물이 되었다”라고 말했다.

그리고 해당 기업은 규제당국에 알고리즘의 작동 방식을 설명할 수 없었기 때문에 팬데믹 절정기에 9개월이라는 시간과 다른 자원을 낭비했다.

GDPR 벌금
EU GDPR은 까다로운 데이터 보호법이며, 최대 2,000만 유로 또는 전 세계 매출의 4% 중 높은 금액을 벌금으로 부과한다. 2018년에 발표된 이 법은 지금까지 1,100건 이상의 벌금 사례로 이어졌다.

GDPR 및 전 세계의 유사한 법률에서는 기업이 민감한 개인 정보를 사용 또는 공유하는 방식을 제한한다. AI 시스템은 훈련을 위해 엄청난 양의 데이터를 필요로 하기 때문에 적절한 거버넌스 활동 없이는 AI를 구현할 때 데이터 프라이버시법에 저촉되기 쉽다.

ORM(O'Reilly Media)의 신기술 콘텐츠 부사장 마이크 라우키즈는 “안타깝게도 많은 조직들이 AI 거버넌스에 대해 ‘필요할 때 추가하지 뭐’라는 입장을 취하고 있는 것 같다. 그러나 필요할 때까지 기다리면 늦을 수밖에 없다”라고 말했다.

EU도 AI법을 제정하고 있으며, 이로 인해 인공지능에 대한 새로운 규정이 생겨날 전망이다. AI법은 2021년 봄에 처음 제안됐으며 2023년이 되면 승인될 수 있다. 위반하는 경우 전 세계 매출의 6%까지의 벌금 등 일련의 처벌을 받을 수 있다.

해결 불가능한 시스템
4월, GM(General Motors)이 지원하는 자율주행 자동차 기업 크루즈(Cruise)가 운영하는 자율주행 자동차가 헤드라이트를 켜지 않고 주행해 경찰에게 적발됐다. 자동차에 접근했지만 운전자가 없음을 발견한 경찰관이 혼란스러워하는 동영상은 삽시간에 퍼져 나갔다.

이 자동차가 출발했다가 다시 정지하는 모습도 연출했다. 해당 자동차가 왜 그렇게 했는지 파악하는 것이 까다로울 수 있다.

캡제미니(Capgemini)의 AI 및 분석 부사장 댄 시미언은 “자율주행 자동차에서 어떻게 결정이 이루어지는지 파악해야 한다. 자동차 제조사는 투명하게 설명해야 하며, 투명성과 설명가능성은 윤리적 AI의 구성요소이다”라고 말했다.

AI 시스템이 불가해한 ‘블랙박스’처럼 결론을 도출하는 방식에 대한 인사이트를 거의 제공하지 않는 경우가 너무 많다. 그런 의미에서 문제의 원인을 찾는 것이 매우 어려울 수 있다.

시미언은 “결국, 자율주행 자동차뿐 아니라 다른 산업의 자율 결정에 대한 규정이 생겨날 것이다”라고 말했다.

하지만 기업들은 지체 없이 AI 시스템에 설명가능성을 적용해야 한다고 그가 말했다. 처음부터 설명가능성을 구축하는 것이 더 쉽고 저렴하다고 시미언은 말했다.

아울러 AI 시스템의 일부 또는 전부에 제3자 도구를 사용하는 기업들은 제공업체들과 협력하여 그들의 제품에 대해 설명가능성을 요구해야 한다고 그는 덧붙였다. 

직원의 태도
기업들이 사용자의 프라이버시를 위반하거나 편향되거나 사회에 피해를 입히는 AI 시스템을 개발하면 직원들의 태도가 바뀌게 된다.

직원들은 가치를 공유하는 기업에서 근무하고 싶어한다고 BCG(Boston Consulting Group)의 최고 AI 윤리경영자 스티브 밀스가 말했다. 그는 “많은 직원들이 윤리적인 우려 때문에 회사를 떠난다. 기술 인재를 유인하고 싶은 경우 이 문제를 해결하는 방법에 대해 걱정해야 한다”라고 말했다.

올해 초, 가트너가 공개한 설문조사에 따르면 팬데믹 시작 이후로 업무에 대한 직원들의 태도가 바뀌었다. 약 2/3가 자신의 삶 속에서 노동이 차지하는 위치를 다시 생각하게 되었고 절반 이상은 팬데믹 때문에 노동의 목적에 의문을 갖고 사회에 더욱 기여하고 싶게 되었다고 말했다.

그리고 지난 가을, BBC(Blue Beyond Consulting)와 FW(Future Workplace)의 조사에서 기업이 주창하는 사회적 가치의 중요성이 입증됐다. 설문조사에 따르면 기업 가치가 자신의 가치와 일치하지 않는 경우 직원 52%가 퇴사할 것이며 4명중 1명만이 받아들일 것이라고 한다. 또한 76%는 고용주가 사회의 선을 위한 힘이 되기를 바란다고 말했다.

기업들이 규제를 이유로 또는 잘못된 홍보를 피하기 위해 AI 윤리 프로그램을 시작할 수 있다. 하지만 이런 프로그램이 성숙하면서 동기가 바뀌는 현상이 종종 나타난다.

밀스는 “그들이 이런 방식으로 시작하지 않을 수도 있지만 이것이 목적이자 가치 문제라고 생각한다. 사회적 책임 문제가 되고 있다. 기업의 핵심 가치이다”라고 말했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.