Offcanvas

AI / 로봇|자동화 / 머신러닝|딥러닝 / 분쟁|갈등 / 인문학|교양

‘돈 잃고 평판 망치고’··· 악명 높은 'AI 재난' 7선

2022.04.19 Thor Olavsrud  |  CIO
2017년, 이코노미스트(The Economist)는 데이터가 석유보다 귀중한 자원이 되었다고 선언했다. 그 이후로 비슷한 진단이 이어졌다. 모든 산업의 조직들이 데이터와 분석에 지속적으로 투자했다. 하지만 석유와 마찬가지로 데이터와 분석에는 어두운 면이 있다.

2022년 CIO의 ‘CIO 현황 보고서’에 따르면 IT 리더 중 35%가 올해 소속 조직에서 데이터 및 비즈니스 분석에의 투자가 증가할 것이라고 밝혔다. 그리고 IT 리더 중 20%는 머신러닝/인공지능이 대부분의 IT 투자를 유도할 것이라고 말한다. 분석을 통해 얻은 인사이트와 머신러닝 알고리즘에 기초한 행동은 조직에 경쟁력을 제공할 수 있다. 그러나 평판, 수익 또는 생존을 위협할 수도 있다.

데이터와 그 의미를 이해하는 것이 중요하지만 도구를 이해하고 데이터를 알며 조직의 가치를 계속 생각하는 것도 중요하다. 지난 10년 동안 발생한 주요 사고를 살펴본다.
 
ⓒIDG/Stephen Sauer


AI 알고리즘이 수많은 것을 분석하지만 코로나19는 아니었다
코로나19 팬데믹이 시작된 이후로 여러 조직들이 병원 진단을 돕거나 환자를 더욱 신속하게 분류할 수 있도록 머신러닝(ML) 알고리즘을 적용하려 했다. 하지만 영국의 국립 데이터 사이언스 및 AI 센터 TI(Turing Institute)에 따르면 이 예측 도구는 별다른 차이를 만들어내지 못했다.

MIT 테크놀로지 리뷰(MIT Technology Review)는 여러 AI 실패 사례를 연대기 순으로 나열했던 바 있다. 대부분은 도구를 훈련시키거나 테스트하는 동안 발생한 오류에 기인한 것이었다. 라벨이 잘못 적용된 데이터나 알 수 없는 출처의 데이터를 사용하는 것이 공통적인 원인이었다.

캠브리지대학교(University of Cambridge)의 머신러닝 연구원 데렉 드릭스는 그의 동료들과 함께 코로나19 바이러스 진단에 딥러닝 모델의 사용을 연구했으며, 해당 논문을 NMI(Nature Machine Intelligence)에 발표했다. 

해당 논문에는 임상 용도로 적합하지 않은 기법을 다룬 내용이 담겨 있었다. 예를 들어, 드릭스의 그룹은 자체 모델이 스캔 중 누워있는 환자와 서 있는 환자의 스캔을 포함하고 있는 데이터 세트로 훈련했기 때문에 결함이 있다는 사실을 발견했다. 누워 있던 환자들은 심각하게 아플 가능성이 훨씬 높았기 때문에 알고리즘은 환자의 자세를 코로나19 증상의 주요 변인으로 추정했다.

질로우(Zillow)는 알고리즘 실수로 인한 주택 구매 실수로 인해 인력을 감축해야 했다
2021년 11월, 온라인 부동산 기업 질로우는 주주들에게 향후 7분기 동안 질로우 오퍼(Zillow Offers) 운영을 서서히 중단하고 약 2,000명에 달하는 회사 인력의 25%를 감축할 것이라고 밝혔다. 주택 가격을 예측하기 위해 사용한 머신러닝 알고리즘에 커다란 오류가 있었기 때문이다.

질로우 오퍼는 프로그램이었고, 이를 통해 해당 기업은 머신러닝 알고리즘에서 파생된 주택 가치에 대한 ‘제스티메이트(Zestimate)’에 기초하여 부동산에 대한 현금 가격을 제시했다. 핵심은 부동산을 개보수하고 신속하게 재판매하는 것이었다. 하지만 질로우의 대변인에 따르면 알고리즘의 중앙값 오류율이 1.9%였고, 장외 주택의 오류율은 최대 6.9%에 달했다.

CNN은 질로우가 2018년 4월 질로우 오퍼 출시 이후로 2만 7,000채의 주택을 구매했지만 2021년 9월 말까지 1만 7,000채만 판매했다고 보도했다. 코로나19 팬데믹 같은 블랙스완 이벤트와 주택 개보수 노동력 부족이 알고리즘의 정확도 문제를 심화시켰다.

질로우는 알고리즘으로 인해 의도하지 않게 주택을 높은 가격으로 구매하여 2021년 3/4분기에 3억 400만 달러의 재고 감가상각이 발생했다고 밝혔다.

스프레드시트 데이터 한계를 초과하여 코로나19 사례를 잃은 영국
2020년 10월, 새로운 코로나19 감염 통계를 담당하는 영국 정부기관 PHE(Public Health England)는 9월 25일과 10월 2일 사이에 약 1만 6,000건의 코로나바이러스 사례가 보고되지 않았다고 밝혔다. 그 원인은? 마이크로소프트 엑셀의 데이터 한계였다.

PHE는 자동화된 프로세스를 통해 CSV 파일의 코로나19 양성 결과를 보고 대시보드가 접촉 추적을 위해 사용하는 엑셀 템플릿으로 전환한다. 엑셀 스프레드시트는 워크시트당 최대 1,04만 8,576개의 행과 1만 6,384개의 열을 가질 수 있다. PHE는 사례를 행보다 열로 나열하고 있었다. 사례가 1만 6,384개의 열 한계를 초과하자 엑셀은 하단에 있는 1만 5,841개의 기록을 잘라냈다.

이 ‘결함’ 때문에 테스트를 받은 사람이 결과를 받지 못하는 일은 없었지만 접촉 추적에 방해가 되어 영국NHS가 감염된 환자와 밀접 접촉한 사람을 확인하고 알림을 제공하기가 더 어려웠다. 10월 4일 성명에서 PHE의 임시 총책임자 마이클 브로디는 NHS T&T(Test and Trace)와 PHE가 이 문제를 신속하게 해결하고 아직 처리되지 않은 기존의 모든 사례를 NHS T&T 접촉 추적 시스템으로 즉시 전송했다고 말했다.

PHE는 대용량 파일을 분할하는 ‘신속 마이그레이션’을 마련했으며 미래의 유사한 사고를 방지하기 위해 전체 시스템을 대상으로 완전한 E2E(End to End) 리뷰를 수행했다.

의료 알고리즘이 흑인 환자를 표시하지 못하다
2019년, 사이언스(Science)에 게재된 논문에 따르면 ‘고위험 치료 관리’ 프로그램이 필요한 환자를 확인하기 위해 미국 전역의 병원과 보험사가 사용하는 의료 예측 알고리즘이 흑인 환자를 선별할 가능성이 훨씬 낮은 것으로 나타났다.

고위험 치료 관리 프로그램은 심각한 합병증을 예방하기 위해 만성 질환 환자에게 숙련된 간호 인력과 1차 의료 모니터링을 제공한다. 하지만 해당 알고리즘은 흑인 환자보다 백인 환자에게 이 프로그램을 추천할 가능성이 훨씬 높았다.

해당 연구에서는 알고리즘이 사람의 의료 필요를 판단하기 위해 의료 지출을 프록시(Proxy)로 사용했다는 사실을 발견했다. 하지만 SA(Scientific American)에 따르면 더 아픈 흑인 환자의 의료 비용이 더 건강한 백인 환자의 비용과 유사한 것으로 나타났으며, 이로 인해 실제 필요한 것보다 낮은 위험 점수를 받았다.

해당 연구의 연구원들은 몇 가지 요소가 기여했을 수 있다고 밝혔다. 첫째, 유색인종은 수입이 낮을 가능성이 더 높고, 이로 인해 보험 적용 시에도 의료적 치료에 대한 접근성이 낮아질 수 있다. 암묵적 편견으로 인해 유색인종이 저품질 진료를 받을 수도 있다.

해당 연구에서는 알고리즘이나 개발자의 이름을 밝히지 않았지만 연구원들은 SA에 이 상황을 해결하기 위해 개발자와 협력하고 있다고 밝혔다.

마크로소프트 챗봇이 인종차별적 트윗을 작성하다
2016년 3월, 마이크로소프트는 트위터 상호작용을 머신 러닝 알고리즘을 위한 훈련 데이터로 사용하면 당황스러운 결과를 얻을 수 있음을 배웠다.

마이크로소프트는 소셜 미디어 플랫폼에서 AI 챗봇 테이(Tay)를 공개했다. 해당 기업은 이것이 ‘대화형 이해’ 실험이라고 설명했다. 핵심은 머신 러닝과 자연어 처리를 조합하여 챗봇이 10대 소녀로 가장하여 트위터를 통해 사람들과 상호작용하는 것이었다. 마이크로소프트는 익명화 된 공개 데이터와 코미디언들이 사전에 작성한 일부 자료를 입력한 후 소셜 네트워크에서의 상호작용으로부터 학습하고 진화할 수 있도록 했다.

16시간 안에 챗봇은 9만 5,000개 이상의 트윗을 게시했다. 트윗들은 이내 과도하게 인종 차별적이고 여성 혐오적이며 반유대주의적으로 바뀌었다. 마이크로소프트는 조정을 위해 서비스를 신속하게 중단했으며 궁극으로 종료했다.

“테이의 의도하지 않은 공격적이고 마음에 상처를 주는 트윗에 대해 깊은 유감을 표하며, 이는 우리의 정체성 또는 우리가 추구하는 것 또는 우리가 테이를 설계한 방식과 무관하다”라고 마이크로소프트 R&I(Research & Incubations)의 부사장(그리고 마이크로소프트 헬스케어(Microsoft Healthcare)의 부사장) 피터 리가 사건 발생 후 마이크로소프트 블로그의 게시물을 통해 밝혔다.

리 부사장은 테이의 전작으로 2014년 중국에서 마이크로소프트가 공개한 샤오이스(Xiaoice)의 경우 테이 공개 2년 전 4,000만 명 이상의 사람들과 대화하는 데 성공했다고 밝혔다. 마이크로소프트가 고려하지 않은 것은 트위터 사용자 집단이 테이에게 즉시 인종차별주의적이고 여성 혐오적인 트윗을 작성하기 시작할 것이라는 점이었다. 봇은 자료를 통해 신속하게 학습하고 이를 자체 트윗에 포함시켰다.

리는 “우리는 다양한 유형의 시스템 남용에 대비했지만 이런 공격을 간과했다. 그 결과, 테이는 극도로 부적절하고 비난받을 만한 단어와 이미지를 사용했다”라고 밝혔다.

아마존(Amazon) AI 기반 채용 도구가 남성 지원자만 추천
많은 대기업들과 마찬가지로 아마존은 HR 부서가 최고의 후보자들의 지원서를 선별하는 데 도움이 될 수 있는 도구를 원한다. 2014년, 아마존은 이런 기능을 가진 AI 기반 채용 소프트웨어를 개발하기 시작했다. 그런데 한가지 문제점이 있었다. 시스템이 남성 후보자를 훨씬 선호했다. 2018년, 로이터(Reuters)는 아마존이 해당 프로젝트를 폐기했다는 소식을 전했다.

아마존의 시스템은 후보자에게 1~5개의 별점을 주었다. 하지만 시스템의 핵심은 머신러닝 모델은 아마존에 제출된 10년치 분량의 이력서로 훈련을 받았고, 대부분은 남성이 작성한 것이었다. 이런 훈련 데이터로 인해 시스템은 ‘여성’이라는 단어가 포함된 이력서의 문구를 불리하게 판단하기 시작했으며 여성 대학 출신의 후보자들을 떨어뜨리기도 했다.

당시, 아마존은 아마존의 채용 담당자들이 후보자를 평가하기 위해 해당 도구를 사용한 적이 없다고 밝혔다. 해당 기업은 도구를 중립화하기 위해 수정했지만 궁극적으로 후보자를 분류하는 다른 비차별적인 방식을 학습할 것임을 보장할 수 없다고 판단하고 프로젝트를 종료했다.

타겟(Target) 분석이 프라이버시를 침해했다
2012년, 소매 대기업 타겟의 분석 프로젝트에서 기업들이 자체 데이터로부터 고객에 관해 얼마나 많은 것을 알 수 있는지를 보여주는 사고가 발생했다. 뉴욕타임즈에 따르면 2002년 타겟의 마케팅 부서는 고객이 임신했는지 여부를 판단할 수 있는 방법이 궁금해졌다. 

이런 의문점은 예측 분석 프로젝트로 이어졌고, 이로 인해 해당 소매 기업은 의도하지 않게 10대 소녀의 가족에게 그녀가 임신했다는 사실을 알리게 되었다. 결과적으로, 모든 기사와 마케팅 블로그에서 이 사건이 ‘오싹한 요소’를 피하라는 조언의 일부가 되었다.

타겟의 마케팅 부서는 사람들이 구매 습관을 급격하게 바꿀 가능성이 가장 높은 인생의 특정 시기(특히, 임신)가 있기 때문에 임신한 사람들을 확인하고자 했었다. 임신 기간에 있는 사람들에게 연락을 취할 수 있다면, 이런 고객들에게 새로운 행동을 유도하여 타겟에서 식료품 또는 의류 또는 다른 물품을 구매하도록 할 수 있다는 기대에서였다.

다른 모든 대형 소매기업들과 마찬가지로 타겟은 쇼핑객 코드, 신용카드, 설문조사 등을 통해 고객에 대한 데이터를 수집했다. 해당 데이터를 구매한 인구 통계 데이터 및 제3자 데이터와 결합했다. 타겟의 분석팀은 이 모든 데이터를 분석하여 타겟에서 판매하는 약 25개의 제품을 함께 분석하여 ‘임신 예측’ 점수를 생성할 수 있다고 판단할 수 있었다. 마케팅 부서는 점수가 높은 고객에게 쿠폰과 마케팅 메시지를 제공할 수 있었다.

추가적으로 밝혀진 사실도 오싹하다. 해당 기업은 표적화 된 마케팅을 중단하지 않았지만 기저귀 광고 옆에 있는 잔디 깎는 기계 광고 등 임신한 여성이 구매하지 않는 것에 대한 광고를 결합하여 광고가 고객들에게 무작위처럼 느껴지도록 했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.