어설픈 기사로 조롱거리 된 AI 기자 外··· 'AI 재난' 9선

데이터와 머신러닝 알고리즘을 통해 얻은 인사이트는 귀중하지만, 한 번의 실수로 인해 평판, 수익, 심지어 생존까지도 위협받을 수 있다. 아래의 분석과 AI 실수 사례는 과연 무엇이 잘못될 수 있는지 보여주는 유명한 사례다.
 

2017년, 이코노미스트(The Economist)는 데이터가 석유보다 귀중한 자원이 되었다고 선언했다. 그 이후로 비슷한 진단이 이어졌다. 모든 산업의 조직들이 데이터와 분석에 지속적으로 투자했다. 하지만 석유와 마찬가지로 데이터와 분석에는 어두운 면이 있다.

2023년 CIO의 ‘CIO 현황 보고서’에 따르면 IT 리더 중 34%가 올해 소속 조직에서 데이터 및 비즈니스 분석에의 투자가 증가할 것이라고 밝혔다. 그리고 IT 리더 중 26%는 머신러닝/인공지능이 대부분의 IT 투자를 유도할 것이라고 말한다. 분석을 통해 얻은 인사이트와 머신러닝 알고리즘에 기초한 행동은 조직에 경쟁력을 제공할 수 있다. 그러나 평판, 수익 또는 생존을 위협할 수도 있다.

데이터와 그 의미를 이해하는 것이 중요하지만 도구를 이해하고 데이터를 알며 조직의 가치를 계속 생각하는 것도 중요하다. 지난 10년 동안 발생한 주요 사고를 살펴본다.
 

고등학교 스포츠 기사를 엉망으로 만드는 가넷 AI
2023년 8월, 신문 체인 가넷은 리드(LedeAI)라는 AI 도고의 사용을 잠정 중단한다고 발표했다. 이 AI 도구가 작성한 몇 건의 기사가 부실하게 작성되었으며 주요 세부 사항이 부족하다는 소문이 퍼진 후였다.

CNN은 인터넷 아카이브의 웨이백 머신에 보존된 한 가지 사례를 들며 "토요일에 열린 오하이오주 남자 축구 경기에서 워딩턴 크리스천 [[우승팀_마스코트]]가 웨스터빌 노스 [[패자_팀_마스코트]]를 2-1로 물리쳤다"라고 시작되는 기사를 지적했다.

CNN은 루이빌 쿠리어 저널, AZ 센트럴, 플로리다 투데이, 밀워키 저널 센티넬 등 다른 지역 가넷 신문에서도 유사한 기사를 포착했다.

이 기사들이 소셜 미디어에서 조롱의 대상이 되자, 가넷은 이 서비스를 사용하던 모든 지역 시장에서 리드AI의 사용을 일시 중지하기로 결정했다.

리드AI의 CEO 제이 앨레드는 CNN에 보낸 성명에서 유감을 표명하고 문제 해결을 위해 24시간 내내 노력하겠다고 약속했다.

나이를 이유로 지원자를 거부한 아이튜터그룹의 채용 AI
2023년 8월, 사설 교육 회사인 아이튜터그룹은 미국 평등고용기회위원회(EEOC)가 제기한 소송을 무마하는 조건으로 36만 5,000달러를 지불하기로 합의했다. 연방 기관은 중국의 학생들에게 원격 과외 서비스를 제공하는 이 회사가 55세 이상의 여성 지원자와 60세 이상의 남성 지원자를 자동으로 거부하는 AI 기반 채용 소프트웨어를 사용했다고 밝혔다.

EEOC는 200명 이상의 자격을 갖춘 지원자가 이 소프트웨어에 의해 자동으로 거부되었다고 말했다.
샬롯 A. 버로우스 EEOC 위원장은 "연령 차별은 부당하고 불법이다. 기술이 차별을 자동화하더라도 고용주는 여전히 책임이 있다"라고 말했다.

아이튜터그룹은 잘못을 부인하면서도 소송에 합의하기로 결정했다. 또 합의 및 동의 명령의 일환으로 새로운 차별 금지 정책을 채택하는 데 동의했다.

법정 소송을 혼란에 빠뜨린 챗GPT
2023년은 대규모 언어 모델(LLM)이 괄목할 만한 발전을 이뤘다. 대부분 산업 분야에서 생성형 AI의 잠재력에 관심을 보였고, 그 중심에는 오픈AI의 챗GPT가 있다. 챗GPT에 대한 시장의 폭넓은 관심은 생성형 AI가 앞으로 업무의 본질을 얼마나 크게 바꿔낼 지를 시사한다.

하지만 생성형 AI는 아직 대부분의 업무 프로세스를 안정적으로 대체하기에 이른 감이 있다. 한 변호사의 사례가 이를 잘 보여준다. 2023년 콜롬비아 아비앙카 항공을 상대로 한 소송(미국 연방 지방법원) 판례 조사에 챗GPT를 사용해 곤경에 처한 변호사 스티븐 A. 슈워츠의 사례다.

로펌 레비도우, 레비도우 앤 오버만의 변호사 슈워츠는 아비앙카 직원 로베르토 마타가 2019년 부상을 입고 제기한 소송 과정에 챗GPT를 사용했다. 문제가 뭐였을까? 챗GPT가 서류에 기록한 사례 중 최소 6건은 애초에 존재하지 않았다. 판사 P. 케빈 카스텔은 슈워츠가 제출한 사례에 가짜 이름과 가짜 사건 번호, 가짜 인용문이 담겼다고 지적했다.

슈워츠는 사건 진술서에서 챗GPT를 법률 연구 자료로 사용한 것이 처음이라고 밝히며 “내용 자체가 허위일 가능성은 고려하지 못했다”라고 말했다. 그는 AI 챗봇이 제공한 출처를 검증하지 않았다고 인정했다. 또 슈워츠는 “본 법률 연구를 보완하기 위해 생성형 인공지능을 활용한 것을 크게 후회하며 앞으로도 진위 여부에 대한 확실한 검증 없이는 절대 사용하지 않을 것”이라고 말했다.

2023년 6월 슈워츠는 법원의 제재를 받을 위기에 처했다.

AI 알고리즘이 수많은 것을 분석하지만 코로나19는 아니었다
코로나19 팬데믹이 시작된 이후로 여러 조직들이 병원 진단을 돕거나 환자를 더욱 신속하게 분류할 수 있도록 머신러닝(ML) 알고리즘을 적용하려 했다. 하지만 영국의 국립 데이터 사이언스 및 AI 센터 TI(Turing Institute)에 따르면 이 예측 도구는 별다른 차이를 만들어내지 못했다.

MIT 테크놀로지 리뷰(MIT Technology Review)는 여러 AI 실패 사례를 연대기 순으로 나열한 바 있다. 대부분은 도구를 훈련시키거나 테스트하는 동안 발생한 오류에 기인한 것이었다. 라벨이 잘못 적용된 데이터나 알 수 없는 출처의 데이터를 사용하는 것이 공통적인 원인이었다.

캠브리지대학교(University of Cambridge)의 머신러닝 연구원 데렉 드릭스는 그의 동료들과 함께 코로나19 바이러스 진단에 딥러닝 모델의 사용을 연구했으며, 해당 논문을 NMI(Nature Machine Intelligence)에 발표했다. 

해당 논문에는 임상 용도로 적합하지 않은 기법을 다룬 내용이 담겨 있었다. 예를 들어, 드릭스의 그룹은 자체 모델이 스캔 중 누워있는 환자와 서 있는 환자의 스캔을 포함하고 있는 데이터 세트로 훈련했기 때문에 결함이 있다는 사실을 발견했다. 누워 있던 환자들은 심각하게 아플 가능성이 훨씬 높았기 때문에 알고리즘은 환자의 자세를 코로나19 증상의 주요 변인으로 추정했다.

유사한 예로 건강한 어린이의 흉부 스캔을 포함하는 데이터 세트로 훈련된 알고리즘이 있다. 이 알고리즘은 고위험 환자가 아닌 어린이를 식별하는 방법을 학습했다.

질로우(Zillow)는 알고리즘 실수로 인한 주택 구매 실수로 인해 인력을 감축해야 했다
2021년 11월, 온라인 부동산 기업 질로우는 주주들에게 향후 7분기 동안 질로우 오퍼(Zillow Offers) 운영을 서서히 중단하고 회사 인력 중 약 2,000명에 달하는 25%를 감축할 것이라고 밝혔다. 주택 가격을 예측하기 위해 사용한 머신러닝 알고리즘에 커다란 오류가 있었기 때문이다.

질로우 오퍼는 프로그램이었고, 이를 통해 해당 기업은 머신러닝 알고리즘에서 파생된 주택 가치에 대한 ‘제스티메이트(Zestimate)’에 기초하여 부동산에 대한 현금 가격을 제시했다. 핵심은 부동산을 개보수하고 신속하게 재판매하는 것이었다. 하지만 질로우의 대변인에 따르면 알고리즘의 중앙값 오류율이 1.9%였고, 장외 주택의 오류율은 최대 6.9%에 달했다.

CNN은 질로우가 2018년 4월 질로우 오퍼 출시 이후로 2만 7,000채의 주택을 구매했지만 2021년 9월 말까지 1만 7,000채만 판매했다고 보도했다. 코로나19 팬데믹 같은 블랙스완 이벤트와 주택 개보수 노동력 부족이 알고리즘의 정확도 문제를 심화시켰다.

질로우는 알고리즘으로 인해 의도하지 않게 주택을 높은 가격으로 구매하여 2021년 3/4분기에 3억 400만 달러의 재고자산 평가절하가 발생했다고 밝혔다.

질로우의 공동 창립자이자 CEO인 리치 바톤은 투자자와의 컨퍼런스 콜에서, 알고리즘을 조정하는 일이 가능할지도 모르겠지만 궁극적으로 매우 위험하다고 말했다.

스프레드시트 데이터 한계를 초과하여 코로나19 사례를 잃은 영국
2020년 10월, 새로운 코로나19 감염 통계를 담당하는 영국 정부기관 PHE(Public Health England)는 9월 25일과 10월 2일 사이에 약 1만 6,000건의 코로나바이러스 사례가 보고되지 않았다고 밝혔다. 그 원인은? 마이크로소프트 엑셀의 데이터 한계였다.

PHE는 자동화된 프로세스를 통해 CSV 파일의 코로나19 양성 결과를 보고 대시보드가 접촉 추적을 위해 사용하는 엑셀 템플릿으로 전환한다. 엑셀 스프레드시트는 워크시트당 최대 1,04만 8,576개의 행과 1만 6,384개의 열을 가질 수 있다. PHE는 사례를 행보다 열로 나열하고 있었다. 사례가 1만 6,384개의 열 한계를 초과하자 엑셀은 하단에 있는 1만 5,841개의 기록을 잘라냈다.

이 ‘결함’ 때문에 테스트를 받은 사람이 결과를 받지 못하는 일은 없었지만 접촉 추적에 방해가 되어 영국NHS가 감염된 환자와 밀접 접촉한 사람을 확인하고 알림을 제공하기가 더 어려웠다. 10월 4일 성명에서 PHE의 임시 총책임자 마이클 브로디는 NHS T&T(Test and Trace)와 PHE가 이 문제를 신속하게 해결하고 아직 처리되지 않은 기존의 모든 사례를 NHS T&T 접촉 추적 시스템으로 즉시 전송했다고 말했다.

PHE는 대용량 파일을 분할하는 ‘신속 마이그레이션’을 마련했으며 미래의 유사한 사고를 방지하기 위해 전체 시스템을 대상으로 완전한 E2E(End to End) 리뷰를 수행했다.

의료 알고리즘이 흑인 환자를 표시하지 못하다
2019년, 사이언스(Science)에 게재된 논문에 따르면 ‘고위험 치료 관리’ 프로그램이 필요한 환자를 확인하기 위해 미국 전역의 병원과 보험사가 사용하는 의료 예측 알고리즘이 흑인 환자를 선별할 가능성이 매우 낮은 것으로 나타났다.

고위험 치료 관리 프로그램은 심각한 합병증을 예방하기 위해 만성 질환 환자에게 숙련된 간호 인력과 1차 의료 모니터링을 제공한다. 하지만 해당 알고리즘은 흑인 환자보다 백인 환자에게 이 프로그램을 추천할 가능성이 훨씬 높았다.

해당 연구에서는 알고리즘이 사람의 의료 필요를 판단하기 위해 의료 지출을 프록시(Proxy)로 사용했다는 사실을 발견했다. 하지만 SA(Scientific American)에 따르면 더 아픈 흑인 환자의 의료 비용이 더 건강한 백인 환자의 비용과 유사한 것으로 나타났으며, 이로 인해 실제 필요한 것보다 낮은 위험 점수를 받았다.

해당 연구의 연구원들은 몇 가지 요소가 기여했을 수 있다고 밝혔다. 첫째, 유색인종은 수입이 낮을 가능성이 더 높고, 이로 인해 보험 적용 시에도 의료적 치료에 대한 접근성이 낮아질 수 있다. 암묵적 편견으로 인해 유색인종이 저품질 진료를 받을 수도 있다.

해당 연구에서는 알고리즘이나 개발자의 이름을 밝히지 않았지만 연구원들은 SA에 이 상황을 해결하기 위해 개발자와 협력하고 있다고 밝혔다.

마이크로소프트 챗봇이 인종차별적 트윗을 작성하다
2016년 3월, 마이크로소프트는 트위터 상호작용을 머신 러닝 알고리즘을 위한 훈련 데이터로 사용하면 당황스러운 결과를 얻을 수 있음을 배웠다.

마이크로소프트는 소셜 미디어 플랫폼에 AI 챗봇 테이(Tay)를 공개했다. 해당 기업은 이것이 ‘대화형 이해’ 실험이라고 설명했다. 핵심은 머신 러닝과 자연어 처리를 조합하여 챗봇이 10대 소녀로 가장하여 트위터를 통해 사람들과 상호작용하는 것이었다. 마이크로소프트는 익명화 된 공개 데이터와 코미디언들이 사전에 작성한 일부 자료를 입력한 후 소셜 네트워크에서의 상호작용으로부터 학습하고 진화할 수 있도록 했다.

16시간 안에 챗봇은 9만 5,000개 이상의 트윗을 게시했다. 트윗들은 이내 과도하게 인종 차별적이고 여성 혐오적이며 반유대주의적으로 바뀌었다. 마이크로소프트는 조정을 위해 서비스를 신속하게 중단했으며 궁극으로 종료했다.

“테이의 의도하지 않은 공격적이고 마음에 상처를 주는 트윗에 대해 깊은 유감을 표하며, 이는 우리의 정체성 또는 우리가 추구하는 것 또는 우리가 테이를 설계한 방식과 무관하다”라고 마이크로소프트 R&I(Research & Incubations)의 부사장(그리고 마이크로소프트 헬스케어(Microsoft Healthcare)의 부사장) 피터 리가 사건 발생 후 마이크로소프트 블로그의 게시물을 통해 밝혔다.

리 부사장은 테이의 전작으로 2014년 중국에서 마이크로소프트가 공개한 샤오이스(Xiaoice)의 경우 테이 공개 2년 전 4,000만 명 이상의 사람들과 대화하는 데 성공했다고 밝혔다. 마이크로소프트가 고려하지 않은 것은 트위터 사용자 집단이 테이에게 즉시 인종차별주의적이고 여성 혐오적인 트윗을 작성하기 시작할 것이라는 점이었다. 봇은 자료를 통해 신속하게 학습하고 이를 자체 트윗에 포함시켰다.

리는 “우리는 다양한 유형의 시스템 남용에 대비했지만 이런 공격을 간과했다. 그 결과, 테이는 극도로 부적절하고 비난받을 만한 단어와 이미지를 사용했다”라고 밝혔다.

아마존(Amazon) AI 기반 채용 도구가 남성 지원자만 추천
많은 대기업들과 마찬가지로 아마존은 HR 부서가 최고의 후보자들의 지원서를 선별하는 데 도움이 될 수 있는 도구를 원한다. 2014년, 아마존은 이런 기능을 가진 AI 기반 채용 소프트웨어를 개발하기 시작했다. 그런데 한가지 문제점이 있었다. 시스템이 남성 후보자를 훨씬 선호했다. 2018년, 로이터(Reuters)는 아마존이 해당 프로젝트를 폐기했다는 소식을 전했다.

아마존의 시스템은 후보자에게 1~5개의 별점을 주었다. 하지만 시스템의 핵심은 머신러닝 모델은 아마존에 제출된 10년치 분량의 이력서로 훈련을 받았고, 대부분은 남성이 작성한 것이었다. 이런 훈련 데이터로 인해 시스템은 ‘여성’이라는 단어가 포함된 이력서의 문구를 불리하게 판단하기 시작했으며 여성 대학 출신의 후보자들을 떨어뜨리기도 했다.

당시, 아마존은 아마존의 채용 담당자들이 후보자를 평가하기 위해 해당 도구를 사용한 적이 없다고 밝혔다. 해당 기업은 도구를 중립화하기 위해 수정했지만 궁극적으로 후보자를 분류하는 다른 비차별적인 방식을 학습할 것임을 보장할 수 없다고 판단하고 프로젝트를 종료했다.

타겟(Target) 분석이 프라이버시를 침해했다
2012년, 소매 대기업 타겟의 분석 프로젝트에서 기업들이 자체 데이터로부터 고객에 관해 얼마나 많은 것을 알 수 있는지를 보여주는 사고가 발생했다. 뉴욕타임즈에 따르면 2002년 타겟의 마케팅 부서는 고객이 임신했는지 여부를 판단할 수 있는 방법이 궁금해졌다. 

이런 의문점은 예측 분석 프로젝트로 이어졌고, 이로 인해 해당 소매 기업은 의도하지 않게 10대 소녀의 가족에게 그녀가 임신했다는 사실을 알리게 되었다. 결과적으로, 모든 기사와 마케팅 블로그에서 이 사건이 ‘오싹한 요소’를 피하라는 조언의 일부가 되었다.

타겟의 마케팅 부서는 사람들이 구매 습관을 급격하게 바꿀 가능성이 가장 높은 인생의 특정 시기(특히, 임신)가 있기 때문에 임신한 사람들을 확인하고자 했었다. 임신 기간에 있는 사람들에게 연락을 취할 수 있다면, 이런 고객들에게 새로운 행동을 유도하여 타겟에서 식료품 또는 의류 또는 다른 물품을 구매하도록 할 수 있다는 기대에서였다.

다른 모든 대형 소매기업들과 마찬가지로 타겟은 쇼핑객 코드, 신용카드, 설문조사 등을 통해 고객에 대한 데이터를 수집했다. 해당 데이터를 구매한 인구 통계 데이터 및 제3자 데이터와 결합했다. 타겟의 분석팀은 이 모든 데이터를 분석하여 타겟에서 판매하는 약 25개의 제품을 함께 분석하여 ‘임신 예측’ 점수를 생성할 수 있다고 판단할 수 있었다. 마케팅 부서는 점수가 높은 고객에게 쿠폰과 마케팅 메시지를 제공할 수 있었다.

추가적으로 밝혀진 사실도 오싹하다. 해당 기업은 표적화 된 마케팅을 중단하지 않았지만 기저귀 광고 옆에 있는 잔디 깎는 기계 광고 등 임신한 여성이 구매하지 않는 것에 대한 광고를 결합하여 광고가 고객들에게 무작위처럼 느껴지도록 했다.
ciokr@idg.co.kr