2020.10.26

유실·인종차별·개인정보 침해···애널리틱스 및 AI 결함이 빚은 참사 5건

Thor Olavsrud | CIO
데이터와 머신러닝 알고리즘은 값진 인사이트를 제공한다. 하지만 오류가 발생하면 회사의 평판, 매출, 생존이 위협에 처할 수 있다. 애널리틱스와 인공지능의 결함으로 인해 빚어진 참사에 대해 정리해보았다.
 
ⓒGetty Images Bank

데이터가 석유를 제치고 세계에서 가장 귀중한 자원이 되었다는 표현은 2017년 이코노미스트(Economist)가 사용한 이후 곳곳에서 되풀이되고 있다. 산업군을 막론하고 데이터와 애널리틱스에 많은 투자가 이루어지고 있다. 그러나 석유와 마찬가지로 데이터와 애널리틱스에는 어두운 면이 있다.

IDG의 2020년도 CIO 현황 보고서에 따르면 IT 리더 중 37%는 올해 IT 부문 중 데이터 애널리틱스에 가장 많은 투자를 집행할 거라고 응답했다. 기업들은 애널리틱스와 머신러닝을 통해 얻은 인사이트를 바탕으로 실천 전략을 세워 경쟁 우위를 점할 수 있다. 하지만 결함이 발생하면 회사의 평판, 매출, 생존에 악영향을 미칠 수 있다. 

기업의 자체 데이터와 그 데이터가 의미하는 바를 이해하는 것도 중요하지만 툴을 이해하고, 데이터를 파악하고, 기업의 지향 가치를 확실히 내재화하는 것도 중요하다. 

애널리틱스 및 인공지능의 결함으로 인해 지난 10년간 빚어진 참사 중 눈에 띄는 사례를 몇 가지 살펴보도록 한다. 

1. 영국에서 스프레드시트 데이터 한도 초과로 코로나바이러스 감염 사례 기록 수천 건이 유실된 사건
2020년 10월, 코로나19 신규 감염 사례 집계를 담당하는 영국 정부기관 공중보건국(PHE)은 9월 25일과 10월 2일 사이에 약 1만 6,000건의 코로나바이러스 감염 사례에 대한 보고가 누락됐다고 밝혔다. 원인은 바로 마이크로소프트 엑셀의 데이터 한도에 있었다. 

PHE는 자동화 프로세스를 사용해 CSV파일 형식의 코로나19 확진 결과를 엑셀 템플릿으로 전환한다. 이 엑셀 템플릿은 보고용 대시보드와 접촉자 추적에 활용된다. 그런데 엑셀 스프레드시트는 워크시트 한 개당 최대 104만 8,576개의 행과 1만 6,384개의 열만 들어간다. 더구나, PHE는 행이 아닌 열에 감염 사례를 기록 중이었다. 열 개수가 엑셀 내 한계인 1만 6,384개를 초과하자 맨 하단의 1만 5,841개 기록이 날아갔다. 

이와 같은 ‘결함’은 검사 대상자가 검사 결과를 전달받는 데는 문제를 일으키지 않았지만 접촉자를 추적하는 데 지장을 일으켰다. 영국 국민보건서비스(NHS)가 감염 환자와 긴밀하게 접촉한 사람들을 식별해 통보하는 업무를 수행하기 어려워진 것이다. PHE 임시 최고책임자 마이클 브로디는 10월 4일 성명서를 통해 NHS 테스트 및 추적부서와 PHE가 문제를 신속히 해결했으며 미처리 사례 일체를 즉시 NHS 테스트 및 추적부서의 접촉 추적 시스템으로 옮겼다고 밝혔다.

PHE는 대용량 파일을 분할해 ‘신속한 완화’ 조치를 마련했으며, 향후 유사한 사고의 발생을 예방하기 위해 모든 시스템을 처음부터 끝까지 재검토했다. 

2. 의료 알고리즘에서 흑인 환자가 배제된 사건
2019년 사이언스(Science)에 발표된 연구에 따르면 미국 전역의 병원과 보험회사에서 ‘고위험 치료 관리’ 프로그램 대상자를 식별할 때 사용하는 의료 예측 알고리즘이 흑인 환자들을 배제할 가능성이 높다는 점이 밝혀졌다. 

고위험 치료 관리 프로그램은 만성 환자에게서 심각한 합병증이 발생하는 걸 예방하기 위해 간호 서비스와 1차 의료 모니터링 서비스를 제공한다. 하지만 이 알고리즘은 치료 프로그램의 대상자로 흑인 환자보다 백인 환자를 추천할 가능성이 훨씬 높은 것으로 드러났다.
 
연구에 따르면 이 알고리즘은 한 개인에게 헬스케어 서비스가 필요한지 여부를 판단할 때 지출 의료비를 참고한다는 점이 밝혀졌다. 그런데 사이언티픽 아메리칸(Scientific American)에 따르면, 건강이 안 좋은 흑인 환자가 지출하는 의료비는 건강이 좋은 백인 환자가 지출하는 의료비와 동등한 수준이었다. 즉, 건강이 안 좋은 흑인 환자들은 더 많은 의료서비스가 필요함에도 (프로그램 대상자 추천을 결정하는) 위험 산정 점수를 제대로 못 받았다는 뜻이다. 

이 연구에 참가한 연구진은 몇 가지 요인을 시사했다. 첫째, 유색 인종은 소득이 낮을 가능성이 더 높다. 이는 보험에 가입했더라도 의료서비스에 대한 접근 가능성이 훨씬 낮을 수 있다는 의미다. 암묵적 편견 역시 유색 인종이 질 낮은 치료를 받는 요인이 될 수 있다. 

연구진은 알고리즘이나 개발자의 이름은 밝히지 않았으나 사이언티픽 아메리칸 측에 전한 바에 따르면 개발자와 함께 상황을 해결하기 위해 노력 중이라고 한다.

3. 트위터 데이터로 트레이닝을 받은 마이크로소프트 챗봇이 인종 차별적인 트윗을 쏟아낸 사건
2016년 3월, 마이크로소프트는 트위터 데이터를 머신러닝 알고리즘 훈련용 데이터로 사용할 경우 당황스러운 결과가 나올 수 있다는 사실을 알게 되었다. 

마이크로소프트는 소셜 미디어 플랫폼에 인공지능 챗봇 테이(Tay)를 공개하면서 ‘대화를 이해하기 위한’ 실험이라고 설명했다. 10대 소녀의 모습을 한 챗봇이 머신러닝과 자연어 처리를 병행하며 트위터로 사람들과 소통하도록 하는 실험이었다. 마이크로소프트는 익명 처리된 공개 데이터와 코미디언이 미리 작성한 내용을 챗봇에 입력시킨 후 트위터에서 스스로 학습하도록 내버려두었다. 

챗봇은 16시간 동안 9만 5,000건 이상의 트윗을 게시했는데 시간이 갈수록 점점 인종 차별적, 여성혐오적, 반유대주의적인 내용을 쏟아냈다. 마이크로소프트는 사태 수습을 위해 챗봇의 활동을 급히 중단시켰고 결국 폐기해버렸다. 

사건이 터진 후 마이크로소프트 연구 및 인큐베이션 담당 기업 부사장 피터 리 (당시에는 마이크로소프트 헬스케어 기업 부사장)는 마이크로소프트 공식 블로그 게시물에 “의도치 않게 테이의 트윗으로 모욕과 상처를 드린 데 대해 사과의 말씀을 드립니다. 상기의 트윗은 당사의 정체성이나 옹호하는 가치를 의미하는 것이 아니며 당사는 그러한 트윗을 생산할 의도로 테이를 설계한 것이 아님을 알려드립니다”라는 글을 남겼다.  

리는 2014년 중국에서 공개된 테이의 이전 모델 샤오아이스(Xiaoice)가 테이의 출시 전 2년 동안 4,000만 명이 넘는 사람들과 성공적으로 대화를 나눈 바 있다고 밝혔다. 그러나 마이크로소프트는 일군의 트위터 사용자들이 테이에게 인종차별적이고 여성혐오적인 트윗을 보낼 거라는 점을 미처 계산하지 못했다. 챗봇은 이런 트윗을 금방 학습했고 그대로 트윗에 반영해버렸다.

리는 블로그 게시물을 통해 “다양한 시스템 결함에 대비하기는 했으나 몇몇 특정 공격을 간과한 것은 커다란 실수였다. 그 결과, 테이는 몹시 부적절하고 비난받아 마땅한 말과 이미지를 트윗으로 게시했다”라고 설명했다.

4. 아마존 인공지능 기반 채용 시스템이 남자들만 추천한 사건
많은 대기업과 마찬가지로 아마존은 우수한 지원자를 발탁할 수 있도록 도와주는 도구를 절실히 필요로 한다. 아마존은 바로 그러한 목적을 위해 2014년경 인공지능 기반의 채용 소프트웨어를 사용하기 시작했다. 그런데 이 소프트웨어는 남성 지원자를 훨씬 선호한다는 문제가 있었다. 이후 2018년 로이터 보도에 따르면 아마존은 해당 채용 시스템을 폐기한 걸로 알려졌다. 

당시 아마존 채용 소프트웨어는 지원자에게 1점에서 5점 사이의 점수를 부여했다. 그런데 소프트웨어의 머신러닝에 입력된 트레이닝 데이터는 10년간 아마존에 제출된 이력서였고 제출자의 대부분은 남성이었다. 그 결과 이 소프트웨어는 제출된 이력서에 ‘여성’이라는 단어가 포함돼 있으면 불리한 점수를 부여했으며 심지어 여대 출신 지원자는 등급을 낮추기도 했다.

당시 아마존은 채용 담당자들이 지원자를 평가하는 데 해당 소프트웨어를 사용한 적이 없다고 밝혔다.

아마존은 해당 채용 소프트웨어가 중립성을 갖도록 수정을 하려고 했다. 하지만, 이 소프트웨어가 여타 다른 방식으로 지원자를 차별 선발하는 법을 학습하지 않으리라는 보장을 할 수 없다고 판단하여 폐기했다.

5. 고객 개인정보를 침해한 타겟의 분석 프로젝트
2012년 거대 유통업체 타겟(Target)의 분석 프로젝트는 기업들이 자체 데이터를 통해 고객의 일거수일투족을 어느 정도까지 알아낼 수 있는지 보여줬다. 뉴욕 타임즈(New York Times)의 보도에 따르면 2002년 타겟의 마케팅 부서는 고객의 임신 여부를 알아내는 방법에 대해 궁금증을 갖게 됐다. 부서는 예측 분석 프로젝트에 착수했고 그 결과 한 10대 소녀의 임신 사실을 본의 아니게 그 소녀의 가족에게 알리고 말았다. 당시 여러 기사와 마케팅 블로그들은 이 사건을 인용하며 고객을 '소름 끼치게 하는 요소’를 활용하지 말라는 조언을 하기에 이르렀다. 

사람들이 구매 습관을 급격하게 바꿀 가능성이 높은 시기 중 하나는 임신 기간이다. 타겟의 마케팅 부서는 바로 그런 이유로 임신한 고객을 파악하려 했다.

만약 타겟이 임신 중인 고객에게 관련 상품을 홍보할 수 있다면 이들이 타겟에서 식료품이나 의류 등을 구입하도록 유도할 수 있다. 

다른 대형 유통업체들과 마찬가지로 타겟은 쇼핑객 코드, 신용카드, 설문조사 등을 통해 고객 데이터를 수집해 왔었다. 그런 다음 인구통계학적 데이터, 그리고 외부에서 구입한 데이터와 결합했다. 그 모든 데이터를 입력한 결과 타겟의 분석 팀은 타겟에서 판매하는 25가지 제품을 함께 분석하면 “임신 예측” 점수를 생성할 수 있다는 사실을 알아냈다. 이에 마케팅 부서는 점수가 높은 고객을 대상으로 쿠폰과 마케팅 메시지를 발송할 수 있었다.

또다른 연구는 고객의 임신 현황을 조사하는 행위가 일부 고객을 불쾌하게 할 수 있다고 분석했다. 뉴욕 타임즈에 따르면, 타겟은 위와 같은 표적 마케팅은 철회했지만 대신 임신한 여성이 구매하지 않을 것 같은 상품을 같이 광고하기 시작했다. 예를 들면 기저귀 광고 옆에 잔디 깎는 기계의 광고를 배치함으로써 표적 광고가 아니라 무작위적인 광고처럼 보이게 만든 것이다. ciokr@idg.co.kr



2020.10.26

유실·인종차별·개인정보 침해···애널리틱스 및 AI 결함이 빚은 참사 5건

Thor Olavsrud | CIO
데이터와 머신러닝 알고리즘은 값진 인사이트를 제공한다. 하지만 오류가 발생하면 회사의 평판, 매출, 생존이 위협에 처할 수 있다. 애널리틱스와 인공지능의 결함으로 인해 빚어진 참사에 대해 정리해보았다.
 
ⓒGetty Images Bank

데이터가 석유를 제치고 세계에서 가장 귀중한 자원이 되었다는 표현은 2017년 이코노미스트(Economist)가 사용한 이후 곳곳에서 되풀이되고 있다. 산업군을 막론하고 데이터와 애널리틱스에 많은 투자가 이루어지고 있다. 그러나 석유와 마찬가지로 데이터와 애널리틱스에는 어두운 면이 있다.

IDG의 2020년도 CIO 현황 보고서에 따르면 IT 리더 중 37%는 올해 IT 부문 중 데이터 애널리틱스에 가장 많은 투자를 집행할 거라고 응답했다. 기업들은 애널리틱스와 머신러닝을 통해 얻은 인사이트를 바탕으로 실천 전략을 세워 경쟁 우위를 점할 수 있다. 하지만 결함이 발생하면 회사의 평판, 매출, 생존에 악영향을 미칠 수 있다. 

기업의 자체 데이터와 그 데이터가 의미하는 바를 이해하는 것도 중요하지만 툴을 이해하고, 데이터를 파악하고, 기업의 지향 가치를 확실히 내재화하는 것도 중요하다. 

애널리틱스 및 인공지능의 결함으로 인해 지난 10년간 빚어진 참사 중 눈에 띄는 사례를 몇 가지 살펴보도록 한다. 

1. 영국에서 스프레드시트 데이터 한도 초과로 코로나바이러스 감염 사례 기록 수천 건이 유실된 사건
2020년 10월, 코로나19 신규 감염 사례 집계를 담당하는 영국 정부기관 공중보건국(PHE)은 9월 25일과 10월 2일 사이에 약 1만 6,000건의 코로나바이러스 감염 사례에 대한 보고가 누락됐다고 밝혔다. 원인은 바로 마이크로소프트 엑셀의 데이터 한도에 있었다. 

PHE는 자동화 프로세스를 사용해 CSV파일 형식의 코로나19 확진 결과를 엑셀 템플릿으로 전환한다. 이 엑셀 템플릿은 보고용 대시보드와 접촉자 추적에 활용된다. 그런데 엑셀 스프레드시트는 워크시트 한 개당 최대 104만 8,576개의 행과 1만 6,384개의 열만 들어간다. 더구나, PHE는 행이 아닌 열에 감염 사례를 기록 중이었다. 열 개수가 엑셀 내 한계인 1만 6,384개를 초과하자 맨 하단의 1만 5,841개 기록이 날아갔다. 

이와 같은 ‘결함’은 검사 대상자가 검사 결과를 전달받는 데는 문제를 일으키지 않았지만 접촉자를 추적하는 데 지장을 일으켰다. 영국 국민보건서비스(NHS)가 감염 환자와 긴밀하게 접촉한 사람들을 식별해 통보하는 업무를 수행하기 어려워진 것이다. PHE 임시 최고책임자 마이클 브로디는 10월 4일 성명서를 통해 NHS 테스트 및 추적부서와 PHE가 문제를 신속히 해결했으며 미처리 사례 일체를 즉시 NHS 테스트 및 추적부서의 접촉 추적 시스템으로 옮겼다고 밝혔다.

PHE는 대용량 파일을 분할해 ‘신속한 완화’ 조치를 마련했으며, 향후 유사한 사고의 발생을 예방하기 위해 모든 시스템을 처음부터 끝까지 재검토했다. 

2. 의료 알고리즘에서 흑인 환자가 배제된 사건
2019년 사이언스(Science)에 발표된 연구에 따르면 미국 전역의 병원과 보험회사에서 ‘고위험 치료 관리’ 프로그램 대상자를 식별할 때 사용하는 의료 예측 알고리즘이 흑인 환자들을 배제할 가능성이 높다는 점이 밝혀졌다. 

고위험 치료 관리 프로그램은 만성 환자에게서 심각한 합병증이 발생하는 걸 예방하기 위해 간호 서비스와 1차 의료 모니터링 서비스를 제공한다. 하지만 이 알고리즘은 치료 프로그램의 대상자로 흑인 환자보다 백인 환자를 추천할 가능성이 훨씬 높은 것으로 드러났다.
 
연구에 따르면 이 알고리즘은 한 개인에게 헬스케어 서비스가 필요한지 여부를 판단할 때 지출 의료비를 참고한다는 점이 밝혀졌다. 그런데 사이언티픽 아메리칸(Scientific American)에 따르면, 건강이 안 좋은 흑인 환자가 지출하는 의료비는 건강이 좋은 백인 환자가 지출하는 의료비와 동등한 수준이었다. 즉, 건강이 안 좋은 흑인 환자들은 더 많은 의료서비스가 필요함에도 (프로그램 대상자 추천을 결정하는) 위험 산정 점수를 제대로 못 받았다는 뜻이다. 

이 연구에 참가한 연구진은 몇 가지 요인을 시사했다. 첫째, 유색 인종은 소득이 낮을 가능성이 더 높다. 이는 보험에 가입했더라도 의료서비스에 대한 접근 가능성이 훨씬 낮을 수 있다는 의미다. 암묵적 편견 역시 유색 인종이 질 낮은 치료를 받는 요인이 될 수 있다. 

연구진은 알고리즘이나 개발자의 이름은 밝히지 않았으나 사이언티픽 아메리칸 측에 전한 바에 따르면 개발자와 함께 상황을 해결하기 위해 노력 중이라고 한다.

3. 트위터 데이터로 트레이닝을 받은 마이크로소프트 챗봇이 인종 차별적인 트윗을 쏟아낸 사건
2016년 3월, 마이크로소프트는 트위터 데이터를 머신러닝 알고리즘 훈련용 데이터로 사용할 경우 당황스러운 결과가 나올 수 있다는 사실을 알게 되었다. 

마이크로소프트는 소셜 미디어 플랫폼에 인공지능 챗봇 테이(Tay)를 공개하면서 ‘대화를 이해하기 위한’ 실험이라고 설명했다. 10대 소녀의 모습을 한 챗봇이 머신러닝과 자연어 처리를 병행하며 트위터로 사람들과 소통하도록 하는 실험이었다. 마이크로소프트는 익명 처리된 공개 데이터와 코미디언이 미리 작성한 내용을 챗봇에 입력시킨 후 트위터에서 스스로 학습하도록 내버려두었다. 

챗봇은 16시간 동안 9만 5,000건 이상의 트윗을 게시했는데 시간이 갈수록 점점 인종 차별적, 여성혐오적, 반유대주의적인 내용을 쏟아냈다. 마이크로소프트는 사태 수습을 위해 챗봇의 활동을 급히 중단시켰고 결국 폐기해버렸다. 

사건이 터진 후 마이크로소프트 연구 및 인큐베이션 담당 기업 부사장 피터 리 (당시에는 마이크로소프트 헬스케어 기업 부사장)는 마이크로소프트 공식 블로그 게시물에 “의도치 않게 테이의 트윗으로 모욕과 상처를 드린 데 대해 사과의 말씀을 드립니다. 상기의 트윗은 당사의 정체성이나 옹호하는 가치를 의미하는 것이 아니며 당사는 그러한 트윗을 생산할 의도로 테이를 설계한 것이 아님을 알려드립니다”라는 글을 남겼다.  

리는 2014년 중국에서 공개된 테이의 이전 모델 샤오아이스(Xiaoice)가 테이의 출시 전 2년 동안 4,000만 명이 넘는 사람들과 성공적으로 대화를 나눈 바 있다고 밝혔다. 그러나 마이크로소프트는 일군의 트위터 사용자들이 테이에게 인종차별적이고 여성혐오적인 트윗을 보낼 거라는 점을 미처 계산하지 못했다. 챗봇은 이런 트윗을 금방 학습했고 그대로 트윗에 반영해버렸다.

리는 블로그 게시물을 통해 “다양한 시스템 결함에 대비하기는 했으나 몇몇 특정 공격을 간과한 것은 커다란 실수였다. 그 결과, 테이는 몹시 부적절하고 비난받아 마땅한 말과 이미지를 트윗으로 게시했다”라고 설명했다.

4. 아마존 인공지능 기반 채용 시스템이 남자들만 추천한 사건
많은 대기업과 마찬가지로 아마존은 우수한 지원자를 발탁할 수 있도록 도와주는 도구를 절실히 필요로 한다. 아마존은 바로 그러한 목적을 위해 2014년경 인공지능 기반의 채용 소프트웨어를 사용하기 시작했다. 그런데 이 소프트웨어는 남성 지원자를 훨씬 선호한다는 문제가 있었다. 이후 2018년 로이터 보도에 따르면 아마존은 해당 채용 시스템을 폐기한 걸로 알려졌다. 

당시 아마존 채용 소프트웨어는 지원자에게 1점에서 5점 사이의 점수를 부여했다. 그런데 소프트웨어의 머신러닝에 입력된 트레이닝 데이터는 10년간 아마존에 제출된 이력서였고 제출자의 대부분은 남성이었다. 그 결과 이 소프트웨어는 제출된 이력서에 ‘여성’이라는 단어가 포함돼 있으면 불리한 점수를 부여했으며 심지어 여대 출신 지원자는 등급을 낮추기도 했다.

당시 아마존은 채용 담당자들이 지원자를 평가하는 데 해당 소프트웨어를 사용한 적이 없다고 밝혔다.

아마존은 해당 채용 소프트웨어가 중립성을 갖도록 수정을 하려고 했다. 하지만, 이 소프트웨어가 여타 다른 방식으로 지원자를 차별 선발하는 법을 학습하지 않으리라는 보장을 할 수 없다고 판단하여 폐기했다.

5. 고객 개인정보를 침해한 타겟의 분석 프로젝트
2012년 거대 유통업체 타겟(Target)의 분석 프로젝트는 기업들이 자체 데이터를 통해 고객의 일거수일투족을 어느 정도까지 알아낼 수 있는지 보여줬다. 뉴욕 타임즈(New York Times)의 보도에 따르면 2002년 타겟의 마케팅 부서는 고객의 임신 여부를 알아내는 방법에 대해 궁금증을 갖게 됐다. 부서는 예측 분석 프로젝트에 착수했고 그 결과 한 10대 소녀의 임신 사실을 본의 아니게 그 소녀의 가족에게 알리고 말았다. 당시 여러 기사와 마케팅 블로그들은 이 사건을 인용하며 고객을 '소름 끼치게 하는 요소’를 활용하지 말라는 조언을 하기에 이르렀다. 

사람들이 구매 습관을 급격하게 바꿀 가능성이 높은 시기 중 하나는 임신 기간이다. 타겟의 마케팅 부서는 바로 그런 이유로 임신한 고객을 파악하려 했다.

만약 타겟이 임신 중인 고객에게 관련 상품을 홍보할 수 있다면 이들이 타겟에서 식료품이나 의류 등을 구입하도록 유도할 수 있다. 

다른 대형 유통업체들과 마찬가지로 타겟은 쇼핑객 코드, 신용카드, 설문조사 등을 통해 고객 데이터를 수집해 왔었다. 그런 다음 인구통계학적 데이터, 그리고 외부에서 구입한 데이터와 결합했다. 그 모든 데이터를 입력한 결과 타겟의 분석 팀은 타겟에서 판매하는 25가지 제품을 함께 분석하면 “임신 예측” 점수를 생성할 수 있다는 사실을 알아냈다. 이에 마케팅 부서는 점수가 높은 고객을 대상으로 쿠폰과 마케팅 메시지를 발송할 수 있었다.

또다른 연구는 고객의 임신 현황을 조사하는 행위가 일부 고객을 불쾌하게 할 수 있다고 분석했다. 뉴욕 타임즈에 따르면, 타겟은 위와 같은 표적 마케팅은 철회했지만 대신 임신한 여성이 구매하지 않을 것 같은 상품을 같이 광고하기 시작했다. 예를 들면 기저귀 광고 옆에 잔디 깎는 기계의 광고를 배치함으로써 표적 광고가 아니라 무작위적인 광고처럼 보이게 만든 것이다. ciokr@idg.co.kr

X