2018.03.27

블로그 | AI 내부의 편견, 방치하면 증폭된다

Sharon Florentine | CIO
AI 시스템 내부의 편견이 의도치 않은 결과로 이어질 수 있다. 문제를 제대로 해결하기 위해서는 AI 시스템이 입력 데이터를 해석하는 방법을 이해하는 것이 중요하다.

알렉사와 시리, 코타나와 같은 가상 비서들이 일상 생활의 일부로 녹아들고 있다. 이들에게는 가상 비서라는 점 외에도 공통점이 하나 있다. 모두 '여성'으로 표시되도록 코드화되어 있다는 것이다.

인공지능 비서가 왜 모두 여성인지에 대해 의문을 가진 이는 또 있었다. 클라우드 기반의 고객 서비스 메시징 솔루션 기업 라이브퍼슨(LivePerson)은 미국인 1,000 명을 대상으로 인공 지능과 기술의 성별 차이에 대한 인식을 조사하도록 의뢰했다. '알렉사, 시리, 구글 어시스턴트는 모두 여성입니다. 이에 대해 생각해본 적 있습니까?'라는 질문에 52.3%의 응답자는 그렇지 않다고 대답했다.

라이브퍼슨의 롭 로카시오 CEO는 "도우미 기술을 여성으로 특정하고 있는 이유가 무엇인가? 이러한 사실은 어떤 현실을 반영하고 있는가? 여성은 주문을 접수하는데 능숙하기 때문인가?"라고 말했다.

증폭되는 편견
편견 문제는 가상비서 분야에만 존재하지 않는다. 블룸버그 보고서에 따르면 인공지능 시스템이 제작자의 편견을 되풀이하고 증폭하는 경향에 주목하는 연구자들이 있다.

"대출 신청자의 신용 가치에서 암 환자의 치료에 이르기까지 머신러닝과 이미지 인식, 기타 인공지능 도구가 활용되는 분야가 증가하고 있다. 그러나 이러한 도구들에는 여성이나 소수 민족에게 영향을 미치는 사각 지대가 있을 수 있다"라고 보고서는 전했다.

예를 들어 채용 과정에서 AI가 활용되는데, 이 과정에서 AI가 다양성 문제를 증폭시킬 수 있다. AI 리크루팅 기업 알리오(AllyO)의 안킷 소미나 공동 설립자는 "기술 분야에서 기술직 후보자를 찾고 있다면 백인이 채용될 가능성이 높다. 오늘날 다양성의 부족이 이러한 시스템에 어떤 영향을 미치는지 이해하지 못한다면 문제를 악화시킬 수 있다"라고 말했다.

쇼핑몰 사례에는 반대로 작동한다. 로카시오는 "온라인 쇼핑의 70% 이상이 여성에 의해 수행된다. 여성들이 구매력을 보유하고 지출 결정을 내리는 경우가 많다. 고객을 유치하고 유지하려면 이를 감안해야 한다. 남성에 의해 남성 위주로 고안된 인터페이스는 비즈니스 경쟁 우위를 상실할 수도 있는 것이다"라고 말했다.

AI 커리어 플랫폼 글로트의 컨텐츠 및 커뮤니티 매니저인 멜라니 파치는 주어진 결과를 지속적으로 검토하고 편견을 주의 깊게 관찰하는 것이 중요하다고 덧붙였다. 글로트의 경우 성별이나 인종, 민족을 연상시킬 수 있는 요인을 제거할 뿐 아니라 사회 경제적 계층을 암시할 수 있는 다른 요소 또한 익명화한다는 설명이다.

그는 "예를 들어 승마와 같은 특정 취미가 영향을 끼칠 수 있다는 사실을 발견했다. 또 특정 역할에 대해서는 학위 수준이 직무 성공과 상관 관계가 없다는 점을 발견했다. 우리는 이러한 요인을 고려해 무의미한 요인을 배제하고 다른 데이터 요소에 중점을 두고 있다"라고 말했다.

파치는 AI가 내린 결정을 지속적으로 검토해 편견을 악화시키지 않아야 한다고 강조했다. 그는 "알고리즘이 내리는 결론을 그대로 받아들이면 안 된다. 더 나은 요인을 지속적으로 발견해 적용시켜 나간다면 기술 또한 우리와 함께 배우고 진화할 것이다"라고 말했다. ciokr@idg.co.kr 



2018.03.27

블로그 | AI 내부의 편견, 방치하면 증폭된다

Sharon Florentine | CIO
AI 시스템 내부의 편견이 의도치 않은 결과로 이어질 수 있다. 문제를 제대로 해결하기 위해서는 AI 시스템이 입력 데이터를 해석하는 방법을 이해하는 것이 중요하다.

알렉사와 시리, 코타나와 같은 가상 비서들이 일상 생활의 일부로 녹아들고 있다. 이들에게는 가상 비서라는 점 외에도 공통점이 하나 있다. 모두 '여성'으로 표시되도록 코드화되어 있다는 것이다.

인공지능 비서가 왜 모두 여성인지에 대해 의문을 가진 이는 또 있었다. 클라우드 기반의 고객 서비스 메시징 솔루션 기업 라이브퍼슨(LivePerson)은 미국인 1,000 명을 대상으로 인공 지능과 기술의 성별 차이에 대한 인식을 조사하도록 의뢰했다. '알렉사, 시리, 구글 어시스턴트는 모두 여성입니다. 이에 대해 생각해본 적 있습니까?'라는 질문에 52.3%의 응답자는 그렇지 않다고 대답했다.

라이브퍼슨의 롭 로카시오 CEO는 "도우미 기술을 여성으로 특정하고 있는 이유가 무엇인가? 이러한 사실은 어떤 현실을 반영하고 있는가? 여성은 주문을 접수하는데 능숙하기 때문인가?"라고 말했다.

증폭되는 편견
편견 문제는 가상비서 분야에만 존재하지 않는다. 블룸버그 보고서에 따르면 인공지능 시스템이 제작자의 편견을 되풀이하고 증폭하는 경향에 주목하는 연구자들이 있다.

"대출 신청자의 신용 가치에서 암 환자의 치료에 이르기까지 머신러닝과 이미지 인식, 기타 인공지능 도구가 활용되는 분야가 증가하고 있다. 그러나 이러한 도구들에는 여성이나 소수 민족에게 영향을 미치는 사각 지대가 있을 수 있다"라고 보고서는 전했다.

예를 들어 채용 과정에서 AI가 활용되는데, 이 과정에서 AI가 다양성 문제를 증폭시킬 수 있다. AI 리크루팅 기업 알리오(AllyO)의 안킷 소미나 공동 설립자는 "기술 분야에서 기술직 후보자를 찾고 있다면 백인이 채용될 가능성이 높다. 오늘날 다양성의 부족이 이러한 시스템에 어떤 영향을 미치는지 이해하지 못한다면 문제를 악화시킬 수 있다"라고 말했다.

쇼핑몰 사례에는 반대로 작동한다. 로카시오는 "온라인 쇼핑의 70% 이상이 여성에 의해 수행된다. 여성들이 구매력을 보유하고 지출 결정을 내리는 경우가 많다. 고객을 유치하고 유지하려면 이를 감안해야 한다. 남성에 의해 남성 위주로 고안된 인터페이스는 비즈니스 경쟁 우위를 상실할 수도 있는 것이다"라고 말했다.

AI 커리어 플랫폼 글로트의 컨텐츠 및 커뮤니티 매니저인 멜라니 파치는 주어진 결과를 지속적으로 검토하고 편견을 주의 깊게 관찰하는 것이 중요하다고 덧붙였다. 글로트의 경우 성별이나 인종, 민족을 연상시킬 수 있는 요인을 제거할 뿐 아니라 사회 경제적 계층을 암시할 수 있는 다른 요소 또한 익명화한다는 설명이다.

그는 "예를 들어 승마와 같은 특정 취미가 영향을 끼칠 수 있다는 사실을 발견했다. 또 특정 역할에 대해서는 학위 수준이 직무 성공과 상관 관계가 없다는 점을 발견했다. 우리는 이러한 요인을 고려해 무의미한 요인을 배제하고 다른 데이터 요소에 중점을 두고 있다"라고 말했다.

파치는 AI가 내린 결정을 지속적으로 검토해 편견을 악화시키지 않아야 한다고 강조했다. 그는 "알고리즘이 내리는 결론을 그대로 받아들이면 안 된다. 더 나은 요인을 지속적으로 발견해 적용시켜 나간다면 기술 또한 우리와 함께 배우고 진화할 것이다"라고 말했다. ciokr@idg.co.kr 

X