2017.06.27

"설명 가능한 AI? 정확성 보장 어렵다" 구글 연구 책임자

Brian Cheon | CIO KR
머신러닝과 AI가 빠르게 확산됨에 따라, 이 기술의 동작을 인간이 이해할 수 있도록 해야 한다는 요구 또한 증가하고 있다.

의료 진단에서부터 대출 자격 심사에 이르기까지 오늘날 인공지능 관련 기술은 중차대한 업무를 담당함에도 불구하고 딥러닝, 머신러닝 아키텍처의 내부 작동은 점점 더 복잡하고 불투명해지고 있다. 일부 과학자, 정부 관계자, 시만들은 이러한 기술들이 '블랙박스'로 변모해가고 있다고 표현한다. 이 기술의 의사 결정 과정을 드러내고, 비전문가들에게 설명할 수 있는 시스템이 필요하다는 주장이 제기되는 이유다.

여기에서 비롯된 것이다 '설명 가능한 인공지능'(explainable artificial intelligence), 약자로 XAI로 알려진 접근 방식이다.

그러나 구글의 한 연구 책임자는 '설명할 수 있는 인공지능'의 가치에 대해 의문을 던지고 나섰다. 나사 딥 스페이스 1 비행 소프트웨어를 개발한 구글의 피터 노빅 디렉터는 인간 또한 자신의 의사 결정을 설명하는데 그리 능숙하지 않은 존재라고 설명했다.

22일 열린 나사의 UNSW 행사에서 노빅은 "인지 심리학자들의 발견에 따르면 인간에게 물어본다고 해서 진짜 의사 결정 과정을 들을 수 있는 것이 아니다. 인간은 결정을 먼저 내리고 설명을 생성해내곤 한다. 진정한 설명이 아닐 수 있다"라고 말했다.

그는 이어 인간이 결정 이후 자신의 행동을 설명하는 것처럼 인공지능에서도 비슷한 방법을 채택할 수 있기는 하다고 설명했다.

"가령 하나의 시스템을 훈련시켜 대답을 하게 하고 다른 시스템을 훈련시켜 설명하도록 하는 것이다"라고 말했다.

이러한 접근법에 대한 연구는 이미 이뤄지고 있다. 캘리포니아 대학과 맥스 플랑크 정보 기관의 연구원은 머신러닝 기반의 이미지 인식을 인간이 이해할 수 있는 설명으로 변환시키는 작업에 대한 논문을 발표했다.

연구진은 논문에서 모델의 숨겨진 상태에 접근함으로써 설명이 도출될 수 있지만 해당 설명이 시스템의 실제 결정 절차와 반드시 일치하는 것을 아닐 수 있다고 설명했다.

노빅은 이번 연구 결과에 더해 "설명만으로는 충분하지 않다. 의사결정 과정을 모니터링할 다른 방안이 필요하다"라고 말했다.

출력 검사
노빅은 AI의 공정성과 편견을 확인하기 위한 좀더 진지한 방법은 내부 동작이 아닌 산출물을 확인하는 것이라고 다음과 같이 말했다.

"만약 대출을 신청했는데 심사 주체가 인간이든 기계든 거절하는 상황이 발생했다. 설명을 요구하면 담보가 충분하지 않다고 말할 수 있다. 그 설명이 맞는 설명일 수 있지만, 사실은 신청자의 피부색이 마음에 들지 않아아서일 수 있다. 신청자는 해당 설명으로부터 진짜 이유를 구별할 수 없다."

"그러나 다양한 경우에 걸쳐 이뤄진 모든 결정을 살펴보면 편견의 존재 여부를 확인할 수 있다. 설명이 있다면 좋은 것이겠지만 확인 방안이 있는 것도 좋다."

실제로 구글의 알고리즘 산출물은 편견을 이유로 고소당한 상태다. 예를 들어 손 또는 아기를 구글 이미지 검색에서 검색해보면 백인 관련 결과무만 나타난다. 2015년에는 구글의 포토 앱이 흑인 커플을 '고릴라'로 분류해 물의를 일으키기도 했다.

구글의 자동환성 기능도 인종차별 및 성차별 고소 대상이다. 예를 들어 '유대인은'이라는 검색어는 '인종, 백인, 기독교인, 악마 등의 연관어로 이어졌다.

구글 측은 12월 옵저버 기사의 답변에서 해당 결과가 구글의 의견이나 신념과 관련 없다고 답변하며 "단순히 웹 상의 콘텐츠를 반영한 것"이라고 덧붙였다.

노빅은 "구글에게는 이를 증명할 시스템이 있다. 입력이 달라질 때 결과물이 달라지거나 또는 동일한 결과물이 나오는지를 보여줄 수 있다. 이러한 방법으로 증명하는 것이 가능하다"라고 말했다. ciokr@idg.co.kr
 



2017.06.27

"설명 가능한 AI? 정확성 보장 어렵다" 구글 연구 책임자

Brian Cheon | CIO KR
머신러닝과 AI가 빠르게 확산됨에 따라, 이 기술의 동작을 인간이 이해할 수 있도록 해야 한다는 요구 또한 증가하고 있다.

의료 진단에서부터 대출 자격 심사에 이르기까지 오늘날 인공지능 관련 기술은 중차대한 업무를 담당함에도 불구하고 딥러닝, 머신러닝 아키텍처의 내부 작동은 점점 더 복잡하고 불투명해지고 있다. 일부 과학자, 정부 관계자, 시만들은 이러한 기술들이 '블랙박스'로 변모해가고 있다고 표현한다. 이 기술의 의사 결정 과정을 드러내고, 비전문가들에게 설명할 수 있는 시스템이 필요하다는 주장이 제기되는 이유다.

여기에서 비롯된 것이다 '설명 가능한 인공지능'(explainable artificial intelligence), 약자로 XAI로 알려진 접근 방식이다.

그러나 구글의 한 연구 책임자는 '설명할 수 있는 인공지능'의 가치에 대해 의문을 던지고 나섰다. 나사 딥 스페이스 1 비행 소프트웨어를 개발한 구글의 피터 노빅 디렉터는 인간 또한 자신의 의사 결정을 설명하는데 그리 능숙하지 않은 존재라고 설명했다.

22일 열린 나사의 UNSW 행사에서 노빅은 "인지 심리학자들의 발견에 따르면 인간에게 물어본다고 해서 진짜 의사 결정 과정을 들을 수 있는 것이 아니다. 인간은 결정을 먼저 내리고 설명을 생성해내곤 한다. 진정한 설명이 아닐 수 있다"라고 말했다.

그는 이어 인간이 결정 이후 자신의 행동을 설명하는 것처럼 인공지능에서도 비슷한 방법을 채택할 수 있기는 하다고 설명했다.

"가령 하나의 시스템을 훈련시켜 대답을 하게 하고 다른 시스템을 훈련시켜 설명하도록 하는 것이다"라고 말했다.

이러한 접근법에 대한 연구는 이미 이뤄지고 있다. 캘리포니아 대학과 맥스 플랑크 정보 기관의 연구원은 머신러닝 기반의 이미지 인식을 인간이 이해할 수 있는 설명으로 변환시키는 작업에 대한 논문을 발표했다.

연구진은 논문에서 모델의 숨겨진 상태에 접근함으로써 설명이 도출될 수 있지만 해당 설명이 시스템의 실제 결정 절차와 반드시 일치하는 것을 아닐 수 있다고 설명했다.

노빅은 이번 연구 결과에 더해 "설명만으로는 충분하지 않다. 의사결정 과정을 모니터링할 다른 방안이 필요하다"라고 말했다.

출력 검사
노빅은 AI의 공정성과 편견을 확인하기 위한 좀더 진지한 방법은 내부 동작이 아닌 산출물을 확인하는 것이라고 다음과 같이 말했다.

"만약 대출을 신청했는데 심사 주체가 인간이든 기계든 거절하는 상황이 발생했다. 설명을 요구하면 담보가 충분하지 않다고 말할 수 있다. 그 설명이 맞는 설명일 수 있지만, 사실은 신청자의 피부색이 마음에 들지 않아아서일 수 있다. 신청자는 해당 설명으로부터 진짜 이유를 구별할 수 없다."

"그러나 다양한 경우에 걸쳐 이뤄진 모든 결정을 살펴보면 편견의 존재 여부를 확인할 수 있다. 설명이 있다면 좋은 것이겠지만 확인 방안이 있는 것도 좋다."

실제로 구글의 알고리즘 산출물은 편견을 이유로 고소당한 상태다. 예를 들어 손 또는 아기를 구글 이미지 검색에서 검색해보면 백인 관련 결과무만 나타난다. 2015년에는 구글의 포토 앱이 흑인 커플을 '고릴라'로 분류해 물의를 일으키기도 했다.

구글의 자동환성 기능도 인종차별 및 성차별 고소 대상이다. 예를 들어 '유대인은'이라는 검색어는 '인종, 백인, 기독교인, 악마 등의 연관어로 이어졌다.

구글 측은 12월 옵저버 기사의 답변에서 해당 결과가 구글의 의견이나 신념과 관련 없다고 답변하며 "단순히 웹 상의 콘텐츠를 반영한 것"이라고 덧붙였다.

노빅은 "구글에게는 이를 증명할 시스템이 있다. 입력이 달라질 때 결과물이 달라지거나 또는 동일한 결과물이 나오는지를 보여줄 수 있다. 이러한 방법으로 증명하는 것이 가능하다"라고 말했다. ciokr@idg.co.kr
 

X