2018.12.17

"중요 결정 상당수 이미 AI 몫"··· '윤리적 AI 툴' 개발 속도 낸다

George Nott | Computerworld
머신러닝 모델을 윤리적이고 편견 없도록 하는 것은 매우 어렵다. 지난 10월 아마존닷컴이 4년간 진행해 온 채용 과정 자동화 프로젝트를 전격 폐기한 것도 이 때문이다. 로이터 보도에 따르면, 아마존닷컴은 이 시스템이 개발과 기술직 지원자에 대해 성차별 없는 방식으로 순위를 매기는 것이 불가능하다고 결론 내렸다.

© Getty Images Bank

이 사건은 머신러닝 모델을 더 공정하게 만드는 방법이 항상 '직관적인' 것은 아니라는 것을 보여준다. 예를 들어 아마존닷컴의 데이터 사이언티스트들은 채용 툴에 머신러닝을 적용할 때 성별 인식 변수를 제거하면 공정한 결과가 나올 것으로 믿었던 것 같다.

그러나 이렇게 하면 오히려 여성에게 더 불리한 결과가 나올 수 있다. 그래이디언 연구소(Gradient Institute)의 이사 빌 심슨 영은 "일부러 데이터를 빠뜨리면 더 공정한 결과를 얻을 수 있다고 생각하는 사람들이 있다. 그러나 오히려 이롭지 못한 결과를 얻을 수 있다. 이것은 인식적이고 합리적인 인간의 직관이 정확하지 않을 수 있다는 많은 사례 중 하나일 뿐이다. 데이터 과학자들은 순진한 직관에 의지하는 대신 편견이 AI에 어떻게 스며들고 이를 어떻게 제거할 수 있는지에 대해 더 연구할 필요가 있다"라고 말했다.

그래이디언 연구소가 하는 작업이 바로 이 일이다. 연구소의 이름은 최적화 경향(propensity towards optimisation)이라는 머신러닝 용어에서 따왔다. 모든 시스템이 윤리적으로 작동하는 세상을 만들기 위해 출범했다. 연구소에 따르면, 편견은 윤리적 기계를 만드는 과정의 수많은 함정 중 하나일 뿐이다. 이 연구소는 머신러닝 모델이 간과하는 인간의 가치, 알고리즘에 대한 설명 가능성 등에 대해서도 주목하고 있다. 심슨 영은 "반대로 기계가 오판한 일부 사실이 있다는 점만으로 인간이 모든 것을 결정해야 한다고 생각하는 사람들이 저지르는 실수에도 주목하고 있다"라고 말했다.

그래이디언 연구소는 시드니에 사무실이 둔 비영리 기관이다. 10명 정도의 수학자와 머신러닝 전문가로 구성됐으며, 현재 채용을 계속 진행 중이다. CSIRO의 데이터61(Data61)에서 엔지니어링과 디자인 이사를 맡았던 심슨 영이 현재 CEO이고, 최고 사이언티스트는 보험기업 IAG의 자회사 엠비아타(Ambiata)의 공동 설립자인 티베리오 캐타노 박사다.

이 연구소는 양적 공정성(quantitative fairness)이라는 새로운 분야에서 연구를 진행 중이다. 연구 결과를 실제 검증하기 위해 공공과 민간 부문과도 손을 잡았다. 심슨 영은 "이 윤리적 AI 툴은 오픈소스로 제공할 것이다"라고 말했다.

연구소의 작업 대부분은 매우 기술적인 것이지만, 코더와 의사결정권자에게 윤리적 AI 시스템을 어떻게 개발, 사용할지에 대한 교육도 제공할 예정이다. 심슨 영은 "데이터 사이언티스트와 개발자가 이를 이해하는 것만으로는 부족하다. 머신러닝 시스템을 운영하는 사람들이 이를 이해하는 것이 더 중요하다. 현재는 윤리적 영향을 유발하는 것들이 코드 수준에서 다뤄진다. 그러나 고급 관리 영역에서도 이런 작업이 이뤄져야 한다. 이런 사람들이 어떤 가치를 의미 있게 보고 어떤 가치를 덜 의미 있게 볼 것인가에 대해 결정하기 때문이다"라고 말했다. 
 
IAG는 이 연구소 설립에 관여하면서 CSIRO의 데이터61, 시드니대 등과도 손을 잡았다. 이들이 이 툴의 초기 도입 기업이 될 예정이다. IAG는 윤리적 AI가 올바르게 작동하도록 하는 것에 기업 가치에도 도움이 된다고 보고 있다. 

IAG의 CCO(chief customer officer) 줄리 배치는 "윤리적 AI는 자동화된 기기의 의사결정에 대한 신뢰를 높일 것이다. 우리가 연구소가 개발하는 기술과 툴을 초기에 도입하려는 것도 같은 이유다. 이를 통해 고객에게 더 좋은 경험을 제공할 것으로 기대하고 있다. AI의 도전과제와 기회를 이해하려면 공정성과 균일성을 고려해야 한다. 어떤 정부나 기업도 홀로 이 일을 할 수 없다. 우리는 여러 부문과 협업해야 하고 또 빠르게 이 작업을 해야 한다"라고 말했다.

심슨 영도 이 시급함에 동의했다. 그는 "많은 사람이 AI가 미래에 세계를 지배할 것으로 걱정한다. 그러나 이미 오늘날에도 주요 의사결정 상당수를 머신러닝이 담당한다. 채용에 대한 의사결정이나 주택 담보 대출 심사 같은 것이다. 이런 의사결정이 모두 머시러닝을 통해 조정되고 있다. 물론 머신러닝은 이런 작업에 유용하다. 그러나 매우 엉성한 방식으로 사용되는 것이 문제다. 머신러닝 기기는 설계한 대로 학습해 작업을 처리할 뿐 이 작업의 모든 윤리적 고려를 반영하지 못한다"라고 말했다. ciokr@idg.co.kr



2018.12.17

"중요 결정 상당수 이미 AI 몫"··· '윤리적 AI 툴' 개발 속도 낸다

George Nott | Computerworld
머신러닝 모델을 윤리적이고 편견 없도록 하는 것은 매우 어렵다. 지난 10월 아마존닷컴이 4년간 진행해 온 채용 과정 자동화 프로젝트를 전격 폐기한 것도 이 때문이다. 로이터 보도에 따르면, 아마존닷컴은 이 시스템이 개발과 기술직 지원자에 대해 성차별 없는 방식으로 순위를 매기는 것이 불가능하다고 결론 내렸다.

© Getty Images Bank

이 사건은 머신러닝 모델을 더 공정하게 만드는 방법이 항상 '직관적인' 것은 아니라는 것을 보여준다. 예를 들어 아마존닷컴의 데이터 사이언티스트들은 채용 툴에 머신러닝을 적용할 때 성별 인식 변수를 제거하면 공정한 결과가 나올 것으로 믿었던 것 같다.

그러나 이렇게 하면 오히려 여성에게 더 불리한 결과가 나올 수 있다. 그래이디언 연구소(Gradient Institute)의 이사 빌 심슨 영은 "일부러 데이터를 빠뜨리면 더 공정한 결과를 얻을 수 있다고 생각하는 사람들이 있다. 그러나 오히려 이롭지 못한 결과를 얻을 수 있다. 이것은 인식적이고 합리적인 인간의 직관이 정확하지 않을 수 있다는 많은 사례 중 하나일 뿐이다. 데이터 과학자들은 순진한 직관에 의지하는 대신 편견이 AI에 어떻게 스며들고 이를 어떻게 제거할 수 있는지에 대해 더 연구할 필요가 있다"라고 말했다.

그래이디언 연구소가 하는 작업이 바로 이 일이다. 연구소의 이름은 최적화 경향(propensity towards optimisation)이라는 머신러닝 용어에서 따왔다. 모든 시스템이 윤리적으로 작동하는 세상을 만들기 위해 출범했다. 연구소에 따르면, 편견은 윤리적 기계를 만드는 과정의 수많은 함정 중 하나일 뿐이다. 이 연구소는 머신러닝 모델이 간과하는 인간의 가치, 알고리즘에 대한 설명 가능성 등에 대해서도 주목하고 있다. 심슨 영은 "반대로 기계가 오판한 일부 사실이 있다는 점만으로 인간이 모든 것을 결정해야 한다고 생각하는 사람들이 저지르는 실수에도 주목하고 있다"라고 말했다.

그래이디언 연구소는 시드니에 사무실이 둔 비영리 기관이다. 10명 정도의 수학자와 머신러닝 전문가로 구성됐으며, 현재 채용을 계속 진행 중이다. CSIRO의 데이터61(Data61)에서 엔지니어링과 디자인 이사를 맡았던 심슨 영이 현재 CEO이고, 최고 사이언티스트는 보험기업 IAG의 자회사 엠비아타(Ambiata)의 공동 설립자인 티베리오 캐타노 박사다.

이 연구소는 양적 공정성(quantitative fairness)이라는 새로운 분야에서 연구를 진행 중이다. 연구 결과를 실제 검증하기 위해 공공과 민간 부문과도 손을 잡았다. 심슨 영은 "이 윤리적 AI 툴은 오픈소스로 제공할 것이다"라고 말했다.

연구소의 작업 대부분은 매우 기술적인 것이지만, 코더와 의사결정권자에게 윤리적 AI 시스템을 어떻게 개발, 사용할지에 대한 교육도 제공할 예정이다. 심슨 영은 "데이터 사이언티스트와 개발자가 이를 이해하는 것만으로는 부족하다. 머신러닝 시스템을 운영하는 사람들이 이를 이해하는 것이 더 중요하다. 현재는 윤리적 영향을 유발하는 것들이 코드 수준에서 다뤄진다. 그러나 고급 관리 영역에서도 이런 작업이 이뤄져야 한다. 이런 사람들이 어떤 가치를 의미 있게 보고 어떤 가치를 덜 의미 있게 볼 것인가에 대해 결정하기 때문이다"라고 말했다. 
 
IAG는 이 연구소 설립에 관여하면서 CSIRO의 데이터61, 시드니대 등과도 손을 잡았다. 이들이 이 툴의 초기 도입 기업이 될 예정이다. IAG는 윤리적 AI가 올바르게 작동하도록 하는 것에 기업 가치에도 도움이 된다고 보고 있다. 

IAG의 CCO(chief customer officer) 줄리 배치는 "윤리적 AI는 자동화된 기기의 의사결정에 대한 신뢰를 높일 것이다. 우리가 연구소가 개발하는 기술과 툴을 초기에 도입하려는 것도 같은 이유다. 이를 통해 고객에게 더 좋은 경험을 제공할 것으로 기대하고 있다. AI의 도전과제와 기회를 이해하려면 공정성과 균일성을 고려해야 한다. 어떤 정부나 기업도 홀로 이 일을 할 수 없다. 우리는 여러 부문과 협업해야 하고 또 빠르게 이 작업을 해야 한다"라고 말했다.

심슨 영도 이 시급함에 동의했다. 그는 "많은 사람이 AI가 미래에 세계를 지배할 것으로 걱정한다. 그러나 이미 오늘날에도 주요 의사결정 상당수를 머신러닝이 담당한다. 채용에 대한 의사결정이나 주택 담보 대출 심사 같은 것이다. 이런 의사결정이 모두 머시러닝을 통해 조정되고 있다. 물론 머신러닝은 이런 작업에 유용하다. 그러나 매우 엉성한 방식으로 사용되는 것이 문제다. 머신러닝 기기는 설계한 대로 학습해 작업을 처리할 뿐 이 작업의 모든 윤리적 고려를 반영하지 못한다"라고 말했다. ciokr@idg.co.kr

X