2018.01.25

"설명할 수 없는 AI라면 퇴출되어야 한다" IBM 지니 로메티

George Nott | CIO Australia
"자사 제품의 인공지능이 내린 결정을 설명할 수 없는 기업이라면 시장에서 퇴출되어야 한다." IBM의 최고 책임자 지니 로메티의 말이다.

로메티는 스위스 다보스 스키 리조트에서 열리는 세계 경제 포럼(World Economic Forum)의 일환으로 발간한 기고문에서 AI 관련 투명성을 특징을 하는 '데이터 책임이라는 시대로는 시대'(new era of data responsibility)를 촉구했다.

IBM의 의장이자 대표, CEO인 그녀는 "인공지능이 구현하는 새로운 능력과 관련해 우리는 그것이 언제, 어떻게 적용되는지, 누가 어떤 데이터로 어떻게 훈련시켰는지 투명해야만 한다"라고 적었다.

로메티의 기고문에는 또 "그 인공지능이 전문 역량을 반영하는가? 의도하지 않은 편견이 구축돼 있지는 않은가? 알고리즘이 내린 결정이 어떻게 도출됐는지 설명해야만 할 의무가 있다. 만약 그렇게 할 수 없는 기업이라면 제품을 출시하지 못하게 해야 한다"라고 기술돼 있다.



오늘날 업계 일각에서는 딥러닝 신경망, 복잡한 알고리즘, 확률론적 그래픽 모델이 적용된 인공지능 시스템들에서 '블랙박스화'되어 가고 있다는 우려가 제기되고 있다. 아무도 결정 도출 결과를 설명할 수 없다는 의미다.

IBM은 자사의 정책 문서에서 AI 시스템이 내린 결론 또는 권고가 어떻게 도출됐는지 사람들이 이해할 수 있도록 하는 투명성 및 데이터 거버넌스 정책을 지원한다고 명시하고 있다.

오라클과 AWS도 자사의 AI 솔루션이 '설명 가능하도록' 하는 방안을 모색하고 있다. 그러나 구글과 같은 다른 AI 공급사는 설명 가능한 AI의 가치에 대해 의문을 제기하기도 한다. 인간조차도 자신이 내린 결정을 설명하는데 그리 능숙하지 않다는 주장이다.

로메티는 "데이터와 AI 경제는 새로운 혁신을 길을 열어준다. 또 시급한 사회 문제 일부를 해결할 기회를 확장시켜준다. 내가 업계 및 정부의 동료 지도자들에게 데이터 책임 및 투명성의 원칙을 채택하라고 촉구하는 이유다. 이러한 원칙이야말로 대중의 신뢰를 확보하는데 필수적이라고 믿는다. IBM의 존립 근간이기도 하다"라고 말했다.

데이터 소유
로메티는 또 데이터 관행에 대해서도 투명할 필요가 있다고 주장했다. 그녀는 "누가 데이터와 데이터로부터 도출된 인사이트를 소유하고 있는지 분명히 해야 한다. 기업은 고객과, 정부는 시민과 명백한 관계를 유지해야 한다. 데이터 소유권을 포기하라고 요구할 때 말이다"라고 말했다.

로메티는 이어 "가령 IBM은 정부의 감시 프로그램에 고객 데이터를 제공하지 않을 것"이라고 덧붙였다. ciokr@idg.co.kr 



2018.01.25

"설명할 수 없는 AI라면 퇴출되어야 한다" IBM 지니 로메티

George Nott | CIO Australia
"자사 제품의 인공지능이 내린 결정을 설명할 수 없는 기업이라면 시장에서 퇴출되어야 한다." IBM의 최고 책임자 지니 로메티의 말이다.

로메티는 스위스 다보스 스키 리조트에서 열리는 세계 경제 포럼(World Economic Forum)의 일환으로 발간한 기고문에서 AI 관련 투명성을 특징을 하는 '데이터 책임이라는 시대로는 시대'(new era of data responsibility)를 촉구했다.

IBM의 의장이자 대표, CEO인 그녀는 "인공지능이 구현하는 새로운 능력과 관련해 우리는 그것이 언제, 어떻게 적용되는지, 누가 어떤 데이터로 어떻게 훈련시켰는지 투명해야만 한다"라고 적었다.

로메티의 기고문에는 또 "그 인공지능이 전문 역량을 반영하는가? 의도하지 않은 편견이 구축돼 있지는 않은가? 알고리즘이 내린 결정이 어떻게 도출됐는지 설명해야만 할 의무가 있다. 만약 그렇게 할 수 없는 기업이라면 제품을 출시하지 못하게 해야 한다"라고 기술돼 있다.



오늘날 업계 일각에서는 딥러닝 신경망, 복잡한 알고리즘, 확률론적 그래픽 모델이 적용된 인공지능 시스템들에서 '블랙박스화'되어 가고 있다는 우려가 제기되고 있다. 아무도 결정 도출 결과를 설명할 수 없다는 의미다.

IBM은 자사의 정책 문서에서 AI 시스템이 내린 결론 또는 권고가 어떻게 도출됐는지 사람들이 이해할 수 있도록 하는 투명성 및 데이터 거버넌스 정책을 지원한다고 명시하고 있다.

오라클과 AWS도 자사의 AI 솔루션이 '설명 가능하도록' 하는 방안을 모색하고 있다. 그러나 구글과 같은 다른 AI 공급사는 설명 가능한 AI의 가치에 대해 의문을 제기하기도 한다. 인간조차도 자신이 내린 결정을 설명하는데 그리 능숙하지 않다는 주장이다.

로메티는 "데이터와 AI 경제는 새로운 혁신을 길을 열어준다. 또 시급한 사회 문제 일부를 해결할 기회를 확장시켜준다. 내가 업계 및 정부의 동료 지도자들에게 데이터 책임 및 투명성의 원칙을 채택하라고 촉구하는 이유다. 이러한 원칙이야말로 대중의 신뢰를 확보하는데 필수적이라고 믿는다. IBM의 존립 근간이기도 하다"라고 말했다.

데이터 소유
로메티는 또 데이터 관행에 대해서도 투명할 필요가 있다고 주장했다. 그녀는 "누가 데이터와 데이터로부터 도출된 인사이트를 소유하고 있는지 분명히 해야 한다. 기업은 고객과, 정부는 시민과 명백한 관계를 유지해야 한다. 데이터 소유권을 포기하라고 요구할 때 말이다"라고 말했다.

로메티는 이어 "가령 IBM은 정부의 감시 프로그램에 고객 데이터를 제공하지 않을 것"이라고 덧붙였다. ciokr@idg.co.kr 

X