2018.10.01

'AI의 블랙박스화' 막겠다··· 오픈소스로 알고리즘 공개 선언한 IBM

Scott Carey | Computerworld UK
IBM은 인공지능 개발자가 알고리즘 작동 방식을 더 잘 파악할 수 있도록 돕는 오픈소스 소프트웨어 툴 세트를 발표했으며, 이는 향후 알고리즘의 편견을 피하는 데 도움이 될 것으로 기대된다.



IBM은 개발자들이 인공지능의 의사결정 방식을 파악하는 데 도움이 되는 새로운 오픈소스 소프트웨어를 출시해 인공지능 블랙박스 알고리즘을 깨고자 분투하고 있다.

블랙박스 알고리즘은 신문 구독과 상품 구매 등 단순한 것부터 헤지펀드가 투자하는 주식이나 보험사가 가입을 승인하는 고객까지 사람들이 점차 일상적으로 의존하고 있는 시스템의 핵심에 있는 복잡한 코드다. 이것들은 디자인이 점차 복잡해지고 있으며 시스템이 결론에 도달한 방식을 모를 때도 있는 코드 개발자들로부터 정보를 받을 수 있다. 또한 역사적으로 디자인에 대한 감독이나 책임성이 거의 없었다.

IBM은 현재 페어네스 360 키트(Fairness 360 Kit)를 통해 AI개발자들이 일련의 대시보드를 통해 창작물의 내부를 살펴보고 의사결정 근거를 파악하는 데 도움이 되기 위해 개발된 소프트웨어를 오픈소스화하고 있다.

이 소프트웨어는 IBM 클라우드에서 서비스로써 운용되며 IBM 리서치가 해당 오픈소스 커뮤니티에 AI 편향 감지 및 완화 툴킷을 공개할 예정이다. 이를 통해 알고리즘 의사결정에 대한 실시간 통찰을 얻고 내재된 편향에 대한 의혹을 감지함으로써 심지어 감지된 편향을 완화하는 데 도움이 될 수 있는 새로운 데이터 파라미터를 추천할 수 있다.

이 통찰이 대시보드와 자연어로 제공되어 "의사결정에 가중치를 둔 인자, 추천에 대한 신뢰성, 신뢰성의 근거 인자를 보여준다"고 해당 업체가 언론 보도를 통해 밝혔다.

또한 IBM은 "고객 서비스, 규제, GDPR 준수성 등의 준수성을 위해 모델의 정확도, 성능, 공정성에 대한 기록과 AI 시스템의 혈통이 손쉽게 추적된다"고 이야기했다. 

이 소프트웨어는 광범위하고 사용자 정의 가능한 용도를 지원하기 위해 왓슨(Watson), 텐서플로(Tensorflow), 스파크ML(SparkML), AWS 세이지메이커(AWS SageMaker), 애저ML(AzureML) 등의 다양한 인기 머신러닝(ML) 프레임워크의 모델을 사용해 개발되었다.

"다른 오픈소스 리소스는 훈련 데이터의 편향 확인에만 집중했지만 IBM 리서치가 개발한 IBM AI 페어네스 360 툴킷은 AI 모델의 편향 확인 및 완화에 도움이 될 것이다. 세계적인 오픈소스 커뮤니티가 협력하여 과학을 발전시키고 AI의 편향을 더욱 쉽게 해결할 수 있기를 바란다"고 IBM은 덧붙였다.


알고리즘의 편향
AJL(Algorithmic Justice League)의 설립자 겸 MIT 미디어 연구소 컴퓨터 공학자로 안면 인식 시스템의 인종적 편향을 발견하는 데 도움이 된 젠더 쉐이즈(Gender Shades) 프로젝트를 진행했던 조이 볼라뮈니가 알고리즘의 편향을 인식하는 데 크게 기여했다.

캐시 오넬(Cathy O'Neil)의 수학 파괴 무기(Weapons of Math Destruction)와 프랭크 파스칼(Frank Pasquale)의 블랙박스 사회: 돈과 정보를 제어하는 비밀 알고리즘(The Black Box Society: The Secret Algorithms That Control Money and Information) 등의 인기 저서도 이 문제에 대한 인식을 높이는데 도움이 되었으며 기술 업계에서 이에 대해 행동을 취하기 시작한 것 같다.

미국의 프로퍼블리카(ProPublica) 소속 연구원과 저널리스트들이 미국 사법계에서 재범의 가능성을 예측하기 위해 널리 사용하고 있는 알고리즘인 COMPAS가 흑인 피고에 대해 인종적으로 편향적이라고 보고하면서 악명 높은 AI 편향의 예가 알려지게 되었다.

더럼(Durham)의 영국 경찰은 시민 자유 그룹들로부터 용의자가 추가 범죄를 저지를 위험이 있는지 예측하기 위해 유사한 알고리즘을 사용했다고 비난을 받았다.

영국 민주당 지지자 겸 경찰관 한나 코치만은 "편견을 방지하기 위해 프로그램을 엄격한 관리하에 엄격히 시험하고 배치해야 하며 AI만을 근거로 인권에 영향을 끼치는 결정을 내려서는 안 된다"고 밝혔다.

최근 액센츄어가 발표한 '임계 질량: 멈출 수 없는 AI의 발전 관리하기' 연구에 따르면 AI를 도입하는 조직 중 70%가 개발자를 위한 윤리 교육을 수행하고 있다고 한다.

AAI(Accenture Applied Intelligence)의 AI 책임 연구원 룸만 초우드허리는 "조직들은 AI가 사람들을 편향적이고 불평등하게 대우하게 만든다는 우려에 대응하기 시작했다"며 "긍정적인 단계이지만 조직들은 히포크라테스 선서(Hippocratic Oath)의 '해가 되지 않는' 정신을 지향하는 AI 윤리 강령을 초월해야 한다"고 말했다.

AAI UK의 책임자 레이 아이텔 포터는 "기업들은 이론을 현실화할 수 있는 방법에 대해 생각해야 한다. 그들은 투명하고 설명 가능하며 책임감 있는 AI를 보장하는 탄탄한 거버넌스(Governance) 프로세스에 따르는 사용 및 기술 지침을 통해 그렇게 할 수 있다"고 덧붙였다.

2018.10.01

'AI의 블랙박스화' 막겠다··· 오픈소스로 알고리즘 공개 선언한 IBM

Scott Carey | Computerworld UK
IBM은 인공지능 개발자가 알고리즘 작동 방식을 더 잘 파악할 수 있도록 돕는 오픈소스 소프트웨어 툴 세트를 발표했으며, 이는 향후 알고리즘의 편견을 피하는 데 도움이 될 것으로 기대된다.



IBM은 개발자들이 인공지능의 의사결정 방식을 파악하는 데 도움이 되는 새로운 오픈소스 소프트웨어를 출시해 인공지능 블랙박스 알고리즘을 깨고자 분투하고 있다.

블랙박스 알고리즘은 신문 구독과 상품 구매 등 단순한 것부터 헤지펀드가 투자하는 주식이나 보험사가 가입을 승인하는 고객까지 사람들이 점차 일상적으로 의존하고 있는 시스템의 핵심에 있는 복잡한 코드다. 이것들은 디자인이 점차 복잡해지고 있으며 시스템이 결론에 도달한 방식을 모를 때도 있는 코드 개발자들로부터 정보를 받을 수 있다. 또한 역사적으로 디자인에 대한 감독이나 책임성이 거의 없었다.

IBM은 현재 페어네스 360 키트(Fairness 360 Kit)를 통해 AI개발자들이 일련의 대시보드를 통해 창작물의 내부를 살펴보고 의사결정 근거를 파악하는 데 도움이 되기 위해 개발된 소프트웨어를 오픈소스화하고 있다.

이 소프트웨어는 IBM 클라우드에서 서비스로써 운용되며 IBM 리서치가 해당 오픈소스 커뮤니티에 AI 편향 감지 및 완화 툴킷을 공개할 예정이다. 이를 통해 알고리즘 의사결정에 대한 실시간 통찰을 얻고 내재된 편향에 대한 의혹을 감지함으로써 심지어 감지된 편향을 완화하는 데 도움이 될 수 있는 새로운 데이터 파라미터를 추천할 수 있다.

이 통찰이 대시보드와 자연어로 제공되어 "의사결정에 가중치를 둔 인자, 추천에 대한 신뢰성, 신뢰성의 근거 인자를 보여준다"고 해당 업체가 언론 보도를 통해 밝혔다.

또한 IBM은 "고객 서비스, 규제, GDPR 준수성 등의 준수성을 위해 모델의 정확도, 성능, 공정성에 대한 기록과 AI 시스템의 혈통이 손쉽게 추적된다"고 이야기했다. 

이 소프트웨어는 광범위하고 사용자 정의 가능한 용도를 지원하기 위해 왓슨(Watson), 텐서플로(Tensorflow), 스파크ML(SparkML), AWS 세이지메이커(AWS SageMaker), 애저ML(AzureML) 등의 다양한 인기 머신러닝(ML) 프레임워크의 모델을 사용해 개발되었다.

"다른 오픈소스 리소스는 훈련 데이터의 편향 확인에만 집중했지만 IBM 리서치가 개발한 IBM AI 페어네스 360 툴킷은 AI 모델의 편향 확인 및 완화에 도움이 될 것이다. 세계적인 오픈소스 커뮤니티가 협력하여 과학을 발전시키고 AI의 편향을 더욱 쉽게 해결할 수 있기를 바란다"고 IBM은 덧붙였다.


알고리즘의 편향
AJL(Algorithmic Justice League)의 설립자 겸 MIT 미디어 연구소 컴퓨터 공학자로 안면 인식 시스템의 인종적 편향을 발견하는 데 도움이 된 젠더 쉐이즈(Gender Shades) 프로젝트를 진행했던 조이 볼라뮈니가 알고리즘의 편향을 인식하는 데 크게 기여했다.

캐시 오넬(Cathy O'Neil)의 수학 파괴 무기(Weapons of Math Destruction)와 프랭크 파스칼(Frank Pasquale)의 블랙박스 사회: 돈과 정보를 제어하는 비밀 알고리즘(The Black Box Society: The Secret Algorithms That Control Money and Information) 등의 인기 저서도 이 문제에 대한 인식을 높이는데 도움이 되었으며 기술 업계에서 이에 대해 행동을 취하기 시작한 것 같다.

미국의 프로퍼블리카(ProPublica) 소속 연구원과 저널리스트들이 미국 사법계에서 재범의 가능성을 예측하기 위해 널리 사용하고 있는 알고리즘인 COMPAS가 흑인 피고에 대해 인종적으로 편향적이라고 보고하면서 악명 높은 AI 편향의 예가 알려지게 되었다.

더럼(Durham)의 영국 경찰은 시민 자유 그룹들로부터 용의자가 추가 범죄를 저지를 위험이 있는지 예측하기 위해 유사한 알고리즘을 사용했다고 비난을 받았다.

영국 민주당 지지자 겸 경찰관 한나 코치만은 "편견을 방지하기 위해 프로그램을 엄격한 관리하에 엄격히 시험하고 배치해야 하며 AI만을 근거로 인권에 영향을 끼치는 결정을 내려서는 안 된다"고 밝혔다.

최근 액센츄어가 발표한 '임계 질량: 멈출 수 없는 AI의 발전 관리하기' 연구에 따르면 AI를 도입하는 조직 중 70%가 개발자를 위한 윤리 교육을 수행하고 있다고 한다.

AAI(Accenture Applied Intelligence)의 AI 책임 연구원 룸만 초우드허리는 "조직들은 AI가 사람들을 편향적이고 불평등하게 대우하게 만든다는 우려에 대응하기 시작했다"며 "긍정적인 단계이지만 조직들은 히포크라테스 선서(Hippocratic Oath)의 '해가 되지 않는' 정신을 지향하는 AI 윤리 강령을 초월해야 한다"고 말했다.

AAI UK의 책임자 레이 아이텔 포터는 "기업들은 이론을 현실화할 수 있는 방법에 대해 생각해야 한다. 그들은 투명하고 설명 가능하며 책임감 있는 AI를 보장하는 탄탄한 거버넌스(Governance) 프로세스에 따르는 사용 및 기술 지침을 통해 그렇게 할 수 있다"고 덧붙였다.

X