'AI의 블랙박스화' 막겠다··· 오픈소스로 알고리즘 공개 선언한 IBM

다른 업체들
IBM만 이러한 노력을 기울이는 것은 아니다. 최근, 구글은 개발자들이 머신러닝 모델의 성능 기록 내부를 살펴보는데 도움이 되는 ‘what-if’ 툴을 출시했다.

기술 거대기업 마이크로소프트와 페이스북도 알고리즘의 편향을 감지하여 회피하는 데 도움이 되는 툴을 공개하겠다고 발표했다.

최근 독일 공급업체인 SAP가 외부 AI윤리 자문단을 설치했다고 전해졌다. 액센츄어의 연구에 따르면 응답자 중 63%가 윤리 위원회를 보유하고 있는 것으로 나타났다.

존경받는 패널에는 엘랑겐뇌르베르크대학교(University of Erlangen-Nuernberg)의 시스템 기술(윤리학) 회장 피터 다브록, CTIS(Cornell Tech Information Science)의 헬렌 니센바움, 스탠포드대학의 공공 정책 및 법률 강사 겸 SLAL(Susan Liautaud & Associates Limited)의 상무이사 수잔 리아타우드가 포함된다.

패널은 개발, 전략, 인적자원 부서의 임원으로 구성된 SAP의 기존 AI 운영 위원회와 협업한다.

SAP의 CFO 루카 무칙은 "SAP가 윤리적인 데이터 사용을 핵심 가치로 여긴다"고 말했다. "우리는 정보기업을 가능하게 하고 실제로 사람들의 삶을 개선하는 소프트웨어를 개발하고 싶다. 이런 원칙은 AI가 인간의 재능을 강화하는 기술이 되는 기초가 될 것이다."

리아타우드는 "AI가 엄청난 기회를 제공하지만 사회와 인간에 대한 이례적이고 때로는 예측할 수 없는 윤리 문제를 발생시킨다"고 말했다. 이어서 "AI 윤리 자문 패널을 통해 우리는 인류와 사회에 기여하는 윤리적인 AI를 완성할 수 있다"고 전했다.

하지만 투명하고 윤리적인 AI의 이점은 단순히 도덕적인 문제가 아니고 앞으로 알고리즘에 대한 공적 신뢰를 쌓아야 한다.

인텔 AI 프로덕트 그룹(Intel AI Products Group)의 데이터 공학 책임자 잉잉 리우는 액센츄어 보고서의 일환으로 "AI의 의사결정 방식을 이해하면 신뢰를 쌓고 효과적인 인간 감독이 가능해진다"고 말했다. 리우는 "AI를 배치하는 개발자와 고객의 경우 알고리즘 투명성과 책임성뿐만이 아니라 AI 시스템이 인간이 아님을 알리는 신호를 보내도록 하는 것을 통해 광범위한 도입을 위해 필요한 신뢰를 쌓을 수 있게 된다"고 설명했다.

블랙박스 알고리즘
또한 이런 툴은 알고리즘 디자인의 블랙박스를 여는데 유용하다는 점이 입증될 수 있다.

TLS(Times Literary Supplement)에서 출판된 그의 저서 신들의 죽음(The Death of Gods)에서 칼 밀러는 이렇게 말했다. "알고리즘이 정말 단순한 것에서 터무니없이 복잡한 것으로 바뀌었다. 이전과는 달리 과업을 달성하고 문제를 해결할 수 있다. 실제로 헤아릴 수 없이 복잡한 세상을 인간보다 더 잘 다룰 수 있다. 하지만 그런 것이 가능하기 때문에 그 작동 방식이 터무니없어졌다."

이 저서에서 익명을 요구한 한 대형 기술기업의 연구원은 밀러에게 다음과 같이 말했다. "힘은 있지만 책임감은 없는 것이다. 힘이 너무 세고 책임은 너무 없다. 개념적으로 추상적인 힘이 아니다. 일상을 위한 진정한 힘이다. 물질적이면서도 문화적이고 금융적이다. 이런 메커니즘을 알아야 한다."

그 연구원이 밀러에게 설명한 현재 알고리즘의 문제는 기하급수적인 데이터와 컴퓨팅 능력의 성장으로 알고리즘 훈련을 위해 엄청난 데이터를 제공할 수 있지만 우리는 인간으로서 알고리즘이 결론에 도달하는 데 실제로 도움이 된 입력값이 무엇인지 정의하기가 어려워진 것이다. 하나의 블랙박스인 것이다.

해당 연구원은 "현실적으로 문제가 있을 때만 내부를 살펴본다. 그리고 실제로 무슨 일이 일어났는지 이해하는 것이 물리적으로 불가능하다"고 결론 내렸다. 그는 "알고리즘이 할 일을 하는 것처럼 보이고 사람들이 불평하지 않는다면 현실을 파악하기 위해 모든 지침과 추상화된 코드 계층을 실제로 살펴볼 유인이 크지 않은 것이 현실이다"고 덧붙였다.

핀터레스트(Pinterest)의 수석 과학자 겸 스탠포드대학교의 머신러닝 교수인 또 다른 연구원 주어 레스코벡은 밀러에게 "우리는 한 단계 발전하여 선입견 없이 알고리즘을 평가할 방법을 찾아야 한다. 우리는 그들의 결정을 해석하고 설명할 수 있어야 한다. 우리가 최적의 알고리즘을 원하는 것이 아니다. 우리는 전문가가 살펴보고 이상한 일이 일어나지 않고 있다고 말할 수 있을 만큼 단순한 것을 원한다. 우리는 이런 것들을 이해관계 결정 환경에서 사회적인 배치에 대비시킬 방법을 진지하게 생각해 보아야 한다. 일정 수준의 품질을 확보하기 위해서는 어떻게 디버깅(Debugging)해야 할까?"고 말했다.

대형 기술업체들이 최소한 점차 자체 알고리즘에 내재된 위험이 적절한 감독 없이 사회를 위협하고 있다는 점을 인식하고 블랙박스를 해소할 조처를 하고 있는 것으로 보인다. 문제는 그 결과가 만족스러운지 여부다. ciokr@idg.co.kr