2019.03.27

"블랙박스 알고리즘, 인간 관련 분야에 허용하면 안 된다"

Vanessa Mitchell | CMO
시드니대학교의 한 데이터 과학자는 인간과 관련된 활용처에 블랙박스 알고리즘을 허용해서는 안 된다고 판단하고 있다.

다음 주 열리는 EDS(Ethics of Data Science) 컨퍼런스에 앞서 CMO 와 대화를 나눈 시드니대학교의 강사이자 데이터 과학자인 로만 마찬트 박사는 기업이 블랙박스 알고리즘을 활용하는 일은 흔하지만 인간의 삶에 적용해서는 안 된다고 말했다. 

왜냐하면 블랙박스를 '열어' 알고리즘이 어떻게 결론을 도출하는지 확인할 수 없기 때문에 투명하거나 책임감 있게 해석할 수 없기 때문이라고 그가 말했다. 

마찬트는 "기업 다수가 블랙박스 알고리즘, 즉 딥러닝이나 신경망 기술을 활용하여 결과를 도출한다. 그럴 만한 이유가 있을 것이다. 그러나 (블랙박스 알고리즘을) 인간 데이터에 사용하기는 매우 까다로우며 결과가 인간의 삶에 영향을 끼칠 때는 사용하지 않아야 한다고 생각한다. 왜냐하면 박스를 열어 백그라운드에서 알고리즘이 무엇을 하고 있는지 파악할 수 없기 때문이다”라고 말했다.

그는 이어 "이런 모델을 적용하는 문제의 유형은 인간이 영향을 받지 않는 자동화된 기계 등의 분야여야 한다. 하지만 인간의 경우 이런 모델을 허용해서는 안 된다고 생각한다"라고 덧붙였다.

마찬트에 따르면 고객 여정과 개인화를 개선하기 위한 데이터와 분석은 현재 마케팅의 핵심 흐름이지만 대부분의 데이터에는 편향이 내재되어 있다.

시드니대학교에 따르면 알고리즘은 모든 머신러닝 및 인공지능에서 기본적인 도구이지만 여러 윤리적인 문제가 있을 수 있다. 편향되고 정확하지 않은 데이터에 기초하여 구축된 모델은 자율주행 자동차의 안전 및 법적 영향에서부터 올바르지 않은 범죄 처벌, 전쟁에서의 자동화된 무기 사용까지 심각한 영향과 위험한 결과를 초래할 수 있다는 지적이다.

마찬트 박사는 대부분의 기업들이 데이터에 편향성이 있다는 사실을 모르고 있다고 지적했다. 그는 "예를 들어, 데이터 세트에 남성이 여성보다 제품을 구매할 가능성이 높다는 편향이 내재되어 있는 경우 남성에게만 제품을 홍보하게 될 것이며, 남성만이 제품을 구매하게 되어 데이터에 영향을 끼치게 된다"라고 말했다.

데이터의 환경이 매우 중요하다고 마찬트 박사가 이어서 말했다. "기업들은 이런 편향을 정량화하고 수정할 수 있어야 하는데, 이 부분이 쉽지 않다. 과거의 결정을 고려하여 모델을 구축할 때 고려해야 한다. 기업들은 다른 설명 변수를 고려하기 시작해야 하며, 모델을 지속적으로 수정하고 무엇을 하고 있는지 생각해야 한다. 블랙박스 모델의 상관관계와 예측뿐만이 아니라 사소한 영향도 파악해야 한다"라고 그는 말햇다.

이 때문에 기업이 개인 데이터에 대해 어떤 알고리즘을 사용하고 있는지 제3자가 평가할 수 있는 투명성이 필수적이다. 마찬트는 "분석 능력이란 알고리즘을 이해하여 알고리즘이 예측한 근거를 파악할 수 있어야 한다는 말이다. 고객을 보호할 뿐 아니라 상자를 열어 알고리즘이 예측하는 방식을 파악하고 고객을 더욱 잘 이해할 수 있게 된다”라고 그는 말했다.

그는 또 기업들이 전문 기관 또는 제3자와 협업해 데이터의 공정성을 나타내는 데이터의 패턴을 추출해야 한다고 조언했다. 

"궁극적으로 대기업에 데이터가 많고 이를 이용해 의사를 결정하는 경우 이를 수행하는 내부팀과 함께 모든 것이 투명하고 법을 준수하는지 평가하는 외부 데이터팀이 있어야 한다"라고 마찬트 박사가 말했다.  

또한 정부는 데이터 사용을 허용하고 이에 대한 충돌을 완화하기 위해 기업과 사용자 모두를 보호하는 법률을 마련할 책임이 있다고 그는 지적하며, 이미 호주의 인권위원회가 이미 AI가 인권에 미치는 영향을 조사하기 위해 그룹을 꾸렸다고 덧붙였다. ciokr@idg.co.kr



2019.03.27

"블랙박스 알고리즘, 인간 관련 분야에 허용하면 안 된다"

Vanessa Mitchell | CMO
시드니대학교의 한 데이터 과학자는 인간과 관련된 활용처에 블랙박스 알고리즘을 허용해서는 안 된다고 판단하고 있다.

다음 주 열리는 EDS(Ethics of Data Science) 컨퍼런스에 앞서 CMO 와 대화를 나눈 시드니대학교의 강사이자 데이터 과학자인 로만 마찬트 박사는 기업이 블랙박스 알고리즘을 활용하는 일은 흔하지만 인간의 삶에 적용해서는 안 된다고 말했다. 

왜냐하면 블랙박스를 '열어' 알고리즘이 어떻게 결론을 도출하는지 확인할 수 없기 때문에 투명하거나 책임감 있게 해석할 수 없기 때문이라고 그가 말했다. 

마찬트는 "기업 다수가 블랙박스 알고리즘, 즉 딥러닝이나 신경망 기술을 활용하여 결과를 도출한다. 그럴 만한 이유가 있을 것이다. 그러나 (블랙박스 알고리즘을) 인간 데이터에 사용하기는 매우 까다로우며 결과가 인간의 삶에 영향을 끼칠 때는 사용하지 않아야 한다고 생각한다. 왜냐하면 박스를 열어 백그라운드에서 알고리즘이 무엇을 하고 있는지 파악할 수 없기 때문이다”라고 말했다.

그는 이어 "이런 모델을 적용하는 문제의 유형은 인간이 영향을 받지 않는 자동화된 기계 등의 분야여야 한다. 하지만 인간의 경우 이런 모델을 허용해서는 안 된다고 생각한다"라고 덧붙였다.

마찬트에 따르면 고객 여정과 개인화를 개선하기 위한 데이터와 분석은 현재 마케팅의 핵심 흐름이지만 대부분의 데이터에는 편향이 내재되어 있다.

시드니대학교에 따르면 알고리즘은 모든 머신러닝 및 인공지능에서 기본적인 도구이지만 여러 윤리적인 문제가 있을 수 있다. 편향되고 정확하지 않은 데이터에 기초하여 구축된 모델은 자율주행 자동차의 안전 및 법적 영향에서부터 올바르지 않은 범죄 처벌, 전쟁에서의 자동화된 무기 사용까지 심각한 영향과 위험한 결과를 초래할 수 있다는 지적이다.

마찬트 박사는 대부분의 기업들이 데이터에 편향성이 있다는 사실을 모르고 있다고 지적했다. 그는 "예를 들어, 데이터 세트에 남성이 여성보다 제품을 구매할 가능성이 높다는 편향이 내재되어 있는 경우 남성에게만 제품을 홍보하게 될 것이며, 남성만이 제품을 구매하게 되어 데이터에 영향을 끼치게 된다"라고 말했다.

데이터의 환경이 매우 중요하다고 마찬트 박사가 이어서 말했다. "기업들은 이런 편향을 정량화하고 수정할 수 있어야 하는데, 이 부분이 쉽지 않다. 과거의 결정을 고려하여 모델을 구축할 때 고려해야 한다. 기업들은 다른 설명 변수를 고려하기 시작해야 하며, 모델을 지속적으로 수정하고 무엇을 하고 있는지 생각해야 한다. 블랙박스 모델의 상관관계와 예측뿐만이 아니라 사소한 영향도 파악해야 한다"라고 그는 말햇다.

이 때문에 기업이 개인 데이터에 대해 어떤 알고리즘을 사용하고 있는지 제3자가 평가할 수 있는 투명성이 필수적이다. 마찬트는 "분석 능력이란 알고리즘을 이해하여 알고리즘이 예측한 근거를 파악할 수 있어야 한다는 말이다. 고객을 보호할 뿐 아니라 상자를 열어 알고리즘이 예측하는 방식을 파악하고 고객을 더욱 잘 이해할 수 있게 된다”라고 그는 말했다.

그는 또 기업들이 전문 기관 또는 제3자와 협업해 데이터의 공정성을 나타내는 데이터의 패턴을 추출해야 한다고 조언했다. 

"궁극적으로 대기업에 데이터가 많고 이를 이용해 의사를 결정하는 경우 이를 수행하는 내부팀과 함께 모든 것이 투명하고 법을 준수하는지 평가하는 외부 데이터팀이 있어야 한다"라고 마찬트 박사가 말했다.  

또한 정부는 데이터 사용을 허용하고 이에 대한 충돌을 완화하기 위해 기업과 사용자 모두를 보호하는 법률을 마련할 책임이 있다고 그는 지적하며, 이미 호주의 인권위원회가 이미 AI가 인권에 미치는 영향을 조사하기 위해 그룹을 꾸렸다고 덧붙였다. ciokr@idg.co.kr

X