Offcanvas

������ ��������� AI

'AI 윤리·거버넌스 미흡'이 초래할 수 있는 비즈니스 위험 6가지

어떤 ‘터미네이터’ 영화를 봤느냐에 따라 악당 인공지능 스카이넷(Skynet)의 상황이 다를 터다. 이미 인간을 지배하고 있는 경우가 있는가 하면, 지배하려 하는 상황도 있다. 하지만 SF작가들이 그리는 우려 상황에 ‘통제되지 않는 AI’(uncontrolled AI)가 포함되는 경우는 드물다. AI 조사 및 자문 기업 에머리(Emeri)가 실시한 ‘2019년 설문조사’에서 AI 전문가 중 14%는 AI가 인간에게 ‘실존적 위협’(existential threat)이라고 응답했다. 실제로 파멸까지는 아니더라도 AI 윤리 부족은 사회와 이 AI 시스템을 도입하는 기업에 큰 위험을 야기할 수 있다. 이런 위험은 흔히 ‘AI 설명가능성’과 관련된다. 또 편향된 데이터 세트에 대한 의존성 또는 적절한 거버넌스 없이 AI 배치하기 등도 현실적인 위험 요소다. IT 리더가 회사의 AI 배치 전략을 수립할 때 고려해야 할 상황을 살펴본다.   PR(Public Relation) 재난 지난달, 마더보드(Motherboard)가 입수한 페이스북(Facebook) 문서에 따르면 페이스북은 자사의 사용자 데이터가 어떻게 사용되고 있는지 모르고 있다. 해당 문서에서 페이스북의 프라이버시 엔지니어들은 “시스템이 데이터를 사용하는 방식에 대해 적절한 수준의 통제와 설명가능성이 우리에게는 없다”라고 밝혔다. 이 문서에 따르면 현재 페이스북은 수년간 인프라에 투자하지 않고 해결할 수 없는 ‘인바운드(Inbound) 규정의 쓰나미’에 직면하고 있다. “이것은 새로운 규제 영역이며 우리는 앞으로 몇 년 동안 낯선 요구사항을 보게 될 가능성이 높다. 우리는 우리의 솔루션이 충분할 것이라는 자신감이 매우 부족하다”라고 문서에 기술돼 있다. 적절한 데이터 거버넌스 없이 AI를 배치한 기업에 어떤 문제가 있을 수 있는지를 보여주는 이 사건은 최근 AI 관련 PR 재난 중 하나에 불과하다. 2014년, 아마존은 압도적으로 남성 후보자를 선호하는 AI 기반 채용 소프트웨어를 개...

AI 윤리 AI 거버넌스 GDPR AI 재난 AI 규제 ESG 설명 가능한 AI

2022.05.19

어떤 ‘터미네이터’ 영화를 봤느냐에 따라 악당 인공지능 스카이넷(Skynet)의 상황이 다를 터다. 이미 인간을 지배하고 있는 경우가 있는가 하면, 지배하려 하는 상황도 있다. 하지만 SF작가들이 그리는 우려 상황에 ‘통제되지 않는 AI’(uncontrolled AI)가 포함되는 경우는 드물다. AI 조사 및 자문 기업 에머리(Emeri)가 실시한 ‘2019년 설문조사’에서 AI 전문가 중 14%는 AI가 인간에게 ‘실존적 위협’(existential threat)이라고 응답했다. 실제로 파멸까지는 아니더라도 AI 윤리 부족은 사회와 이 AI 시스템을 도입하는 기업에 큰 위험을 야기할 수 있다. 이런 위험은 흔히 ‘AI 설명가능성’과 관련된다. 또 편향된 데이터 세트에 대한 의존성 또는 적절한 거버넌스 없이 AI 배치하기 등도 현실적인 위험 요소다. IT 리더가 회사의 AI 배치 전략을 수립할 때 고려해야 할 상황을 살펴본다.   PR(Public Relation) 재난 지난달, 마더보드(Motherboard)가 입수한 페이스북(Facebook) 문서에 따르면 페이스북은 자사의 사용자 데이터가 어떻게 사용되고 있는지 모르고 있다. 해당 문서에서 페이스북의 프라이버시 엔지니어들은 “시스템이 데이터를 사용하는 방식에 대해 적절한 수준의 통제와 설명가능성이 우리에게는 없다”라고 밝혔다. 이 문서에 따르면 현재 페이스북은 수년간 인프라에 투자하지 않고 해결할 수 없는 ‘인바운드(Inbound) 규정의 쓰나미’에 직면하고 있다. “이것은 새로운 규제 영역이며 우리는 앞으로 몇 년 동안 낯선 요구사항을 보게 될 가능성이 높다. 우리는 우리의 솔루션이 충분할 것이라는 자신감이 매우 부족하다”라고 문서에 기술돼 있다. 적절한 데이터 거버넌스 없이 AI를 배치한 기업에 어떤 문제가 있을 수 있는지를 보여주는 이 사건은 최근 AI 관련 PR 재난 중 하나에 불과하다. 2014년, 아마존은 압도적으로 남성 후보자를 선호하는 AI 기반 채용 소프트웨어를 개...

2022.05.19

"블랙박스 알고리즘, 인간 관련 분야에 허용하면 안 된다"

시드니대학교의 한 데이터 과학자는 인간과 관련된 활용처에 블랙박스 알고리즘을 허용해서는 안 된다고 판단하고 있다. 다음 주 열리는 EDS(Ethics of Data Science) 컨퍼런스에 앞서 CMO 와 대화를 나눈 시드니대학교의 강사이자 데이터 과학자인 로만 마찬트 박사는 기업이 블랙박스 알고리즘을 활용하는 일은 흔하지만 인간의 삶에 적용해서는 안 된다고 말했다.  왜냐하면 블랙박스를 '열어' 알고리즘이 어떻게 결론을 도출하는지 확인할 수 없기 때문에 투명하거나 책임감 있게 해석할 수 없기 때문이라고 그가 말했다.  마찬트는 "기업 다수가 블랙박스 알고리즘, 즉 딥러닝이나 신경망 기술을 활용하여 결과를 도출한다. 그럴 만한 이유가 있을 것이다. 그러나 (블랙박스 알고리즘을) 인간 데이터에 사용하기는 매우 까다로우며 결과가 인간의 삶에 영향을 끼칠 때는 사용하지 않아야 한다고 생각한다. 왜냐하면 박스를 열어 백그라운드에서 알고리즘이 무엇을 하고 있는지 파악할 수 없기 때문이다”라고 말했다. 그는 이어 "이런 모델을 적용하는 문제의 유형은 인간이 영향을 받지 않는 자동화된 기계 등의 분야여야 한다. 하지만 인간의 경우 이런 모델을 허용해서는 안 된다고 생각한다"라고 덧붙였다. 마찬트에 따르면 고객 여정과 개인화를 개선하기 위한 데이터와 분석은 현재 마케팅의 핵심 흐름이지만 대부분의 데이터에는 편향이 내재되어 있다. 시드니대학교에 따르면 알고리즘은 모든 머신러닝 및 인공지능에서 기본적인 도구이지만 여러 윤리적인 문제가 있을 수 있다. 편향되고 정확하지 않은 데이터에 기초하여 구축된 모델은 자율주행 자동차의 안전 및 법적 영향에서부터 올바르지 않은 범죄 처벌, 전쟁에서의 자동화된 무기 사용까지 심각한 영향과 위험한 결과를 초래할 수 있다는 지적이다. 마찬트 박사는 대부분의 기업들이 데이터에 편향성이 있다는 사실을 모르고 있다고 지적했다. 그는 "예를 들어, 데이터 세트에 ...

설명 가능한 AI 데이터 편향 블랙박스 AI

2019.03.27

시드니대학교의 한 데이터 과학자는 인간과 관련된 활용처에 블랙박스 알고리즘을 허용해서는 안 된다고 판단하고 있다. 다음 주 열리는 EDS(Ethics of Data Science) 컨퍼런스에 앞서 CMO 와 대화를 나눈 시드니대학교의 강사이자 데이터 과학자인 로만 마찬트 박사는 기업이 블랙박스 알고리즘을 활용하는 일은 흔하지만 인간의 삶에 적용해서는 안 된다고 말했다.  왜냐하면 블랙박스를 '열어' 알고리즘이 어떻게 결론을 도출하는지 확인할 수 없기 때문에 투명하거나 책임감 있게 해석할 수 없기 때문이라고 그가 말했다.  마찬트는 "기업 다수가 블랙박스 알고리즘, 즉 딥러닝이나 신경망 기술을 활용하여 결과를 도출한다. 그럴 만한 이유가 있을 것이다. 그러나 (블랙박스 알고리즘을) 인간 데이터에 사용하기는 매우 까다로우며 결과가 인간의 삶에 영향을 끼칠 때는 사용하지 않아야 한다고 생각한다. 왜냐하면 박스를 열어 백그라운드에서 알고리즘이 무엇을 하고 있는지 파악할 수 없기 때문이다”라고 말했다. 그는 이어 "이런 모델을 적용하는 문제의 유형은 인간이 영향을 받지 않는 자동화된 기계 등의 분야여야 한다. 하지만 인간의 경우 이런 모델을 허용해서는 안 된다고 생각한다"라고 덧붙였다. 마찬트에 따르면 고객 여정과 개인화를 개선하기 위한 데이터와 분석은 현재 마케팅의 핵심 흐름이지만 대부분의 데이터에는 편향이 내재되어 있다. 시드니대학교에 따르면 알고리즘은 모든 머신러닝 및 인공지능에서 기본적인 도구이지만 여러 윤리적인 문제가 있을 수 있다. 편향되고 정확하지 않은 데이터에 기초하여 구축된 모델은 자율주행 자동차의 안전 및 법적 영향에서부터 올바르지 않은 범죄 처벌, 전쟁에서의 자동화된 무기 사용까지 심각한 영향과 위험한 결과를 초래할 수 있다는 지적이다. 마찬트 박사는 대부분의 기업들이 데이터에 편향성이 있다는 사실을 모르고 있다고 지적했다. 그는 "예를 들어, 데이터 세트에 ...

2019.03.27

"설명할 수 없는 AI라면 퇴출되어야 한다" IBM 지니 로메티

"자사 제품의 인공지능이 내린 결정을 설명할 수 없는 기업이라면 시장에서 퇴출되어야 한다." IBM의 최고 책임자 지니 로메티의 말이다. 로메티는 스위스 다보스 스키 리조트에서 열리는 세계 경제 포럼(World Economic Forum)의 일환으로 발간한 기고문에서 AI 관련 투명성을 특징을 하는 '데이터 책임이라는 시대로는 시대'(new era of data responsibility)를 촉구했다. IBM의 의장이자 대표, CEO인 그녀는 "인공지능이 구현하는 새로운 능력과 관련해 우리는 그것이 언제, 어떻게 적용되는지, 누가 어떤 데이터로 어떻게 훈련시켰는지 투명해야만 한다"라고 적었다. 로메티의 기고문에는 또 "그 인공지능이 전문 역량을 반영하는가? 의도하지 않은 편견이 구축돼 있지는 않은가? 알고리즘이 내린 결정이 어떻게 도출됐는지 설명해야만 할 의무가 있다. 만약 그렇게 할 수 없는 기업이라면 제품을 출시하지 못하게 해야 한다"라고 기술돼 있다. 오늘날 업계 일각에서는 딥러닝 신경망, 복잡한 알고리즘, 확률론적 그래픽 모델이 적용된 인공지능 시스템들에서 '블랙박스화'되어 가고 있다는 우려가 제기되고 있다. 아무도 결정 도출 결과를 설명할 수 없다는 의미다. IBM은 자사의 정책 문서에서 AI 시스템이 내린 결론 또는 권고가 어떻게 도출됐는지 사람들이 이해할 수 있도록 하는 투명성 및 데이터 거버넌스 정책을 지원한다고 명시하고 있다. 오라클과 AWS도 자사의 AI 솔루션이 '설명 가능하도록' 하는 방안을 모색하고 있다. 그러나 구글과 같은 다른 AI 공급사는 설명 가능한 AI의 가치에 대해 의문을 제기하기도 한다. 인간조차도 자신이 내린 결정을 설명하는데 그리 능숙하지 않다는 주장이다. 로메티는 "데이터와 AI 경제는 새로운 혁신을 길을 열어준다. 또 시급한 사회 문제 일부를 해결할 기회를 확장시켜준다....

IBM 알고리즘 블랙박스 지니 로메티 설명 가능한 AI

2018.01.25

"자사 제품의 인공지능이 내린 결정을 설명할 수 없는 기업이라면 시장에서 퇴출되어야 한다." IBM의 최고 책임자 지니 로메티의 말이다. 로메티는 스위스 다보스 스키 리조트에서 열리는 세계 경제 포럼(World Economic Forum)의 일환으로 발간한 기고문에서 AI 관련 투명성을 특징을 하는 '데이터 책임이라는 시대로는 시대'(new era of data responsibility)를 촉구했다. IBM의 의장이자 대표, CEO인 그녀는 "인공지능이 구현하는 새로운 능력과 관련해 우리는 그것이 언제, 어떻게 적용되는지, 누가 어떤 데이터로 어떻게 훈련시켰는지 투명해야만 한다"라고 적었다. 로메티의 기고문에는 또 "그 인공지능이 전문 역량을 반영하는가? 의도하지 않은 편견이 구축돼 있지는 않은가? 알고리즘이 내린 결정이 어떻게 도출됐는지 설명해야만 할 의무가 있다. 만약 그렇게 할 수 없는 기업이라면 제품을 출시하지 못하게 해야 한다"라고 기술돼 있다. 오늘날 업계 일각에서는 딥러닝 신경망, 복잡한 알고리즘, 확률론적 그래픽 모델이 적용된 인공지능 시스템들에서 '블랙박스화'되어 가고 있다는 우려가 제기되고 있다. 아무도 결정 도출 결과를 설명할 수 없다는 의미다. IBM은 자사의 정책 문서에서 AI 시스템이 내린 결론 또는 권고가 어떻게 도출됐는지 사람들이 이해할 수 있도록 하는 투명성 및 데이터 거버넌스 정책을 지원한다고 명시하고 있다. 오라클과 AWS도 자사의 AI 솔루션이 '설명 가능하도록' 하는 방안을 모색하고 있다. 그러나 구글과 같은 다른 AI 공급사는 설명 가능한 AI의 가치에 대해 의문을 제기하기도 한다. 인간조차도 자신이 내린 결정을 설명하는데 그리 능숙하지 않다는 주장이다. 로메티는 "데이터와 AI 경제는 새로운 혁신을 길을 열어준다. 또 시급한 사회 문제 일부를 해결할 기회를 확장시켜준다....

2018.01.25

AI의 '블랙박스'를 어디까지 신뢰할 수 있을까?

많은 대기업들이 인공지능을 수용하고 있다. 고객 요청을 처리하는 봇을 구현하고, 비즈니스 프로세스를 자동화 할 알고리즘을 탐구한다. 그러나 스스로 학습을 하는 소프트웨어로 효율성을 높일 수 있다고 판단하는 CIO가 있는 반면, AI에 지나치게 많은 운영을 떠넘기는 것을 경계하는 CIO들도 있다. 아직은 알고리즘이 결론에 도달하는 방법과 과정을 규명하기 어렵다는 이유에서다. 특히 금융 서비스와 자율주행 자동차 관련 산업 등 규제가 심한 업종의 CIO들이 이런 '블랙박스 문제'와 힘겹게 씨름하고 있다. 자율주행 자동차가 테스트 중에 갑자기 도로를 이탈할 경우, 엔지니어는 그 이유와 과정을 파악해야 한다. 유사하게 고객들의 신용 위험 심사에 AI를 사용하려는 금융 서비스 회사들은 자격 평가에 편향이 발생하지 않도록 주의를 기울여야 한다. 이런 위험성 때문에, AI의 예측을 검사하고, 더 나아가 설명할 방법을 찾는 기업들이 증가하고 있다. 비즈니스 프로세스를 자동화할 수 있도록 개발된 소프트웨어 대부분에는 프로그래밍이 가능한 논리가 포함되어 있다. 즉 프로그래머가 지시한 일을 한다. 그러나 '자동화 2세대'의 시대에는 스스로 학습할 수 있는 소프트웨어가 '핵심'이다. 소프트웨어가 패턴을 파악하는 방식, 결과를 관찰하는 방식을 명확히 이해하지 못하는 규제 산업의 기업들은 이런 머신을 얼마나 신뢰해야 할지 의구심을 가질 수밖에 없다. AI의 '원동력'이면서 '도전과제'인 빅데이터 AI는 상황을 인식하고, 계획 및 학습을 하고, 인간이나 다른 동물의 타고난 지능을 흉내내는 다양한 인지 기술(Cognitive Technologies)로 구성되어 있다. 금방 손에 잡힐 듯 했지만 실제 잡히지 않는 기술이었기에 장기간 연구가 이뤄졌다. 그러다 컴퓨팅 파워가 증가하고, 알고리즘과 AI 모델이 더 정교해지고, 연결된 장치가 매일 수 많은 데이터를 생성하면서 자율 기술이 '캄...

블랙박스 편견 설명 가능한 AI

2017.07.10

많은 대기업들이 인공지능을 수용하고 있다. 고객 요청을 처리하는 봇을 구현하고, 비즈니스 프로세스를 자동화 할 알고리즘을 탐구한다. 그러나 스스로 학습을 하는 소프트웨어로 효율성을 높일 수 있다고 판단하는 CIO가 있는 반면, AI에 지나치게 많은 운영을 떠넘기는 것을 경계하는 CIO들도 있다. 아직은 알고리즘이 결론에 도달하는 방법과 과정을 규명하기 어렵다는 이유에서다. 특히 금융 서비스와 자율주행 자동차 관련 산업 등 규제가 심한 업종의 CIO들이 이런 '블랙박스 문제'와 힘겹게 씨름하고 있다. 자율주행 자동차가 테스트 중에 갑자기 도로를 이탈할 경우, 엔지니어는 그 이유와 과정을 파악해야 한다. 유사하게 고객들의 신용 위험 심사에 AI를 사용하려는 금융 서비스 회사들은 자격 평가에 편향이 발생하지 않도록 주의를 기울여야 한다. 이런 위험성 때문에, AI의 예측을 검사하고, 더 나아가 설명할 방법을 찾는 기업들이 증가하고 있다. 비즈니스 프로세스를 자동화할 수 있도록 개발된 소프트웨어 대부분에는 프로그래밍이 가능한 논리가 포함되어 있다. 즉 프로그래머가 지시한 일을 한다. 그러나 '자동화 2세대'의 시대에는 스스로 학습할 수 있는 소프트웨어가 '핵심'이다. 소프트웨어가 패턴을 파악하는 방식, 결과를 관찰하는 방식을 명확히 이해하지 못하는 규제 산업의 기업들은 이런 머신을 얼마나 신뢰해야 할지 의구심을 가질 수밖에 없다. AI의 '원동력'이면서 '도전과제'인 빅데이터 AI는 상황을 인식하고, 계획 및 학습을 하고, 인간이나 다른 동물의 타고난 지능을 흉내내는 다양한 인지 기술(Cognitive Technologies)로 구성되어 있다. 금방 손에 잡힐 듯 했지만 실제 잡히지 않는 기술이었기에 장기간 연구가 이뤄졌다. 그러다 컴퓨팅 파워가 증가하고, 알고리즘과 AI 모델이 더 정교해지고, 연결된 장치가 매일 수 많은 데이터를 생성하면서 자율 기술이 '캄...

2017.07.10

"설명 가능한 AI? 정확성 보장 어렵다" 구글 연구 책임자

머신러닝과 AI가 빠르게 확산됨에 따라, 이 기술의 동작을 인간이 이해할 수 있도록 해야 한다는 요구 또한 증가하고 있다. 의료 진단에서부터 대출 자격 심사에 이르기까지 오늘날 인공지능 관련 기술은 중차대한 업무를 담당함에도 불구하고 딥러닝, 머신러닝 아키텍처의 내부 작동은 점점 더 복잡하고 불투명해지고 있다. 일부 과학자, 정부 관계자, 시만들은 이러한 기술들이 '블랙박스'로 변모해가고 있다고 표현한다. 이 기술의 의사 결정 과정을 드러내고, 비전문가들에게 설명할 수 있는 시스템이 필요하다는 주장이 제기되는 이유다. 여기에서 비롯된 것이다 '설명 가능한 인공지능'(explainable artificial intelligence), 약자로 XAI로 알려진 접근 방식이다. 그러나 구글의 한 연구 책임자는 '설명할 수 있는 인공지능'의 가치에 대해 의문을 던지고 나섰다. 나사 딥 스페이스 1 비행 소프트웨어를 개발한 구글의 피터 노빅 디렉터는 인간 또한 자신의 의사 결정을 설명하는데 그리 능숙하지 않은 존재라고 설명했다. 22일 열린 나사의 UNSW 행사에서 노빅은 "인지 심리학자들의 발견에 따르면 인간에게 물어본다고 해서 진짜 의사 결정 과정을 들을 수 있는 것이 아니다. 인간은 결정을 먼저 내리고 설명을 생성해내곤 한다. 진정한 설명이 아닐 수 있다"라고 말했다. 그는 이어 인간이 결정 이후 자신의 행동을 설명하는 것처럼 인공지능에서도 비슷한 방법을 채택할 수 있기는 하다고 설명했다. "가령 하나의 시스템을 훈련시켜 대답을 하게 하고 다른 시스템을 훈련시켜 설명하도록 하는 것이다"라고 말했다. 이러한 접근법에 대한 연구는 이미 이뤄지고 있다. 캘리포니아 대학과 맥스 플랑크 정보 기관의 연구원은 머신러닝 기반의 이미지 인식을 인간이 이해할 수 있는 설명으로 변환시키는 작업에 대한 논문을 발표했다. 연구진은 논문에서 모델의 숨겨진 상태에 접근함...

구글 설명 가능한 AI XAI

2017.06.27

머신러닝과 AI가 빠르게 확산됨에 따라, 이 기술의 동작을 인간이 이해할 수 있도록 해야 한다는 요구 또한 증가하고 있다. 의료 진단에서부터 대출 자격 심사에 이르기까지 오늘날 인공지능 관련 기술은 중차대한 업무를 담당함에도 불구하고 딥러닝, 머신러닝 아키텍처의 내부 작동은 점점 더 복잡하고 불투명해지고 있다. 일부 과학자, 정부 관계자, 시만들은 이러한 기술들이 '블랙박스'로 변모해가고 있다고 표현한다. 이 기술의 의사 결정 과정을 드러내고, 비전문가들에게 설명할 수 있는 시스템이 필요하다는 주장이 제기되는 이유다. 여기에서 비롯된 것이다 '설명 가능한 인공지능'(explainable artificial intelligence), 약자로 XAI로 알려진 접근 방식이다. 그러나 구글의 한 연구 책임자는 '설명할 수 있는 인공지능'의 가치에 대해 의문을 던지고 나섰다. 나사 딥 스페이스 1 비행 소프트웨어를 개발한 구글의 피터 노빅 디렉터는 인간 또한 자신의 의사 결정을 설명하는데 그리 능숙하지 않은 존재라고 설명했다. 22일 열린 나사의 UNSW 행사에서 노빅은 "인지 심리학자들의 발견에 따르면 인간에게 물어본다고 해서 진짜 의사 결정 과정을 들을 수 있는 것이 아니다. 인간은 결정을 먼저 내리고 설명을 생성해내곤 한다. 진정한 설명이 아닐 수 있다"라고 말했다. 그는 이어 인간이 결정 이후 자신의 행동을 설명하는 것처럼 인공지능에서도 비슷한 방법을 채택할 수 있기는 하다고 설명했다. "가령 하나의 시스템을 훈련시켜 대답을 하게 하고 다른 시스템을 훈련시켜 설명하도록 하는 것이다"라고 말했다. 이러한 접근법에 대한 연구는 이미 이뤄지고 있다. 캘리포니아 대학과 맥스 플랑크 정보 기관의 연구원은 머신러닝 기반의 이미지 인식을 인간이 이해할 수 있는 설명으로 변환시키는 작업에 대한 논문을 발표했다. 연구진은 논문에서 모델의 숨겨진 상태에 접근함...

2017.06.27

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.31