Offcanvas

���������

섣부른 믿음이 독 될 때··· 조심해야 할 보안 편향 8가지

보안 관련 결정을 내릴 때 리더는 여러 편견 및 인지 편향의 영향을 받을 수 있다. 팬데믹으로 인해 보안 우려가 커지는 가운데 이러한 편향성을 피하는 것이 더욱 중요해졌다.  자산 관리 및 거버넌스 벤더 주피터원의 수닐 유 CISO는 “개인의 사고 방식은 보안에 직접적인 영향을 미친다. 많은 보안 사고의 원인이 사람의 실수라는 점에서 사람들이 생각하고 반응하며 행동하는 방식을 이해하는 것은 우수한 사이버 보안에 필수적이다”라고 말했다. 편향성과 관련해 유를 비롯한 여러 보안 전문가들이 전하는 조언을 정리했다.    확증 편향(Confirmation bias) 스스로 가능성 높다고 위협 시나리오가 맞을 것이라고 생각하는 우를 범할 수 있다. 디지털 섀도우즈(Digital Shadows) CISO 릭 홀랜드는 “확증 편향이란 본인이 예전에 확립한 견해나 믿음을 뒷받침하는 정보를 선호하는 것”이라고 설명했다.  확증 편향이 특히 문제가 되는 것은 공격이나 위협의 원인을 찾을 때이다. 보안 리더들은 별다른 근거 없이 특정 국가 소속 행위자나 위협 행위자의 탓으로 돌려버리는 함정에 빠지기 쉽다. 확증 편향을 최소화할 객관적인 데이터 포인트를 찾아나서야 하며 대안적 시나리오를 살펴보고 본인의 신념 체계를 적극적으로 의심해 보아야 한다. 유는 모자 달린 옷과 스키용 마스크를 착용한 해커들이라면 자동적으로 악인을 떠올리는 경향을 지적했다. “모자 달린 옷을 입은 해커들의 빈도는 과대평가되고 해커처럼 보이지 않는 전문가들이 해커일 가능성은 과소 평가되고 있다”라고 그는 말했다. 편승 편향(Bandwagon bias) 동료들과 보안 관행에 대한 정보를 공유하고 비교하는 것이 권장되는 업계에서는 주위 사람들이 다 채택했다는 이유만으로 특정 방식을 채택하곤 한다. 블랙클록(Blackcloak) 창립자 겸 CEO 크리스토퍼 피어슨은 이러한 현상을 사이버보안 ‘편승 효과’라고 명명했다.  일례로 CISO가 특정 위험에 대처할 ...

편향성 편견 오해 선입견 착각

2021.07.22

보안 관련 결정을 내릴 때 리더는 여러 편견 및 인지 편향의 영향을 받을 수 있다. 팬데믹으로 인해 보안 우려가 커지는 가운데 이러한 편향성을 피하는 것이 더욱 중요해졌다.  자산 관리 및 거버넌스 벤더 주피터원의 수닐 유 CISO는 “개인의 사고 방식은 보안에 직접적인 영향을 미친다. 많은 보안 사고의 원인이 사람의 실수라는 점에서 사람들이 생각하고 반응하며 행동하는 방식을 이해하는 것은 우수한 사이버 보안에 필수적이다”라고 말했다. 편향성과 관련해 유를 비롯한 여러 보안 전문가들이 전하는 조언을 정리했다.    확증 편향(Confirmation bias) 스스로 가능성 높다고 위협 시나리오가 맞을 것이라고 생각하는 우를 범할 수 있다. 디지털 섀도우즈(Digital Shadows) CISO 릭 홀랜드는 “확증 편향이란 본인이 예전에 확립한 견해나 믿음을 뒷받침하는 정보를 선호하는 것”이라고 설명했다.  확증 편향이 특히 문제가 되는 것은 공격이나 위협의 원인을 찾을 때이다. 보안 리더들은 별다른 근거 없이 특정 국가 소속 행위자나 위협 행위자의 탓으로 돌려버리는 함정에 빠지기 쉽다. 확증 편향을 최소화할 객관적인 데이터 포인트를 찾아나서야 하며 대안적 시나리오를 살펴보고 본인의 신념 체계를 적극적으로 의심해 보아야 한다. 유는 모자 달린 옷과 스키용 마스크를 착용한 해커들이라면 자동적으로 악인을 떠올리는 경향을 지적했다. “모자 달린 옷을 입은 해커들의 빈도는 과대평가되고 해커처럼 보이지 않는 전문가들이 해커일 가능성은 과소 평가되고 있다”라고 그는 말했다. 편승 편향(Bandwagon bias) 동료들과 보안 관행에 대한 정보를 공유하고 비교하는 것이 권장되는 업계에서는 주위 사람들이 다 채택했다는 이유만으로 특정 방식을 채택하곤 한다. 블랙클록(Blackcloak) 창립자 겸 CEO 크리스토퍼 피어슨은 이러한 현상을 사이버보안 ‘편승 효과’라고 명명했다.  일례로 CISO가 특정 위험에 대처할 ...

2021.07.22

AI 모델의 3가지 편향성, '그리고 대처 방법'

자동 의사 결정 툴이 갈수록 확산되고 있다. 그러나 얼굴 인식 시스템부터 온라인 광고에 이르기까지, 이러한 툴의 뒤에 존재하는 머신러닝 모델의 상당수는 인종과 성별에 대한 뚜렷한 편향성을 보인다. ML 모델이 갈수록 폭넓게 채택되고 있는 만큼 인공지능(AI)의 공정성을 높이기 위한 각별한 관심과 전문적인 역량이 필요하다.    ML 모델은 차별을 악화시켜서는 안 되며 편향성을 찾아 제거해야 한다. 그러나 공정한 AI 모델을 구축하기 위해서는 먼저 AI 편향성의 근본 원인을 더 효과적으로 식별할 수 있는 방법을 확보해야 한다. 편향된 AI 모델이 입력과 출력 간의 편향된 관계를 어떻게 학습하는지를 이해해야 한다.  연구자들이 파악한 AI 편향성의 3가지 범주는 알고리즘 편견, 부정적 유산, 과소평가다. 알고리즘 편견은 보호되는 특징과 의사 결정에 사용되는 다른 정보 사이에 통계적 종속성이 존재하는 경우 발생한다. 부정적 유산은 AI 모델을 학습시키는 데 사용되는 데이터에 이미 존재하는 편향성을 나타낸다. 과소평가는 인구의 특정 구간에 대한 데이터가 충분하지 않아 모델이 확실한 결론을 내리지 못하는 경우다.  각 범주를 더 세부적으로 살펴보자.  알고리즘 편견  알고리즘 편견은 보호되는 특징과 다른 인자 간의 상관관계에서 비롯된다. 이 경우 보호되는 특성을 단순히 분석에서 배제하는 방법으로는 편향성을 줄일 수 없다. 이 상관관계가 보호되지 않는 인자를 근거로 해서 편향된 의사 결정으로 이어질 수 있기 때문이다.  예를 들어 초창기 예측 치안 알고리즘은 예측을 수행할 때는 인종 데이터에 접근할 수 없었지만, 모델은 지리적 데이터(예를 들어 우편번호)에 크게 의존했고 지리적 데이터는 인종과 연관된다. 결국 성별, 인종과 같은 인구통계학적 데이터를 “볼 수 없는” 모델이라 해도 보호되는 특성과 통계적으로 연관된 다른 특징을 통해 여전히 이 정보를 코드화할 수 있다.  대출 기관이 공정 ...

AI 학습 편향성 편견

2021.03.02

자동 의사 결정 툴이 갈수록 확산되고 있다. 그러나 얼굴 인식 시스템부터 온라인 광고에 이르기까지, 이러한 툴의 뒤에 존재하는 머신러닝 모델의 상당수는 인종과 성별에 대한 뚜렷한 편향성을 보인다. ML 모델이 갈수록 폭넓게 채택되고 있는 만큼 인공지능(AI)의 공정성을 높이기 위한 각별한 관심과 전문적인 역량이 필요하다.    ML 모델은 차별을 악화시켜서는 안 되며 편향성을 찾아 제거해야 한다. 그러나 공정한 AI 모델을 구축하기 위해서는 먼저 AI 편향성의 근본 원인을 더 효과적으로 식별할 수 있는 방법을 확보해야 한다. 편향된 AI 모델이 입력과 출력 간의 편향된 관계를 어떻게 학습하는지를 이해해야 한다.  연구자들이 파악한 AI 편향성의 3가지 범주는 알고리즘 편견, 부정적 유산, 과소평가다. 알고리즘 편견은 보호되는 특징과 의사 결정에 사용되는 다른 정보 사이에 통계적 종속성이 존재하는 경우 발생한다. 부정적 유산은 AI 모델을 학습시키는 데 사용되는 데이터에 이미 존재하는 편향성을 나타낸다. 과소평가는 인구의 특정 구간에 대한 데이터가 충분하지 않아 모델이 확실한 결론을 내리지 못하는 경우다.  각 범주를 더 세부적으로 살펴보자.  알고리즘 편견  알고리즘 편견은 보호되는 특징과 다른 인자 간의 상관관계에서 비롯된다. 이 경우 보호되는 특성을 단순히 분석에서 배제하는 방법으로는 편향성을 줄일 수 없다. 이 상관관계가 보호되지 않는 인자를 근거로 해서 편향된 의사 결정으로 이어질 수 있기 때문이다.  예를 들어 초창기 예측 치안 알고리즘은 예측을 수행할 때는 인종 데이터에 접근할 수 없었지만, 모델은 지리적 데이터(예를 들어 우편번호)에 크게 의존했고 지리적 데이터는 인종과 연관된다. 결국 성별, 인종과 같은 인구통계학적 데이터를 “볼 수 없는” 모델이라 해도 보호되는 특성과 통계적으로 연관된 다른 특징을 통해 여전히 이 정보를 코드화할 수 있다.  대출 기관이 공정 ...

2021.03.02

구글, 사내 AI 윤리팀 리더 해고··· '게브루 해고 사태' 이후 두 달 만

구글이 사내 AI 윤리 팀을 이끌던 연구원 마가렛 미셸을 지난 19일에 해고했다. 지난해 12월 같은 팀에서 일하던 AI 엔지니어 팀닛 게브루 박사를 해고한 지 약 2개월 만이다. 두 사람은 AI 윤리팀을 공동으로 이끌며 구글 AI 모델의 인종적, 성적 편향성 문제를 지적해왔다.    19일(현지시간) 미셸은 자신의 트위터를 통해 “(구글로부터) 해고당했다”(I’m fired)라고 밝혔다. 구체적인 이유는 밝히지 않았다.  구글 대변인은 미 매체 악시오스에 보낸 입장문을 통해 “내부 조사 결과, 미셸이 사내 보안 정책뿐 아니라 행동 규범을 수차례 어긴 점을 확인했다”라며 “다른 직원의 개인 데이터와 회사 기밀 문서를 유출했다”라고 설명했다.  이어 “구글 보안 시스템은 직원 계정이 민감한 데이터를 다루는 과정에서 문제가 발생한 경우 계정을 자동으로 차단한다”라며 “(미셸의) 계정에서 여러 개의 외부 계정으로 수천여 개의 파일이 반출된 것을 확인했고, 해당 직원에게 이 사실을 알렸다”라고 밝혔다.  보도에 따르면 미셸은 지난해 AI 윤리팀에서 해고당한 팀닛 게브루 박사가 회사에서 평소 차별적인 대우를 받았음을 입증하고자 내부 문건을 유출했다.  구체적으로는 자동 스크립트를 이용해 구글 측과 게브루 박사가 주고받은 과거 메시지 수천 건을 수집한 뒤 개인 계정을 통해 반출했다는 설명이다.  이로 인해 미셸은 지난 1월부터 사내 시스템 접속을 금지당한 상태였다. 이후 구글은 미첼 계정의 접근 권한을 돌려주지 않은 채 해고를 통보했다.  미셸은 평소 구글에서 AI의 편향성 및 인종 차별과 관련한 문제를 제기하며 게브루 박사를 지지해온 인물이다.  지난 1월에는 게브루 박사가 해고된 이후 순다르 피차이 구글 CEO가 흑인 대학 지도자들과 회동을 가지려는 계획을 트위터를 통해 비판한 바 있다.  한편 지난해 해고 당한 팀닛 게브루는 에티오피아 출신의 AI 엔지...

구글 인공지능 윤리 팀닛 게브루 마가렛 미셸 편향성

2021.02.22

구글이 사내 AI 윤리 팀을 이끌던 연구원 마가렛 미셸을 지난 19일에 해고했다. 지난해 12월 같은 팀에서 일하던 AI 엔지니어 팀닛 게브루 박사를 해고한 지 약 2개월 만이다. 두 사람은 AI 윤리팀을 공동으로 이끌며 구글 AI 모델의 인종적, 성적 편향성 문제를 지적해왔다.    19일(현지시간) 미셸은 자신의 트위터를 통해 “(구글로부터) 해고당했다”(I’m fired)라고 밝혔다. 구체적인 이유는 밝히지 않았다.  구글 대변인은 미 매체 악시오스에 보낸 입장문을 통해 “내부 조사 결과, 미셸이 사내 보안 정책뿐 아니라 행동 규범을 수차례 어긴 점을 확인했다”라며 “다른 직원의 개인 데이터와 회사 기밀 문서를 유출했다”라고 설명했다.  이어 “구글 보안 시스템은 직원 계정이 민감한 데이터를 다루는 과정에서 문제가 발생한 경우 계정을 자동으로 차단한다”라며 “(미셸의) 계정에서 여러 개의 외부 계정으로 수천여 개의 파일이 반출된 것을 확인했고, 해당 직원에게 이 사실을 알렸다”라고 밝혔다.  보도에 따르면 미셸은 지난해 AI 윤리팀에서 해고당한 팀닛 게브루 박사가 회사에서 평소 차별적인 대우를 받았음을 입증하고자 내부 문건을 유출했다.  구체적으로는 자동 스크립트를 이용해 구글 측과 게브루 박사가 주고받은 과거 메시지 수천 건을 수집한 뒤 개인 계정을 통해 반출했다는 설명이다.  이로 인해 미셸은 지난 1월부터 사내 시스템 접속을 금지당한 상태였다. 이후 구글은 미첼 계정의 접근 권한을 돌려주지 않은 채 해고를 통보했다.  미셸은 평소 구글에서 AI의 편향성 및 인종 차별과 관련한 문제를 제기하며 게브루 박사를 지지해온 인물이다.  지난 1월에는 게브루 박사가 해고된 이후 순다르 피차이 구글 CEO가 흑인 대학 지도자들과 회동을 가지려는 계획을 트위터를 통해 비판한 바 있다.  한편 지난해 해고 당한 팀닛 게브루는 에티오피아 출신의 AI 엔지...

2021.02.22

칼럼 | 인공지능 편향성을 확인하는 것은 인간의 몫

인공지능(AI)의 근본적 문제는 ‘인공’이라는 부분과 ‘지능’ 부분이다. 우리는 로봇 지능이 인간의 편견에서 벗어났다고 생각하지만, 실제로는 AI가 오히려 인간의 단점을 반복하는 경우가 많다. 한 번에 하나의 데이터 세트로 말이다.   데이터 과학자인 한나 데이비스에 따르면, ‘데이터 세트는 세계관’이고 주관적인 의미로 가득 차 있다. 그렇다고 AI를 포기할 수는 없다. 대신 AI에 영향을 주는 데이터를 개선할 수 있는 몇 가지 방법을 살펴보자. 데이비스가 지적한 것은 다음과 같다.   AI는 항상 사람에 관한 것이었다 우리가 얼마나 ‘데이터 중심적’인지 가식적으로 보여주는 것이 바로 AI다. 데이터의 사용에 전적으로 의존한다고 해도 과언이 아니다. 예를 들어, 머신러닝 알고리즘의 놀라운 점은 패턴을 찾아 반응하기 위해 산더미 같은 방대한 데이터를 놀랍도록 빠르게 걸러낸다는 사실이다. 그러나 이러한 모델은 반드시 학습시켜야 하는데, 데이터 과학자가 고품질 데이터 세트에 관심을 두는 이유다. 그러나 데이비스에 따르면, 데이터 세트는 중립적이지 않다. "(하나의) 데이터 세트는 하나의 세계관이다. 연구원이든 예술가든 기업이든 상관없이 데이터를 긁어모으고 수집하는 사람의 세계관을 반영한다. 이름을 붙이는 사람(labeler)의 세계관도 포괄한다. 수동으로 혹은 자신도 모르는 사이 반영되거나, 메커니컬 터크(Mechanical Turk) 같은 제3자 서비스를 통해 반영된다. 이 경우 데이터셋에는 해당 서비스 업체의 고유 분류법에 대한 세계관까지 망라하는데, 이들 기업의 활동 목표가 높은 삶의 질과 직접적으로 양립할 수 없는 경우가 종종 있다" 문제가 파악되는가? 머신러닝 모델은 이를 제공하는 데이터 세트의 수준만큼만 똑똑할 뿐이며, 이 데이터 세트는 이를 만드는 사람에 큰 영향을 받는다. 가디언에 따르면, 기계는 인간과 같은 실수를 단지 더 빠르게 저지른다. AI는 데이터에서 유형을 특정할 수 있는 능력을 기계에 불어넣어서 인간보다 더 빠르게...

AI 인공지능 편향성

2020.04.28

인공지능(AI)의 근본적 문제는 ‘인공’이라는 부분과 ‘지능’ 부분이다. 우리는 로봇 지능이 인간의 편견에서 벗어났다고 생각하지만, 실제로는 AI가 오히려 인간의 단점을 반복하는 경우가 많다. 한 번에 하나의 데이터 세트로 말이다.   데이터 과학자인 한나 데이비스에 따르면, ‘데이터 세트는 세계관’이고 주관적인 의미로 가득 차 있다. 그렇다고 AI를 포기할 수는 없다. 대신 AI에 영향을 주는 데이터를 개선할 수 있는 몇 가지 방법을 살펴보자. 데이비스가 지적한 것은 다음과 같다.   AI는 항상 사람에 관한 것이었다 우리가 얼마나 ‘데이터 중심적’인지 가식적으로 보여주는 것이 바로 AI다. 데이터의 사용에 전적으로 의존한다고 해도 과언이 아니다. 예를 들어, 머신러닝 알고리즘의 놀라운 점은 패턴을 찾아 반응하기 위해 산더미 같은 방대한 데이터를 놀랍도록 빠르게 걸러낸다는 사실이다. 그러나 이러한 모델은 반드시 학습시켜야 하는데, 데이터 과학자가 고품질 데이터 세트에 관심을 두는 이유다. 그러나 데이비스에 따르면, 데이터 세트는 중립적이지 않다. "(하나의) 데이터 세트는 하나의 세계관이다. 연구원이든 예술가든 기업이든 상관없이 데이터를 긁어모으고 수집하는 사람의 세계관을 반영한다. 이름을 붙이는 사람(labeler)의 세계관도 포괄한다. 수동으로 혹은 자신도 모르는 사이 반영되거나, 메커니컬 터크(Mechanical Turk) 같은 제3자 서비스를 통해 반영된다. 이 경우 데이터셋에는 해당 서비스 업체의 고유 분류법에 대한 세계관까지 망라하는데, 이들 기업의 활동 목표가 높은 삶의 질과 직접적으로 양립할 수 없는 경우가 종종 있다" 문제가 파악되는가? 머신러닝 모델은 이를 제공하는 데이터 세트의 수준만큼만 똑똑할 뿐이며, 이 데이터 세트는 이를 만드는 사람에 큰 영향을 받는다. 가디언에 따르면, 기계는 인간과 같은 실수를 단지 더 빠르게 저지른다. AI는 데이터에서 유형을 특정할 수 있는 능력을 기계에 불어넣어서 인간보다 더 빠르게...

2020.04.28

기고 | ‘세익스피어 vs. 래퍼’··· AI 모델 편향성 사례 살펴보기

요즈음 인공지능(AI)의 편향에 대한 논란이 많다. 사람의 얼굴을 부적절하게 판단하는 이미지 분류 시스템에서부터 성별 편향을 보이는 채용 봇에 이르기까지 AI는 인간의 행동을 모사함에 있어 편견까지 고스란히 물려받는 경향을 보인다. AI를 오용하면 인종차별주의자, 성차별주의자, 상스러운 봇을 만들고 이로 인한 피해를 입을 수 있다. 그렇다면 AI를 오용하지 않을 방법은 무엇일까? AI가 태생적으로 편향적인 것은 아닐까? 여기 참고할만한 필자의 사례를 소개한다.    기계는 기계일 뿐 우선 한 가지 확실히 말해 둘 것이 있다. AI는 기계일 뿐이다. 기계를 인격화해 바라볼 수 있지만 여전히 기계일 뿐이다. 호숫가에서 갖고 놀던 평범한 돌을 가치 있는 수집용 수석으로 대우할지라도 돌이라는 본질은 변하지 않는 것과 그리 다르지 않다.  사실 수집용 돌이 아무리 멋지게 보여도 돌이라는 점을 잊는 이는 드물다. AI도 마찬가지여야 한다. 대화하는 내용이나 외모가 아무리 인간과 비슷해도 여전히 기계라는 사실을 잊어서는 안 된다. 얼마 전 필자는 교사 봇 프로젝트를 진행했었다. 그 핵심은 오픈소스 데이터 사이언스 소프트웨어인 KNIME 분석 플랫폼의 문서와 기능에 대한 질문에 대해 자동으로 정보성 답변을 생성하는 것이었다. 모든 봇 프로젝트와 마찬가지로 말하는 스타일을 선택하는 문제에 직면했다.  말을 하거나 글을 쓰는 스타일은 다양하기 마련이다. 봇의 경우 친근하면 좋을 수 있지만 과도하지 않아야 한다. 공손하지만 상황에 따라 적극적일 수 있어야 한다.  ‘쓰기 또는 말하기 스타일을 묘사하는 60개의 단어’라는 제목의 블로그 포스트에는 수다스럽고 말을 잘 하는 것부터 서정적이며 문학적이고 재미있는 스타일, 유창하고 예의 바른 스타일, 앞 뒤가 맞지 않는 스타일(필자가 가장 좋아함)까지 봇의 다양한 말하기 스타일에 관한 60가지의 미묘한 차이가 나열되어 있다. 나의 봇은 어떤 말하기 스타일을 적용해야 할까? 필자는...

편견 편향성 AI 모델 AI 훈련 데이터

2020.01.28

요즈음 인공지능(AI)의 편향에 대한 논란이 많다. 사람의 얼굴을 부적절하게 판단하는 이미지 분류 시스템에서부터 성별 편향을 보이는 채용 봇에 이르기까지 AI는 인간의 행동을 모사함에 있어 편견까지 고스란히 물려받는 경향을 보인다. AI를 오용하면 인종차별주의자, 성차별주의자, 상스러운 봇을 만들고 이로 인한 피해를 입을 수 있다. 그렇다면 AI를 오용하지 않을 방법은 무엇일까? AI가 태생적으로 편향적인 것은 아닐까? 여기 참고할만한 필자의 사례를 소개한다.    기계는 기계일 뿐 우선 한 가지 확실히 말해 둘 것이 있다. AI는 기계일 뿐이다. 기계를 인격화해 바라볼 수 있지만 여전히 기계일 뿐이다. 호숫가에서 갖고 놀던 평범한 돌을 가치 있는 수집용 수석으로 대우할지라도 돌이라는 본질은 변하지 않는 것과 그리 다르지 않다.  사실 수집용 돌이 아무리 멋지게 보여도 돌이라는 점을 잊는 이는 드물다. AI도 마찬가지여야 한다. 대화하는 내용이나 외모가 아무리 인간과 비슷해도 여전히 기계라는 사실을 잊어서는 안 된다. 얼마 전 필자는 교사 봇 프로젝트를 진행했었다. 그 핵심은 오픈소스 데이터 사이언스 소프트웨어인 KNIME 분석 플랫폼의 문서와 기능에 대한 질문에 대해 자동으로 정보성 답변을 생성하는 것이었다. 모든 봇 프로젝트와 마찬가지로 말하는 스타일을 선택하는 문제에 직면했다.  말을 하거나 글을 쓰는 스타일은 다양하기 마련이다. 봇의 경우 친근하면 좋을 수 있지만 과도하지 않아야 한다. 공손하지만 상황에 따라 적극적일 수 있어야 한다.  ‘쓰기 또는 말하기 스타일을 묘사하는 60개의 단어’라는 제목의 블로그 포스트에는 수다스럽고 말을 잘 하는 것부터 서정적이며 문학적이고 재미있는 스타일, 유창하고 예의 바른 스타일, 앞 뒤가 맞지 않는 스타일(필자가 가장 좋아함)까지 봇의 다양한 말하기 스타일에 관한 60가지의 미묘한 차이가 나열되어 있다. 나의 봇은 어떤 말하기 스타일을 적용해야 할까? 필자는...

2020.01.28

'학습용 데이터셋에서 편향성 식별 가능'··· IBM, 파이썬용 트러스티드 AI 툴킷 발표

IBM 연구진이 머신러닝 모델의 편향성을 줄이고 AI를 학습할 데이터셋에서 편향성을 찾아내는 방법을 개발했다. AI 애플리케이션이 업무를 처리하고 결정하는 데 있어 편향성에 따른 차별을 없애는 데 도움이 될 전망이다. 이번 성과는 '신뢰할 수 있는 AI(Trusted AI)' 프로젝트의 연구 결과로, IBM은 이를 3개의 오픈소스 파이썬 기반 툴킷으로 공개했다. 이 중 최신 툴킷인 'AI익스플레인어빌리티 360(AI Explainability 360)'은 이달 초 공개됐는데, 여기에는 머신러닝 모델의 의사 결정 근거를 설명하는 데 사용하는 알고리즘이 포함돼 있다. 파이썬용 IBM 트러스티드 AI 툴킷 3종은 모두 깃허브에서 확인할 수 있으며 주요 패키지는 다음과 같다. - AI익스플레인어빌리티 360(AI Explainability 360). AIX360이라고도 불린다. 다양한 측면에서 머신러닝 모델의 설명가능성(explainability)을 구현하는 알고리즘과 설명가능성을 판단하는 기준 지표를 제공한다. 이 툴킷은 모델이 AI 애플리케이션 수명 주기 전체에 걸쳐 다양한 방법으로 라벨을 예측하는 방법을 이해하는 데 도움을 준다. 금융, HCM, 교육, 헬스케어 등 업종별로 사용할 수 있도록 지원한다. AIX360 툴킷은 지난 8월 8일에 공개됐으며 깃허브에서 다운로드할 수 있다. API 문서도 제공한다. - AI 페어니스 360(AI Fairness 360, AIF360). 데이터셋과 머신러닝 모델, 알고리즘에서 제거해야 할 불필요한 편향성을 확인하는 지표를 제시한다. 이 툴킷을 이용하면 머신러닝 모델이 특정 특권 그룹에 시스템 측면의 가산점을 부여하지 않도록 할 수 있다. 보통 학습 데이터의 편향성은 라벨에 대한 선입견 혹은 너무 적은(많은) 샘플링에서 발생하는데, 결국 편향적인 의사결정을 하는 모델로 이어질 수 있다. AIF360에는 신용 점수 산출, 의료비 지출 예측, 성별에 따른 얼굴 인식 같은 작업의 튜토리얼도 포함돼 있다. AIF360 코드는 ...

IBM AI 인공지능 편향성

2019.08.27

IBM 연구진이 머신러닝 모델의 편향성을 줄이고 AI를 학습할 데이터셋에서 편향성을 찾아내는 방법을 개발했다. AI 애플리케이션이 업무를 처리하고 결정하는 데 있어 편향성에 따른 차별을 없애는 데 도움이 될 전망이다. 이번 성과는 '신뢰할 수 있는 AI(Trusted AI)' 프로젝트의 연구 결과로, IBM은 이를 3개의 오픈소스 파이썬 기반 툴킷으로 공개했다. 이 중 최신 툴킷인 'AI익스플레인어빌리티 360(AI Explainability 360)'은 이달 초 공개됐는데, 여기에는 머신러닝 모델의 의사 결정 근거를 설명하는 데 사용하는 알고리즘이 포함돼 있다. 파이썬용 IBM 트러스티드 AI 툴킷 3종은 모두 깃허브에서 확인할 수 있으며 주요 패키지는 다음과 같다. - AI익스플레인어빌리티 360(AI Explainability 360). AIX360이라고도 불린다. 다양한 측면에서 머신러닝 모델의 설명가능성(explainability)을 구현하는 알고리즘과 설명가능성을 판단하는 기준 지표를 제공한다. 이 툴킷은 모델이 AI 애플리케이션 수명 주기 전체에 걸쳐 다양한 방법으로 라벨을 예측하는 방법을 이해하는 데 도움을 준다. 금융, HCM, 교육, 헬스케어 등 업종별로 사용할 수 있도록 지원한다. AIX360 툴킷은 지난 8월 8일에 공개됐으며 깃허브에서 다운로드할 수 있다. API 문서도 제공한다. - AI 페어니스 360(AI Fairness 360, AIF360). 데이터셋과 머신러닝 모델, 알고리즘에서 제거해야 할 불필요한 편향성을 확인하는 지표를 제시한다. 이 툴킷을 이용하면 머신러닝 모델이 특정 특권 그룹에 시스템 측면의 가산점을 부여하지 않도록 할 수 있다. 보통 학습 데이터의 편향성은 라벨에 대한 선입견 혹은 너무 적은(많은) 샘플링에서 발생하는데, 결국 편향적인 의사결정을 하는 모델로 이어질 수 있다. AIF360에는 신용 점수 산출, 의료비 지출 예측, 성별에 따른 얼굴 인식 같은 작업의 튜토리얼도 포함돼 있다. AIF360 코드는 ...

2019.08.27

블로그 | AI 시스템의 편향성을 악화시키는 클라우드 가용성

가트너에 따르면, 지금부터 2022년까지 AI 프로젝트의 85%가 데이터와 알고리즘, 아니면 프로젝트 관리를 맡은 팀의 편향성 때문에 잘못된 결과물을 내놓을 것으로 전망된다. 게다가 갤럽에 따르면 현재 미국인의 85%가 최소한 하나 이상의 AI 기반 디바이스나 프로그램, 서비스를 사용한다.   편향성은 필자가 1980년대 후반부터 AI 시스템의 동향을 관찰하면서 알고 있는 바로 그 편향성이다. 사실 사람이 AI를 프로그램하고 가르치기 때문에 AI는 가르친 사람의 내재적 편향성을 띠는 경향이 있다. 그런데 귀중한 AI 시스템을 호스팅하기 위해 클라우드를 사용하는 것이 실제로 상황을 더 악화시킨다. 왜냐하면 AI를 구축할 여유가 있는 수많은 기업이 클라우드로 올라갔지만, 같은 공간에서 견실한 AI 기술을 가진 수많은 인력을 키워내지는 못했기 때문이다. 따라서 더 광범위하게 사용되는 AI 툴의 내재적인 편향성에 전문 인력의 부족이 더해지면 더 많은 오류가 생길 수밖에 없다. 이들 편향성은 어떤 모습으로 나타날까? 여성이 손해를 볼지도 모른다. AI를 개발하고 가르치는 사람의 대다수가 남성이기 때문에 의식 또는 무의식적인 편향성이 코딩될 것이다. 예를 들어, 2015년 연구에 따르면, 구글 이미지 검색에서 CEO를 찾으면, 표시된 결과의 11%만이 여성이다. 실제로 미국에서 여성 CEO의 비율은 27%이다. 그나마 구글은 이런 문제를 빠르게 고친다. 기업은 이런 AI의 내재적인 편향성에 주의를 기울여야만 할 것이다. 예를 들어, 자격이 충분한 여성에게 대출을 해주지 않음으로써 생기는 수익 영향을 흡수해야 한다. 이런 여성이 시장의 55%를 차지한다. 이런 문제는 좋게 봐도 악업을 쌓는 일이고, 최악의 경우 법적 분쟁의 늪에 빠질 수도 있다. 어떻게 해야 하는가? 편향된 AI가 표준이라는 것을 인정해야 한다. 그래서 IT는 편향성이 있다는 것을, 아니면 있을 수도 있다는 것을 인식할 필요가 있다. 그리고 피해를 제한할 수 있는 조처를 해야 한다. 다...

AI 편향성 bias

2019.04.09

가트너에 따르면, 지금부터 2022년까지 AI 프로젝트의 85%가 데이터와 알고리즘, 아니면 프로젝트 관리를 맡은 팀의 편향성 때문에 잘못된 결과물을 내놓을 것으로 전망된다. 게다가 갤럽에 따르면 현재 미국인의 85%가 최소한 하나 이상의 AI 기반 디바이스나 프로그램, 서비스를 사용한다.   편향성은 필자가 1980년대 후반부터 AI 시스템의 동향을 관찰하면서 알고 있는 바로 그 편향성이다. 사실 사람이 AI를 프로그램하고 가르치기 때문에 AI는 가르친 사람의 내재적 편향성을 띠는 경향이 있다. 그런데 귀중한 AI 시스템을 호스팅하기 위해 클라우드를 사용하는 것이 실제로 상황을 더 악화시킨다. 왜냐하면 AI를 구축할 여유가 있는 수많은 기업이 클라우드로 올라갔지만, 같은 공간에서 견실한 AI 기술을 가진 수많은 인력을 키워내지는 못했기 때문이다. 따라서 더 광범위하게 사용되는 AI 툴의 내재적인 편향성에 전문 인력의 부족이 더해지면 더 많은 오류가 생길 수밖에 없다. 이들 편향성은 어떤 모습으로 나타날까? 여성이 손해를 볼지도 모른다. AI를 개발하고 가르치는 사람의 대다수가 남성이기 때문에 의식 또는 무의식적인 편향성이 코딩될 것이다. 예를 들어, 2015년 연구에 따르면, 구글 이미지 검색에서 CEO를 찾으면, 표시된 결과의 11%만이 여성이다. 실제로 미국에서 여성 CEO의 비율은 27%이다. 그나마 구글은 이런 문제를 빠르게 고친다. 기업은 이런 AI의 내재적인 편향성에 주의를 기울여야만 할 것이다. 예를 들어, 자격이 충분한 여성에게 대출을 해주지 않음으로써 생기는 수익 영향을 흡수해야 한다. 이런 여성이 시장의 55%를 차지한다. 이런 문제는 좋게 봐도 악업을 쌓는 일이고, 최악의 경우 법적 분쟁의 늪에 빠질 수도 있다. 어떻게 해야 하는가? 편향된 AI가 표준이라는 것을 인정해야 한다. 그래서 IT는 편향성이 있다는 것을, 아니면 있을 수도 있다는 것을 인식할 필요가 있다. 그리고 피해를 제한할 수 있는 조처를 해야 한다. 다...

2019.04.09

기고 | SXSW에서 논의된 AI의 불편한 진실

오길비의 제이슨 데이비가 SXSW 행사에서 이뤄진 AI 관련 논의에 대해 기고했다. 작년 SXSW 행사에 대한 기고문에서 필자는 기술 분야에서 나타난 발전들이 마케팅 뿐 아니라 사회적인 충격을 가져올 것이라고 기술했다. 올해의 행사는 이러한 전망을 확인할 수 있는 자리였다. AI가 영화 제작, 터랙티브 및 음악 전반에 걸친 SXSW의 모든 트랙에서 논의되고 있었다. 그러나 올해의 어조는 다소 다르다. 예산이 신중한 검토 없이 투하되고 있고 데이터가 다양성에 대한 고려 없이 입력되고 있으며, 이로 인해 AI가 인종주의, 성 편견과 같은 인간성의 어두운 측면을 반영한다는 우려가 고조되고 있었다. AI가 학습하면서 참고하는 문서와 데이터가 문제의 원인 중 하나다. 광대한 역사에 존재하는 무의식적 편견이 녹아든 데이터로 인해 인공지능이 문제를 일으킨다. 불행하게도 인간의 나쁜 소식에 대한 진화적 친밀성을 가지고 있다. 사실 이는 인류가 수천 년 동안 생존하는데 도움이 됐던 특질이다. 그러나 이러한 편향성은 가짜 뉴스, 적개심 가득한 증오 표현, 트롤링 및 필터링되지 메시지 등으로 표현되기도 한다. 그리고 AI와 만날 때 글로벌 사회에 커다란 영향을 미칠 수 있다. 이번 행사에서는 런던시의 시장과 구글의 머신러닝 부문 수석 과학자와 같은 여러 유명 인사들이 기술 개발자들의 책임에 대한 질문을 제시했다. 특히 페이스북과 구글과 같은 글로벌 커뮤니케이션 플랫폼 제공자들의 인공지능 알고리즘이 세계 사회의 다양성과 관심사를 반영하도록 설계되지 않았으며 실제로 얼마나 극단적인 지에 관계없이 '관심 분야'에 기반한 경험을 제공하고 있다는 지적이다. 그리고 이러한 행태는 부족한 다양성과 편협한 문화를 초래한다는 목소리가 높았다. 뉴스 피드의 '피드'가 피드(feed)가 아닌 터널 시야(tunnel vision)를 야기시키고 있다는 것이다. 이는 웹의 초기 의도 및 약속, 즉 개방성과 평등, 지구적 연결성이라는 가치와...

인공지능 개인화 알고리즘 SXSW 편견 편향성

2018.03.15

오길비의 제이슨 데이비가 SXSW 행사에서 이뤄진 AI 관련 논의에 대해 기고했다. 작년 SXSW 행사에 대한 기고문에서 필자는 기술 분야에서 나타난 발전들이 마케팅 뿐 아니라 사회적인 충격을 가져올 것이라고 기술했다. 올해의 행사는 이러한 전망을 확인할 수 있는 자리였다. AI가 영화 제작, 터랙티브 및 음악 전반에 걸친 SXSW의 모든 트랙에서 논의되고 있었다. 그러나 올해의 어조는 다소 다르다. 예산이 신중한 검토 없이 투하되고 있고 데이터가 다양성에 대한 고려 없이 입력되고 있으며, 이로 인해 AI가 인종주의, 성 편견과 같은 인간성의 어두운 측면을 반영한다는 우려가 고조되고 있었다. AI가 학습하면서 참고하는 문서와 데이터가 문제의 원인 중 하나다. 광대한 역사에 존재하는 무의식적 편견이 녹아든 데이터로 인해 인공지능이 문제를 일으킨다. 불행하게도 인간의 나쁜 소식에 대한 진화적 친밀성을 가지고 있다. 사실 이는 인류가 수천 년 동안 생존하는데 도움이 됐던 특질이다. 그러나 이러한 편향성은 가짜 뉴스, 적개심 가득한 증오 표현, 트롤링 및 필터링되지 메시지 등으로 표현되기도 한다. 그리고 AI와 만날 때 글로벌 사회에 커다란 영향을 미칠 수 있다. 이번 행사에서는 런던시의 시장과 구글의 머신러닝 부문 수석 과학자와 같은 여러 유명 인사들이 기술 개발자들의 책임에 대한 질문을 제시했다. 특히 페이스북과 구글과 같은 글로벌 커뮤니케이션 플랫폼 제공자들의 인공지능 알고리즘이 세계 사회의 다양성과 관심사를 반영하도록 설계되지 않았으며 실제로 얼마나 극단적인 지에 관계없이 '관심 분야'에 기반한 경험을 제공하고 있다는 지적이다. 그리고 이러한 행태는 부족한 다양성과 편협한 문화를 초래한다는 목소리가 높았다. 뉴스 피드의 '피드'가 피드(feed)가 아닌 터널 시야(tunnel vision)를 야기시키고 있다는 것이다. 이는 웹의 초기 의도 및 약속, 즉 개방성과 평등, 지구적 연결성이라는 가치와...

2018.03.15

IDG 설문조사

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.9