기고 | ‘세익스피어 vs. 래퍼’··· AI 모델 편향성 사례 살펴보기

요즈음 인공지능(AI)의 편향에 대한 논란이 많다. 사람의 얼굴을 부적절하게 판단하는 이미지 분류 시스템에서부터 성별 편향을 보이는 채용 봇에 이르기까지 AI는 인간의 행동을 모사함에 있어 편견까지 고스란히 물려받는 경향을 보인다.

AI를 오용하면 인종차별주의자, 성차별주의자, 상스러운 봇을 만들고 이로 인한 피해를 입을 수 있다. 그렇다면 AI를 오용하지 않을 방법은 무엇일까? AI가 태생적으로 편향적인 것은 아닐까? 여기 참고할만한 필자의 사례를 소개한다. 
 

기계는 기계일 뿐
우선 한 가지 확실히 말해 둘 것이 있다. AI는 기계일 뿐이다. 기계를 인격화해 바라볼 수 있지만 여전히 기계일 뿐이다. 호숫가에서 갖고 놀던 평범한 돌을 가치 있는 수집용 수석으로 대우할지라도 돌이라는 본질은 변하지 않는 것과 그리 다르지 않다. 

사실 수집용 돌이 아무리 멋지게 보여도 돌이라는 점을 잊는 이는 드물다. AI도 마찬가지여야 한다. 대화하는 내용이나 외모가 아무리 인간과 비슷해도 여전히 기계라는 사실을 잊어서는 안 된다.

얼마 전 필자는 교사 봇 프로젝트를 진행했었다. 그 핵심은 오픈소스 데이터 사이언스 소프트웨어인 KNIME 분석 플랫폼의 문서와 기능에 대한 질문에 대해 자동으로 정보성 답변을 생성하는 것이었다. 모든 봇 프로젝트와 마찬가지로 말하는 스타일을 선택하는 문제에 직면했다. 

말을 하거나 글을 쓰는 스타일은 다양하기 마련이다. 봇의 경우 친근하면 좋을 수 있지만 과도하지 않아야 한다. 공손하지만 상황에 따라 적극적일 수 있어야 한다.  ‘쓰기 또는 말하기 스타일을 묘사하는 60개의 단어’라는 제목의 블로그 포스트에는 수다스럽고 말을 잘 하는 것부터 서정적이며 문학적이고 재미있는 스타일, 유창하고 예의 바른 스타일, 앞 뒤가 맞지 않는 스타일(필자가 가장 좋아함)까지 봇의 다양한 말하기 스타일에 관한 60가지의 미묘한 차이가 나열되어 있다. 나의 봇은 어떤 말하기 스타일을 적용해야 할까?

필자는 공손한 것(polite)과 적극적인 것(assertive) 등 2가지 스타일을 선택했다. 공손한 것은 시적인 것(poetic)과 맞닿는다. 적극적인 것은 무례한 것(impolite)의 스펙트럼과 이어진다. 둘 다 프리 텍스트 생성에 대한 경향성을 의미한다.

이 교사 봇 프로젝트의 일환으로 몇 달 전 필자는 프리 텍스트를 생성하기 위해 LSTM(Long Short-Term Memory) 유닛 계층이 숨겨져 있는 단순한 딥러닝 신경망을 이용했다.

이 네트워크는 M개의 연속적인 글자를 입력 받아 출력 계층에서 다음에 올 가능성이 가장 높은 글자를 예측했다. 그래서 입력 계층에 “h-o-u-s”라는 글자 순서가 있으면 네트워크가 다음에 올 가능성이 가장 높은 글자로 “e”를 예측했다. 이 네트워크는 프리 문장들을 통해 훈련을 받아 한 번에 한 글자씩 단어 그리고 심지어 문장을 생성하는 방법을 학습한다.

필자는 딥러닝 네트워크를 처음부터 개발하지 않고 (인터넷에서 기존의 예를 찾는 최신 유행에 따라) KNIME 허브에서 프리 텍스트 생성을 위한 유사한 솔루션을 검색했다. 필자는 기존의 실제 산 이름으로 유사한 네트워크를 훈련시켜 아웃도어 의류 신제품 후보명을 생성하는 솔루션을 발견했다. 가상의 저작권이 없으며 산을 연상시키는 후보 이름을 생성하는 솔루션이었다. 필자는 해당 네트워크를 다운로드하고 다수-다수 아키텍처를 다수-단일 아키텍처로 변경하는 등 필요에 맞게 수정했다.

네트워크는 일련의 적절한 프리 텍스트로 훈련을 받았다. 배치 중 첫 M=100개의 글자의 트리거 문장이 제공되었고, 이후 네트워크가 스스로 자체적인 프리 텍스트를 계속 조합했다.


프리 텍스트 생성을 위한 LSTM-기반 딥러닝 네트워크

AI 편향의 예
고객이나 사용자가 불가능한 것을 확고하게 요구하는 상황을 상상해 보자. 어떻게 답해야 할까? 봇이 어떻게 답해야 할까? 첫 번째 작업은 네트워크가 무례한 것에 이를 정도까지 적극적이도록 훈련하는 것이었다. 네트워크를 훈련시키기 위한 확실하고 적극적인 일련의 언어를 어디에서 찾을 수 있을까?

결국 딥러닝 LSTM 기반 네트워크를 일련의 랩 음악 가사로 훈련시키게 되었다. 랩 음악에 해당 작업을 위해 필요한 모든 충분히 적극적인 텍스트가 포함되어 있을 수도 있다고 판단했기 때문이었다. 

이렇게 훈련된 네트워크는 사실 너무 상스러웠다. 이 사례 연구를 청중 앞에서 발표할 때마다 미성년자는 출입하지 못하도록 해야 했을 정도다. 어쨌든 성차별주의자이며 인종차별주의자이고 건방지며 편견을 솔직하게 표현하는 AI 시스템이 만들어진 것처럼 보였다. 

아래의 랩 음악은 해당 네트워크가 생성한 것이다. 첫 100개의 트리거 문자는 수동으로 입력됐으며 빨간색으로 표시되어 있다. 네트워크 생성 텍스트는 회색이다. 물론, 나머지 텍스트의 적절한 어조를 설정하기 위해 트리거 문장이 중요하다. 이 사례의 경우, 필자는 영어에서 찾을 수 있는 가장 지루한 문장인 소프트웨어 라이선스 설명에서 시작했다.

흥미로운 점 중 하나는 이 신경망이 가능한 모든 단어와 구문 중에서 ‘비용 지불’, ‘비싼’, ‘은행’, ‘솔직히’를 선택하여 포함시켰다는 점이다. 어조는 다를 수 있지만 콘텐츠는 트리거 문장를 준수하려 노력했다.


AI에 의해 생성된 랩 음악 사례. 

이 네트워크의 구조, 훈련, 배치에 대한 자세한 내용은 ‘AI 생성 랩 음악’에서 확인할 수 있다.

언어가 우아하고 정중하지는 않을 수 있지만 유쾌한 리듬이 있으며, 이는 라임(Rhyme) 때문이다. 네트워크가 운이 맞는 텍스트를 생성하려면 과거에 입력한 샘플의 문자의 길이 M가 충분해야 한다. M=100개의 과거 문자의 경우 운이 맞지만 M=50개의 과거 문자는 그렇지 못했다.

AI에서 편향 없애기
필자의 문제아적(misbehaving) 네트워크를 다시 훈련시키기 위해 이번에는 셰익스피어의 비극 2개(‘리어 왕’과 ‘오델로’) 및 1개의 희극(‘헛소동’) 등 3개의 희곡이 포함된 새로운 훈련 세트를 생성했다. 그리고 나서 이 새로운 훈련 세트로 네트워크를 다시 훈련시켰다.

배치 후, 해당 네트워크는 랩 음악보다는 셰익스피어와 비슷한 텍스트를 생성하며, 발화의 청정도와 공손함 측면에서 확실히 개선됐다. 더 이상의 비속어적 표현은 없다! 더 이상 상스러운 말도 하지 않는다!

다시 한 번 소프트웨어 라이선스 텍스트의 도입부로 프리 텍스트 생성을 실행하여 셰익스피어가 우리의 네트워크에 따라 어떻게 진행하는지 살펴보자. 아래의 네트워크가 생성한 셰익스피어 스타일의 텍스트이다. 수동으로 삽입된 첫 100개의 트리거 문자는 빨간색으로 표시되어 있으며 네트워크 생성 텍스트는 회색으로 표시되어 있다.

이 경우에도 트리거 문장이 다음 단어의 어조를 설정한다. ‘도둑’, ‘보호 및 정직함’, (기억에 남는) ‘선생님, 이제 인내심을 가지세요’ 등은 모두 소프트웨어 라이선스의 전문에 해당한다. 하지만 이번에는 발화 스타일이 매우 다르다.

이 네트워크의 구조, 훈련, 배치에 대한 자세한 내용은 ‘딥러닝을 활용하여 셰익스피어 스타일의 글을 쓰는 방법’에서 확인할 수 있다.

이제 셰익스피어 스타일의 텍스트를 생성했던 신경망이 랩 음악을 생성했던 신경망과 같은 신경망이라는 사실을 떠올려보자. 정확히 같다. 단지, 다른 데이터 세트(한 쪽은 랩 음악, 다른 한 쪽은 희곡)로 훈련을 받았을 뿐이다. 그 결과, 생성된 프리 텍스트가 매우 다르며, 실제로 생성된 텍스트의 편향도 마찬가지이다.


AI에 의해 생성된 셰익스피어 텍스트 사례. 

요약하자면, 필자는 매우 상스럽고 적극적이며 편향된 AI 시스템을 만들었고 매우 우아하며 공손하며 시인에 가까운 AI 시스템도 만들었다. 최소한 발화 스타일 측면에서는 그렇다는 이야기이다. 핵심은 둘 다 같은 AI 모델에 기초하고 있으며, 두 신경망의 유일한 차이점은 훈련 데이터이다. 즉 편향은 AI 모델이 아니라 데이터에 따라 갈렸다.

편향이 들어가면 편향이 나온다
실제로 AI 모델은 단순한 기계이며 이는 수석이 결국 돌인 것과 마찬가지다. 훈련 세트의 데이터에 기초하여 파라미터를 조정하는(학습하는) 기계이다. 훈련 세트의 성차별주의자 데이터는 성차별주의자 AI 모델을 낳는다. 훈련 세트의 인종차별주의자 데이터는 인종차별주의자 AI 모델을 낳는다. 

데이터는 인간이 생성하기 때문에 편향되는 경우가 많다. 따라서 결과 AI 시스템도 편향된다. 깔끔하고 솔직하며 편향되지 않은 모델이 목표라면 훈련에 앞서 훈련 데이터를 정리하고 모든 편향을 없애야 한다.

* 로사리오 실리포는 KMIME의 수석 데이터 과학자로, 50권 이상의 기술 서적을 집필했다. ciokr@idg.co.kr