'자신 있게 출시했는데...' 구글 제미나이에 생긴 일

구글의 새로운 텍스트-이미지 생성기가 출시된 지 불과 3주 만에 눈에 띄는 편향성을 드러냈다. 제미나이의 이미지 생성 기능을 오프라인으로 전환한 구글은 동일한 문제가 재발하지 않을 것이라고 100% 확신할 수 없다고 밝혔다.
 

최근 구글의 생성형 AI 엔진은 사용자가 입력한 텍스트 프롬프트를 기반으로 특정 사회정치적 관점에서 명백히 편향된 이미지를 생성했다. 나치 이미지를 생성하라는 텍스트 프롬프트를 입력했을 때 흑인과 아시아계 나치를 생성하고, 교황을 그려달라는 요청에 아시아인, 여성 교황, 흑인 교황을 생성했다. 중세 기사 이미지를 만들어 달라는 요청에는 동양인, 흑인, 여성 기사 이미지를 만들었다. 

구글의 지식 및 정보 담당 수석 부사장 프라브하카르 라가반은 블로그에서 "분명 문제가 있다. 생성된 이미지 중 일부는 부정확하거나 불쾌감을 주기도 했다"라고 사과했다. 이어 제미나이는 앞으로도 "실수를 할 것이다. 처음부터 말했듯이 환각 현상은 모든 ML의 알려진 문제이며, AI가 실수를 하는 경우가 있다. 개선하기 위해 지속해서 노력하는 부분"이라고 덧붙였다.
 

모든 생성형 AI가 편향된 답변을 하거나 노골적인 환각 현상을 일으킬 수 있다는 사실은 새로운 것이 아니다. 생성형 AI는 다음 단어, 이미지 또는 코드를 예측하는 예측기에 불과하다. 모델에 이미 입력된 정보에 의존해 다음에 무엇이 나올지 추측한다.  

다만 업계가 놀란 부분은 생성형 AI 기술을 초기부터 개발한 구글이 제미나이를 출시하기 전에 제대로 검증하지 않았다는 점이다.

무엇이 잘못됐는가?

템플 대학교의 통계, 운영 및 데이터 과학 교수인 수보다 쿠마르에 따르면, 구글은 자연어 처리를 위해 2가지 LLM을 만들었다. PaLM과 LaMDA다. LaMDA에는 1,370억 개의 매개변수가 있고 PaLM에는 5,400억 개의 매개변수가 있다. 1,750억 개의 매개변수를 가지고고 훈련하는 오픈AI의 GPT-3.5를 훨씬 능가한다.  

쿠마르는 "제품을 몇 년 동안 개발해 왔기 때문에 출시할 자신이 있었을 것이다. 하지만 지나치게 낙관적이었고 몇 가지 명백한 사항을 놓친 것이다. LaMDA는 NLP(Natural Language Processing) 분야의 판도를 바꿀 모델로 기대를 모았지만, 마이크로소프트 코파일럿과 깃허브 코파일럿, 챗GPT 같이 약간의 차이점과 유사점을 가진 대안이 많이 있다. 이들 모델 모두가 같은 문제를 가지고 있다"라고 말했다. 

생성형 AI 플랫폼도 결국 인간이 만든 것이므로 쿠마르는 "적어도 가까운 미래에는 편견이 없는 플랫폼은 없을 것이다. 범용 플랫폼일수록 더 많은 편견을 갖는다"라고 설명했다. 

제미나이처럼 범용적이지 않고 한 분야에 특화된 생성형 AI 모델은 매개변수가 훨씬 적고 독점 데이터를 학습하고 특정 작업에만 집중하기 때문에 오류를 일으킬 가능성을 줄일 수 있다. 쿠마르는 의료 분야에서 종양학에 특화된 모델이나 제조 분야에 특화된 모델 등을 예로 들었다.

구글의 제미나이 모델은 업계에서 유일한 네이티브 멀티모달 LLM이다. 제미나이 1.0과 1.5 모두 텍스트, 이미지, 오디오, 비디오 및 코드 프롬프트를 통해 콘텐츠를 수집하고 생성한다. 즉 사용자는 제미나이에 JPEG, WEBP, HEIC, HEIF 이미지를 프롬프트로 제공할 수 있다. 

구글은 오픈AI의 인기 있는 챗GPT 및 소라(Sora)보다 제미나이가 훨씬 더 많은 양의 쿼리를 처리해 더 정확한 답변을 얻을 수 있다고 설명했다. 구글에 따르면, 제미나이 대화형 앱은 이미지와 텍스트 답변을 모두 생성하며, 구글 검색 엔진뿐 아니라 기본 AI 모델 및 '다른 제품'과는 별개다. 
 

제미나이의 이미지 생성 기능은 구글의 텍스트-이미지 생성 LLM인 이미젠 2(Imagen 2)로 구축됐다. 구글은 "폭력적이거나 성적으로 노골적인 이미지를 만들거나 실제 인물을 묘사하는 등" 과거에 보았던 "함정"에 빠지지 않도록 해당 기능을 "조정했다"라고 말했다. 

라가반은 사용자가 제미나이에 '교실에 있는 흑인 선생님' 또는 '개를 키우는 백인 수의사'와 같이 프롬프트를 조금 더 구체적으로 입력했다면 정확한 답변을 얻을 수 있었을 것이라고 주장했다. 또한 제미나이가 "인종의 다양성을 표시하도록 조정하는 과정에서 다양성을 표시하지 않았어야 하는 경우를 고려하지 못했"으며 시간이 지나면서 모델이 의도했던 것보다 훨씬 더 신중해졌고, 매우 무의미한 일부 프롬프트를 민감한 것으로 잘못 해석해 특정 프롬프트에 대해서는 응답을 거부했"다고 설명했다. 

라가반은 "이 두 가지 이유 때문에 모델이 어떤 경우에는 과도하게 보정하고, 어떤 경우에는 지나치게 보수적인 태도를 취해 당황스럽고 잘못된 이미지를 만들었다"라고 덧붙였다. 

구글은 이미지 생성기를 다시 일반에 공개하기 전에 광범위한 테스트를 진행할 계획이다. 
 

'이미지 생성' 너머의 문제

제미나이의 문제는 이미지 생성에서 끝나지 않는다. 제미나이는 환경 오염을 우려하며 석유 및 가스 업계의 구인 광고 작성을 거부했으며, 미국 정부가 헌법에 따라 워싱턴 포스트와 뉴욕 타임즈의 영업은 정지시킬 수 없다고 답변했지만, 워싱턴 타임즈와 뉴욕 포스트에 대해서는 미묘하게 다른 답변을 하기도 했다.

가트너 수석 애널리스트 아비바 리탄은 "히틀러와 오바마를 비교하는 것은 부적절하지만 히틀러와 엘론 머스크를 비교하는 것은 복잡하고 '신중한 고려'가 필요하다는 제미나이의 답변은 부적절하다"라고 지적했다. 

이어 리탄은 "제미나이가 출시 이후 뜨거운 관심을 받은 것에는 그만한 이유가 있다. 제미나이는 몇몇 강력한 기술 대기업의 통제를 받는 AI가 편향된 정보를 쏟아내고 때로는 역사를 다시 쓰는 것처럼 보일 때 위험이 명백하고 현존하는 것이라는 사실을 드러낸다. 권한이 있는 개인이 통제하는 단일 소스를 사용해 다른 사람의 마음을 조작하려는 것은 물리적인 무기 시스템만큼이나 위험하다"라고 강조했다. 

다만 "안타깝게도 다양한 AI 모델 결과물에 내재된 편견을 쉽게 걸러낼 수 있는 도구가 없다. 모든 것을 엉망으로 만든 제미나이 사태는 생성형 AI와 편향에 대한 규제가 시급함을 보여준다"라고 덧붙였다. 

IDC 애널리스트 리투 조티는 "구글 제미나이에 있어 지금은 흥미롭고 도전적인 시기다. 구글이 AI 혁신의 선두에 서 있는 것은 사실이지만, 이 시나리오는 알고리즘을 조정하는 과정에서 의도하지 않은 결과를 초래한 사례다. 시장은 아직 초기인 데다가 빠르게 진화하고 있다. 일부 생성형 AI 문제는 물론 복잡하지만, 교육/튜닝과 이런 도구가 시장에 출시되는 방식에 더 많은 실사가 필요한 것은 사실"이라고 말했다.

이어 조티는 "엔터프라이즈 시장에서는 무언가가 출시되기 전에 더 많은 사람이 관여하기 때문에 일반 소비자 시장과는 달리 의도하지 않은 부정적인 결과를 더 잘 억제할 수 있다"라고 언급했다. 

캘리포니아 버클리 대학교의 학술 액셀러레이터 버클리 스카이덱 펀드의 창립 파트너 촌 탕은 "생성형 AI는 매우 잘 정의된 '도구'처럼 행동하는 다른 기술과는 달리 여전히 불안정하다. 설거지를 5%밖에 하지 못하는 식기세척기를 사용하고 싶은 사람은 어디에도 없을 것이다. 사람의 감독 없이 자동으로 작업을 완료하기 위해 생성형 AI에 의존하면 큰 낭패를 보게 될 것"이라고 경고했다. 

이어 "생성형 AI는 관리가 필요하다는 점에서 인간과 비슷하다. 프롬프트를 면밀히 검토하고, 워크플로우를 확인하고, 최종 결과물을 다시 확인해야 한다. 자동으로 작업을 완료하는 시스템을 기대하면 안 된다. 생성형 AI, 특히 LLM은 저렴한 비용으로 쓰는 팀 구성원으로 간주해야 한다"라고 조언했다. 

템플 대학교의 쿠마르도 아직 생성형 AI 도구를 전적으로 신뢰하면 안 된다는 것에 동의했다. 기업 사용례에서 생성형 AI 응답은 항상 전문가가 확인하고 사용해야 한다.

쿠마르는 "계약서를 작성하거나 보고서를 요약하는 데는 훌륭하지만 전문가가 그 결과를 확인해야 한다. 이런 단점에도 불구하고 결과를 신중하게 활용한다면 많은 시간을 절약할 수 있다. 의사가 생성형 AI를 활용해 초기 검진에서 숨겨진 패턴을 찾을 수는 있지만 적어도 가까운 미래나 평생 의사를 대체하지는 못할 것이다. 마찬가지로 생성형 AI가 사람 고용에 도움을 줄 수는 있지만 최종 채용 결정은 내리면 안 된다"라고 덧붙였다.
editor@itworld.co.kr