“생성형 AI, 비즈니스용으로 점점 더 부정확·불투명”… 스탠퍼드 外 연구 결과

생성형 AI 플랫폼이 점점 더 많은 기업의 데이터베이스에 연결되고 방대한 양의 데이터를 수집하고 있다. 연구자들은 이 도구가 부정확하고 점점 더 이해하기 어려워지고 있다고 우려했다. 
 

최근 공개된 2개 연구에 의하면 챗GPT 같은 생성형 AI 도구의 기반 알고리즘인 대규모 언어 모델(LLM)은 기업 데이터베이스에 연결될 때 매우 부정확하고 투명성이 떨어지는 것으로 나타났다.

먼저 스탠퍼드 대학교의 연구는 머신러닝이 계속해서 방대한 양의 정보를 수집하고 규모가 커짐에 따라 사용 데이터의 출처를 추적하기가 어려워지고 있다고 밝혔다. 결과적으로 상업용 생성형 AI 기반 모델을 사용하는 애플리케이션을 기업이 안전하게 구축할 수 있는지, 학계가 이를 연구에 활용할 수 있는지 파악하기 어렵다.

스탠퍼드대는 또한 입법 기관이 강력한 기술을 통제할 수 있는 의미 있는 정책을 설계하고 소비자가 모델의 한계를 이해하거나 피해 구제를 요청하는 것도 어려워진다고 설명했다. 

GPT, 라마(LLaMA), 달리(DALL-E) 등의 LLM은 지난 한 해 동안 AI를 크게 변화시켰다. 이를 실험하는 많은 기업이 생산성과 효율성을 높일 수 있었다. 하지만 이러한 이점에는 불확실성이 수반된다. 

스탠퍼드 기초 모델 연구 센터의 사회 책임자 리시 보마사니는 “투명성은 공공의 책임, 과학적 혁신, 디지털 기술의 효과적인 거버넌스를 위한 필수 전제 조건이다. 투명성 부족은 디지털 기술 소비자들에게 오랫동안 문제가 돼 왔다”라고 지적했다. 
 

보마사니는 예를 들어 기만적인 온라인 광고와 가격 책정, 차량 공유의 불투명한 임금 관행, 사용자를 속여 무의식적으로 구매하도록 유도하는 다크 패턴, 콘텐츠 조정과 관련된 투명성 문제가 소셜 미디어에서 허위 정보의 방대한 생태계를 만들어냈다고 언급했다. 그는 “상업적 ‘기초 모델’에 대한 투명성이 약해지면서 소비자 보호에 있어서도 이와 같은 종류의 위협이 나타나고 있다”라고 말했다. 

스탠퍼드 연구진은 이름에 ‘오픈’이라는 단어가 들어간 오픈AI가 자사 주력 모델인 GPT-4의 대부분 측면을 투명하게 공개하지 않고 있다고 지적했다. 

스탠퍼드대는 투명성을 평가하기 위해 MIT와 프린스턴 연구진이 포함된 팀을 구성하고 기초 모델 투명성 지수(FMTI)라는 점수 시스템을 설계했다. 이 지수는 기업이 기초 모델을 구축하는 방식, 작동 방식, 다운스트림에서 사용되는 방식 등 투명성의 100가지 측면 또는 지표를 평가한다. 

스탠퍼드대에서 10개 LLM을 평가한 결과, 평균 투명성 지수는 37%에 불과했다. 라마가 52%의 투명성 등급으로 가장 높은 점수를 받았고, GPT-4와 팜(PaLM) 2가 각각 48%와 47%로 뒤를 이었다. 

보마사니는 “투명성이 확보되지 않으면 규제 당국은 해당 분야에 대한 조치는커녕 올바른 질문조차 던질 수 없다”라고 말했다. 

한편 사이버 보안 및 바이러스 백신 제공업체 카스퍼스키랩(Kaspersky Lab)도 설문조사를 실시했다. 이에 따르면 거의 모든 관리자(95%)가 직원들이 생성형 AI 도구를 정기적으로 사용한다고 답했으며, 절반 이상(53%)은 생성형 AI가 현재 특정 비즈니스 부서를 주도하고 있다고 답했다. 조사에 따르면 경영진의 59%가 민감한 회사 정보를 위협하고 핵심 비즈니스 기능에 대한 통제력 상실로 이어질 수 있는 생성형 AI 관련 보안 위험에 대해 깊이 우려하고 있다. 

카스퍼스키랩의 수석 보안 연구원 데이비드 엠은 성명에서 “BYOD(Bring Your Own Device)와 마찬가지로 생성형 AI는 기업에 막대한 생산성 이점을 제공한다. 조사 결과 조직의 경영진은 그 존재를 분명히 인식하고 있는 것으로 나타났지만, 그 사용 범위와 목적은 아직 베일에 싸여 있다”라고 말했다. 

LLM의 문제가 단지 투명성 문제에 국한되는 것은 아니다. 모델의 전반적인 정확도에 대한 의문도 있다. 이는 1년 전 오픈AI가 챗GPT를 출시할 때부터 제기돼 왔다. 

데이터 카탈로그 플랫폼 제공업체 데이터닷월드(data.world)의 AI 연구소 책임자인 후안 세퀘다는 자신의 회사에서 SQL 데이터베이스에 연결된 LLM을 테스트하고 회사별 질문에 대한 답변을 제공하는 작업을 수행했다고 말했다. 실제 보험 회사 데이터를 사용한 연구 결과, LLM은 대부분의 기본적 비즈니스 쿼리에 대해 약 22%만 정확한 답변을 제공하는 것으로 나타났다. 중급 및 전문가 수준의 쿼리에서는 정확도가 0%로 떨어졌다. 

기업 환경에 맞는 적절한 텍스트-SQL 벤치마크가 없기 때문에 사용자 질문이나 프롬프트에 대한 LLM의 응답 정확성 역량이 영향을 받을 수 있다.

그는 “LLM은 정확성의 핵심인 내부 비즈니스 컨텍스트가 부족한 것으로 알려져 있다. 우리 연구에 따르면 특히 기업에서 구조화된 데이터의 주요 소스인 SQL 데이터베이스에 LLM을 사용하는 데 있어 차이가 있었다. 다른 데이터베이스에도 이러한 격차가 존재한다고 가정할 수 있다”라고 설명했다. 

세퀘다는 기업들이 데이터를 더 잘 활용하기 위해 클라우드 데이터 웨어하우스, 비즈니스 인텔리전스, 시각화 도구, ETL 및 ELT 시스템에 수백만 달러를 투자하고 있다고 언급했다. LLM을 사용해 데이터에 대해 질문할 수 있게 되면 핵심 성과 지표, 메트릭, 전략 계획과 같은 프로세스를 개선하거나 심층적인 도메인 전문 지식을 활용해 더 많은 가치를 창출할 수 있다. 다시 말해 완전히 새로운 애플리케이션을 만들 가능성이 열리게 된다. 

세퀘다의 연구는 주로 SQL 데이터베이스에서 GPT-4를 사용해 직접 제로샷 프롬프트로 질문을 던지고 답변을 구했다. 정확도는 어느 정도였을까? 16%에 불과했다. 

기업 데이터베이스를 기반으로 한 부정확한 답변의 결과는 ‘신뢰의 약화’다. 세퀘다는 “정확하지 않은 수치를 갖고 이사회에서 발표하면 어떻게 될까? 아니면 SEC에? 두 경우 모두 많은 비용을 초래할 것이다”라고 말했다. 

LLM의 문제점은 이전에 나온 단어를 기반으로 다음 단어를 예측하는 통계 및 패턴 매칭 머신이라는 데 있다. 이러한 예측은 오픈 웹의 전체 콘텐츠에서 패턴을 관찰한 결과다. 오픈 웹은 본질적으로 매우 큰 데이터 세트이기 때문에 LLM은 그럴듯해 보이지만 부정확할 수도 있는 결과를 반환한다고 세퀘다는 지적했다. 

그는 “그 다음 문제는 모델이 직접 본 패턴에만 기반해 예측한다는 점이다. 만약 모델이 기업 고유의 패턴을 보지 못했다면 어떻게 될까? 부정확성이 높아진다. 기업이 정확성 문제를 해결하지 않고 대규모로 LLM을 구현하려고 하면 이니셔티브는 실패할 것이다. 사용자들은 곧 LLM을 신뢰할 수 없다는 사실을 깨닫고 사용을 중단한다. 수년 동안의 데이터와 분석에서 비슷한 패턴을 봐왔다”라고 말했다.

엔터프라이즈 SQL 데이터베이스의 지식 그래프 표현을 통해 질문을 던졌을 때 LLM의 정확도는 54%까지 증가했다. 세퀘다는 “따라서 지식 그래프 제공업체에 투자하면 LLM 기반 질문-답변 시스템의 정확도를 높일 수 있다. 왜 이런 일이 발생하는지는 아직 명확하지 않다. LLM 내부에서 무슨 일이 일어나고 있는지 모르기 때문이다”라고 전했다.

그는 “우리가 아는 것은 중요한 비즈니스 컨텍스트가 포함된 지식 그래프 내에 온톨로지를 매핑하고 그 프롬프트를 LLM에 보내면 그렇지 않은 경우보다 정확도가 3배 이상 높아진다는 점이다. 하지만 ‘충분히 정확하다’는 것이 무엇을 의미하는지는 스스로에게 물어볼 필요가 있다”라고 설명했다.

LLM의 정확한 응답 가능성을 높이려면 기업은 ‘강력한 데이터 기반’, 즉 세퀘다와 다른 사람들이 AI 지원 데이터(AI-ready data)라고 부르는 데이터를 보유해야 한다. 데이터를 지식 그래프에 매핑해 응답의 정확성을 높이고 설명 가능성을 확보해야 “LLM이 자신의 작업을 보여줄 수 있게 할 수 있다.”

모델 정확도를 높이는 또 다른 방법은 소규모 언어 모델(SLM) 또는 산업별 언어 모델(ILM)을 사용하는 것이다. 세퀘다는 “미래에는 각 기업이 특정 유형의 질문-답변에 맞게 조정된 여러 가지 특정 LLM을 활용하게 될 것”이라고 내다봤다.

그는 “그럼에도 불구하고 다음 단어를 예측하는 접근 방식은 여전히 동일하다. 예측의 정확도가 높아지더라도 틀릴 가능성이 항상 존재한다”라고 언급하면서, 예측할 수 없는 모델로 인해 민감하고 독점적인 정보가 위협받는 것을 방지하기 위해 모든 기업이 운영 감독과 거버넌스를 확보해야 한다고 덧붙였다. ciokr@idg.co.kr