‘부정확한 응답 걸러내고’… 생성형 AI 환각 현상 보완하는 접근법 3가지

대규모 언어 모델(LLM)을 지원하는 팩트 확인 계층이 개발되면서 모델의 신뢰성을 개선할 수 있는 3가지 강력한 접근법이 등장했다.
 

챗GPT의 중요한 첫 해가 마무리된 지금 생성형 AI와 대규모 언어 모델은 여전히 흥미로운 기술이다. 하지만 기업에서는 이를 본격적으로 사용할 준비가 돼 있을까?

응답 정확도가 떨어지는 챗GPT에는 잘 알려진 문제점이 있다. GPT-4처럼 정교한 인간 지식의 컴퓨터 모델에 기반하고 있음에도 불구하고 챗GPT는 AI 환각 현상이라고 불리는 무지를 인정하지 않으려 하며 논리적 추론에 어려움을 겪는 경우가 많다. 물론 이러한 이유는 챗GPT가 추론이 아닌 고급 텍스트 자동 완성 시스템처럼 작동하기 때문이다. 

이는 사용자가 받아들이기 어려울 수 있다. 하지만 GPT-4는 모의 변호사 시험에 응시해 상위 10%의 점수로 합격할 수 있을 만큼 인상적인 시스템이다. 또한 기업의 지식 기반을 조사하는 데 이러한 지능형 시스템을 사용할 수 있다는 전망은 의심의 여지없이 매력적이다. 다만 과신과 어리석음을 모두 경계할 필요가 있다.

이러한 문제를 해결하기 위해 3가지 강력한 접근법이 새로 등장했으며 이는 신뢰성을 향상시키는 방법을 제공할 수 있다. 접근 방식 간에 강조하는 부분이 서로 다를 수 있지만, LLM을 ‘닫힌 상자’로 취급한다는 근본적인 개념은 공유한다. 즉 AI 엔지니어가 모델을 계속 개선하고 있긴 하지만 LLM 자체를 완벽하게 만드는 데 초점을 맞추는 것이 아니라 이를 뒷받침할 사실 확인 계층을 개발하는 데 초점을 맞추는 것이다. 이 계층은 부정확한 응답을 걸러내고 시스템에 ‘상식’을 불어넣는 것을 목표로 한다.

각 접근법을 차례로 살펴보고 방법을 알아본다.

더 폭넓은 검색 기능
이러한 접근법으로 먼저 벡터 검색의 광범위한 채택을 꼽을 수 있다. 이는 벡터에만 특화된 일부 데이터베이스를 포함해 많은 데이터베이스의 일반적인 기능으로 자리잡았다.

벡터 데이터베이스는 텍스트나 이미지와 같은 비정형 데이터를 인덱싱하고 탐색, 검색, 근사도(closeness)를 위해 고차원 공간에 배치할 수 있도록 설계됐다. 예를 들어 ‘사과’라는 용어를 검색하면 과일에 대한 정보가 나오지만, 벡터 공간에서는 기술 기업이나 음반사에 대한 결과가 나타날 수 있다. 

벡터는 머신러닝 모델 학습을 위한 데이터베이스의 키로만 사용하는 것이 아니라 데이터베이스, LLM과 같은 구성 요소 간에 데이터 포인트를 상호 연관시키는 데 사용할 수 있다. 이 때문에 AI에 유용한 접착제 역할을 한다.

"개천에서 용 나기(From RAGs to riches)"
검색 증강 생성(Retrieval-augmented generation, RAG)은 LLM과의 상호 작용에 맥락을 추가하는 일반적인 방법이다. 간단히 설명하면 RAG는 데이터베이스 시스템에서 보충 콘텐츠를 검색해 LLM의 응답을 맥락화한다. 맥락 데이터에는 타임스탬프, 지리적 위치, 참조 및 제품 ID 등 메타데이터가 포함될 수 있지만, 이론적으로는 임의로 고도화된 데이터베이스 쿼리의 결과일 수도 있다. 

이러한 맥락 정보는 전체 시스템이 관련성 있고 정확한 응답을 생성하는 데 도움이 된다. 이 접근 방식의 핵심은 특정 주제의 가장 정확한 최신 정보를 데이터베이스에서 확보해 모델의 응답을 개선하는 데 있다. 여기엔 유용한 파생 효과가 있다. GPT-4의 불투명한 내부 프로세스와 달리 RAG가 비즈니스 LLM의 기반을 형성하면 사용자는 시스템이 어떻게 제시된 답변에 도달했는지 보다 투명하게 통찰력을 확보할 수 있다는 점이다. 

기본 데이터베이스에 벡터 기능이 있는 경우, 임베디드 벡터가 포함된 LLM의 응답을 사용해 데이터베이스에서 관련 데이터를 찾으면 응답 정확도를 높일 수 있다. 

지식 그래프의 힘
그러나 가장 앞선 벡터 기반의 RAG 강화 검색 기능조차도 비즈니스에 필수적인 챗GPT의 안정성을 보장하기에 충분하지 않을 수 있다. 예를 들어 벡터 자체는 데이터를 분류하는 한 가지 방법일 뿐 가장 풍부한 데이터 모델은 아니다.

대신 지식 그래프가 RAG에 적합한 데이터베이스로 주목받고 있다. 지식 그래프는 상호 연결된 정보에 대해 의미론적으로 풍부한 웹으로, 웹이 인간을 위해 해왔던 것처럼 여러 차원의 정보를 하나의 데이터 구조로 통합한다. 지식 그래프는 투명하게 큐레이션된 콘텐츠를 보유하므로 그 품질을 보장할 수 있다.

벡터를 사용해 LLM과 지식 그래프를 함께 묶을 수도 있다. 하지만 이 경우 벡터가 지식 그래프의 노드로 결정돼야 그래프의 토폴로지를 사용해 사실 확인, 유사도 검색, 일반 패턴 매칭을 수행하고 사용자에게 돌아오는 내용이 정확한지 확인할 수 있다. 

지식 그래프가 활용되는 방식은 이뿐만이 아니다. 최근 빌게이츠와 인터뷰한 AI 연구자 최예진 교수는 워싱턴대학교에서 흥미로운 개념을 연구하고 있다. 최 교수와 그 팀은 LLM이 질문을 한 뒤 일관되게 체크하는 답변한 규칙으로 추가해 유용한 지식과 그렇지 않은 지식을 분류하도록 돕는 기계 작성 지식 기반을 구축했다. 

최 교수는 연구에서 ‘비평가(critic)’라는 AI를 사용해 LLM의 논리적 추론을 조사하고 유용한 추론과 사실로만 구성된 지식 그래프를 구축했다. 셔츠 한 장을 말리는 데 1시간이 걸린다면 5장의 셔츠를 햇볕에 말리는 데 얼마나 걸리는지 챗GPT(3.5)에게 물어보면 추론이 부족하다는 점을 분명히 알 수 있다. 상식적으로 셔츠 한 장에 1시간이 걸리면 수량에 관계없이 1시간이 걸릴 것이라는 점을 알 수 있으나, AI는 문제를 해결하기 위해 복잡한 수학을 시도해 잘못된 작동 방식을 보여줌으로써 자신의 접근 방식을 정당화했다.

AI 엔지니어는 이러한 문제를 해결하기 위해 열심히 노력하고 있다. 챗GPT 4는 이 문제를 해결했지만, 지식 그래프를 추출하는 최 교수의 접근 방식은 더 범용적인 해결책을 제공한다. 특히 이 지식 그래프는 더 작지만 훨씬 더 높은 정확도를 가진 LLM을 훈련하는 데 사용된다는 점에서 유용하다.

맥락을 다시 가져오기
지식 그래프는 RAG를 통해 더 많은 맥락과 구조를 제공하는 방식으로 GPT 시스템을 향상시켰다. 또한 벡터 기반과 그래프 기반 시맨틱 검색, 즉 지식 그래프를 함께 사용해 조직이 일관되게 높은 정확도의 결과를 얻을 수 있는 근거가 늘어나고 있다.

벡터, RAG, 지식 그래프의 조합을 활용해 LLM을 지원하는 아키텍처를 통합하면 LLM을 구축, 학습 및 미세 조정하는 복잡한 프로세스에 대한 전문 지식 없이도 매우 가치 있는 비즈니스 애플리케이션을 구축할 수 있다. 

이는 컴퓨터가 달성할 수 있는 보다 기초적인 ‘이해’를 통해 개념에 대한 풍부하고 맥락적인 이해를 더할 수 있다는 의미이기도 하다. 분명히 기업은 이러한 접근 방식으로 이점을 얻을 수 있다. 그래프가 성공하려면 큰 질문에 답해야 한다. 데이터에서 무엇이 중요한가? 무엇이 특이한가? 가장 중요한 것은 데이터의 패턴을 고려할 때 그래프를 통해 다음 일어날 일을 예측할 수 있다는 점이다.

LLM의 생성적 요소와 결합된 이러한 사실적 능력은 매우 매력적이며 폭넓은 적용 가능성을 지니고 있다. 2024년에는 LLM을 미션 크리티컬 비즈니스 도구로 만드는 이 방법이 널리 받아들여질 것으로 예상된다. 

* Jim Webber는 그래프 데이터베이스 및 분석 기업 Neo4j의 수석 과학자다. ciokr@idg.co.kr