생성형 AI를 더 쓸모있게··· ‘RAG’ 따라잡기

'RAG'라고 불리는 ‘검색 증강 생성’(Retrieval augmented generation)은 보다 맞춤화되고 정확한 생성형 AI 모델을 구축해 환각과 같은 이상 현상을 크게 줄일 수 있도록 한다.

방대한 양의 비정형 데이터와 기타 자산을 사용 가능한 정보로 변환하기 위해 생성형 인공지능(genAI) 도구를 사용하는 조직이 늘고 있다. 이에 따라 AI 생성 과정에서 관련성이 높은 콘텐츠를 찾는 것이 중요해졌다.

검색 증강 생성(줄여서 'RAG')은 쿼리에 대해 보다 정확하고 구체적인 응답을 가능하게 하는 맞춤형 생성형 AI(gen AI) 모델을 생성하여 이를 수행할 수 있도록 하는 기술이다.

대규모 언어 모델(LLM)은 생성형 AI 기술의 기본으로, 방대한 양의 레이블이 지정되지 않은 데이터 또는 비정형 데이터를 사전 학습한다. 이에 따라 모델이 사용될 때는 특정 업무에 사용되기에 적합하지 않은 데이터에 기반한 결과가 산출될 수 있다.

LLM은 수십억 개 또는 1조 개 이상의 파라미터가 포함된 신경망으로 구성되곤 한다. RAG는 학습된 정보 외부의 외부 지식 베이스를 참조(액세스)하여 LLM의 출력을 최적화한다. 즉, RAG를 사용하면 생성형 AI가 조직의 독점 데이터 소스나 기타 콘텐츠에서 관련 외부 정보를 찾아서 사용할 수 있다.

마이크로소프트는 블로그에서 RAG가 "LLM의 지식 기반을 확장할 뿐만 아니라 출력물의 정확성과 맥락성을 크게 개선"한다고 설명했다.

RAG는 기본적으로 검색 기능을 사용하여 관련 데이터를 검색하고 이를 생성형 AI 모델의 프롬프트에 추가하여 사실적이고 새로운 정보로 생성 결과물의 근거를 더 잘 마련하는 디자인 패턴이다. 가트너 리서치는 "RAG의 경우 공개 인터넷 데이터 검색뿐만 아니라 비공개 지식 기반에서 데이터를 검색하는 데에도 사용할 수 있다"라고 전했다.

스타트업 코히어의 자연어 처리 연구 과학자인 패트릭 루이스는 2020년에 발표한 논문에서 RAG라는 용어를 처음 만들었다. 루이스는 LLM은 기억을 쉽게 확장하거나 수정할 수 없으며, 예측에 대한 인사이트를 명확하게 제공할 수 없어 ‘환각’으로 이어진다고 지적했다. 슬랙 또한 지난주 기업용 AI 기반 도구를 공개하는 자리에서 생성형 AI 결과의 환각을 줄일 수 있는 방법 중 하나로 RAG를 언급했다.

현재 코히어 외에도 6곳 이상의 공급업체가 개발자가 LLM용 RAG 기반 애플리케이션을 구축할 수 있는 기본 또는 독립형 솔루션을 제공하고 있다. 벡타라(Vectara), 오픈AI(OpenAI), 마이크로소프트 애저 서치(Microsoft Azure Search), 구글 버텍스 AI(Google Vertex AI), 랭체인(LangChain), 라마인덱스(LlamaIndex), 데이터브릭스 등이 대표적이다.

IDC의 릭 빌라스 글로벌 리서치 그룹 부사장은 "점점 더 많은 RAG 관련 솔루션과 이를 보다 효과적으로 사용할 수 있도록 지원하는 솔루션이 등장해 비즈니스 가치가 있는 올바른 데이터와의 연결에 초점을 맞추는 특징을 보일 것”이라고 말했다.

가트너의 수석 부사장 애널리스트인 아비바 리탄은 RAG를 통해 조직은 사실에 입각한 정확한 결과를 도출할 수 있는 가능성을 극대화할 수 있다며, 또한 검색된 데이터에 근거하여 출력이 이루어지기 때문에 환각의 가능성도 최소화할 수 있다고 설명했다.

또한 RAG는 조직의 자체 데이터에 타사 LLM의 기능을 적용하여 작업자가 원하는 정보를 더 빠르게 찾고, 요약하고, 활용할 수 있게 해준다. 이는 저작권 또는 기타 지적재산권으로 보호되는 자료가 LLM 응답에 포함될 때 발생하는 책임으로부터 조직을 보호하는 데 도움이 될 수 있다.

리탄은 "기업 데이터에 근거해 신속하게 대응할 수 있기에 문제 가능성이 크게 줄어든다"라고 말했다.

빌라스에 따르면 기업이 RAG를 잘 활용할 수 있는 방법 중 하나는 기업 고유의 독점 데이터를 활용하고 비즈니스 가치를 깊이 있게 파헤칠 수 있는 벡터 데이터베이스와 그래프 기술을 사용하는 것이다. 벡터 데이터베이스는 방대한 양의 고차원 벡터 데이터를 효율적으로 저장, 색인, 관리한다. 이로 인해 기업들은 이를 개발하거나 기존 SQL 또는 NoSQL 데이터베이스와 genAI 사용 사례 및 애플리케이션에 벡터 검색 기능을 추가하기 위해 비용을 지출하고 있다.

가트너에 따르면 2026년이면 30% 이상의 기업이 관련 비즈니스 데이터로 기반 모델을 구축하기 위해 벡터 데이터베이스를 채택할 것으로 예상된다. 가트너는 벡터 데이터베이스를 2024년의 '핵심 인에이블러' 엔터프라이즈 기술로 지목한 바 있다. 벡터 데이터베이스는 제품 추천, 유사성 검색, 사기 탐지, 생성형 AI 기반 질의응답 애플리케이션 등 다양한 용도로 활용되고 있다고 이 조사 기관은 전했다.

빌라스는 벡터 데이터베이스가 RAG 시스템의 중추 역할을 할 수 있으며 실제로도 종종 사용된다고 설명했다. 데이터베이스는 일반적으로 텍스트, 이미지 또는 소리에서 파생된 데이터를 저장하고 관리하며, 이를 수학적 벡터로 변환한다. 

그는 "다른 방법은 앱 현대화다. 오늘날 기업들이 보유한 주요 레거시 설치 기반 중 하나는 오래된 클라이언트-서버 앱과 심지어 자바로 구축된 초기 모바일 및 클라우드 앱이다. 이러한 앱을 현대화하여 AI 스토리의 일부로 만들어야 한다”라고 말했다. ciokr@idg.co.kr