“더욱 강력한 생성형 AI 시대의 검색 엔진” 엘라스틱서치가 제안하는 벡터 DB 기반 RAG 전략

생성형 AI는 1989년 등장한 웹, 2007년 등장한 모바일에 이어 거대한 변화의 계보를 잇기에 손색이 없는 파괴적 기술이다. 과거 다른 애플리케이션이나 소프트웨어와 비교해도 가히 압도적이라 할 만큼 관심과 도입 속도가 높다. 대표 서비스인 챗GPT는 출시 1년 만에 미국 근로자 74%가 업무에 사용할 만큼, 이제는 선택이 아닌 필수로 인정받는 추세다.

생성형 AI는 검색 쿼리의 맥락을 이해하고 자연어를 지원해 사용자의 검색 경험을 더욱 편리하게 개선했다. 이 때문에 초기에는 생성형 AI가 출현하고 빠르게 발전하면서 기존 검색 서비스가 마치 공룡처럼 변화에 적응하지 못하고 도태될 것이라는 예측도 많았다. 

그러나 여기에는 반전이 있다. 오히려 생성형 AI 환경에서 검색의 중요성이 더욱 강화되고 있다는 점이다. 2024년 현재 챗GPT 같은 생성형 AI를 연동해 기업 내 검색을 고도화하는 작업은 모든 기업이 관심을 갖고 지켜보는 변화이자 혁신으로 꼽힌다.
 

지난 19일 AI와 자동화 등 최신 혁신 기술을 주제로 한국IDC와 글로벌 테크 미디어 ITWorld/CIO Korea가 공동 주최한 ‘TNBT(The Next Big Thing) Korea 2024’ 행사에서 엘라스틱 코리아의 김관호 상무는 생성형 AI 시대의 검색을 한층 강화할 RAG 전략을 소개하면서 올바른 벡터 DB 선택의 중요성을 강조했다.
 

그 어느 때보다 중요해진 ‘검색’

검색 증강 생성(Retrieval Augmented Generation, 이하 RAG)은 챗GPT 같은 LLM에 데이터를 입력하기 전에, 기업이 보유한 프라이빗 데이터에서 검색한 결과를 받아 연관 맥락 정보를 LLM에 전달하는 방식을 말한다. 정보를 검색하고 활용해 더 정교한 결과를 생성하므로 생성형 AI의 성능이 한층 향상된다.
 

기업이 품은 우려에도 상당 부분 일리가 있다. 챗GPT와 생성형 AI의 가장 큰 문제로는 보안이 꼽힌다. 챗GPT를 학습시키려면 기업 외부로 유출되어서는 안 되는 프라이빗 데이터를 입력해야 하기 때문이다.

해결해야 할 과제도 많다. 사실이 아닌 것을 사실처럼 기술하는 환각(hallucination), 최신 데이터가 반영되지 않는다는 점, 천문학적인 학습 비용도 기업이 선뜻 도입하기에는 부담으로 작용한다.

김관호 상무는 생성형 AI를 활용하고 싶지만 프라이빗 데이터 보안을 우려하는 기업의 경우, 엘라스틱서치(Elasticsearch)의 검색 기반 기술이 중간 다리 역할을 할 수 있다고 강조했다. 프라이빗 데이터 전체를 입력하는 것이 아니라, 엘라스틱서치로 쿼리와 가장 연관성이 높은 데이터를 찾은 후 쿼리와 관련 있는 컨텍스트만 추출하는 것이다. 이 검색 결과값은 기업 내부 데이터 전체가 아니라 특정 쿼리와 맥락에서만 의미를 지니는 데이터이므로 LLM에 입력해도 된다.

앞서 우려했던 여러 가지 문제에서도 자유롭다. 질의에 대한 결과와 함께 결과를 뒷받침하는 데이터까지 함께 제공하므로 환각 문제를 우려할 필요가 없다. 또한 생성형 AI로 챗봇이나 QA 시스템을 개발해 서비스할 때, 사실에 기반한 검색 결과를 얻을 수 있어 기업 차원의 의사 결정에 활용할 만한 인사이트가 된다.
 

일례로 보안 담당자의 업무 중에는 기업에서 쓰는 다양한 소프트웨어가 특정 보안취약점에 영향을 받는지를 파악하는 것이 있다. 어떤 취약점인지 파악하기 위해 CVE 코드명으로 키워드 검색을 시도하면 CVE 코드와 관련된 다양한 정보가 나열된다. 

그 후 의미 기반 검색으로 “특정 애플리케이션이 이 CVE 보안취약점에 영향을 받는가?”라는 질문을 던지면, 주제와 연관된 더 풍부한 문서가 검색된다.
 

 
그러나 보안 담당자가 원하는 답은 ‘그렇다’ 또는 ‘아니다’일 것이다. 다시 엘라스틱서치의 RAG 기반 LLM에 같은 질문을 던지면, 기업에서 사용하는 특정 애플리케이션이 CVE 보안취약점에 영향을 받는지를 바로 알 수 있다. 이 경우 결과값인 ‘아니다’의 판단 근거 역시 사실에 기반한 데이터로 제시되어 사용자가 진위 여부를 확인할 수 있다.

이 답변은 근거가 되는 문서를 분석해 도출된 결과다. 그러나 참고 문서를 언체크하고 다시 같은 질문을 던지면 “현재 2023년까지의 데이터만 참고할 수 있으므로 질문에 대한 답을 할 수 없다”라는 답변을 얻는다. 검색 과정에 포함할 데이터와 포함하지 않을 데이터를 기업에서 결정할 수 있다는 의미다.

기업이 사내에서 또는 고객을 대상으로 생성형 AI 서비스를 제공할 때도 마찬가지다. 추가적인 판단이 필요한 여러 가지 긴 답변을 목록으로 주는 것이 아니라, 필요하다면 사용자가 원하는 ‘바로 그 대답’을 정확하게 전달할 수 있어야 한다.
 

전문성과 레퍼런스 모두 갖춘 엘라스틱서치의 벡터 DB가 해답

벡터 DB를 RAG 기반으로 사용하려면 하이브리드 검색, 필터링, 그룹핑, 자동 완성, 문서 레벨 보안 등 수많은 점을 고려해야 한다. 신생업체가 하루 아침에 적용하기 어려운 기능이다.

엘라스틱은 2012년 설립된 후 12년 이상 검색 기반 기술로 시작해 많은 영역으로 사업을 확대해 온 전문 검색 업체다. 김관호 상무는 엘라스틱서치가 오랜 업력을 바탕으로 엔터프라이즈 수준의 고급 서비스와 정확한 검색 기술을 보유했으며 이제 벡터 DB까지 추가해 한 단계 더 진화했음을 강조했다.
 

 
김관호 상무는 엘라스틱서치를 대표하는 특징으로 속도, 확장성, 관련성의 3가지를 꼽았다. 페타바이트 규모의 데이터라도 서버 증설만으로 검색 속도가 그대로 유지되고, 어떤 규모에서든 유연하고 원활하게 이벤트를 처리하며, 벡터 DB를 기반으로 RAG를 구성할 때 관련성 조정이 가능해 기업에서 활용하기에 적합하다.

김관호 상무는 시스코, IBM, 국내 대기업 3사 등 유수의 기업이 벡터 DB로 엘라스틱서치를 선택해 서비스 요청, 내부 자연어 QA, 그 외 다양한 솔루션을 구축하고 활용한 사례를 소개하며 실제 프로덕션 환경에서 사용되고 있다고 강조했다.

또한, 문서, 이메일, 위키 게시판부터 키워드 검색을 고도화해 벡터 DB로 시작하는 기업 내 적용 시나리오를 소개하며, 엘라스틱서치가 단일 플랫폼 안에서 APM과 연동한 전체 검색 플로우를 추적하고 지연률∙트랜잭션∙에러 로그를 분석해 검색 시스템의 일관성을 유지한다는 점을 설명했다.
 

 
비용 문제 역시 자연히 해결된다. 챗GPT 같은 LLM과 연동해 사용한 비용을 바로 추적하는 가시성이 특징이기 때문이다. RAG 기반 검색을 도입할 때와 LLM를 직접 사용할 때의 비용 차이는 수백, 수천 배에 이를 정도다. 비용 효율은 생성형 AI와 LLM으로 서비스를 구축할 때 엘라스틱서치의 벡터 DB를 기반으로 한 RAG를 꼭 고려해야 하는 이유가 된다.

프로덕션 사용례를 다수 보유한 만큼, 엘라스틱서치는 HR, 고객관리, 전자상거래, 규제 준수, 기업 회계, 유지보수 예측 등 기업 내에서 벡터 DB 검색 기반으로 생성형 AI를 활용한 폭넓은 노하우와 아이디어를 제공한다.

가장 큰 가시적 이점은 챗봇 개선이다. 벡터 DB와 생성형 AI를 연동한 결과물이 아직 B2C 시장에 발을 들이지 못한 이유는 서비스 아이디어가 많지 않기 때문이다. 김관호 상무는 현재 사람 서비스 직원보다 훨씬 만족도가 낮은 챗봇 시스템도 생성형 AI를 지원하는 벡터 DB로 한층 더 발전할 수 있다고 내다봤다.
 

마지막으로 김관호 상무는 엘라스틱서치의 생성형 AI 전문 워크샵을 소개해 큰 반응을 이끌어냈다. 지난 수 개월 동안 여러 차례 개최돼 수백 명이 대기 명단에 이름을 올릴 정도로 폭발적인 인기를 얻은 엘라스틱서치의 워크샵은 실습 포함 3시간가량 진행되며, 콘텐츠와 규모 모든 면에서 만족도가 높다. 

김관호 상무는 개발자와 기술 실무자를 대상으로 생성형 AI의 기본 원리부터 벡터 임베딩과 시맨틱 검색, RAG 같은 고급 기능까지 심도 있는 교육을 진행하는 엘라스틱서치에 많은 관심과 참여를 당부했다. 
editor@itworld.co.kr