Offcanvas

AI / How To

Miso.ai 창립자 2인이 전하는 ‘생성형 AI의 답변 개선’

2024.03.05 Sharon Machlis  |  CIO
미소닷에이아이(Miso.ai)의 공동 창립자인 럭키 구나세카라와 앤디 시에가 RAG의 기본을 넘어 질문의 맥락과 가정을 세분화하는 것이 엔터프라이즈급 서비스의 핵심이 되는 방법에 대해 설명했다.
 
Image Credit : Getty Images Bank

생성형 AI는 사용자가 각자의 방식으로 데이터를 쿼리하여 필요에 맞는 답변을 얻을 수 있는 인터페이스로서 큰 잠재력을 가진다. 예를 들어, 생성형 AI 도구는 쿼리 도우미로서 기능할 수 있다. 고객이 간단한 질문과 답변 형식을 사용하여 광범위한 제품 지식 기반을 더 잘 탐색할 수 있도록 도와줄 수 있는 것이다.

하지만 생성형 AI를 사용해 답변을 만들어내기 앞서 먼저 질문이 무엇인지 평가하는 것이 중요하다. 미소닷에이아이의 CEO이자 공동 창립자인 럭키 구나세카라가 오늘날 생성형 AI 도구를 개발하는 팀에게 조언을 공유했다.

미소닷에이아이는 CIO닷컴과 자매 사이트 4곳이 진행하고 있는 스마트 앤서(Smart Answers) 프로젝트의 벤더 파트너다. 스마트 앤서는 생성형 AI를 사용하여 일련의 파운드리 산하 미디어(CIO닷컴, 컴퓨터월드, CSO, 인포월드, 네트워크월드)의 기사와 관련된 질문에 답하는 도구다. 미소닷에이아이는 파운드리의 소비자 기술 웹사이트인 PC월드, 맥월드, 테크하이브와도 유사한 답변 프로젝트를 진행했다.

스마트 앤서가 어떻게 인사이트를 도출하는 방법과 관련해, 미소닷에이아이의 접근 방식에 대한 설명을 구나세카라에게 요청했다.

구나세카라는 “사실 대규모 언어 모델(LLM)은 우리가 생각하는 것보다 훨씬 더 순진하다”라고 표현했다. “예를 들어, 강력한 의견이 담긴 질문을 받으면 LLM은 사용 가능한 데이터에서 그 의견이 틀린 것으로 나타나더라도 그 의견을 뒷받침하는 데이터를 골라낼 가능성이 높다. 따라서 ‘프로젝트 X가 실패한 이유는 무엇인가?’라는 질문을 받으면 LLM은 프로젝트가 성공했더라도 그 프로젝트가 실패한 이유를 나열하게 된다. 이는 대중을 대상으로 하는 앱이 해서는 안 될 일이다”라고 그는 설명했다.

구나세카라에 따르면 ‘질문 평가’는 소위 RAG(검색 증강 생성) 애플리케이션에서 일반적으로 누락되는 단계다. RAG 앱은 LLM에 특정 데이터를 가리키고 해당 데이터에 기반해서만 질문에 답하도록 지시한다. 이러한 앱은 일반적으로 다음과 같은 (다소 단순한) 설정 패턴을 따른다:

1. 모든 데이터가 너무 커서 단일 LLM 쿼리에 넣기에는 너무 크므로 기존 데이터를 청크로 분할한다. 
2. 각 청크에 대해 임베딩이라고 하는 것을 생성하여 해당 청크의 의미적 의미를 숫자 문자열로 표현하고 저장한다. 데이터가 변경되면 필요에 따라 업데이트한다.

그리고 질문별로,

1. 임베딩을 생성한다.
2. 임베딩을 기반으로 계산을 사용하여 질문과 가장 유사한 의미의 텍스트 청크를 찾는다. 
3. 사용자의 질문을 LLM에 입력하고 가장 관련성이 높은 청크만을 기반으로 답변하도록 지시한다.

구나세카라의 팀은 여기서 다른 접근 방식을 취했다. 관련 정보를 검색하기 전에 질문을 확인하는 단계를 추가한 것이다. "직접 질문하는 대신 먼저 그 가정이 맞는지 확인한다"라고 미소의 CTO이자 공동 설립자인 앤디 시에는 설명했다.

질문에 내재된 가정을 확인하는 것 외에도 기본 RAG 파이프라인을 개선하여 결과를 개선하는 다른 방법도 있다. 구나세카라는 특히 실험 단계에서 프로덕션에 적합한 솔루션으로 나아갈 때 기본을 넘어서는 것이 중요하다고 조언했다.

그는 "많은 사람들이 '벡터 데이터베이스를 확보하고 RAG를 설정하면 모든 것이 바로 작동한다'라고 주장하곤 한다. 이는 개념 증명을 위한 좋은 방법이기는 하다. 하지만 의도하지 않은 결과를 초래하지 않는 엔터프라이즈급 서비스를 만들어야 한다면 항상 맥락이 중요하다. 거듭 말하자면 맥락이 중요하다"라고 강조했다.

이는 텍스트의 의미 외에 최근성이나 인기도와 같은 다른 신호를 사용하는 것을 의미할 수 있다. 구나세카라는 미소가 요리 웹사이트와 함께 진행 중인 또 다른 프로젝트를 예로 들었다. "파티를 위해 미리 구워두면 가장 좋은 케이크는 무엇인가?"라는 질문의 사례다.

그는 이 질문에 대해 "정말 신호가 필요한 것을 구분해야 한다"라고 말했다. '미리 만들어 두는' 케이크는 바로 제공할 필요가 없다는 뜻이고, '파티용'은 여러 사람에게 제공해야 한다는 뜻이다. 그런 다음 LLM이 어떤 레시피가 ‘가장 좋은’ 레시피인지 어떻게 판단할 수 있느냐는 질문도 있다”라고 설명했다.

구나세카라는 이어 “이는 관련 텍스트 덩어리를 찾아 요약하는 것과는 별개로 트래픽이 가장 많은 레시피, 독자 순위, 에디터의 선택을 받은 레시피 등 다른 웹사이트 데이터를 사용하는 것을 의미할 수 있다. 이러한 것들을 제대로 파악하는 데는 이러한 맥락적 단서들이 더 많은 역할을 한다"라고 덧붙였다.

LLM의 품질도 중요한 요소 중 하나이지만, 미소는 인기가 높고 가격이 비싼 상용 LLM을 사용할 필요는 없다고 보고 있다. 대신 미소는 라마 2(Llama 2) 기반 모델을 미세 조정하고 있다. 일부 고객 프로젝트에서 비용을 낮추기 위해, 그리고 일부 고객이 자신의 데이터가 제3자에게 넘어가는 것을 원하지 않기 때문이다. 구나세카라가 또 "현재 오픈소스 [LLM]에서 엄청난 변화가 일어나고 있기 때문에도 그렇게 하고 있다”라고 전했다. 

시에 CTO 역시 이에 동의했다. 그는 "오픈소스 영역이 정말 빠르게 따라잡고 있다. 오픈소스 모델은 GPT-4를 거의 따라잡았다"라고 말했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.