Offcanvas

AI / 머신러닝|딥러닝 / 신기술|미래 / 오픈소스

LLM 환각 모니터링 지원··· 어라이즈AI, ML옵스 라이브러리 오픈소스로 공개

2023.04.26 이지현  |  CIO KR
ML옵스(MLOps) 플랫폼 기업 어라이즈AI(ArizeAI)가 대형언어모델(LLM)의 환각 현상을 집중 모니터링하는 오픈소스 라이브러리 ‘피닉스(Phoenix)’를 25일 공개했다.  
 
피닉스 예시 ⓒ 어라이즈AI

2019년 미국에서 설립된 어라이즈AI는 머신러닝 모델 배포와 유지 보수를 도와주는 기술을 개발하고 있다. 지금까지 총 6,200만 달러(약 828억원) 투자금을 유치했으며, 직원 수는 약 50여명으로 작은 스타트업이다. 어라이즈AI 공동 설립자인 아파르나 디나카란은 과거 우버에서 데이터사이언티스로 일하며 머신러닝 인프라를 관리하던 인물이다. 우버, 엣시(Etsy), 어도비, 차임(Chime) 등이 어라이즈AI를 현재 사용하고 하고 있다. 

잘못된 답변을 그럴듯하게 제공하는 일명 AI 환각(hallucination) 현상은 LLM 기반 기술의 핵심 문제로 떠오르고 있다. 이번에 공개된 피닉스는 바로 그런 환각 현상을 줄이기 위해 사용할 수 있는데, 주로 복잡한 LLM 의사 결정을 시각화하고, 잘못된 결과나 오해의 소지가 있는 결과를 생성하는 LLM을 모니터링해준다. 구체적으로 LLM의 업무 수행 능력을 점수로 평가하고, 이상 징후를 감지하고, 모델 드리프트(Drift, 데이터 변경 및 입력 변수와 출력 변수 간의 관계로 인해 모델 성능이 저하되는 것)를 파악하고, 데이터 세트를 A/B 테스트할 수 있다. 

오픈소스 형태로 공개된 피닉스는 주피터(Jupyter) 노트북에서 가져오기 호출로 인스턴스화되며, 판다스(Pandas) 데이터 프레임 위에서 대화형으로 실행되도록 구축되었다. 또한 임베딩 및 구조 분석을 도구 세트의 핵심 기반으로 설계되었기에 비정형 텍스트 및 이미지와 함께 쉽게 작동한다. 

어라이즈AI의 CEO 겸 공동 설립자인 제이슨 로파테키는 “AI 개발을 중단하자는 목소리가 있지만 결국 현실에선 계속 혁신이 계속 가속화될 것”이라며 “피닉스는 데이터 과학자가 GPT-4 및 LLM의 사고방식을 이해하고, 결과를 모니터링하며, 불가피한 문제가 발생했을 때 이를 해결할 수 있도록 설계된 최초의 소프트웨어”라고 설명했다.

AI 컨설팅 업체 디시전 패턴(Decision Patterns)의 공동 설립자이자 UC 버클리대 전 교수인 크리스토퍼 브라운은 “피닉스와 같은 통합 가시성 유틸리티를 개발 프로세스에 직접 통합하면 시간을 절약한다. 그뿐만 아니라 모델 개발 및 배포 팀이 프로덕션에 릴리스하기 전에 모델 사용 및 개선 사항에 대해 필요한 정보를 파악할 수 있다. 이는 모델 수명 주기 관리에 큰 도움이 될 것”이라고 평가했다. 
jihyun_lee@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.