Offcanvas

AI / 머신러닝|딥러닝 / 애플리케이션

“여러 LLM를 통합할 때 유용”··· 콩, AI 개발 특화 API 플러그인 오픈소스로 공개

2024.02.16 이지현  |  CIO KR
API 관리 및 모니터링 전문 기술 업체 콩이 LLM 개발에 특화된 API 플러그인을 오픈소스로 공개한다고 15일 밝혔다.
 
ⓒ 콩

이번에 새롭게 추가한 오픈 소스 AI 플러그인은 6가지로 ▲AI 프록시 ▲AI 요청/응답 트랜스포머 ▲AI 프롬프트 가드 ▲AI 프롬프트 템플릿 ▲AI 프롬프트 데코레이터가 있다. 그중 AI 프록시 플러그인을 이용하면 동일한 API 인터페이스를 사용하여 클라우드 또는 자체 호스팅에서 여러 LLM 구현을 사용할 수 있다. 콩에 따르면, 해당 플러그인은 오픈AI, 애저 AI, 코히어, 앤트로픽, 미스트랄, 메타의 모델을 지원하며, 사용 방법을 표준화하여 애플리케이션 코드를 변경할 필요 없이 '스위치 한 번'으로 LLM 간에 쉽게 전환할 수 있다.

이외에도 중앙에서 AI 자격 증명 관리하거나 프롬프트 승인 규칙을 설정할 때 새로운 플러그인을 활용할 수 있다. AI가 해야 할 일이나 하지 말아야 할 일에 대한 컨텍스트를 설정하고 요청과 응답을 해석하는 규칙을 지정하는 기능도 새로운 플러그인에서 제공한다.

콩은 “새로운 플러그인은 하나 이상의 LLM을 제품에 통합할 때 특히 유용하며 이를 통해 생산성이 높아지고 AI 기능을 더 빠르게 출시할 수 있을 것”이라며 “아키텍트와 플랫폼 팀에게는 팀이 보내는 모든 AI 요청에 대한 가시성, 제어 및 규정 준수를 보장하는 데도 유용하다”라고 설명했다.
jihyun_lee@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.