챗봇에 자율성을 더하다 ··· ‘AI 에이전트’의 이점과 위험 요소

챗봇이 수동적으로 질문을 기다리는 반면, 에이전트는 능동적이고 자율적으로 행동하며 환경에 적응한다. 여러 에이전트가 하나의 프레임워크로 통합되면 그 잠재력이 크게 확장된다. 그러나 시스템의 복잡성이 증가할수록 위험도 함께 커지므로, 이를 제어하기 위해 더욱 강력한 검증 절차가 요구된다. AI 에이전트를 선제적으로 도입한 기업의 개발 사례를 살펴보자.
 

AI 에이전트는 무엇일까? 가트너에 따르면 ‘에이전트’라는 용어는 AI 모델에만 국한되지 않는다. 소프트웨어 프로그램이나 다른 컴퓨팅 개체 또는 로봇일 수도 있다. 독립적이면서도 상호 작용하는 여러 에이전트를 결합하여 각각 환경을 인식하고 특정 행동을 수행하는 멀티 에이전트 시스템도 구축할 수 있다.

기업에서는 이미 이러한 시스템을 배포하고 있다. 예를 들어 미국항공우주국(NASA) 제트추진연구소 (Jet Propulsion Laboratory, JPL)는 멀티 에이전트 시스템을 사용해 청정실의 청결을 유지하며, 다른 행성으로 보내질 하드웨어에 오염이 생기지 않도록 관리하고 있다.

NASA는 또한 2018년부터 라즈베리 파이 컴퓨터를 이용하여 생물학적 시스템에서 영감을 받은 인공지능 모델과 시계열 분석을 통해, 여러 센서가 서로 협력하는 네트워크를 구축했다.

NASA 제트추진연구소의 전 최고 기술 및 혁신 책임자인 크리스 매트만은 “단순히 입자 수치를 측정하는 것이 아니었다”라며 “여러 에이전트가 협력하여 많은 측정을 진행한 후, 오염 물질이 과도한지 아닌지를 결정했다”라고 설명했다.

현재는 NASA를 나와 UCLA의 최고 데이터 및 AI 책임자인 매트만에 따르면, 에이전트 개발 이전에 사용하던 센서는 높은 민감도로 정밀한 데이터를 제공했지만 비용이 수만 달러로 수준의 부담되는 가격이었다. 하지만 새로운 시스템에선 민감도가 다소 낮지만 수백 달러에 불과한 저렴한 센서를 활용하는 동시에 멀티에이전트를 구현해 충분히 유용한 데이터를 얻을 수 있었다.

매트만은 “센서의 낮은 민감도를 보완하기 위해 에이전트들이 협력해 데이터를 공유하고, 지식을 나누며 작업을 진행해야 했다”라고 매트만은 표현했다. 해당 기술은 현재도 NASA에서 사용되고 있으며, AI의 발전으로 인해 최근 멀티에이전트 시스템은 다양한 문제에 활용될 수 있다. 매트만은 “이제는 규칙, 통계, 임곗값에 기반하기보다는 신경망이 도입한 딥러닝과 심층 강화 학습으로 강화된 힘을 가진 시스템이 등장했다”라며 “이 시스템들은 데이터를 입력받아 학습하고, 시간이 지남에 따라 스스로 개선된다”라고 설명했다.

물론 더 똑똑한 AI를 추가하면 위험도 증가한다. 매트만은 “챗GPT, 달리3(DALL-E 3), 미드저니 같은 것들은 인간과 끊임없이 상호 작용한다”라며 “다만 인간 개입 없이도 자율적으로 작동할 수 있는 능력 때문에 인간이 예상하지 못한 상황에서 위험이 발생할 수 있다”라고 설명했다.

한편 멀티 에이전트 시스템을 배포하는 기관은 NASA만이 아니다. 운영 및 물류 분야 기업은 수년 동안 이러한 기술을 사용해 왔다.
 
카네기 멜론 대학의 AI 교수인 아난드 라오는 “에이전트라는 개념은 사실 매우 오래된 것”이라며 “나는 1980년대에 멀티 에이전트 시스템을 연구한 적이 있다. 당시에는 우주왕복선용 시스템을 구축하고 있었는데, 하나의 시스템으로는 너무 복잡했다. 시간이 지남에 따라 각 에이전트는 목표와 목적에 따라 행동하면서 더욱 독립적으로 발전했다”라고 설명했다.

또한 위성 통신 및 관리형 서비스 제공업체인 휴즈 네트워크 시스템즈(Hughes Network Systems, 이하 휴즈)는 수년 동안 에이전트 AI를 사용해 왔다. 특히 서비스 품질 저하 문제를 해결하는 데 AI를 활용하고 있다. 휴즈의 북미 엔터프라이즈 부문 수석 부사장 겸 총괄 책임자인 댄 라스무센은 “우리는 네트워크와 고객 장비 통계를 지속적으로 알고리즘에 입력해, 변화하는 조건에 적응하고 이상 징후를 식별하고 있다”라고 말했다.

최근에 휴즈는 구글 클라우드 플랫폼에 애플리케이션 배포를 자동화하고 CI/CD 파이프라인을 생성하는 동시에 에이전트를 사용하여 코드를 생성하는 소프트웨어를 구축하기 시작했다.

라스무센은 “우리의 목표는 로그와 메트릭을 분석하고 이를 소스 코드와 연결하여 코드 수정, 취약성, 성능 문제 및 보안 문제에 대한 인사이트를 얻는 것”이라고 설명했다. 휴즈는 이미 이러한 사용 사례에 대한 개념 증명(PoC)을 성공적으로 완료했으며 현재 이를 제품으로 개발 중이다.

또한 자체적인 내부 에이전트 AI 도구를 개발하여 마이크로소프트 오토젠(Microsoft AutoGen)을 비롯한 여러 프로젝트에 다양한 에이전트 프레임워크를 사용하고 있으며, 크루AI(crewAI)와 라마인덱스(LlamaIndex)를 검토하고 있다.

라스무센은 “휴즈는 이러한 도구를 사용하여 100만 개 이상의 원격 노드에 서비스를 제공하는 네트워크 운영을 지원하고 있다. 처음에는 이 도구들이 사람이 검토하고 조치할 수 있는 권장 사항만 제공했다”라며 “몇 달 동안 이 시스템을 관찰한 후, 휴즈는 프로세스가 자동으로 실행되고 구현된 변경 사항을 보고하도록 허용했다. 새로운 개선 사항에 대해서도 동일한 검토 프로세스를 사용한다”라고 밝혔다.

다만 휴즈는 이상 징후가 감지되거나 구현된 수정 사항이 통계적으로 정상 범위를 벗어날 경우, 자동화된 행동을 멈추게 하는 경고 시스템도 따로 마련했다. 이를 통해 자동화가 통제 불능 상태로 네트워크에 영향을 미치는 일이 발생하지 않도록 방지하고 있다.

AI 에이전트의 확산
대기업 임원 1,100명을 대상으로 한 캡제미니(Capgemini)의 설문조사에 따르면 조직의 10%가 이미 AI 에이전트를 사용하고 있고, 절반 이상이 향후 1년 이내에 사용할 계획이며, 82%는 향후 3년 이내에 통합할 계획이라고 답했다. 또한 응답자의 71%는 AI 에이전트가 워크플로우의 자동화를 향상시킬 것이라고 답했고, 64%는 고객 서비스와 만족도를 향상시킬 것이라고 답했으며, 57%는 잠재적인 생산성 향상이 위험보다 더 크다고 답했다.

또한 AI 에이전트를 사용할 계획이 있는 기업 중 가장 큰 활용 사례는 소프트웨어 개발, 즉 코드 생성, 평가 및 재작성 분야였으며, 75%가 이러한 방식으로 AI 에이전트를 사용할 계획이라고 답했다. IT 현대화 전문 기업 코그니전트(Cognizant)의 AI CTO인 바박 호자트는 개발 분야가 에이전트 AI의 가장 큰 사용 사례인 것은 당연한 결과라고 분석했다.

호자트는 “AI 업계 종사자 대부분은 소프트웨어 엔지니어다”라며 “또한 소프트웨어 엔지니어링은 검증하기가 더 쉽기 때문에 서로의 작업을 확인할 수 있는 준지도 학습 시스템을 구축할 수 있다. 그러다 보니 초기 도입 사례로 선정되고 있다”라고 설명했다.

더 많은 권한, 더 많은 책임
블록버스터 영화 및 TV 스튜디오인 레전더리 엔터테인먼트(Legendary Entertainment)는 많은 지적 재산을 보호해야 하며, 이를 위해 AI 에이전트를 사용하고 있다. 레전더리 엔터테인먼트 CISO인 댄 미챔은 “우리는 다양한 보안 프로그램에서 멀티 AI 에이전트를 활용하고 있다”라고 소개했다. 예를 들어, AI 에이전트는 오픈소스 인텔리전스를 사용하여 소셜 미디어와 다크 웹에서 영화 유출 및 불법 복제를 추적한다. 미챔은 시스템 구축에 어떤 특정 프레임워크가 사용되었는지는 밝힐 수 없지만, 일부 비즈니스 프로세스 자동화를 가능하게 하는 엔터프라이즈 오픈AI 기술과 유사한 솔루션을 활용하고 있다고 설명했다.

미챔은 “보안 측면에서 AI는 셀 수 없을 정도로 많은 위험을 안고 있는 양날의 검과 같다”라며 “AI 관련 보안 문제로 밤잠을 설치고 있다”라고 표현했다. 에이전트 시스템 뒤에 생성형 AI가 있기 때문에 생성형 AI가 가진 위험 요소가 AI 에이전트에 존재한다. 미챔은 창의적인 콘텐츠와 자산이 AI 애플리케이션을 통해 유출되거나 AI가 저작권 침해 콘텐츠를 생성할 가능성을 염려하고 있다.

또 다른 위험으로는 악성 코드 주입이 있다. 여기서 악성 코드는 AI 에이전트가 읽는 문서에 숨겨져 있으며, AI가 그 코드를 실행하게 된다. 미챔은 “이 공격 벡터는 고전적인 SQL 인젝션이나 데이터베이스 저장 프로시저 공격이란 점에서 새로운 것이 아니다”라며 “데이터 유형을 학습에서 제외하거나 제한하는 데이터 손실 방지(DLP) 패턴을 활용하는 새로운 완화 기술이 등장하고 있으며, 일부 새로운 솔루션은 모듈이 학습하고 성장할 때 명령어 집합을 검사해 인젝션, 환각, 악성 코드를 방지할 수 있다”라고 주장했다. 미챔은 2025년 1분기까지 기존의 DLP 및 코드 검토 개선 기능을 넘어 AI를 보호하는 새로운 솔루션이 등장할 것으로 기대하고 있다.

언스트앤영(EY)의 파트너인 싱클레어 슐러는 기본 생성형 AI 모델을 위해 이미 설정된 가드레일 위에 멀티 에이전트 AI를 보호하는 몇 가지 주요 전략이 있다고 전했다. 예를 들어, 에이전트는 특정 성격을 가질 수 있다. 그는 “에이전트가 장기적으로 존재할 것인지, 단기적으로 존재할 것인지, 다른 에이전트와 협력할 수 있는지”와 같은 질문을 따져봐야 한다.

슐러는 또한 다중 에이전트 시스템은 다른 에이전트의 작업을 평가하도록 동료 에이전트에게 요청하거나, 원본 응답을 점검하기 위해 적대적 에이전트를 사용하는 방법을 통해 합의를 도출할 수 있다. 기업은 이러한 시스템이 의도한 대로 작동하는지 테스트하는 방법도 고려해야 한다고 강조했다. 슐러는 “이 부분이 가장 어려운 일이다”라고 설명했다.

슐러는 에이전트가 할 수 있는 작업의 범위를 제한하고, 반드시 인간이 개입하도록 시스템을 구성할 수 있다고 언급했다. 일례로 보험사 애플랙(Aflac)은 이러한 방식으로 AI가 완전히 자율적으로 작동하지 않고, 인간의 감독을 유지하도록 하고 있다. 애플랙의 CIO 쉴라 앤더슨은 AI 에이전트 프로젝트에서 신속한 개발이 가능할지라도, AI 시스템의 신뢰성과 안전성을 보장하기 위해 인간의 지속적인 참여가 필요하다고 설명했다. 이러한 프로젝트에는 고객 서비스를 간소화하고 직원 워크플로를 최적화하는 프로젝트가 포함된다. 앤더슨은 “애플랙은 생성형 AI 및 기타 신기술에 대해 사용했던 것과 동일한 접근 방식을 AI 에이전트에도 적용하고 있다”라고 전했다.

이러한 프로젝트는 위험의 정도에 따라 평가된다. 낮은 위험 사례는 백오피스 애플리케이션이나 프로세스 지원과 관련되어 있으며, 이는 사람들의 업무 방식에 영향을 미친다. 중간 위험 사례는 내부 데이터와 내부 사용을 포함한다. 높은 위험 사례는 외부 사용자나 보호된 데이터를 다룬다.

앤더슨은 애플랙의 혁신 팀이 현재 탐색할 PoC를 평가하고 있는 단계에 있으며, 이는 AI 에이전트를 위한 여러 모델과 플랫폼을 평가하는 과정도 포함된다고 말했다. 앤더슨은 “우리가 궁극적으로 추구하려면 AI 전략은 특정 목적에 맞춘 AI를 더 많이 도입하는 방향이다. 기술을 가치 사슬에 어떻게 적용할지에 따라 다양한 모델과 플랫폼을 포함할 수 있다”라고 언급했다.

에이전트 AI는 인간 고유 업무에 영향을 미칠 수 있다. AI 에이전트로 이전보다 더 복잡한 비즈니스 프로세스를 처리할 수 있기 때문이다.
앤더슨은 “AI가 인간 작업자에게 어떤 영향을 미칠지 고려하는 것은 중요하다”라고 설명했다. 애플랙은 이런 가치 하에 지식 근로자를 더 가치 있는 업무로 전환하거나 AI를 사용하여 더 나은 의사 결정을 내리고 고객 경험을 개선할 수 있도록 집중하고 있다. 따라서 애플랙은 AI가 미래에 제공할 수 있는 이점에 대해 기대하고 있지만, 고객이 기대하는, 그리고 종종 필요로 하는 인간의 직접적 지원을 제공하는 부분도 계속 투자할 예정이다.

AI 에이전트 적용의 초기 단계
AI 에이전트 여정을 막 시작한 또 다른 기업에는 센트릭 컨설팅이 있다. 센트릭 컨설팅(Centric Consulting)은 보험 청구와 관련된 고객 이메일을 수집하고 해당 문서를 처리하기 위해 두 개의 서로 다른 공급업체를 사용하는 중견 지역 손해보험 회사와 협력하고 있다.

센트릭 컨설팅의 AI 솔루션 디렉터인 조셉 오어스에 따르면, 센트릭 컨설팅은 연간 50만 달러의 라이선스 비용을 지출하고 있지만, 여전히 많은 부분에서 수작업이 존재하고 있다. 따라서 이 수동 프로세스를 AI 에이전트 시스템으로 대체하면 연간 약 100만 달러를 절감할 수 있어, 두 벤더 중 어느 하나가 제품을 개선할 때까지 기다리는 대신 개발 비용을 투자할 가치가 있다고 판단했다. 오어스는 “게다가 이 두 공급업체는 규모가 커서 서로 인수할 가능성이 낮았기 때문에 시너지 효과를 기대할 수 없었다”라고 설명했다.

센트릭은 이후 에이전트를 구동하는 LLM에 구애받지 않는 백엔드를 사용해 맞춤형 AI 에이전트 프레임워크를 구축했다. 현재 이 플랫폼은 오픈AI, 오픈AI 온 애저(OpenAI on Azure), 구글의 제미나이 또는 앤트로픽의 클로드(Claude)를 지원할 수 있다. 예를 들어, 멀티모달인 오픈AI의 GPT-4는 스캔한 문서나 손상된 사진과 같은 이미지를 처리하는 데 사용된다. 또한 이메일을 구성 요소로 분해하거나 보험 번호를 조회하는 등 생성형 AI 모델이 과도하게 사용될 경우, 플랫폼은 소프트웨어 또는 함수 호출을 사용하여 작업을 대신 처리한다. 이 시스템은 PoC 단계를 통과하여 현재 시범 운영 중이다.

오어스는 “"개념 증명 단계에서는 보안 가드레일과 고객 경험 관련 사항이 포함되지 않았다”라며 “현재 그 부분을 추가하고 있으며, 목표는 단계별 파일럿을 진행하는 것이다. 예상대로 시스템이 작동하는지 확인하려 한다”라고 밝혔다.
 
오어스는 “시스템이 무엇이 들어오는지, 무엇을 해야 하는지, 어디로 가야 하는지 완전히 이해하게 되면 자율적으로 작동하게 될 것”이라며 “시스템이 무언가를 이해하지 못하거나 올바른 기록을 찾지 못하면 수동 검토로 넘어가게 된다”라고 설명했다.

센트릭 컨설팅은 또한 정밀도와 정확도 지표를 확인하고 드리프트(시간이 지남에 따라 AI 모델의 성능이 저하되는 현상)를 방지하는 도구를 마련할 예정이다. 이 시스템은 직무 교육 및 기타 변경 관리와 함께 올해 4분기에 최종 배포된다.

오어스는 “AI는 농업 사회에 산업 혁명이 미친 영향만큼이나 파괴적이다”라며 “도구를 준비하지 않고 도입하면 사람들은 저항할 것이고, 최적의 결과를 얻지 못할 것”이라고 말했다.

미 뉴저지 비영리 의료 네트워크 중 하나인 애틀랜틱 헬스 시스템(Atlantic Health System)도 자동화 전략의 일환으로 AI 에이전트를 활용하기도 했다.

애틀랜틱 헬스 시스템의 부사장 겸 최고 정보 및 디지털 트랜스포메이션 책임자인 수닐 다들라니는 “현재는 검색 증강 생성(RAG)을 사용해 워크플로를 구축하고 있다”라고 전했다. 이를 통해 LLM 쿼리 관련 맥락 정보를 보강할 수 있다.

다들라니는 “우리는 AI 에이전트를 PoC 형태로 운영하고 있다. 이를 통해 보다 유연하면서도 업무 중심적인 방식으로 지원할 수 있는 워크플로우 유형을 확장하려 하고 있다”라고 설명했다.

애틀랜틱 헬스 시스템은 IT 서비스 관리(ITSM) 영역에서도 AI 에이전트를 사용할 수 있는 가능성을 모색하고 있다. 다들라니는 “우리는 AI 에이전트를 활용하여 내부 IT 프로세스를 개선하고, 실험적으로 활용하여 성과를 평가하며, 이를 통해 기술에 대한 신뢰를 쌓고자 한다”라고 언급했다.

이를 실현하기 위해 애틀랜틱 헬스는 자체 내부 디지털 지원 플랫폼을 사용하고 있으며, 아마존 베드록(Amazon Bedrock)과 함께 LLM 간의 데이터 흐름을 오케스트레이션하기 위해 랭체인(LangChain)을 검토하고 있다. 이는 회사의 에이전트 AI 프레임워크의 기반으로 확장될 수 있다.

다들라니는 “또한 구글 클라우드 플랫폼과 함께 다이얼로그플로우(Dialogflow)를 활용하고 있으며, 마이크로소프트 봇 프레임워크를 활용하는 방법에 대한 논의를 시작하고 있다”라고 전했다.

발전에 들어가는 비용
AI 에이전트는 의료 분야에서 많은 잠재적 이점을 제공하지만, 상당한 위험성도 포함하고 있기에 신중하게 관리돼야 한다. 애틀랜틱 헬스는 이미 데이터 관행, 강력한 보안, 사람의 직접 감독, 투명한 거버넌스와 함께 지속적인 모니터링, 테스트, 법적 프레임워크 준수, 책임 구조 등 에이전트 AI를 안전하게 유지하기 위한 프레임워크를 갖추고 있다. 하지만 다들라니는 AI 에이전트 시스템이 일정 수준의 자율성을 가지고 작동하도록 설계되었다고 설명했다.

다들라니는 “AI가 복잡한 사례를 이해하지 못하거나 중요한 순간에 개입하지 못하면, 환자가 위험에 처할 수 있다”라고 표현했다.

대형 기술 기업조차도 대부분 아직 AI를 대대적으로 도입하지 않고 있다. 세일즈포스(Salesforce)의 AI 연구 및 응용 AI 담당 부사장인 케이밍 시옹은 “우리는 멀티모달 에이전트 AI가 미래라고 믿습니다”라고 언급했다.

멀티모달 AI는 에이전트에게 텍스트뿐만 아니라 이미지와 같은 다양한 형태의 데이터를 처리할 수 있는 능력을 제공한다. 이미 생성형 AI 플랫폼에서 이미지, 오디오, 심지어 비디오까지 처리하고 있기에 이런 능력이 AI 에이전트에도 이식되는 셈이다. 시옹은 “세상에는 텍스트로만 설명할 수 없는 많은 정보가 있다”라고 설명했다.

하지만 멀티 에이전트 AI 시스템은 아직 실험 단계에 있거나 매우 제한적인 방식으로 사용되고 있다. 세일즈포스에서 에이전트 AI의 내부 사용 사례 중 하나는 소프트웨어 개발이다. 시옹은 “우리는 자체 모델과 우리가 직접 구축한 에이전트 프레임워크를 사용한다”라며 “하지만 개발자를 대체할 수는 없을 것 같다. AI가 작성한 코드를 완전히 신뢰할 수는 없지만 생산성과 품질 개선에 쓰일 수 있다. AI 에이전트 코딩 도구는 신입 개발자가 더 전문적으로 성장하는 데 도움을 줄 수 있다”라고 밝혔다.

시옹은 또한 다양한 소스에서 정보를 취합하여 질문에 답하고, 고객 문제를 해결하거나, 다음 단계를 제안할 수 있는 에이전트 프레임워크도 있다고 설명했다. 여기서 백엔드 모델은 오픈AI의 GPT-4와 GPT-3.5이다. 상담원 AI의 정확성을 유지하기 위해 세일즈포스는 이미 구축한 모든 가드레일을 생성형 AI에 활용하고 있다.

시옹은 “모든 질문과 답변을 분석한다”라며 “독성, 편향을 분석하고 프롬프트 인젝션 여부를 확인한다”라고 설명했다. 세일즈포스 기술에는 이 외에도 에이전트가 접근하지 말아야 할 정보를 위한 보안 및 접근 제어가 설정되어 있다.

시옹은 “에이전트가 실행할 수 있는 작업인지 확인하기 위한 가드레일도 마련되어 있다”라며 “에이전트가 잘못된 작업을 수행하지 않도록 에이전트 프레임워크에 이러한 구성 요소를 넣고 있다”라고 설명했다. 하지만 이 시스템이 완벽하지는 않으므로 인간의 감독도 포함되어 있다. 예를 들어, 특정 작업이 실행되어야 하는지 여부를 인간이 확인하도록 요청할 수 있다. 시옹은 “개발 측면에서는, 생산 단계로 넘어가기 전에 평가를 수행하는 팀이 있다”라고 전했다.

세일즈포스의 CIO인 후안 페레즈는 모든 새로운 시스템이 세일즈포스가 구축한 가드레일을 준수해야 한다고 강조했다. 페레즈는 "우리는 생성형 AI 솔루션 전체에 신뢰 계층을 구축했다”라며 “모든 활동에서 보안과 프라이버시를 철저히 관리하기 위해 잘 정의된 정책과 절차를 가지고 있다”라고 밝혔다. 또한 법률, 개인정보 보호, 윤리적 AI 사용 그룹, 데이터 담당자, 기술자, 비즈니스 사용자 등 회사 전반의 사람들로 구성된 AI 위원회가 있다고 언급했다.

한편, 시옹은 멀티 에이전트 시스템이 단일 모놀리식 AI 모델보다 실제로 더 안전할 가능성도 있다고 전했다. 시옹은 “시스템이 하나뿐인데 해킹을 당한다면 회사에 큰 재앙이 될 수 있다”라며 “하지만 100개 또는 1,000개의 에이전트가 있고 그중 하나가 해킹되는 상황이라면, 그 정도는 감내할 만한 수준이라고 할 수 있다”라고 설명했다.

각 에이전트는 특정 작업에 최적화될 수 있다. LLM이 특정 목적을 위해 최적화되면 다른 영역에서 성능이 저하될 수 있지만, 멀티 에이전트 시스템에서는 하나의 작업을 분리해 개선할 수 있다.

프로덕션에 배치된 AI 에이전트
포레스터(Forrester)의 애널리스트 크레이그 르 클레어에 따르면, 대부분의 기업들이 자율적으로 작동하는 에이전트를 모든 단계에서 활용하는 전체적인 AI 시스템(엔드 투 엔드 프로세스)으로 통합하지 않는다. 대신 특정 용도에만 제한적으로 사용하거나 아예 사용하지 않는다.

르 클레어는 “방금 30개의 은행 및 투자 회사와 이야기를 나눴는데 모두 같은 말을 했다. ‘우리는 아직 전체 프로세스를 AI에 제공할 준비가 되지 않았다’라는 내용이었다”라고 전했다. 대신 기업들은 기존 프로세스 에이전트가 전체 프로세스를 제어하는 기존 핵심 프로세스에 AI 에이전트를 추가하고 있다고 설명했다.

예를 들어, 비즈니스 프로세스에서 일부 정보를 기반으로 이메일을 생성해야 할 경우, 생성형 AI를 사용하여 보다 맞춤화된 메시지를 생성하고 다른 AI 에이전트가 다른 작은 부분을 선택할 수 있다.

르 클레어는 가장 진보된 수준의 종단 간 폐쇄형 자율 시스템, 즉 자율 주행 자동차와 같은 비즈니스용 시스템은 아직 존재하지 않는다고 언급했다. 하지만 일부 기업들은 그 지점에 가까워지고 있다고 전했다. 뉴욕과 브라질에 본사를 둔 글로벌 데이터 컨설팅 회사인 인디시움(Indicium)은 이미 AI 에이전트 시스템을 구축한 기업 중 하나이다. 인디시움의 최고 데이터 책임자인 다니엘 아반치니는 해당 AI 에이전트가 내부 사용자와 고객 모두에게 서비스를 제공하고 있다고 설명했다.

인디시움의 AI 에이전트는 무들(Moodle), 깃허브(GitHub), 비트버킷(Bitbucket), 내부 위키, 회사의 스노우플레이크(Snowflake) 데이터 웨어하우스 등 다양한 소스에서 데이터를 쿼리하고 상호 참조하는 데 사용된다. 이들은 생성형 AI를 사용하여 복잡한 질문을 해석하고 가장 관련성이 높은 데이터 소스를 식별한다.

아반치니는 “예를 들어, 우리의 한 에이전트는 내부 위키에서 정보를 가져와 코드 저장소의 데이터와 교차 참조한 다음 분석 데이터와 대조하여 비즈니스 쿼리에 대한 포괄적인 답변을 제공한다”라며 “보다 발전된 에이전트 중 일부는 실제로 기존 프로세스를 기반으로 솔루션을 구성한다”라고 밝혔다.

예를 들어, 한 에이전트는 데이터 파이프라인 요구 사항을 설명하는 데 기반해 에어플로우(Airflow)에서 방향성 비순환 그래프(DAG)를 생성할 수 있는데, 이는 복잡한 여러 단계 작업을 포함한다. 아직 파일럿 단계에 있는 다른 에이전트는 코드 저장소를 분석하고 모범 사례와 과거 성능 데이터를 기반으로 최적화를 제안한다.

이 에이전트를 구축하기 위한 기본 프레임워크는 랭체인이며, 인디시움은 에이전트의 의사결정 과정을 세밀하게 제어할 수 있는 랭그래프(LangGraph) 구성 요소를 사용하고 있다.

아반치니는 “에이전트가 먼저 사용자의 쿼리를 분석한 다음 참조할 데이터 소스를 결정하고, 필요한 쿼리를 실행하고, 마지막으로 정보를 일관된 응답으로 종합하는 그래프를 만들 수 있다”라며 “각 단계에서 의사 결정 포인트와 대체 옵션을 구현할 수 있다”라고 설명했다.

아반치니는 이러한 에이전트를 구동하는 데는 오픈AI와 앤트로픽 모델이 선호되지만 배포하고 운영할 때는 특정한 클라우드 서비스에 의존하지 않고, 다양한 환경에서 유연하게 사용할 수 있다고 설명했다. 아반치니는 “특정 프로젝트 요구 사항에 따라 AWS, 애저 또는 GCP에 에이전트를 배포할 수 있다”라며 “이러한 모델은 해당 API를 통해 직접 액세스하거나 AWS 베드록 또는 애저 오픈AI와 같은 클라우드 서비스를 통해 접근한다”라고 설명했다.

인디시움은 모니터링 및 가시성을 위해 랭체인의 랭스미스를 사용하여 성능을 추적하고 병목 현상을 파악하며 신속하게 반복 작업을 수행하고 있다.

아반치니는 “특히 신속한 프로토타입 제작이나 기술적 복잡성이 낮은 경우, 시각적 개발 도구를 사용할 수 있다”라며 “예를 들어 애저 AI 스튜디오를 사용하면 에이전트를 시각적으로 어셈블한 다음 결과를 코드로 내보낼 수 있다. 이는 새로운 에이전트 아키텍처를 탐색하거나 고객에게 개념을 시연할 때 특히 유용하다”라고 밝혔다.

에이전트 시스템의 메모리 요구 사항을 처리하기 위해 인디시움은 파인콘(Pinecone)과 같은 벡터 데이터베이스를 사용한다. 아반치니는 “이러한 데이터베이스를 통해 대량의 비정형 데이터를 효율적으로 저장하고 쿼리할 수 있으며, 이는 많은 AI 애플리케이션에 필수적인 요소”라며 “비정형 문서를 처리하기 위해 우리는 라마파스(LlamaParse)와 같은 도구를 사용해 다양한 문서 형식에서 의미 있는 정보를 추출한다”라고 밝혔다. 또한 인디시움은 사용자와 에이전트가 더 잘 상호작용할 수 있도록 인기 있는 메시징 플랫폼을 위한 맞춤형 커넥터도 구축했다.
ciokr@idg.co.kr