‘모든 직원이 물고 뜯고 맛보게 하라’··· 삼사라의 생성형 AI 접근법

글로벌 IoT 차량 관리 기업 삼사라(Samsara)의 스티븐 프랑체티 CIO는 AI 혁신에 '바텀업' 접근 방식을 적용하고 있다.

1990년대 후반 인터넷이 대중화될 때 CIO들은 다음과 같은 질문에 직면했다: ‘직원들이 자유롭게 검색할 수 있도록 허용할 것인가, 아니면 업무 중 액세스를 제한할 것인가?’ 그 결과는 우리 모두 잘 알고 있다. 인터넷 접속을 제한하려는 움직임은 이내 패배했고, 대부분의 직원이 인터넷에 자유롭게 액세스할 수 있게 됐다.

생성형 AI에서도 비슷한 상황이 펼쳐지고 있다. 아마존과 애플은 직원들의 챗GPT 사용을 제한하고 있는 반면, 포드와 월마트처럼 혁신을 촉진하기 위해 직원들에게 생성형 AI 도구를 제공하는 기업도 있다.

2021년에 상장한 차량 관리 SaaS 벤더 삼사라(Samsara)의 CIO인 스티븐 프랑체티는 AI 전략(또는 사실 모든 신기술 전략)을 최적화하는 유일한 방법은 바텀업 접근 방식이라고 보고 있다. 그는 "1년 전 생성형 AI가 폭발적으로 등장했을 때, 삼사라는 이 기술에 대한 이해가 부족했다. 따라서 상당히 제한적인 접근 방식으로 시작했다. 당시에는 개인 정보 보호와 보안을 위한 가드레일을 설치하는 데 집중했다"라며 이야기를 시작했다.

하지만 이 기술을 분석한 후 회사는 제한을 해제했다. "올해 들어 생성형 AI가 가져올 수 있는 이점을 인식하면서 정책은 극적으로 변화했다. 우리는 이 기술을 지식 직원과 분야별 전문가에게 최대한 가까이 배치하고자 한다. 이러한 기능을 제공하고 실험할 수 있도록 지원한다”라고 그는 말했다.

프랑체티는 다양한 신기술에 KPI 및 결과 중심 방식이 적합하다는 점을 인정한다면서도 "유기적 접근 방식이 AI에 더 적합하다고 본다. 물론 이러한 기술은 더 큰 아키텍처에 다시 통합되어야 하지만 IT 팀이 이를 지원할 수 있다"라고 말했다.
 

그에 따르면 직원들에게 생성형 AI를 실험할 수 있는 기회를 제공한 후, 이내 효과가 나타났다. 그는 "여러 유망한 파일럿이 나타났다. 이를 대상으로 실험을 계속 반복하고 있다"라고 말했다. 또한 IT 헬프데스크, 고객 지원, 영업 및 마케팅을 위해 특별히 제작된 도구에서 긍정적인 AI 개념 증명이 출현하고 있다는 설명이다. 

프랑체티는 "범용 공동 파일럿이나 어시스턴트도 실험하고 있다. 직원들이 실험해 볼 수 있는 두 가지 옵션, 즉 상용 LLM 서비스와 오픈소스 서비스를 배치했다"라고 말했다. 현재 삼사라 직원들은 문서 및 직무 설명 작성, 코드 디버깅, API 엔드포인트 작성 등 다양한 사용 사례에 이러한 범용 어시스턴트를 적용하고 있다.

예를 들어, 회사의 엔지니어들은 코드 생성에 LLM 기능을 사용함으로써 회사의 중요한 업무인 코드 문서화 및 주석 작업을 더욱 생산적으로 수행할 수 있게 됐다. 프랑체티는 "우리 엔지니어 중 일부는 영어가 모국어가 아니기 때문에 댓글 작성과 문서화에 AI를 도입하면 업무에 큰 도움이 된다"라고 덧붙였다. 

AI에 대한 상향식 접근 방식과 관련해 프랑체티는 다음과 같은 조언을 전했다.

1. '시민 창작'을 엔지니어에게만 국한하지 말아야 한다. 프랑체티는 그에 따르면 삼사라 내 AI 사용의 50%는 엔지니어가 차지하지만 나머지 절반은 법무, 영업, 마케팅, 재무 및 고객 지원 부서다.

2. 현재의 아키텍처가 발목을 잡지 않도록 하라: 프랑체티는 삼사라처럼 클라우드에서 탄생한 기업이 레거시 인프라에서 운영되는 구형 기업보다 AI 활용에 유리하다고 인정했다. 하지만 그렇다고 해서 상향식 접근 방식의 결실을 누릴 수 없다는 뜻은 아니다. 그는 "직원들이 아키텍처에 관계없이 실험할 수 있다고 본다. 직원들은 마케팅 자료를 만들거나 재무 조정을 위해 AI를 사용하여 생산성을 향상시킬 수 있다. 이러한 특정 도구는 더 광범위한 아키텍처와의 통합에 의존하지 않기 때문에 어떤 환경에서도 이러한 작업을 수행할 수 있다"라고 말했다.

3. 엔터프라이즈 데이터 정리: 깨끗한 데이터가 없으면 한계가 있기 마련이다. "AI와 차세대 AI의 힘은 모델과 컨텍스트를 공유하여 모델이 사용자의 환경을 이해하고 더 나은 답변을 제공할 수 있도록 미세 조정할 수 있는 능력에서 비롯된다. AI는 데이터에 대한 학습을 거치면서 비즈니스 전문가가 된다"라고 그는 표현했다. 다양한 시스템에 데이터가 있고 서로 상충되는 진실의 출처가 있다면 AI는 더 똑똑해지는 데 필요한 컨텍스트를 갖지 못하게 된다. 

4. 확장할 대상을 신중하게 선택해야 한다: 수많은 시민 창작물이 쏟아져 나오고 있는 상황에서 CIO는 어떤 파일럿을 엔터프라이즈 솔루션으로 개발할지 선택하는 프로세스를 개발해야 한다. 잠재력이 큰 솔루션에 시간과 비용을 투자하려면 결과에 초점을 맞출 필요가 있다. 프랑체티는 "어떤 도구가 실용적으로 보이는 시점에 도달하면, 그 도구가 어떤 측정 가능한 비즈니스 성과를 달성할 수 있는지 묻는다"라고 말했다.

그에 따르면 삼사라의 기술팀은 지난 몇 달 동안 내부 IT 헬프데스크에 AI를 실험해 왔다. 프랑체티는 "헬프데스크 봇을 슬랙 내부에 제공할 수 있도록 LLM이 지원하는 기술을 배포했다. 현재 IT 지원의 35%가 완전히 자동화되어 있습니다. 이는 측정 가능한 개선이다. 지원 엔지니어가 더 고차원적인 업무에 집중할 수 있게 됐다"라고 전했다.

이러한 성과를 바탕으로 IT 팀은 고객 서비스에도 유사한 LLM을 실험하기 시작했으며, 이를 통해 고객 지원 상담원의 생산성이 20% 향상될 것으로 예상하고 있다. "측정이 가능해졌기 때문에 이를 확장하고 배포하는 과정에 있다"라고 그는 말했다. ciokr@idg.co.kr