Offcanvas

AI / 디지털 트랜스포메이션 / 신기술|미래

일문일답 | ‘50개 LLM을 탐색 및 구동’··· 고대디 CTO가 전하는 생성형 AI 여정

2024.05.28 Lucas Mearian  |  Computerworld
고대디(GoDaddy)는 최근 기업 로고 제작, 웹사이트 관리, 이메일 및 소셜 캠페인을 몇 초 만에 자동으로 디자인하는 데 사용할 수 있는 챗봇인 에어로(Airo)를 출시했다. 이렇듯 고객 기업이 자체 제품을 만들 수 있도록 지원하는 것과 더불어, 내부적으로도 AI가 어떻게 도움이 될 수 있는지 모색하고 있다고 고대디의 찰스 비드넬 CTO는 말했다. 

1년 전만 해도 인터넷 도메인 등록 및 웹 호스팅 기업 고대디에는 백엔드 시스템에서 실행되는 대규모 언어 모델이 하나도 없었다. 그러나 이제 50개 이상의 언어 모델을 보유하고 있다. 그중 일부는 클라이언트 측 자동화 제품을 서비스하고 다른 일부는 직원의 내부 효율성을 높이기 위한 파일럿 프로젝트에 활용된다.

이 회사의 첫 번째 AI 이니셔티브는 회사 디자인 로고, 웹사이트, 이메일 및 소셜 미디어 캠페인 제작을 자동화할 수 있는 소기업용 AI 봇을 구축하는 것이었다. 올해 초 출시된 AI 고객 응대 챗봇인 고대디 에어로가 그 성과다. 이에 그치지 않고 고대디는 실험 문화에 기반한 혁신을 촉진하기 위해 1,000개가 넘는 AI 실험에 대한 문서를 공식화했다. "가설과 측정이 없는 혁신은 참신하지 못하기 때문"이라고 고대디의 찰스 비드넬 CTO는 말했다.

비드넬은 AI 솔루션 구축을 이끈 회사의 엔지니어링 팀을 지위했다. 컴퓨터월드는 그와 이러한 노력과 도전 과제에 대해 이야기를 나눴다. 

고대디 찰스 비드넬 CTO

AI 여정에 대해 말해달라, 고대디의 경험에서 배울 수 있는 교훈은 무엇인가? 
"우리는 수년 동안 다양한 AI를 실험해왔다. AI는 범위가 넓은 용어다. 머신러닝, 생성형 AI 등 다양한 하위 요소를 포괄한다. 우리가 집중한 목표는 모든 비즈니스에 공통 데이터 플랫폼을 구축하여 다양한 인터페이스와 비즈니스에서 유입되는 데이터를 확보함으로써 고객 행동을 더 잘 이해하는 것이었다. 실험 문화를 구축하고 성과를 측정하고 이를 지속적으로 반복하는 방식으로 생성형 AI를 실제로 유용하게 활용할 수 있는 단계에 이르렀다.”

"우리는 모두 성과를 창출하는데 집중한다. 비즈니스 수익일 수도 있고 고객에게 전달하는 무언가일 수도 있다. 이를 위해 우리는 측정 가능한 가설, 즉 생성형 AI가 창출할 수 있는 성과가 무엇인지에 주목했다. 이는 지난 몇 년 동안 공통 데이터 플랫폼과 실험 문화를 통해 구축해 온 것이기도 하다."

AI 배포를 통해 측정 가능한 결과물을 얻는 것이 얼마나 중요한가? 
"궁극적으로 무엇을 기대할 수 있는지 알지 못하고 이를 측정할 수 있는 방법이 없다면 성공적일지라도 공했다는 사실을 알 수 없다. 새로운 기능을 출시하고 그에 대한 결과를 측정하는 통제된 A/B 테스트가 정말 중요했다. 따라서 구매 전환이나 제품 활성화 등 측정할 수 있는 데이터의 형태가 없다면 의도한 효과를 얻고 있는지 알 수 없다."

생성형 AI를 구현하기 전에 새로운 데이터 레이크를 만들거나 데이터 저장소를 정리해야 하는가? 
“'쓰레기 투입, 쓰레기 배출'이라는 말을 자주 들었을 것이다. 분명 중요한 의미가 있다. 사람들이 분명히 인지해야 할 문제다. 다행해 대형 언어 모델 공급업체 대부분이 데이터 품질을 관리하고 있다.”

"덕분에 우리는 백엔드에 다양한 대규모 언어 모델과 대화하는 공통 게이트웨이를 구축하는 작업을 주로 진행했다. 현재 이미지, 텍스트, 채팅 등 50개 이상의 다양한 모델을 지원하고 있다. 이 게이트웨이는 가드레일로서의 역할뿐만 아니라 LLM의 응답을 평가해 의도한 대로 작동하지 않음을 나타내는 어떤 패턴이 있는지 파악하는 역할도 담당하고 있다.”

"확실히 이 분야는 매우 빠르게 성장하고 있다. 1년 전에는 우리가 보유한 LLM은 하나도 없었지만 지금은 50개에 이른다. 얼마나 빠르게 변화하고 있는지 알 수 있는 수치다. 모델마다 속성이 다르기 때문에 계속 모니터링해야 한다. 하지만 이러한 메커니즘을 통해 모니터링하고 전송하는 항목과 수신하는 항목을 제어함으로써 이를 더 잘 관리할 수 있을 것으로 생각한다."

LLM이 50개나 되는 이유는 무엇인가? 
"이 분야는 비용, 정확성, 신뢰성, 보안 측면에서 각각의 모델이 경쟁하며 빠른 속도로 발전하고 있다. 고대디에서 대부분은 샌드박스 및 테스트 환경에서 사용되고 있으며, 현재 극소수만이 에어로의 뒤를 이어 프로덕션 환경에서 실행된다. 이 중 일부는 프로덕션에 도입되지 않고 폐기될 예정이다. 다른 최신 모델이 더 정확하거나 비용효율적이라는 것이 입증됐기 때문이다."

이 게이트웨이에 대해 설명을 요청한다. 어떻게 작동하며 어떻게 구축했는가?
"고대디가 불확실성을 관리하기 위해 직접 구축했다. 처음에는 서로 다른 LLM 간의 조율을 위한 방법으로 시작했다. 1년 전만 해도 오픈AI라는 공급업체만 하나 있었지만, 이 분야가 곧 매우 흥미롭게 변모할 것이 분명했다. 이 분야에 뛰어들고 싶어 하는 회사가 많았기 때문에 누가 이길지 알 수 없었다. 누가 어떻게 승리할 것인지에 대한 논의와 탐색이 필요하다고 판단했다. 어떤 모델은 이미지에 더 적합하고 어떤 모델은 채팅에 더 적합할 수 있다. 또 다른 모델은 텍스트에 더 적합할 수도 있다. 공급업체들이 서로를 뛰어넘는 방식으로 진화할 것으로 예상했다. 따라서 게이트웨이는 기본 모델에 구애받지 않고 비용 변화와 정확도 변화에 빠르게 적응할 수 있는 방법이었다.”

직원들에게 AI를 교육하는 데 어떻게 접근했는가? 어떻게 직원들이 기술에 참여하도록 했는가? 
"의외로 쉬웠다. 우리의 첫 번째 사용 사례를 생각해낸 한 사업부가 있었다. 고객이 사이트를 위한 콘텐츠를 구축하고 해당 사이트에 적합한 도메인 이름을 찾도록 돕는다는 아이디어였다. 어떤 도메인 이름을 선택할지, 사이트에 어떤 콘텐츠를 넣을지 결정하기란 쉽지 않다. 또 제품 판매를 시작하려면 해당 항목에 대한 설명을 작성해야 하기 때문에 많은 고객들이 어려워한다. 이러한 고객의 니즈를 해결하고자 했다.”

"AI가 어떻게 도움이 될지 명확하게 파악한 사업부 덕분에 이를 최우선 과제로 삼고 리소스를 집중 투입하여 이 분야에서 첫 번째 테스트를 진행했다. 팀원들이 힘을 합쳐 명확하고 설득력 있는 사용 사례를 확보할 수 있었다. 그러나 모든 실험이 성공적이었던 것은 아니다. 그 과정에서 많은 것을 배우고 있다.”

"어떤 면에서는 성공하지 못한 실험이 오히려 더 알려준 바가 많았다. 무엇이 효과가 없는지 알게 되고, 이를 통해 무엇이 효과가 있을지 후속 질문을 던지고 사물을 다르게 바라보게 되기 때문이다. 팀원들이 이러한 실험의 결과를 보고 고객에게 미치는 영향을 확인하면서 기술에 더 많은 시간을 투자하고 고객 성과에 집중할 수 있게 됐다.”

AI가 고객에게 판매할 수 있는 실제 제품을 만들 수준에 이르렀는가? 아니면 텍스트 콘텐츠 제안, 코드 오류 확인, 동영상 제작과 같은 보조적인 역할에 머물러 있는가? 
"일단 주요 영역에 사용할 준비가 되었다고 생각한다. 하지만 사용 사례가 무엇인지에 따라 달라진다. 일단 고객 상호 작용에 가치를 더하는 것은 분명하다. 대다수의 고객이 활용하고 있다. 향후 다양한 사용 사례가 있다. 고도의 전문 지식이 필요한 사용 사례는 계속 개선될 것이다. 고객이 보다 일상적인 작업을 하는데 도움이 필요한 시나리오라면 AI를 적용할 주요 후보다."

고대디 에어로는 무엇이며 어떤 기능을 하는가? 
"기본적으로 제품 및 서비스에 대한 AI 비서다. 데이터 플랫폼 위에 구축된 기본 AI 기술이며, 당사의 실험 플랫폼 및 게이트웨이 위에 구축되어 LLM에 기반해 활용되고 있다. 시간이 지나면 추가적인 신제품으로 발전할 수도 있지만, 지금은 현재 판매 중인 제품을 더욱 개선하는 데 초점을 맞추고 있다. 시간이 지남에 따라 실험을 거듭하면서 발전해 나갈 것이다."

고객이 에어오를 직접 사용하는가? 아니면 고대디 직원이 사용하면서 고객에게 AI 결과물을 제공하는가? "기본적으로 도메인 이름과 웹사이트를 구입하는 즉시 해당 경험으로 바로 이동한다. 사이트 구축을 돕고 여기에 인벤토리 항목을 업로드하면 Airo가 자동으로 해당 [텍스트] 설명을 채워준다. 아이디어에서 실제 온라인 비즈니스를 운영할 수 있도록 돕는 것이 저희의 주요 목표다. 고객의 가치와 성과를 개선하기 위해 추적하는 지표가 있다. 아직 초기 단계이지만 고객의 비즈니스 운영 능력을 개선하고 있다."

Airo는 얼마나 정확한가? 
"상당히 정확하다고 자부한다. 우리가 설정한 정확도 임계값은 비교적 높다. 정확도가 높지 않고 고객에게 도움이 되지 않는다면 홍보하지 않았을 것이다. 대부분의 경우 놀라울 정도로 정확했다고 말하고 싶다. 시간이 지남에 따라 계속 학습해야 하는 순열이 있지만 핵심 경험의 경우 지금까지는 예상했던 것보다 더 정확하다는 것이 입증됐다."

고대디의 생성형 AI를 구동하는 LLM은 어디서 구한 것인가? 
"우리가 실제로 사용하고 있는 LLM은 챗GPT, 앤트로픽, 제미나이, AWS의 타이탄이다. 우리는 백엔드에서 다양한 모델을 활용하고 있다. 하지만 플로우와 제품에 대한 모든 통합은 우리가 한다.”

조직 내에서 AI를 구현할 때 직면한 장벽에는 어떤 것이 있으며 어떻게 해결했는가? 
"보안과 개인정보 보호에 미치는 영향을 이해하는 데 있어 신속하면서도 신중하게 움직였다. 이 부분은 상당한 시간을 들여 고민한 부분이었다. 오늘날 우리가 공통 플랫폼 접근 방식에 자원을 투입하는 이유는 바로 여기에 보안을 고려할 수 있기 때문이다. 또 다른 큰 장벽은 이러한 LLM을 적용할 수 있는 분야를 창의적으로 결정하고 이러한 요구를 해결하기 위해 실험을 어떻게 설계할 것인가 하는 점이라고 본다.”

"별다른 이득 없이 막대한 비용을 지출하기 쉽다. 따라서 고객의 요구뿐만 아니라 이러한 요소도 고려해야 한다. 이러한 요소의 균형을 맞추는 것이 저희의 주요 초점이었다.”

다음 목표는 무엇인가? 
"향후 직원 경험을 보다 효과적이고 효율적으로 개선하기 위해 회사 전반의 더 많은 곳에서 AI를 활용하고자 한다. 우리가 다뤄야 할 영역이 많다. 현재 다양한 분야에서 다양한 시도를 진행 중이다. 더 많은 내부 사용 사례를 위해 자체 데이터로 이러한 LLM을 보강하는 방법을 찾고자 한다. 지금 한창 진행 중이다. 내부적으로 어떤 파일럿 프로젝트를 시작할지 파악하고 있다." ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.