Offcanvas

AI / CIO / How To / 빅데이터 | 애널리틱스 / 신기술|미래

구매와 구축 사이··· 기업의 생성형 AI 접근법

2023.07.18 Mary Branscombe  |  CIO
생성형 AI의 활용은 기업에게 있어 ‘할 것인가 말 것인가’의 문제가 아니다. ‘언제 할 것인가’의 문제다. 단 기업이 필요한 생성형 AI 모델을 마련하는 방법은 여럿일 수 있다. 직접 개발과 구매 사이의 여러 선택지가 존재하며, 각각의 장단점을 지닌다. 무엇보다도 하나의 LLM이 모든 해법을 제공할 수는 없다는 점을 기억할 필요가 있다.
 
Image Credit : Getty Images Bank


지난해 11월 챗GPT 출시 이후 생성형 AI에 대한 관심이 치솟았다. 프로덕티비티에서 추적한 상위 20개의 섀도우 IT SaaS 앱 리스트에서도 이를 확인할 수 있다. 그러나 이와 동시에 많은 조직이 인터넷 기반 범용 생성형 AI의 사용을 제한하고 있다. 그러면서도 다른 한편으로는 생성형 AI 모델을 소싱하고 사용하는 정책을 마련하느라 분주하다. 몇몇 CIO는 자신의 자산과 데이터를 생성형 AI와 조합하고자 모색하고 있다.

새로운 기술에서 흔히 나타나듯이, 문제 중 하나는 만들 것인가 아니면 구매할 것인가이다. 단 생성형 AI의 경우 문제가 좀더 복잡할 수 있다. 구매 서비스를 선택하기, 커스터마이제이션 감안, 유용성 및 신뢰성 확보 등에 필요한 작업이 방대하기 때문이다. 경쟁에서 뒤처지면 안 되겠지만 법정에 서는 일도 있어선 곤란하다. 

단순 활용과 직접 제작 사이
북미 지역의 맥킨지 디지털을 이끄는 선임 파트너인 에릭 라마르는 이러한 복잡한 기술을 만들고 구매하는 것을 엄격하게 구분하기보다는, 시중의 생성형 AI 모델을 가져와 다듬고, 드문 경우이겠지만 만드는 것을 나눠 생각해보라고 제시했다.

그는 “단순 ‘활용자’(taker) 유형이 있을 수 있다. 가령 코딩을 할 때 소프트웨어 개발 가속화를 위해 챗GPT와 같은 API 또는 깃허브 코파일럿과 같은 다른 애플리케이션을 통해 생성형 AI를 소비할 수 있다”라고 말했다. 하지만 생성형 AI가 포함된 완성된 앱만으로는 경쟁력 있는 차별화를 기대하기 어렵다. 그럼에도 불구하고 친숙한 업무 애플리케이션에 신기능의 형태로 생성형 AI가 적용되는 경우가 늘어나고 있다. 기업은 경쟁력 하락을 피하기 위해 이러한 기능을 채택하고자 할 수 있다. 

라마르는 “그리고 가공자(shaper) 유형이 있을 수 있다. 기존의 기본 모델을 기성품으로 활용하지만 자체 데이터로 재교육한다”라고 설명했다. 이를 통해 ‘환각’ 문제를 줄이고 더 정확하고 관련성 있는 결과를 얻을 수 있다고 그는 덧붙였다.

그는 “컨택 센터 애플리케이션을 생각해보자. 이러한 애플리케이션은 기업이 공급하는 제품의 종류, 제공하는 서비스의 종류, 그리고 문제 종류에 따라 매우 고유한 특성을 지닌다”라고 말했다. 일반적인 LLM은 보정이 어렵지만 가공자 유형을 선택한 기업은 미세 조정이라고 하는 프로세스를 이용해 자신의 데이터에 맞게 보정을 시도하게 된다. 미세 조정 작업은 호스팅 형태의 클라우드 LLM과 사용자가 직접 실행하는 오픈소스 LLM 모델 모두에 적용될 수 있다.

라마르는 맥킨지의 초기 실패 사례를 언급했다. 이 컨설팅 기업은 평가 인터뷰의 녹취록을 LLM에 공급함으로써 평가 작성 속도를 높이고자 시도했다. 그러나 라마르에 따르면 조직의 데이터에서 미세 조정 또는 그라운딩 작업의 부재로 인해 실패했다. 그는 “LLM은 다양한 역할, 우리가 어떤 종류의 일을 하는지, 사람들을 어떻게 평가하는지에 대한 맥락이 없었다”라고 말했다.

플러그인 모델이 있는 챗GPT 및 GPT4와 같은 생성형 AI 모델을 사용하면 문제를 해결할 수 있다. 다른 시스템에서 실시간 정보 또는 비즈니스 데이터를 검색하거나 다른 유형의 계산을 추가하거나 심지어 티켓을 열거나 예약하는 등의 조치를 취하는 API에 연결함으로써 LLM을 증강할 수 있는 것이다. 이는 마치 기업이 배송 경로를 생성하거나 배송 시간을 예측하기 위해 자체 기상 모델을 처음부터 구축하는 대신, 상용 기상 예측 서비스에 머신러닝 모델을 적용하는 것과 유사한 방식이다. 

그러나 가공 접근법이 그리 만만하지는 않다고 라마르는 경고했다. 단순히 자체 애플리케이션 및 프로세스에 LLM을 구축하는 것 이상의 작업이 수반될 수 있다는 이야기다. 그는 “좋은 결과를 얻으려면 모델에서 소비할 수 있는 데이터 환경을 만들어야 한다. 데이터 엔지니어링 기술이 필요하다. 이러한 모델을 재보정 할 수 있어야 하므로, 내부 머신러닝 역량이 요구되며 프롬프트 엔지니어링을 잘해야 한다”라고 말했다.

그는 특히 머신러닝에 대한 내부 전문성을 아직 구축하지 않은 기업의 경우, 생성형 AI에 대한‘샤이니 오브젝트 신드롬’(shiny object syndrome)을 조심해야 한다고 지적했다 그는 “향후 6개월에서 12개월 안에 아프게 다가올 현실이 있다. 생성형 AI가 ‘전통적인’ AI만큼 어렵다는 것이다”라고 말했다.

그러나 기존 모델과 서비스를 가공한 생성형 AI 시스템을 사용하면 경쟁력 있는 차별화를 제공할 가능성이 매우 높은 애플리케이션을 구현할 수 있다. 라마르는 마지막으로 훨씬 더 어렵고 가장 희소할 유형으로 직접 제작(making)이 있다고 말했다.

간과하면 손해
취약한 어린이, 가족 및 젊은 전문가를 지원하는 비영리 단체인 ‘더 컨틴전트’의 CIO인 피터 킴에 따르면, 소규모 조직의 경우, 자체적인 생성형 AI를 만드는 것은 고려하기조차 어렵다. 그의 조직은 불과 10여 명의 기술 직원만 보유하고 있다.

아동 복지 분야의 위기는 수요가 조직의 공급 역량을 능가한다는 것이다. 그럼에도 불구하고 그는 생성형 AI가 어떻게 청중을 프로파일링하고, 자원봉사 기회의 연속체에 대한 메시지를 평가하고, 지원자를 인턴십과 연계시키고, 심지어 새로운 직원을 모집하는 데 걸리는 시간을 줄일 수 있는지 큰 관심을 가지고 있다.

그는 마이크로소프트가 ‘클라우드 포 논프로핏’을 포함하여 많은 제품에 도입하고 있는 코파일럿 기능이 해답일 수 있다고 본다. 킴 CIO는 “간과하면 손해다. 왜냐하면 그것이 일상화될 것이기 때문이다. 만약 기업이 그것을 사용하지 않는다면, 뒤쳐질 것이다”라고 말했다.

킴은 특히 생성형 AI 서비스의 일부를 커스터마이징 작업에 활용할 계획이다. 그는 코파일럿 기능이 각기 상이하고 종종 구식인 시스템용으로 구축해야 하는 많은 커넥터를 코딩하고 데이터 쿼리를 작성하는 데 특히 도움이 될 것으로 기대하고 있다. 또한, 그는 지리적 및 인구 통계적 데이터의 뉘앙스를 이해하고, 과거 데이터에서 통찰력을 추출하여 실시간 데이터와 비교하여 패턴과 빠르게 이동할 수 있는 기회를 식별하기를 기대하고 있다.

그는 또 기존 수동 프로세스를 자동화하고 새로운 가능성을 모색하는 데 시간과 노력을 투입할 방침이다. 킴은 “AI를 활용해 기존과 같은 일을 하려는 것이 아니다. 이 새로운 강력한 기능을 가지고 어떻게 기존 비즈니스 프로세스를 리팩토링하거나 개선할 수 있을까?”라고 말했다.

그는 소규모 조직이라면 구입 후 잘 활용하는 방법을 고민할 만하다고 강조했다. “더 쉽게 사용할 수 있는 툴들이 있다. 조직의 성공을 가르는 요소로는 적응력과 검토 능력에 있을 것이라고 나는 생각한다”라고 말했다.

규모가 큰 조직에서는 개발 툴 및 통합 기능이 함께 제공되는 상용 LLM을 검토할 수 있다. 에어비앤비나 도이치 텔레콤처럼 상당한 기술 전문성을 보유한 조직조차도 자체적으로 LLM을 구축하기보다는 챗GPT와 같은 LLM을 미세 조정하는 쪽을 선택하고 있다.

내셔널 그리드 그룹의 CIDO인 아드리아나 카라보티스는 “상용 LLM을 사용하여 4개의 벽 안에서 특정 기업과 산업에 필요한 도메인 조각을 구축할 수 있다. 이미 상용화된 것을 취하지 않을 이유가 없다. 경쟁사들 또한 이미 사용 가능한 모든 것을 활용하려 할 것이다”라고 말했다.

파나소닉의 B2B 커넥트 부서는 애저 오픈AI 서비스를 사용하여 내부용 커넥트AI 어시스턴트를 구축하여 HR 및 IT뿐만 아니라 법률 및 회계 팀에서 사용하도록 했다. 회사의 IT 및 디지털 전략 선임 관리자인 히로키 무카이노는 자사가 활용한 방식도 다르지 않다고 설명했다. 그는 “보통의 기업이 자체적으로 그러한 서비스를 구축하는 것은 기술적으로 어렵고 비용이 많이 들 것이라고 생각했다”라고 말했다.

파나소닉에게는 직원 생산성을 높이는 것이 최우선 과제였다. 따라서 LLM을 만드는 데 시간을 보내는 대신 무카이노는 비즈니스 워크플로우를 위해 설계된 툴을 활용하고자 했다. 그는 “애저 오픈AI 서비스를 이용함으로써 사내에서 AI를 구축하는 것보다 훨씬 빠르게 AI 어시스턴트를 만들 수 있었으며, 이로써 사용성 향상에 시간을 할애할 수 있었다”라고 말했다.

그는 또한 현재 챗GPT의 단점을 보완하는 존재가 플러그인이라고 표현했다. 비즈니스 요구에 맞게 커스터마이징하는 해법이라는 진단이다. 현재 데이터의 벡터 임베딩을 사용하여 클라우드 LLM을 미세 조정하는 기능은 이미 애저 오픈AI 서비스용 애저인지 검색의 비공개 사전 체험판에 존재한다.

마이크로소프트 AI 플랫폼 기업 부사장인 존 몽고메리는 “내부 데이터를 사용하여 자체 코파일럿을 지원할 수 있다. 정확도가 즉시 향상되고 환각 현상이 감소한다. 특히 벡터 지원 기능을 추가하면 정확한 정보를 신속하게 검색하는 작업을 효율화할 수 있다”라고 말했다. 그러면 사내 파일 공유 문서든 SQL 클라우드 데이터베이스든 데이터 소스에 대한 벡터 인덱스와 애플리케이션에서 사용할 API 엔드포인트가 생성된다는 설명이다.

실제로 전문 서비스 공급업체 EY는 이미 채팅 에이전트를 구축하기 위해 여러 데이터 소스를 연결하고 있다. 이를 몽고메리는 모델의 집합이라고 부른다. 집합의 일부는 오픈소스 모델일 수 있다. 그는 “회사 건강보험에서 대응하는 안경의 수에 대한 정보는 비정형 문서에 담긴다, 청구된 안경의 수와 그 보장에 남아 있는 액수는 정형화된 쿼리에 남는다”라고 말했다.

데이터 사용 및 보호
라마르는 가공형 접근 방식을 채택하고 있는 기업들의 경우 데이터 환경이 네 개의 벽 안에 완전히 담기고 모델이 데이터로 옮겨지기를 원한다고 말했다. 소비자 버전의 생성형 AI 툴의 소비자 버전에 입력하는 것은 모두 근간 모델을 훈련시키는 데 사용된다(무료 서비스에 대한 트레이드오프임). 그러나 상용 버전의 경우 고객이 입력한 데이터가 모델 훈련에 사용되지 않는다.

예를 들어, 조직은 자체 데이터에 대해 애저 오픈AI를 실행할 수 있다. 조직의 데이터를 미세 조정하도록 선택하더라도 데이터는 마이크로소프트 테넌트 내에 유지되며 기반 모델에 다시 적용되지 않는다. 무카이노는 “데이터 사용 정책과 콘텐츠 필터링 기능 때문에 우리는 선택할 수 있었다”라고 말했다.

생성형 AI의 저작권 및 지적 재산권 관련 논란은 해소되지 않은 상태다. 그럼에도 불구하고 상용 모델 사용자는 그들 모델의 입력 및 출력을 소유한다. 정부 사용자와 같이 특히 민감한 정보를 보유한 고객은 쿼리에 대한 정보를 캡처하는 로그를 이용함으로써 데이터를 유출하는 위험을 최소화할 수도 있을 것이다.

LLM을 구매하든 구축하든 조직은 문서 개인 정보 보호, 권한 부여 및 거버넌스는 물론 데이터 보호에 대해 더 많이 고려해야 한다. 이미 법률 및 규정 준수 팀은 머신러닝 사용에 개입하고 있지만, 생성형 AI는 회사의 법 및 규정 준수 영역을 더욱 확대시키고 있다고 라마르는 전했다.

회원 전용 콘텐츠입니다. 이 기사를 더 읽으시려면 로그인 이 필요합니다. 아직 회원이 아니신 분은 '회원가입' 을 해주십시오.

Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.