칼럼 | 생성형 AI 도입이 IT리더에게 고민거리인 이유

생성형 AI는 지난 10년을 통틀어 가장 중요한 기술로 떠오르고 있다. 그 가능성도 무궁무진하다고 평가된다. 하지만 이로 인해 엔터프라이즈 데이터 플랫폼은 새로운 과제에 직면했다.
 

많은 CIO가 생성형 AI에 대해 고민하고 있다. 다만 혁신적인 AI 기술이 인간을 대체하고 심지어 파괴할 수도 있다는 종말론적 전망 때문에 그들이 밤을 지새우는 것은 아니다. 

대신 CIO들은 최대한 신속하고 안전하게 직원들을 ‘가장 중요해질 수 있는 기술’로 무장시킬 최선의 방법에 대해 고민하고 있다. 오픈AI의 챗GPT와 같은 생성형 AI 챗봇은 실제로 어느 직원이든 단 몇 초 만에 예산안과 고객 제안서, 심지어 광고 CM 송과 프레젠테이션 작품까지 만들어내도록 돕는 궁극의 노코드(No-code) 콘텐츠 생성 기능을 갖추고 있다. C++와 파이썬 같은 프로그래밍 언어로 상황에 맞춰 코드를 생성하는 기능도 탑재되고 있다.

이를 제대로 사용하면 CIO는 운영을 획기적으로 개선하고 마케팅 과정을 간소화하며, 고객 서비스를 강화해 조직이 경쟁 업체를 앞서도록 지원할 수 있다. 이를 위해서는 직접 손을 대 기회를 찾는 수밖에 없다. 

AWS의 기술 디렉터 샤운 난디는 “모든 사람이 이제 막 시작하고 있기 때문에 CIO가 지금 당장 당황할 필요는 없다”라고 말했다. 하지만 “생성형 AI 통합 계획을 세우지 않으면 2~5년 후에는 뒤처지게 될 수 있다. 제품과 솔루션 선택이 더 제한될 것이며 느리고 성과가 낮은 콜센터를 운영하게 될 것이다”라고 덧붙였다.

생성형 AI 계획을 세우고 있는 대부분 조직은 자체 데이터로 오픈AI의 GPT 4.0, 메타의 라마(LLaMA), 구글의 람다(LaMDA) 또는 아마존 타이탄(Titan) 시리즈 같은 서드파티 모델을 미세 조정하는 방법을 택하고 있다. 또한 여러 엔터프라이즈 데이터 플랫폼이 서비스 접근성과 가치를 높이기 위해 생성형 AI를 프론트엔드에 추가하고 있다. 

이 두 옵션 모두 처음부터 자체 파운데이션 모델을 구축하는 것보다 훨씬 더 빠르고 저렴하게 생성형 AI를 구현하는 방법이다. 또 챗GPT, 구글 바드(Bard), 마이크로소프트 빙(Bing)처럼 공개된 생성형 AI 챗봇보다 더 나은 정밀도와 프라이버시, 보안을 제공할 가능성이 있다. 

포드자동차의 상업 비즈니스 사업부인 포드 프로(Ford Pro) 엔지니어링 책임자 존 버서는 “우리가 접촉하는 모든 벤더가 생성형 AI를 제품에 통합하고 있다. 이를 최대한 활용하면서 포드 프로의 자체적인 특징을 더할 수 있는 방법을 고민하고 있다”라고 말했다.

물론 기업이 할 수 있는 일과 그에 따른 위험 수준은 자체 엔터프라이즈 데이터 플랫폼의 상태에 달려있다.

클라우데라(Cloudera)의 CTO 램 벤카테시는 “데이터 플랫폼은 파운데이션 모델의 토대다. 조직에서 더 많은 사람이 데이터를 잘 활용할 수 있는 플랫폼이 갖춰지지 않았다면 생성형 AI에 대한 준비가 되지 않은 것이다. 간단한 공식이다”라고 말했다.

그렇다. 회사의 귀중한 데이터를 다른 누군가가 구축한 생성 엔진에 넘길 때에는 무수히 많은 위험 요소가 발생할 수 있다. 많은 CIO가 이러한 위험을 파악하게 되면서, 최근 거버넌스가 우선순위 최상단에 오르고 있다.

또한 대부분의 조직은 생성형 AI 모델을 지원 역할로만 제한해 잠재적인 피해 가능성을 차단하고 있다. 다시 말해 대부분의 모델이 의사 결정 권한을 갖지 못한 상태다. 고객과 상호 작용할 수도 없다. 적어도 지금으로서는 그렇다. 

AI가 어떻게 도울 수 있을까?
기업에 있어 생성형 AI의 가장 흥미로운 역량은 비정형 데이터를 작업에 활용해 기존 머신러닝 기술로는 파악하기 어려웠던 정보를 신속하게 수집하는 능력이다.

따라서 이 기술은 일반적으로 고객 상호작용 기록부터 교육 비디오에 이르기까지 엄청난 양의 비정형 데이터를 이해하는 데 어려움을 겪는 고객 서비스 및 지원 부서에 적합하다. 대개 의사 결정 매트릭스가 복잡할수록 개선의 여지도 크다.

의료용 DaaS(Data as a Service) 플랫폼 제공업체인 클리어센스(Clearsense)의 CIO 찰스 보이시는 이러한 생성형 AI 역량을 의료 분야에도 적용할 수 있다고 말했다. 그는 여러 장점 중에서도 생성형 AI가 수동으로 챗봇을 만드는 과정을 대체할 수 있다는 점에 주목했다. 

보이시는 “자사에는 생각하지 못한 질문이 들어올 때 답변을 전담하는 팀이 있었다. 모든 질문에 대한 답변을 일일이 작성했다. 대규모 언어 모델이 이러한 작업을 상당 부분 없앨 것이다. 왜냐하면 AI로부터 완벽에 가까운 답변을 얻을 수 있기 때문이다”라고 말했다.

보험 분야에서도 생성형 AI는 적용되고 있다. NYLIC(New York Life Insurance Co.)의 전략 책임자 알렉스 쿡은 고객 서비스 담당자가 복잡한 문제에 더 폭넓게 답변할 수 있도록 자체 AI 도구를 개발하고 있다고 밝혔다. 예를 들어, 어느 고객은 회사가 더 이상 제공하지 않지만 여전히 유효한, 35년 된 보험에 대해 질문할 수 있다.

쿡은 “이런 질문에 답변하기는 매우 까다롭다. 해당 상품이 제공된 시기에는 태어나지도 않았던 담당자들이 많다”라고 말했다.

그는 “지금까지는 고객을 기다리게 하거나 나중에 다시 연락하는 경우가 많았다. 이는 효율적이지 못하고 고객에게 좋은 경험도 아니다. 생성형 AI 도구를 통해 신속한 답변을 제공하고, 한 번의 대화로 서비스를 완료할 수 있도록 하는 것이 목표다”라고 설명했다.

차량 및 전기차 충전기의 텔레매틱스(telematics) 서비스를 제공하는 기업 포드 프로는, 내부 직원이 문서에 빠르고 정확하게 접근할 수 있도록 하기 위해 LLM 기반 챗봇을 구축하고 있다. 

노코드의 종착역
AI의 보급은 지금까지 몇 년 동안 로우코드·노코드 도구의 주요 화두였다. 생성형 AI는 이 개념을 한 단계 더 끌어올리고 있다. 생성형 AI가 지원되는 챗봇을 사용하면 데이터 과학자와 비즈니스 분석가의 영역에 국한돼 있던 인사이트를, 접근이 허용된 사람이라면 누구나 얻을 수 있다.

클리어센스, 포드 프로, NYLIC 모두 이러한 역량을 개발하고 있다. 여기엔 그만한 이유가 있다.

클라우데라의 벤카테시는 더 많은 사람이 데이터에서 답변을 얻을 수 있다는 점만 흥미로운 것은 아니라며, 어느 때보다 더 많은 데이터에 접근할 수 있다는 점도 중요하다고 언급했다.

그는 “가장 이해하기 어려운 유형의 데이터는 비정형 데이터였다. 하지만 이는 매우 중요하다. 고객의 경험은 어땠는가? 우리가 문제를 해결했는가? 고객은 몇 번이나 전화를 해야 했나? 그리고 우리는 왜 조금 더 일찍 알아차리지 못했나? 많은 부분이 구조화된 데이터의 열과 행이 아니라 채팅 히스토리에 숨겨져 있다”라고 말했다. 

벤카테시는 “더 이상 모델에게 대출과 모기지 론(Mortgage loan)이 특정 맥락에서는 같은 의미로 사용될 수 있음을 가르칠 필요가 없다. LLM은 이를 스스로 인지한다. 의미론적 해석을 추출하는 비용이 18개월 전보다 아마 100배는 저렴할 것이다. 이는 엄청난 변화다”라고 덧붙였다.

분분한 의견
최소한 지금으로서는 대부분 기업이 생성형 AI를 인간의 의사 결정과 상호작용 속도를 높이는 도구로 보고 있다. 생성형 AI가 의사를 직접 결정하거나 고객들과 직접 소통하도록 설계된 애플리케이션을 개발하는 경우는 아직 찾지 못했다. 그런 날이 올 것인지에 대한 의견조차 아직 분분하다.

포드의 머서와 NYLIC의 쿡은 규제가 완화되고 환각(hallucination) 문제가 크게 개선되면 애플리케이션이 적극적으로 AI를 품어갈 것이라고 보고 있다. 반면 클리어센스의 보이시는 이를 확신하지 않았다.

보이시는 “인지학적으로 인간이 어떻게 답변을 생각해 내는지 우리는 제대로 알지 못한다. 인간은 어떤 유형의 입력과 결론을 항상 누락시킬 가능성이 있다. 이를 직관이라고도 부를 수 있다. 어떤 이유에 의해 인간은 생성형 AI의 답변을 숙고하고 ‘무슨 말인지는 알겠지만 지금 여기에서 환자에게 적합한 이야기는 아닌 것 같다’라고 말할 가능성이 높다”라고 지적했다.

AWS의 난디 역시 AI에 선택권을 넘겨주는 데 따르는 잠재 비용이 이익보다 훨씬 크다는 데 동의했다. 그는 “특히 규제가 엄격한 산업에서는 AI에 대한 제대로 된 통제 장치가 마련돼야 한다. 그런데, 이를 통제할 수 있는 가장 간단한 장치란 무엇인가? 바로 똑똑한(smart) 사람이다”라고 말했다.

*Mike Feibus는 모바일 생태계와 클라이언트 테크놀로지를 주로 다루는 시장 전략 및 분석회사인 페이버스테크(FeibusTech)의 수석 애널리스트다. ciokr@idg.co.kr