Offcanvas

AI / 리더십|조직관리 / 머신러닝|딥러닝

‘잠재력을 가치로 바꾸기’… 생성형 AI 확장에 필요한 IT 리더의 역할

2024.07.04 Megha Sinha and Stephen Xu  |  CIO
생성형 AI에 대한 관심은 점점 더 커지고 있다. 그러나 많은 관심과 논의에 비해 실제로는 대부분의 기업이 아직 그 가치를 제대로 파악하지 못하고 있다.
 
ⓒ Getty Images Bank

맥킨지 조사에 따르면 생성형 AI가 수익에 의미 있는 영향을 미치고 있다고 답한 기업은 15%에 불과한 것으로 나타났다. 대개 전통적인 ‘해결책을 찾는 기술’의 함정 안에서 실험하고 있다는 의미다. 

CIO는 생성형 AI의 잠재력을 실제 가치 창출로 전환할 최전선에 서있다. 이를 위해 다음 3가지 접근 방식 중 하나를 선택해야 한다. 먼저 ‘수용자’가 있다. 수용자는 서드파티 벤더의 상용 생성형 AI 기반 소프트웨어를 사용한다. ‘제작자’는 자체 LLM을 만들어 사용하고, ‘셰이퍼’는 외부 모델을 기존 시스템에 통합해 맞춤화된 용도를 만들어낸다. 많은 기업에게 있어 적절한 접근 방식은 셰이퍼다. 파운데이션 모델을 구축하는 것보다 비용과 복잡성이 낮고, 상용 제품을 구매하는 것보다 더 유용하기 때문이다.

그렇다면 셰이퍼가 파일럿의 굴레에서 벗어나 생성형 AI를 성공적으로 확장하려면 무엇이 필요할까? 3가지 원칙을 참고할 만하다.

우선순위 설정
성공적인 기술 혁신은 비즈니스 문제를 해결하는 것과 밀접한 관련이 있다. 따라서 CIO는 사업부 리더와 협력해 우선순위를 설정한 다음 실행해야 한다. 생성형 AI가 전략을 발전시킬 수 있는 사용 사례를 식별하는 것이 원칙이며, 이를 위해서는 실패한 파일럿을 중단하고 가능성을 보이는 파일럿을 2배로 늘려야 할 수 있다. 또한 경제적 측면도 분석의 일부가 돼야 한다. 생성형 AI가 아직 새로운 기술인 만큼 비용이 급증해 확장이 어려워질 수 있다. 생성형 AI 애플리케이션 구축에 1달러를 투자할 때마다 직원 교육과 성과 추적 등의 변화 관리에는 3달러가 필요하다는 사실을 명심해야 한다.

또한 기술적인 측면만 고려하고 싶은 유혹을 뿌리치는 일도 중요하다. 여러 개의 플랫폼을 사용하다 보면 때로는 중복을 유발하고 비용과 시간을 모두 낭비시킬 수 있다. 서비스 업체나 모델을 비교적 쉽게 전환할 수 있는 유연성을 갖춘 인프라와 애플리케이션을 구축하는 것이 더 나은 접근 방식이다. 

생성형 AI를 기술 프로그램으로 취급하지 않기
생성형 AI는 팀 스포츠이며 CIO는 감독이다. 생성형 AI가 실질적인 영향력을 발휘하려면 IT 부서를 떠나 비즈니스에 통합돼야 한다. 다시 말해 기술을 제품, 리스크, 법무 및 기타 부서와 통합해야 한다. 이를 아우르는 교차 기능 팀이 집중해야 할 것은 확장성 높은 프로토콜과 표준의 개발, 그리고 적용이다. 팀을 개발하는 방법에는 여러 가지가 있지만 팀의 구성과 권한에 대해서는 CIO가 큰 발언권을 가질 가능성이 높다. 일부 기업은 전문가 조직(CoE)를 운영하기도 하고, 전략 및 제공 부서를 따로 두는 방식을 택하기도 한다. 중요한 것은 팀이 잘 협업하고 있고 달성하려는 목표를 잘 이해하며, 그 과정에서 정기적인 점검이 이뤄지는지 여부다. CIO는 팀이 단순한 업무 관리자가 아니라 가치 창출자로서의 역할을 하도록 해야 한다.

명심해야 할 원칙은 서로 다른 조각을 만드는 것이 아니라 모두 함께 작동하도록 하는 것이다. 각 사용 사례는 여러 모델, 벡터 데이터베이스, 프롬프트 라이브러리 및 애플리케이션에 액세스할 수 있어야 한다. 기업은 클라우드, 온사이트, 벤더 협력 또는 복합적인 방식으로 애플리케이션이나 데이터베이스와 같은 다양한 소스를 관리하면서 액세스 권한을 비롯한 기존 프로토콜의 복원력과 일관성을 보장해야 한다.

기존 기술 재사용 및 적용
정확한 데이터와 모델을 내부 데이터 소스에 연결하는 아키텍처 없이는 고성능 생성형 AI 솔루션을 구현할 수 없다. 예를 들어 콘텐츠 소스의 중요도를 평가해 모델이 어떤 소스에 더 큰 가중치를 부여해야 하는지 파악할 수 있도록 해야 한다. 어떤 데이터가 가장 중요한지 파악한 다음 데이터 관리에 투자하면 되는데도 기업에서는 완벽을 추구하는 경우가 많다. 이는 대규모 데이터 프로그램이 느리게 죽어가는 길이다. 그 대신 우선순위가 높은 사용 사례의 가치를 창출하는 데이터 영역에 집중해야 한다. 모든 것을 해결하려고 해선 안 된다. 예를 들어 생성형 AI 쿼리에 대한 고품질 답변을 제공하는 데는 ‘표적화된 라벨링’만으로 충분할 수 있다. 

코드의 경우에도 바퀴가 원활하게 돌아가는지 확인하기 위해 처음부터 다시 발명할 필요까진 없다. 각 사용 사례를 위한 코드를 만들기보단 다양한 사용 사례를 지원하는 솔루션을 찾는 것이 좋다. 최근 AI 현황에 대한 맥킨지 설문조사에 따르면 생성형 AI의 성과가 높은 기업은 그렇지 않은 기업보다 성과가 거의 3배나 높은 것으로 나타났다. 재사용 가능한 코드를 사용하면 생성형 AI 사용 사례의 개발 속도를 최대 50%까지 높일 수 있다는 연구도 있다. 이를 실현하려면 CIO가 앞장서서 여러 사용 사례에 공통적으로 필요한 기능을 파악한 다음 그에 맞는 도구를 구축해야 한다.

생성형 AI의 잠재력을 포착하는 일은 예상보다 더 어렵다는 것이 밝혀졌으며, 이를 통합하려면 운영 모델부터 기술 및 데이터 시스템에 이르기까지 모든 것을 재구성해야 할 수도 있다는 점도 분명해지고 있다. 생성형 AI가 관심만큼 가치를 창출하려면 CIO가 나서서 현재 위치를 파악해야 한다. 팀을 구성하고, 자산을 활용하고, 생성형 AI의 입지를 확보하거나 방해할 수 있는 전략적 사고를 이끌어내는 일은 CIO의 몫이다. 

* Megha Sinha는 맥킨지의 베이 지역 파트너이며, Stephen Xu는 맥킨지의 AI 부문 퀀텀블랙의 제품 디렉터이자 맥킨지 부파트너다. ciokr@idg.co.kr
 
 
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.