칼럼 | 조직의 생성형 AI 성패, CIO 어깨에 달렸다

생성형 AI의 잠재력과 함정을 가려내는 안목을 조직에게 전달할 인물은 바로 IT 리더다. 기업 고유의 활용 사례에 맞춰 생성형 AI 전략을 최적화해야 한다는 의미다.
 

하루가 멀다 하고 생성형 AI 비즈니스의 개발 소식이 등장하고 있다. 맥킨지는 최근 연구를 통해 향후 생성형 AI가 고객 지원 부문의 생산성을 최대 40% 향상시킬 수 있다고 밝혔다. 또 소프트웨어 엔지니어링의 생산성은 20~30%, 마케팅 생산성은 10%까지 끌어올릴 수 있다고 언급했다. 

하지만 기업들이 신기술에 몰입해 성급하게 실험에 뛰어드는 모습을 이전에도 본 적이 있다는 사실을 기억할 필요가 있다. 생성형 AI에도 함정은 있다. 기업이 생성형 AI의 함정을 피하는 데 있어 CIO와 CTO의 역할은 막중하다. CIO와 CTO는 생성형 AI가 가치를 창출할 시기와 분야를 파악하고 최선의 선택이 아닌 분야를 가려내는 실질적 안목을 조직이 갖추도록 할 수 있다.

조직이 안목을 갖추도록 한다는 것은 다시 말해 생성형 AI를 심층적으로 이해해 활용 사례를 개발하고 최적화하는 것이라고 할 수 있다. 생성형 AI의 단위 경제성, 생성형 AI의 이점을 파악하는 데 필요한 리소스, 기존 역량을 감안한 작업 실행 가능성 등 많은 요소를 고려해야 한다. AI가 이제 비즈니스 촉진제이자 혁신으로 여겨지는 가운데, CIO는 생성형 AI의 복잡한 문제를 풀어내야만 한다. 

생성형 AI 기본 유형: 수용자, 형성자, 제작자
CIO가 생성형 AI에 적합한 전략을 결정할 때 직면하는 질문이 있다. 기업 고유의 활용 사례에 맞는 생성형 AI의 기능을 임대할지, 구매할지, 구축할지 여부다. 기본 전제는 차별화된 이득이 있는 경우에만 독자적인 생성형 AI 기능을 만드는 데 투자하는 것이다. 기업의 생성형 AI 전략을 세 유형으로 나눠볼 수 있다.

수용자(taker)는 채팅 인터페이스 또는 API를 통해 시판 중인 생성형 AI 상품 서비스에 빠르게 접근할 수 있다. 이를테면 코드 생성을 위한 솔루션인 깃허브 코파일럿(GitHub Copilot)이나 디자이너의 이미지 생성 및 편집을 지원하는 어도비 파이어플라이(Adobe Firefly)가 있다. 수용자 유형에서는 엔지니어링 및 인프라 요구 사항이 간단하며, 일반적으로 가장 빠르게 작업을 시작할 수 있다. 하지만 독자적인 데이터 통합은 불가능하며 프라이버시 및 IP 보호도 가장 미흡하다. 그저 생성형 AI 서비스를 이용할 때는 기술 스택의 변경 필요성이 거의 없지만, 향후 기술 아키텍처를 일부 조정하거나 데이터 아키텍처를 업그레이드해야 할 수도 있다. 

형성자(shaper) 유형은 생성형 AI의 독자적 기능을 개발하는 데 중점을 둔다. 보안 또는 규정 준수에 대한 요구 사항도 더 까다롭다. CIO는 활용 사례를 위해 생성형 AI 모델을 내부 데이터 및 시스템과 통합해 원활하게 구동시켜야 한다. 또 맞춤형 결과도 생성해야 한다. 예를 들자면, 고객의 판매 및 참여 이력을 통합하기 위해 생성형 AI 도구를 CRM 및 재무 시스템과 연결해 영업 거래를 지원하는 모델을 들 수 있다.

형성자에는 일반적으로 두 가지 접근 방식이 있다. 하나는 ‘모델을 데이터로 보내는(bring the model to the data)' 방식이다. 이 방식은 온프레미스 또는 클라우드 환경의 조직 인프라에서 모델을 호스팅한다. 다른 하나는 ‘데이터를 모델로 보내는(bring the data to the model)’ 방식이다. 다시 말해 조직이 하이퍼스케일러의 클라우드 인프라에 대규모 모델의 자체 복사본을 배치하고 데이터와 연결하는 경우다. 조직이 두 방식 중 어느 것을 택하더라도 CIO는 생성형 AI 모델이 내부 데이터 소스에 연결되도록 파이프라인을 구축해야 한다. 내부 데이터로 학습시키면 모델의 예측 정확도가 높아지고 조직의 요구에도 더 구체적으로 답할 수 있다. 조직이 생성형 AI 시스템을 효과적으로 구축해 나가기 위해서는 고객 상담원 대화와 같은 상호작용 데이터를 더 많이 저장하고 데이터 활용을 늘려갈 필요가 있다.

제작자(maker) 유형은 기초 모델부터 자체적으로 구축하는 접근법을 의미한다. 기초 모델의 구축은 비용이 많이 들고 복잡할 뿐만 아니라 방대한 양의 데이터, AI 전문 지식 및 컴퓨팅 성능이 필요하다. 모델을 구축하고 직원을 교육하는 데는 최소 500만 달러부터 시작한다. 교육 인프라, 모델 매개변수, 모델 아키텍처 선택 등 요인에 따라 수억 달러에 이르는 상당한 투자가 필요하다. 구축 비용과 복잡성 때문에 가장 드문 유형이 될 것이다. 

생성형 AI 전략을 올바르게
생성형 AI 활용 사례를 실험하는 것은 비교적 쉽지만, 가치를 현실화하기란 훨씬 어렵다. 적절한 내부 조직이 없다면 아무리 유망한 생성형 AI 프로그램도 실패할 가능성이 있다. 비즈니스 프로세스와 워크플로우를 재설계하고, 생성형 AI 기능을 활용할 수 있도록 사용자를 교육해야 한다. 또한 엔터프라이즈 기술 아키텍처를 업그레이드하는 것도 필수다. 그래야 생성형 AI 모델이 기존 AI 및 머신러닝(ML) 모델, 애플리케이션, 데이터 소스와 호환되도록 통합 및 관리할 수 있다.

CIO가 가장 먼저 해야 할 일은 조직 내 생성형 AI 관련 역량을 한데 모으는 일이다. 활동을 조율하고, 전문성을 구축하고, 우선순위 이니셔티브에 역량을 할당할 수 있어야 한다. 데이터 엔지니어, MLOps 엔지니어, 위험 및 법률 전문가와 팀을 만들고 협업해, 몇몇 초기 활용 사례에 맞는 생성형 AI를 구축하는 것을 목표로 한다. 생성형 AI 모델을 내부 시스템, 엔터프라이즈 애플리케이션 및 도구에 연결하는 데 중점을 둬야 한다. 기업은 기술 스택 수준의 구조적인 작업을 수행해야만 몇 가지 활용 사례를 개발하는 수준 이상의 사업화에 성공하고 실질적인 가치를 만들 수 있다. 제품 및 애플리케이션 부서에서 바로 사용할 수 있도록 생성형 AI를 기본 플랫폼 서비스로서 배포하고 관리하는 것이 전제여야 한다. 

위 사항들은 조직이 생성형 AI 여정을 시작할 때 갖춰지는 것이 이상적이다. 이상적인 조건이 갖춰지지 않았더라도 CIO는 플랫폼 개발을 시작할 필요가 있다. 그래야 사례별 우선순위를 설정하고 학습 과정에서 적응 및 추가 작업을 수행할 수 있다. 

생성형 AI가 요란한 이유는 비즈니스를 혁신할 잠재력을 가졌기 때문이다. 하지만 잠재력은 확실성이나 개연성과 다르다. CIO와 CTO는 조직이 전략적 의도와 집중력을 유지할 수 있도록 이끄는 선봉장이어야 한다. 밑빠진 독과 같은 실험으로 가득한 미로 속을 조직이 헤매지 않도록 해야 한다.  

*Douglas Merrill은 맥킨지 앤 컴퍼니 남부 캘리포니아 지부의 임원이자 작가다. Megha Sinha는 맥킨지 앤 컴퍼니 베이 에어리어 지부의 임원이다. ciokr@idg.co.kr