Offcanvas

AI

사례로 살펴보는 AI 역량 내재화가 어려운 이유

2022.09.16 코그넷나인  |  Cognet9
ⓒ Getty Images Bank 

최근 많은 기업이 경쟁이라도 하듯이 인공지능(AI) 이니셔티브를 발표하고 있다. 디지털 전환의 핵심을 AI로 보고, 새로운 비즈니스 기회를 만들고 고객 경험을 높이는데 AI를 활용하는 것이다. 물론 이렇게 전사적으로 AI를 앞세우는 것을 보고 우려를 표하는 이들도 있다. 왜 그럴까? AI 프로젝트는 단순히 전략을 마련하고 투자를 강화한다고 성공하는 영역이 아니기 때문이다. 특히 업계 전문가들은 ‘AI 프로젝트 중 상당수가 연구 단계를 넘어 프로덕션 수준까지 이어지지 못한다’라는 점을 가장 큰 문제로 지적한다. AI 프로젝트 대부분이 실패하는 이유는 현장을 보면 알 수 있다. 
 

사람, 프로세스, 기술이라는 문제

AI 프로젝트가 원활하게 진행되려면 사람, 프로세스, 기술에 대한 경험, 인프라 및 플랫폼이 필요하다. 이 중 어느 한 요소라도 빠지면 안 되며, 모든 요소가 조화를 이루어야 한다. 문제는 사람, 프로세스, 기술은 의지와 예산이 있다고 바로 내재화할 수 있는 역량이 아니란 점이다. 

먼저 사람 즉, 전문 인력부터 살펴보자. AI 프로젝트를 시작하려면 기업은 내부에 AI 전문가가 얼마나 있는지 확인해야 한다. 가령 GPU 클러스터 및 고속 병렬 파일시스템 기반 스토리지를 구축해 운영할 수 있는 인프라 담당자가 있는가? AI 및 머신러닝 모델 훈련과 추론을 위해 데이터 파이프라인을 구축하고 지원할 데이터 전문가가 있는가? 모델을 개발하고 최적화하여 애플리케이션에 적용할 개발자가 충분히 있는가? 이런 요소를 따지다 보면 기업은 필요한 인력 대부분을 새로 충원해야 한다는 것을 깨닫는다. 그렇다고 인력 없이 바로 AI 프로젝트를 진행할 수는 없다. 경험이 풍부한 전문가가 없다면, 다음과 같은 문제를 마주칠 것이다. 
 

“A 기업은 자연스러운 인공지능 챗봇을 구현하기 위해 자연어 처리(NLP)를 담당하는 AI 팀을 구성하고 자체적으로 AI 엔진을 구축했다. 이후 실제 비즈니스 환경에 엔진을 적용하려고 보니 참조 아키텍처와 운영환경 등을 갖추는 것이 필요했다. 하지만 AI 팀이 자체적으로 아키텍처를 구현하고 운영 환경을 만들어 가는 것은 현실적으로 어려웠다. 해당 분야의 내부 전문가가 부재했기 때문이다. 상용화 제품을 만들어 주는 AI 솔루션 업체와 협력을 할까 고민했지만 그렇게 하면 기존에 만든 엔진은 쓸 수 없었다. 거기다 비용을 들여 솔루션을 구매해야 한다는 점도 큰 문제였다. A 기업은 자체 구축한 AI 엔진을 활용해 서비스를 만들고 운영할 방안이 절실했다.”


이번에는 프로세스를 알아보자. 프로세스는 비즈니스와 의사결정 및 협업, 이 두 가지로 나누어 살펴볼 수 있다. 기업의 AI 이니셔티브가 성공하려면, 기존 비즈니스 로직과 먼저 결합돼야 한다. 즉, 기업의 비즈니스 프로세스 그리고 해당 프로세스에 맞춰 흐르는 데이터를 AI와 연결 지어야 한다. 흔히 AI 프로젝트 계획을 수립할 때, 데이터 세트가 충분하다고 생각하지만 막상 뚜껑을 열어 보면 AI 모델 훈련과 추론에 필요한 데이터가 턱없이 부족할 때가 많다. 이런 경우 십중팔구 AI 데이터 파이프라인 구축을 위한 내부 시스템이 제대로 연계되어 있지 않다. 

의사결정 및 협업 프로세스 문제는 보통 COE(Center of Excellence) 같이 중앙에서 투자와 프로젝트를 관리하는 조직이 없어 생긴다. 일종의 사각지대가 발생한 건데, 이런 경우 중복 투자가 발생해 자원이 낭비되고, 기껏 투자한 AI 시스템이 사일로화되기도 한다. 구체적으로 프로세스상의 문제가 있으면 다음과 같은 상황이 생긴다. 
 

“B 기업은 현업 주도하에 AI를 비즈니스에 적용하려 했지만 복잡한 비즈니스 프로세스, 즉 수많은 인터페이스와 다양한 데이터 흐름 때문에 서비스 구축에 어려움을 겪고 있다. 또한 도입 과정에서 살펴보니 이곳저곳 중복되거나 사일로화된 AI 솔루션과 시스템이 상당했다. 현업 부서에서 서로 다른 시스템을 두고 있고, 관리 부서는 제각각이었다. B 기업은 레거시 시스템을 쉽게 연동하는 한편 다양한 AI 서비스, 사용 사례, 데이터 수집 및 가공을 통합하고 관리할 방안을 모색하고 있다.”


AI 기술은 비즈니스와 기술 측면에서 각각 생각해 볼 수 있다. 먼저 비즈니스 절차 측면에서 AI 이니셔티브 수립은 IT 부서만 주도한다고 다 되는 것은 아니다. 임원, 실무 담당자, IT 팀까지 모두 힘을 모아야 제대로 된 이니셔티브를 수립할 수 있다. 하지만 다양한 부서가 업무를 협의하고 의견을 취합하는 그런 이상적인 협업 문화를 갖춘 기업은 사실상 많이 없다. 

기술 측면에서 기업은 최적의 AI 기술과 솔루션을 선정하고, 다양한 레거시 시스템과 연계할 수 있는 인터페이스를 개발해야 한다. 또한 실제 서비스 애플리케이션을 구현하고 최적화도 해야 한다. 따라서 다양한 AI 기술, 데이터 통합 관리 기술, 쿠버네티스, ML옵스(MLOps) 등을 다룰 수 있는 능력이 필요하다. 기업 IT 팀 상당수에게 이런 기술은 낯설고 어려운 주제다. 

그런 면에서 AI는 새로운 도전 분야다. 인프라, 언어, 프레임워크, 라이브러리, 개발 환경까지 이전과는 다르게 기술을 다룬다. 거기에 기술 발전 속도까지 빠르다. 가령 AI는 관리부터 개발에 이르기까지 오픈 소스 중심으로 혁신이 이뤄진다. 운영자가 ML옵스 플랫폼을 직접 구축하려면 다양한 오픈 소스 기술을 활용해야 한다. 개발 영역 또한 프레임워크, 라이브러리, 도구 등 오픈 소스를 잘 알아야 한다. 오픈 소스 기술 비중이 높으면 그 변화의 속도를 따라가는 데 피로감을 느끼기 쉽다. 상용 솔루션 역시 빠르게 발전하기에 막상 도입 검토, 구현, 안정화를 하고 나면 새로운 기술 트렌드가 나와 있다. 그런 경우, 힘들게 구축한 기술이 어느새 낡은 시스템이 되어 버린다.
 

“C 기업은 데이터 분석 기반 QA 모니터링을 하기 위해 Bi-LSTM(Bidirectional Long Short Term Memory)을 활용한 STT(Speech-to-Text) 솔루션을 도입했다. 문제는 솔루션을 구매해 서비스를 구축한 이후 발생했다. 해당 솔루션을 도입한 지 불과 2년 만에 엔드투엔드 방식의 새로운 STT 솔루션이 출시됐고, 이전 STT 솔루션보다 인식률이 훨씬 더 높아진 것이다. C 기업은 더 좋은 성능의 솔루션으로 교체하고 싶지만, 비용이 부담되는 것은 물론, 이미 기존 솔루션으로 구축된 시스템을 버리고, 새롭게 처음부터 개발하는 부분 때문에 이러지도 저러지도 못하는 상황이다.”


멀고도 먼 내재화의 길 

앞서 소개한 사례처럼 AI 이니셔티브를 성공적으로 운영하는 것은 매우 어렵다. 내재화를 고집하면 할수록 성공에서 더 멀어질 수 있다. 즉 내재화를 하다 보면 다음과 같은 요소에 모두 대응해야 한다.
 

AI 역량 내재화 과정에서 고려하는 사항. ⓒ 코그넷나인


그렇다면 어떻게 해야 계획 또는 이미 진행 중인 AI 프로젝트를 프로덕션 수준으로 구현할 수 있을까? 바로 ‘핵심 목표’에 집중해야 한다. 기업은 AI 기술 전문 조직이 아니다. 기업이 집중해야 하는 핵심 목표는 ‘비즈니스 성과를 내기 위해 AI 기술을 어디에 도입할지 결정하고, 도입 후 성과를 낼 수 있을지 그 타당성을 확인하고, 구체적인 AI 서비스를 기획하고 구현하는 것’이다. 

핵심 목표와 기술 내재화를 모두 성취할 수 있다면 좋겠지만, 그러기엔 너무 큰 비용, 시간, 노력이 필요하다. 핵심 목표에 우선순위를 두면 프로젝트를 보다 효율적으로 운영할 수 있다. 그리고 내재화는 중장기 과제로 가져가야 한다. 핵심 목표에 집중하기 위해 내재화 외에 당장 선택할 수 있는 대안이 있을까? 다행히 있다. 바로 ‘AI 매니지드 서비스와 플랫폼’이다. 성공적인 AI 도입을 위한 ‘AI 매니지드 서비스, 그리고 플랫폼’ 기사를 통해 AI 매니지드 서비스와 플랫폼의 의미와 특징을 확인해보자. 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.