블로그 | 클라우드 기반 생성형 AI 프로젝트, 서두를 이유 없다

다수의 논의에도 불구하고 생성형 AI가 실제로 구현된 사례는 많지 않다. 비용이 많이 드는 프로젝트를 시작하기 전에는 모든 요소를 꼼꼼히 확인하는 것이 좋다.

클라우드는 생성형 AI 모델을 구현하는 데 있어 여러 가지 이점을 제공한다. 쉽게 말해, 클라우드는 확장 가능한 컴퓨팅 성능, 유연성 및 접근성을 제공해 기업이 생성형 AI의 잠재력을 최대한 활용할 수 있도록 지원한다.
 

클라우드 인프라는 방대한 학습 데이터에 원활하게 액세스할 수 있도록 해주며, 비용이 많이 들 수 있지만 모델 개발과 개선도 쉽다. 또한 더 빠르고 효율적인 모델 학습 및 추론이 가능하므로 더 많은 사용자가 생성형 AI에 더 쉽게 액세스할 수 있다.
 

예상보다 느린 도입 속도

언론에 보도된 내용만 보면 생성형 AI가 금방 광범위하게 도입될 것으로 생각할 수 있다. 하지만 실제 도입 상황은 조금 다르다. 생성형 AI의 분명한 이점에도 불구하고, 많은 사람이 생각하는 만큼의 대규모 도입이 조만간 일어나지는 않을 것으로 보인다. 몇 가지는 이유는 다음과 같다.

가장 큰 문제는 기술 격차. 클라우드에서 생성형 AI 모델을 구현하려면 머신러닝과 클라우드 컴퓨팅, 데이터 엔지니어링 전문 지식이 필요하다. 하지만 기업은 이들 기술을 성공적으로 활용하는 데 필요한 수준의 기술력을 갖추지 못했다.

기업에는 생성형 AI 기술에 대한 깊은 이해와 이를 비즈니스 가치로 바꾸는 방법을 모두 갖춘 숙련된 전문가가 필요하다. 따라서 대부분 기업은 생성형 AI에 대해 논의만 하고 있을 뿐 아직 아무것도 하지 않고 있다.

생성형 AI, 그리고 일반적으로 AI는 주말에 뚝딱 배울 수 있는 것은 아니다. 데이터를 이해하고, 모델을 구현하고, 튜닝하고, 제대로 작동하는 시점을 파악하는 데 수개월이 걸린다. 자체 기술력을 확보할 때까지 프로젝트를 미룬 기업에 박수를 보낸다. 우리는 클라우드 배치 경험을 통해 실력 있는 아키텍트와 개발자가 부족하면 프로젝트가 실패한다는 사실을 이미 알고 있지 않은가.

하지만 일부 기업은 필요한 기술을 갖추지 않은 채 프로젝트를 추진하고 있다. 1년 뒤면 피할 수 없는 AI 숙취가 찾아올 것이고, 적지 않은 실패담을 듣게 될 것이다. 

아직 준비되지 않은 데이터. 생성형 AI 모델이 학습을 하고 의미 있는 결과를 생성하려면 고품질 데이터가 필요한데, 기업은 대부분 이를 확보하지 못하고 있다. 데이터를 수집, 정리 및 전처리하는 것은 특히 이기종 데이터 소스, 개인정보 보호 문제, 데이터 관리 규제 문제와 합쳐져 상당한 도전 과제가 된다.

기업은 클라우드에서 생성형 AI를 유용한 자원으로 활용하기 전에 데이터의 가용성과 품질을 보장하는데 시간과 자원을 투자해야 한다. 더구나 대부분 기업이 생각하는 것보다 더 많은 시간과 비용이 소요된다. 데이터를 처리하지 않고 무리하게 추진하면 실패할 확률이 높으므로 이 문제가 해결될 때까지 클라우드에서 생성형 AI를 구현하는 시기를 늦추는 것이 좋다.

어려운 정책 설정과 정치적 영향. 소송을 당할 수도 있는 편향성으로부터 AI를 보호할 방법은? 규제 대상이 아닌 데이터를 사용해 생성형 AI를 구현했는데, 규제 대상 데이터가 튀어나온다면? 이 기술로 인해 일자리를 잃는 사람들에 대한 정책은?

비용. 클라우드에서 생성형 AI를 활용하는 것은 적절하게 최적화되지 않으면 막대한 비용이 들 수도 있다. 기업은 비용과 성능 간의 균형을 맞추기 위해 모델 학습 및 추론에 필요한 클라우드 자원을 신중하게 평가해야 한다. 누구나 클라우드 컴퓨팅이란 수도꼭지를 틀고 싶어 한다. 하지만 그 결과 상당한 비용 초과가 발생하면, 기업이 얻을 수 있는 가치는 거의 없다. 서버리스 컴퓨팅과 컨테이너 오케스트레이션을 비롯한 클라우드 혁신이 대부분 프로덕션 환경에서 이런 실수를 저질렀으며, 생성형 AI 역시 주의하지 않는다면 같은 실수를 저지를 것이 분명하다.
 

기대할 수 있는 것

이처럼 클라우드에서 생성형 AI를 천천히 구현한다면, 언제쯤 바늘을 움직일 수 있는 수준으로 발전할 수 있을까? 예상보다 훨씬 더 오래 걸릴 것으로 보인다.

2024년에는 클라우드 기반 생성형 AI의 개념 증명 프로젝트가 다수 진행되어 이 기술의 역량을 보여줄 것이다. 그러나 PoC는 딱 투자한 만큼의 가치를 되돌려주는 데 그칠 것이다. 더 큰 가치를 얻기 위해서는 더 나은 고객 경험 제공, 공급망의 지능적 자동화, 운전자 보험의 실제 위험도 파악, 더 많은 디지털 전문 지식으로 환자 진단 등 고부가가치 작업을 수행하는 프로덕션 시스템이 필요하다. 쉽게 말해 돈을 버는 일을 해야 한다.

필자는 3~4년 정도는 이런 기술에서 더 큰 가치를 얻지 못할 것으로 본다. 하지만 IT 시장은 흔히 주의력 결핍 장애를 앓기 때문에 언론에 보도되지는 않을 것이다. 우리는 그렇게 먼 미래에는 관심이 없다.

하지만 생성형 AI는 시스템 제공 방식에 큰 변화를 불러올 것이다. 서두르다 실패하거나 비즈니스에 피해를 주는 것보다 차라리 기다렸다가 제대로 하는 편이 낫다. IT 임원들은 공격적으로 움직이는 것이 맞다고 생각할 수도 있다. 하지만 무모하게 일을 추진하다 자리를 잃을 가능성도 크다. 
editor@itworld.co.kr