칼럼 | '생성형 AI' 도입은 클라우드 아키텍처 재검토를 요구한다

데이터 가용성과 보안에서부터 모델 선택 및 모니터링에 이르기까지, 생성형 AI를 도입한다는 것은 클라우드 아키텍처 전반을 재검토해야 한다는 의미일 수 있다. 
 

만약 조직이 클라우드 아키텍처를 마련하는 와중에 생성형 AI 기반 시스템도 고안하고 있다고 하자. 무엇을 달리해야 할까? 동일하게 해야 하는 것은 무엇일까? 새롭게 떠오르고 있는 모범 사례에는 무엇이 있을까? 지난 20년 동안, 특히 지난 2년 동안 몇 가지 사례를 구축한 뒤 필자가 추천하는 사항은 다음과 같다. 

유즈 케이스를 파악하라
클라우드 아키텍처 내에서 생성형 AI의 목적과 목표를 명확하게 정의한다. 실수가 반복되는 이유는, 비즈니스 시스템 내에서 생성형 AI가 갖는 의미를 이해하지 못했기 때문이다. 콘텐츠 생성, 추천 시스템 또는 기타 애플리케이션에 있어 달성하려는 목표가 무엇인지 파악해야 한다.

다시 말해 목표와 목표를 달성하는 방법, 그리고 성공을 정의하는 방법에 대해 기록하고 합의점를 찾는 것이 중요하다. 이는 생성형 AI에만 해당되는 것이 아니라 클라우드에 구축된 모든 마이그레이션 및 새로운(net-new) 시스템에서 성공하기 위한 단계이기도 하다. 

클라우드의 생성형 AI 프로젝트가 실패하는 대부분의 이유는 비즈니스 유즈 케이스를 파악하지 못하기 때문이다. 프로젝트에 실패하는 기업들은 겉보기엔 멋지지만 비즈니스에 아무런 가치를 제공하지 못하는 무언가를 구축한다. 그것은 아마 작동하지 않을 것이다. 

데이터 소스와 품질이 핵심
생성형 AI 모델의 학습 및 추론에 필요한 데이터 소스를 식별한다. 데이터는 접근성이 뛰어나고 품질이 좋아야 하며 신중하게 관리돼야 한다. 또한 클라우드 스토리지 솔루션과의 호환성과 가용성을 확보해야 한다. 

생성형 AI 시스템은 데이터 중심적이다. 데이터는 생성형 AI 시스템의 결과를 끌어내는 원동력이다. 이를 데이터 지향 시스템이라고도 부를 수 있다. 엉망인 데이터를 넣으면 결과도 엉망으로 나오기 마련이다.

따라서 데이터 접근성을 클라우드 아키텍처의 주요 동인으로 바라보는 것이 효과적이다. 대부분의 연관 데이터를 학습 데이터로 간주해야 하며, 단일 물리적 개체로 마이그레이션하지 말고 기존 위치에 그대로 둬야 한다. 일반적으로 그렇다. 그렇게 하지 않으면 데이터가 중복되며 신뢰할 수 있는 단일 소스가 없어지게 된다. 데이터를 AI 모델에 공급하기 전에 데이터를 사전 처리하고 정리하기 위한 파이프라인을 고려한다. 그래야 데이터 품질과 모델 성능을 보장할 수 있다.

데이터는 생성형 AI를 사용하는 클라우드 아키텍처를 성공으로 이끄는 핵심 요소다. 그러나 클라우드 설계자는 대개 시스템에 공급하는 데이터보다 생성형 AI 시스템 프로세싱에 더 집중하는 경향이 있으며, 이 부분을 간과하는 경우가 많다. 데이터가 전부다. 

데이터 보안과 프라이버시
데이터가 중요한 만큼 데이터에 적용되는 보안과 프라이버시도 중요하다. 생성형 AI의 처리 방식은 별 의미가 없어 보이는 데이터도 민감한 정보를 노출하는 데이터로 바꿀 수 있다. 

따라서 강력한 데이터 보안 조치, 암호화 및 액세스 제어를 구현해야 한다. 그래야 생성형 AI가 사용하는 민감한 데이터와 새로 생성될 수 있는 데이터를 보호할 수 있다. 최소한 관련 데이터 프라이버시 규정을 준수해야 한다. 일부 보안 시스템을 마지막 단계로서 아키텍처에만 고정할 것이 아니라, 모든 단계에 걸쳐 시스템에 보안을 구축해야 한다는 의미다. 

확장성 및 추론 리소스
다양한 워크로드와 데이터 처리 요구 사항을 수용할 수 있도록 확장 가능한 클라우드 리소스를 계획해야 한다. 대부분의 기업은 자동 확장 및 로드 밸런싱 솔루션을 고려한다. 확장성은 좋으나 비용이 많이 드는 시스템의 구축은 큰 실책이 될 수 있다. 확장성과 비용 효율성의 균형을 맞추는 것이 중요하다. 이를 위해서는 올바른 아키텍처와 핀옵스(FinOps) 관행이 필요하다.

또한 교육 및 추론 리소스도 살펴봐야 한다. 클라우드 컨퍼런스의 수많은 세션이 이 주제를 다룬다. 모델 학습 및 추론을 위해 GPU 또는 TPU가 갖춰진 적절한 클라우드 인스턴스를 선택할 필요가 있다. 다시 말해 비용 효율성을 위해 리소스 할당을 최적화해야 한다.

모델 선택을 숙고하라
특정 유즈 케이스와 요구 사항에 맞춰 모범적인 생성형 AI 아키텍처(적대적 생성 신경망, 트랜스포머 등)를 선택하라. AWS 세이지메이커(SageMaker)같이 모델 학습을 위한 클라우드 서비스를 고려하고 최적화된 솔루션을 찾아야 한다. 이는 서로 연결된 모델이 많을 수 있다는 점을 이해하는 과정이기도 하다. 궁극적으로는 이것이 표준이 될 것이다.

버전 관리 및 컨테이너화처럼 강력한 모델 배포 전략을 구현해 클라우드 아키텍처의 애플리케이션과 서비스에서 AI 모델에 액세스할 수 있도록 하라. 

모니터링 및 로깅 
AI 모델 성능, 리소스 활용, 잠재적 문제를 추적하기 위해 모니터링과 로깅 시스템을 구축하는 것은 선택 사항이 아니다. 이상 징후에 대한 알림 메커니즘을 갖추고, 클라우드에서 생성형 AI를 처리하도록 설계된 옵저버빌리티(observability) 시스템을 구축해야 한다.

또한 생성형 AI는 리소스 집약적일 수 있기 때문에 클라우드 리소스 비용을 계속 모니터링하고 최적화한다. 여기에 클라우드 비용 관리 도구와 관행을 사용할 수 있다. 다시 말해 아키텍처가 최적인 경우 최소한의 운영 비용 효율성과 아키텍처 효율성을 모니터링해 아키텍처가 최적인지 평가하는 등 배포의 모든 측면을 핀옵스로 모니터링해야 한다. 대부분의 아키텍처는 튜닝과 지속적인 개선이 필요하다. 

그 밖의 고려사항
높은 가용성을 보장하려면 장애 극복 기능(Failover)과 다중화(redundancy, 장애가 발생할 경우 시스템을 유지하도록 예비 장치를 백업으로 배치)가 필요하다. 재해 복구 계획을 통해 시스템 장애 발생시 다운타임과 데이터 손실을 최소화할 수도 있다. 필요한 경우 다중화를 구현하라. 또한 클라우드 인프라 내에서 생성형 AI 시스템의 보안을 정기적으로 검사하고 평가하라. 취약점을 해결하고 컴플라이언스를 유지하라.

특히 콘텐츠를 제작하거나 사용자에게 영향을 미치는 결정을 내릴 때는 윤리적 AI 사용 가이드라인을 수립한다. 편견과 공정성 문제를 해결해야 하기 때문이다. 현재 AI와 공정성을 둘러싼 소송이 한창이므로, 올바른 일을 하고 있는지 점검해야 한다. 또한 사용자 경험을 지속적으로 파악해 AI 생성 콘텐츠에 대한 참여도를 높이고 사용자의 기대에 부합하도록 한다.

클라우드 컴퓨팅 아키텍처의 요소들은 생성형 AI를 사용하든 사용하지 않든 거의 동일하다. 거기에 훨씬 더 중요하고 더 엄격해야 하는 부분이 있으며, 항상 개선의 여지가 있다는 점을 인식하는 것이 중요하다. ciokr@idg.co.kr