나날이 풍성해지는 선택지··· 기업용 생성형 AI 모델과 유형 진단

기업이 검토할 가치가 충분한 생성형 AI 모델들이 속속 등장하고 있다. 시장 동향과 기업들의 움직임, 향후 전망에 대해 살펴본다.
 

오픈AI(OpenAI)의 챗GPT가 지난 겨울 기록적인 도입 추이를 보여준 후, 기업들이 앞다퉈 생성형 AI를 활용할 방법을 찾으려 시도 중이다. 8월 10일 공개된 루시드웍스(Lucidworks)의 글로벌 생성형 AI 벤치마크 조사에 따르면 AI 의사결정 프로세스에 관련된 임원 및 관리자 중 96%가 생성형 AI 투자를 적극적으로 우선시하고 있으며, 기업 중 93%는 내년에 AI 지출을 늘릴 계획이다.

생성형 AI를 도입하려는 기업 중 상당수가 처음에는 마이크로소프트 애저(Microsoft Azure)의 프라이빗 클라우드를 통해 오픈AI를 시도한다. 프라이빗 배치를 이용하면 기업 데이터가 AI의 훈련 데이터 세트로 유출되는 상황을 걱정할 필요가 없다. 그리고 많은 조직들이 이미 마이크로소프트와 관계를 맺고 있으며, 해당 기업으로부터 받고 있는 보안, 관리, 기업 지원 서비스에 익숙하다.

예를 들어, 소프트웨어 제공업체 너디오(Nerdio)는 위의 아키텍처를 이용해 고객을 위한 파워셸(PowerShell) 스크립트를 생성하고 설치 프로그램 코드를 하나의 언어에서 다른 언어로 변환하고 맞춤형 지원 챗봇을 생성하고 있다. 

챗GPT를 이용해 이런 많은 작업을 수행할 수 있지만 너디오는 맞춤형 지원 챗봇을 위해 임베딩(Embedding)과 호환되도록 설계된 오픈AI의 또 다른 생성형 AI 모델인 text-embedding-ada-002라는 모델을 사용하기도 한다. 이는 LLM(Large Language Model)에 데이터를 입력하기 위해 고안된 데이터베이스 유형이다. 공통 접근방식에는 벡터 데이터베이스와 그래프 데이터베이스가 포함되어 있다.

너디오의 책임 기술 제품 관리자 스테판 조지브는 “모든 스크립트와 확대 티켓을 가진 벡터 데이터베이스를 구축해 우리의 AI 인스턴스에 제공하고 있다”라고 전했다.

기업이 임베딩을 사용하면 바닥부터 LLM을 훈련할 필요없이 맞춤형 AI를 생성할 수 있다. 조지브는 “만약 우리가 스스로 생성형 AI 모델을 훈련시키려 한다면 필요한 테이터를 확보하기가 매우 어려울 것이다. 모든 데이터와 사용 패턴을 수집하고 통합하기 위해 데이터 파이프라인을 구축해야 우리의 공간에 적합한 우리만의 모델을 구축할 수 있을 것이다. 하지만 이미 꽤 괜찮은 생성형 AI 모델이 존재하기 때문에 우리는 그럴 계획이 없다. 우리는 우리의 필요에 맞춰 특수화하기만 하면 된다”라고 말했다.

오픈AI가 첫발을 내딛었지만 유일한 기업은 아니다. 여러 기업들이 구글의 바드(Bard), 앤트로픽(Anthropic)의 클라우드(Claude), 데이터브릭스(Databricks)의 돌리(Dolly), 아마존(Amazon)의 타이탄(Titan), IBM의 왓슨X(WatsonX)뿐 아니라 메타(Meta)의 라마 2(Llama 2) 같은 오픈소스 AI 모델도 고려하고 있다.

오픈소스 모델을 배치하는 작업도 점차 쉬워지고 있다. 마이크로소프트조차도 애저 클라우드에서 라마 2를 지원할 것이라고 발표했으며, AWS는 아마존 베드록(Bedrock) 서비스를 통해 앤트로픽, 스태빌리티 AI(Stability AI), AI21 랩스(AI21 Labs), 메타의 라마 2 등 다수의 LLM을 지원하고 있다.

S&P 글로벌 MI(S&P Global Market Intelligence)는 이 모두를 고려하고 있다. 이 글로벌 금융 정보 기업의 데이터 사이언스 책임자 알랭 비엠은 “마이크로소프트, 구글, 아마존, 허깅 페이스(Hugging Face)의 오픈소스 모델을 사용하고 있다”라고 말했다.

예를 들어, S&P 글로벌은 애저를 통해 오픈AI API를 사용하고 있지만 이는 해당 기업이 요청할 수 있는 여러 AI API 중 하나에 불과하다. 그는 “우리는 LLM에 대해 열린 자세를 가지고 있다. 우리는 사용 사례를 기준으로 LLM을 선택한다. 우리의 철학은 모델에 얽매이지 않는 것이다. 우리가 제품을 개발하는 방식은 모델을 업데이트하거나 제공업체를 변경할 수 있도록 하는 것이다”라고 말했다.

해당 기업은 또한 현재 라마 2와 그 변종들이 주를 이루고 있는 허깅 페이스 리더보드를 예의주시하고 있다고 그가 말했다.

메타는 7월에 라마 2를 공개했으며 규모와 기능뿐 아니라 라이선스로 인해 다른 오픈소스 생성형 AI 프로젝트와 차별화된다. 심지어 상업적인 목적을 위해서도 무료로 사용할 수 있을 정도다. 유일한 제한점은 일일 활성 사용자가 7억 명이 넘는 기업들이라면 메타로부터 특수 라이선스를 확보해야 한다는 점이다.

S&P 글로벌은 라마 2뿐 아니라 다른 오픈소스 모델을 허깅 페이스 플랫폼에서 테스트하고 있다고 비엠이 말했다.

많은 기업들이 오픈AI로 시작하고 있다고 KPMG의 데이터 및 분석 상무이사 스리카르 크리슈나가 말했다. 하지만 거기에서 멈출 이유는 전혀 없다고 그는 덧붙였다.

크리슈나는 “대부분의 조직은 단일 제공업체 전략을 취하지 않고 있다. 그들은 모두 처음에는 오픈AI로 시작하더라도 이는 시작점에 불과하다는 것을 알고 있다”라고 말했다.

그에 따르면 기업들이 다음으로 구글의 바드를 고려하는 경우가 가장 많다. 이미 구글 클라우드 또는 다른 구글 플랫폼을 사용하고 있는 경우에는 더욱 그렇다.

또 다른 인기 옵션은 인기 있는 데이터 파이프라인 플랫폼인 데이터브릭스다. 해당 기업은 지난 4월 오픈소스 LLM인 돌리를 출시했다. 연구 및 상업적 용도로 라이선스를 제공했고 7월에는 라마 2에 대한 지원도 추가했다.

크리슈나는 “데이터브릭스 플랫폼은 대용량 데이터를 수용할 수 있으며 이미 기업들 사이에서 널리 사용되고 있는 오픈소스 플랫폼 중 하나다”라고 말했다.

돌리 모델뿐 아니라 라마 2와 허깅 페이스의 오픈소스 모델도 마이크로소프트에서 제공될 것이라고 크리슈나가 말했다. 그는 “이 영역은 매우 빠르게 발전하고 있다. 모든 하이퍼스케일러가 신속하게 오픈소스 생성형 AI 모델을 확보할 것이라 생각한다”라고 말했다.

하지만 이 영역의 빠른 발전 속도를 생각할 때 기업들은 어떤 모델이 최고인지에 집중하기보다 유연한 아키텍처를 구축하는 것에 관해 생각하는 데 더 많은 시간을 할애해야 한다고 그는 조언했다. 크리슈나는 “좋은 아키텍처를 구축한다면 LLM 모델은 플러그&플레이 요소일 뿐이다. 많은 것들을 신속하게 연결할 수 있고, 우리가 그렇게 하고 있다”라고 말했다.

KPMG도 오픈AI, 돌리, 클라우드, 바드를 사용할 수 있는 구축 시스템을 실험하고 있다. 하지만 데이터브릭스만이 자체적인 LLM을 확보한 유일한 플랫폼은 아니다.

글로벌 컨설팅 기업 에이아레테(AArete)의 기술 솔루션 그룹 MD 존 캐리는 스노우플레이크(Snowflake)의 다큐먼트 AI(Document AI)를 사용하고 있다. 초기 릴리즈 단계인 다큐먼트 AI는 비구조화 문서에 관해 질문할 수 있도록 하는 새로운 모델이다. 특히 중요한 것은 에이아레테가 기업 고객이 필요로 하는 보안성을 제공할 수 있다는 점이다.

캐리는 “고객 정보가 포함되어 있을 수 있는 데이터를 위임할 수 있다. 프라이버시를 보호할 직접적인 책임을 지게 된다”라고 말했다.

스노우플레이크의 다큐먼트 AI는 개인 정보가 서버 외부로 유출되거나 제공업체의 모델을 훈련시키기 위해 사용될 위험이 없는 안전한 사설 환경 안에서 운용되는 LLM이라고 그가 설명했다. 그는 “기업이 데이터를 보호하고 접근을 통제하며 모든 표준 데이터 거버넌스를 확보해야 한다”라고 말했다.
 
대형 기초 모델을 넘어
대형 기초 모델을 사용한 후 미세 조정 또는 임베딩을 통해 기업 고유의 비즈니스 용도로 커스터마이징하는 것이 일반적이다. 하지만 일부 기업들은 좁은 특화 모델을 고려하고 있다.

가트너의 아룬 찬드라세카란 애널리스트는 “시장에서 영역 전용 모델들이 등장하고 있다. 이들은 덜 복잡하고 비용이 낮은 경향이 있다”라고 말했다. 데이터브릭스, IBM, AWS도 이 카테고리의 제품이 보유하고 있다고 그는 덧붙였다.

종류도 다양하다.  코드를 생성하기 위해 고안된 모델, 이미지를 설명할 수 있는 모델, 특수한 과학적 작업을 수행하는 모델이 있다. 아마도 수백 개의 모델과 기업들이 이를 활용할 수 있는 다양한 방법이 있을 것이라고 찬드라세카란이 말했다.

기업들은 프라이버시 또는 보안 문제가 없을 때 챗GPT, 바드, 클라우드 등의 생성형 AI 모델의 공개 버전을 사용하거나 모델을 애저 등의 프라이빗 클라우드에서 운용할 수 있다. 그들은 API를 통해 모델에 접근하거나 임베딩을 통해 증가시키거나 기존의 모델을 미세 조정하여 새로운 맞춤형 모델을 개발하곤 한다

하지만 영역 특화 모델의 경우 작기 때문에 기업들이 추가적인 훈련을 수행하고 배치하기가 더 쉽다. 이 저렴한 새로운 모델 덕분이 상황이 달라질 것이라고 찬드라세카란은 말했다.

기업의 선택지는 또 있다. 그는 “처음부터 자신만의 모델을 구축하는 것이다. 단 포춘 50 기업이거나 특정 사용 사례가 있지 않은 이상 이 접근법을 선택할 기업은 드물다.

즉 많은 기업들이 기성 모델을 사용하고 임베딩을 추가할 것이다. 임베딩을 사용하면 추가적인 이점도 누릴 수 있다. 그는 “제공업체 데이터베이스 같은 적절한 아키텍처를 사용하는 경우 AI가 참고문헌과 답변을 포함시킬 수 있다. 그리고 실제로 참조 데이터가 없는 경우 응답을 제공하지 않도록 모델을 조정할 수 있다”라고 말했다. 

챗GPT 같은 공공 챗봇은 일반적으로 그렇지 않다. 찬드라세카란은 “겸손은 온라인 챗봇의 미덕이 아니다. 하지만 기업용 챗봇은 ‘모르겠다’고 답할 것이다”라고 말했다.

소형화하기
소형 모델은 미세 조정이 쉬울 뿐 아니라 데스크톱 컴퓨터 또는 심지어 스마트폰 등과 같은 다양한 배치 옵션으로 구동할 수 있다.

기술 조사 및 자문 그룹 옴디아(Omdia)의 AI 플랫폼, 분석, 데이터 관리 수석 분석가 브래들리 심민은 “6개월 이상의 훈련과 수십억 개의 파라미터가 필요하던 시대는 끝났다. 이제 몇 시간이면 모델을 훈련할 수 있다. 빠르게 반복하고 모델을 개선하며 미세 조정하고 최적화하여 더 적은 하드웨어로 또는 더욱 효율적으로 구동할 수 있다”라고 말했다.

기업은 2가지 크기로 제공되는 라마 2 등의 모델을 위한 오픈소스 코드를 가져다가 커스터마이징하여 원하는 작업을 수행할 수 있게 된다. 심민은 “비용이 GPT 4의 API를 사용하는 것보다 경이적으로 감소할 것이다”라고 말했다.

소형 모델은 또 AI에 관해 잘 모르는 기업일지라도 실험하는 것을 가능하게 해준다. 그는 “큰 돈이 없어도 사용해볼 수 있다. 그리고 매우 빠르게 성공할 수 있다”라고 말했다.

고릴라(Gorilla)를 예로 들어보자. 라마에 기초하고 있으며 1,600개의 API로 미세 조정된 LLM이다. 심민은 “API를 탐색하는 방법을 학습하기 위해 개발된 모델이다. 사용 사례에는 기업에서의 데이터 통합이 포함되어 있다. 더 이상 파이프라인을 유지할 필요가 없으며, 기저 원인 분석, 자체 치료를 수행하고 새로운 통합을 신속하게 구축할 수 있다. 입이 떡 벌어질 것이다”라고 덧붙였다.

문제는 어디에서 어떤 모델을 사용할지 파악하고 온갖 다양한 라이선스 조건과 준법감시 요건을 살펴보는 것이라고 그가 말했다.

생성형 AI(Gen AI)에서는 언어만 중요한 것이 아니다
언어 모델은 코드를 작성하고 질문에 답하며 문서를 요약하고 마케팅 이메일을 생성할 수 있기 때문에 기업 분야에서 특히 주목을 받고 있다. 하지만 생성형 AI에는 텍스트 외에도 많은 것들이 있다.

챗GPT가 뉴스 헤드라인을 장식하기 몇 개월 전, 일부 눈길을 끈 생성형 AI 도구인 미드저니(Midjourney)가 있었다. 이미지 생성기들이 빠르게 발전하여 생성된 이미지를 인간의 작품과 구분하는 것이 불가능한 수준이 되었으며 예술 및 사진 대회에서 우승하기도 했다.

디즈니(Disney)를 고객사로 두고 있는 부티크 창작 대행사 데드리자드(DeadLizard)는 미드저니뿐 아니라 이미지 편집을 위한 스테이블 디퓨전(Stable Diffusion)과 클립드롭(ClipDrop), 동작 추가를 위한 런어웨이(Runaway) 등의 다른 이미지 도구를 사용하고 있다.

이미지는 해당 기업의 자체 브랜드 소셜 미디어 콘텐츠에 사용되지만 아이디어 생성 및 창의적인 개발 프로세스의 일환으로 사용되기도 한다. 데드리자드의 공동 설립자 토드 라인하트는 “공개 생성형 AI 툴셋을 추가하는 것은 많은 지식과 관점을 가진 인터넷을 이용하는 것과같다”라고 표현했다. 

새로운 생성형 AI 도구는 사진 편집 능력을 크게 높여줄 수 있다. 이전에는 해당 기업이 원하는 사진을 직접 촬영하거나(대형 프로젝트도 엄두를 못 낼 만큼 비쌈) 스톡 사진 및 포토샵을 사용해야 했다. 그는 “거의 매주 완전히 새로운 워크플로우와 툴셋이 등장하고 있다”라고 말했다. ciokr@idg.co.kr