돌리 2.0이 노리는 수요는?··· 데이터브릭스가 자체 LLM을 오픈소스화한 이유

데이터브릭스(Databricks)가 급증하는 생성형 AI 관련 애플리케이션 관련 수요에 대응하기 위해 자사의 LLM(Large Language Model)의 오픈소스 기반 버전인 돌리 2.0(Dolly 2.0)을 공개했다. 새로운 릴리스는 검색 및 상업적 활용을 원하는 기업들을 대상으로 한다. 
 

데이터브릭스가 오픈소스 데이터에 기초한 LLM을 공개한 이유는, 비즈니스 용도에 제한을 두는 챗GPT(ChatGPT) 등의 폐쇄 루프 훈련 모델과 달리 표적화된 또는 특정 사용 사례를 위해 모델을 제어하고 사용하려는 기업들의 요구 때문일 수 있다는 분석이다.

옴디아(Omdia)의 수석 분석가 브래들리 시민은 “(돌리 2.0 등) 이런 모델은 대부분 공개되어 있고 상당한 크기의 GPU 클러스터에서 수 개월 동안 훈련시킬 필요가 없기 때문에 자체적인 생성형 AI 구현을 구축하고 싶은 기업들에게 각종 흥미로운 기회를 제공한다”라고 말했다.

시민은 이어 “이런 (소수의 파라미터를 기준으로 훈련되는) 소규모 모델은 훈련 데이터를 위해 프롬프트/응답 쌍(prompt/response pairs)을 많이 사용한다. 그렇기 때문에 기존의 업무지원센터의 질문/답변 쌍 데이터베이스 같은 솔루션 전체를 관리하려는 기업들의 매우 표적화 된 사용 사례에 매우 적합하다”라고 전했다.

아말감 인사이트(Amalgam Insights)의 수석 분석가 박 현에 따르면 오픈소스 기반 LLM에 대한 수요가 있는 또 다른 이유는 기업들이 활용 사례와 관련된 데이터 거버넌스, 위치, 적합성을 더욱 잘 추적할 수 있기 때문이다.

“오픈AI(OpenAI)의 챗GPT 같은 다른 모델을 사용할 때는 API에 의존한다. 일부 기업에게는 이런 의존성이 API와 관련된 준법감시, 거버넌스, 데이터 보안 문제를 유발할 수 있다”라고 말하면서 박은 오픈AI라는 이름의 역설적 측면을 지적했다.

오픈소스 기반 LLM은 연구원뿐 아니라 기업들에게 유용한 기능이 있다고 IDC의 조사 부사장 데이비드 슙멜이 말했다.

슙멜은 “오픈소스 LLM을 신속하게 검토, 조정, 개선하여 혁신의 잠재력을 높일 수 있다”라며, 기업들은 이런 유형의 LLM을 자체적인 기업 애플리케이션과 결합하여 이런 애플리케이션에 더욱 양방향적인 인터페이스를 제공할 수 있다고 말했다.

돌리 2.0과 다른 오픈소스 기반 LLM은 규제가 엄격한 산업의 기업들에게 유리할 것이라고 콘스텔레이션 리서치(Constellation Research)의 수석 분석가 앤디 투라이가 말했다.

투라이는 “기업들이 API 액세스 비용을 지불하거나 LLM 제공자와 데이터를 공유(규제가 엄격한 산업의 특정 기업에게는 큰 문제가 될 수 있다)할 필요 없이 자체적인 모델을 개발하여 소유하는 방법을 보여줄 수 있는 좋은 첫걸음이다”라고 말했다.

하지만 일부 분석가들은 오픈소스 기반 LLM 사용의 위험성에 대해 경고했다.

투라이는 “돌리와 유사한 모델의 파라미터와 훈련 세트가 작기 때문에 응답이 무례하고 짧으며 불량하고 공격적일 수 있다. 해당 모델은 데이터 편향, 민감도, 용인할 수 없는 행동 등에 대해 정제되지 않은 ‘더 파일(The Pile)’의 데이터에 기초하여 개발됐다”라며, 돌리 2.0의 현재 출력 텍스트가 영어로 한정되어 있다고 덧붙였다.

오픈소스 기반 모델이 항상 “기업의 관점에서 폐쇄 소싱 모델보다 선호되거나 나은 접근방식”이 아닐 수도 있음을 인지해야 한다고 가트너의 아룬 찬드라세카란 애널리스트는 말했다.

찬드라세카란은 “이런 모델을 배치하기 위해 훈련 및 운영을 위한 엄청난 노하우, 지속적인 반복, 대규모 인프라가 필요한 경우가 많다”고 말하면서 생성형 AI 영역에서 폐쇄형 모델의 비교 우위 측면을 언급했다.

오픈소스 기반과 폐쇄형 LLM 사이의 차이점
폐쇄형 LLM과 달리 오픈소스 기반 모델은 모델을 훈련시키기 위해 사용되는 데이터를 공개적으로 사용할 수 있다. 따라서 비즈니스 용도로 사용하거나 기업의 필요에 맞춰 정의할 수 있다고 애널리스트들이 말했다.

챗GPT 등의 폐쇄형 모델은 개발사인 오픈AI가 소유한 데이터로 훈련되기 때문에 해당 모델을 유료 액세스 API를 통해 사용할 수 있으며 (직접적) 비즈니스 사용이 금지된다.

찬드라세카란은 “‘개방형 LLM’이라는 용어는 함축된 의미를 여럿 가지고 있다. 특히 눈에 띄고 중요한 것은 이런 모델의 소스 코드와 배치 유연성에 대한 접근성이다. 이 외에 개방성에는 모델 가중치, 훈련 데이터 세트, 개방적이고 협업적인 방식으로 의사를 결정하는 방식에 대한 통제가능성이 포함될 수 있다”라고 말했다. 

IDC의 슙멜은 돌리 2.0 또한 오픈소스 기반 모델 철학을 따른다고 전했다. “돌리 2.0은 훈련에 사용된 모델, 훈련 코드, 데이터세트, 모델 가중치를 데이터브릭스가 오픈소스로 제공하기 때문에 기업들이 사용자 정의 LLM을 개발하기 위해 상업용으로 사용할 수 있는 LLM이다”라고 슙멜은 말하며, 이 접근방식이 오픈소스화를 위해 해당 모델을 구축한 개별적인 구성요소를 만들지 않은 다른 LLM과 다르다고 덧붙였다.

폐쇄형과 ‘개방형’ LLM의 또 다른 차이점은 모델을 훈련시킨 파라미터의 수다. 폐쇄형 LLM은 일반적으로 다수의 파라미터로 훈련된다. 예를 들어, 챗GPT4는 1,000조 개의 파라미터로 훈련된 반면에 돌리 2.0은 파라미터가 120억 개였다.

돌리 2.0은 어떻게 훈련되었는가?
돌리 2.0은 스탠포드 알파카(Stanford Alpaca) 팀이 오픈AI API를 사용하여 만든 데이터세트를 사용하여 훈련된 돌리의 첫번째 릴리즈에 기반하고 있다.

데이터브릭스는 블로그 게시물을 통해 “돌리 1.0을 훈련시키기 위해 사용된 데이터세트에는 챗GPT의 출력이 포함되어 있었다. 스탠포드 팀이 지적했듯이 서비스 조건에 따라 누구든 오픈AI와 경쟁하는 모델을 개발할 수 없다”라고 밝혔다.

이 문제를 피하면서 상업용 모델을 개발하기 위해 데이터브릭스는 엘루더AI(ElutherAI)의 파이티아(Pythia) 모델군에 기초한 120억 개 파라미터 언어 모델을 사용하여 돌리 2.0을 개발했다. 이 모델은 5,000명의 데이터브릭스의 직원들로부터 크라우드소싱한 새로운 고품질 인간 생성 지침 준수 데이터세트로만 미세 조정되었다고 해당 기업이 밝혔다.

데이터브릭스는 이 고품질 인간 생성 응답 또는 프롬프트를 databricks-dolly-15k라 부른다. 이는 CCASA 3.0 UL(Creative Commons Attribution-ShareAlike 3.0 Unported License)을 사용한다.

데이터브릭스는 “누구든 상업적 애플리케이션 등 어느 목적으로나 이 데이터세트를 사용, 수정, 확장할 수 있다”라며 데이터세트를 자사의 깃허브(GitHub) 페이지에서 다운로드할 수 있다고 전했다.
https://github.com/databrickslabs/dolly/tree/master/data
데이터브릭스에 따르면 모델 가중치는 데이터브릭스 허깅 페이스(Hugging Face) 페이지에서 다운로드할 수 있다.

돌리 2.0와 데이터브릭스의 생성형 AI 전략
데이터브릭스의 돌리 2.0 출시는 생성형 AI 비즈니스를 선점하려는 전략일 수 있다고 콘스텔레이션 리서치의 투라이가 말했다.

투라이는 “기본적으로 많은 LLM 및 기초 모델 비즈니스의 경우 자체적인 버전이 있는 하이퍼스케일러들이 차지하고 있다. 마이크로소프트는 챗GPT가 있고, 구글은 바드(Bard)가 있으며, AWS는 허깅페이스 파트너십을 통해 인프라, 프로세스, 도구, 모델 공유 및 카탈로그를 제공하고 있다. 데이터브릭스는 이런 비즈니스의 일부를 점유하려는 것”이라고 말했다.

다른 애널리스트들은 돌리 출시가 오픈소스 제품을 시장에 출시하려는 데이터브릭스의 전략과 맞닿아 있다고 진단했다.

IDC의 슙멜은 “데이터브릭스의 경우 고객들이 데이터와 운영을 최대한 활용할 수 있도록 다양한 AI 도구와 서비스를 오픈소스로 제공하는 것으로 정평이 나 있다.  돌리는 조직들에게 AI, 즉 LLM에서 최신 트렌드를 중심으로 옵션을 제공하는 좋은 예이다”라고 말했다.

하지만 데이터브릭스 돌리 2.0은 챗GPT나 바드 등의 경쟁자에게 즉각적인 영향을 미치지 못할 수 있다는 평가도 있었다.

옴디아의 시민은 “돌리 또는 기타 오픈소스 기반 생성형 AI LLM 구현은 바드, 챗GPT, 갤럭티카(Galactica) 등 기존 LLM에 큰 타격을 줄 것으로 보지 않는다. 이런 솔루션은 구글 워크플레이스, 마이크로소프트 오피스 등의 대형 솔루션 안에 이미 자리를 잡고 있다”라고 말했다.

대신에 돌리는 범용 도구로써 챗GPT 등과 함께 사용되는 유용한 동반자가 될 것이라고 아말감 인사이트의 박이 말했다.

박은 “아마 기업들은 범용 도구에서 생성형 AI를 활용하고 더욱 세부적인 전문 작업을 수행하는 특정 사용 사례에 맞춰 돌리 기반 모델을 사용하는 방법을 배워갈 것이다”라고 말했다. ciokr@idg.co.kr