초거대 언어모델(LLM, Large Language Model)은 수많은 새로운 종이 출현했던 캄브리아기와 같은 폭발적 성장기를 맞고 있다. 초거대 언어모델의 범용성 특징은 비즈니스의 생태계를 바꾸며 업무환경, 학습환경, 생활환경에서 새로운 서비스를 창출하고 있다. 파운데이션 기술인 언어모델은 각 산업의 도메인 기술과 접목하면서 생산성을 비롯한 혁신을 이끌고 있다.
2023년과 챗GPT
올해 가장 주목받는 GPT(Generative Pre-trained Transformer) 기술이 새로운 시대를 열고 있다. GPT는 인간과 유사한 텍스트를 생성하기 위해 딥러닝을 사용하는 대규모 자연어처리 기술이며 일상의 언어로 정리된 답변과 결과를 제공한다. 물론 업무에 필요한 이메일의 요약과 정리, 비즈니스 상황과 시장상황을 보여주며 창작의 영역인 노래와 시와 그림, 코딩까지 지원한다.
[그림1] LLM 모델의 발전. 점선의 원 안에서 오픈소스인 LLaMA2, 상용소스인 GPT-4를 볼 수 있다. 트랜스포머 기술을 활용하며 발전하는 초거대 언어모델의 발전은 오픈소스와 상용소스로 나뉜다. 비공개 소프트웨어는 상업용 소프트웨어(Commercial Software, Closed Software)로 불린다. 구글은 9개의 오픈소스와 비공개 소프트웨어 7개를 진행하고 있으며 오픈AI는 2개의 오픈소스와 6개의 비공개 소프트웨어를 진행 중이며, 메타는 6개 모두 오픈소스로 제공 중이다. (출처 : https://github.com/Mooler0410/LLMsPracticalGuide)
지난 5월 구글 I/O컨퍼런스 행사에서 PaLM2(Pathway Language Model)를 발표했다. PaLM2는 향상된 다중 언어와 추론 능력, 그리고 코딩 능력을 갖춘 언어 모델로 약 100여개 이상의 언어 학습으로 언어의 뉘앙스를 이해하고 속담과 수수께끼를 포함하여 언어를 생성 및 번역하며 어도비를 통해 이미지를 포함해 제공할 수도 있다.
오픈소스의 운영체제가 리눅스(서버용), 안드로이드(모바일용)으로 나뉘듯이 PaLM2 또한 가장 작고 가벼운 오프라인 및 모바일용의 Gecko부터 시작하여 Otter, Bison그리고 수퍼컴용 Unicon 등, 총 가지 버전을 지난다. Gecko는 삼성갤럭시 폰에서 성능을 검증했다.
챗GPT가 빙과 접목하듯이 구글은 PaLM2를 지메일(Gmail)과 구글문서(Google Docs)에서 사용할 수 있도록 했다. 또 산업 도메인 영역으로 의료영역 Med-PaLM2, 보안영역의 Sec-PaLM2를 제공한다. 환자의 X-레이 영상 사진을 Med-PaLM2를 사용하여 분석할 수 있어 종합적인 치료와 판단에 도움을 주게 된다.
오픈소스와 LLaMA2
2023년 3월 메타(페이스북)는 초대형언어 모델인 LLaMA(라마, Large Language Model)를 공개했다. 연구용으로 배포한 모델이 유출되면서 오픈소스 GPL-3.0 (General Public License ; 소스코드를 공개해야 하고 상업용이 아닌 연구 목적으로만 사용 가능)으로 발표됐다. 2023년 7월에 발표된 LLaMA2는 상업용으로 사용할 수 있는 무료 오픈소스로 공개됐다. 알다시피 오픈AI의 챗GPT, 구글의 PaLM2 모델의 경우 이를 통해 AI를 개발하려는 기업들은 상당한 금액을 지불해야 한다.
라마1가 공개된 후 스탠포드에서 라마를 미세 조정(Fine Tuning)한 Alpaca, Vicuna 및 WizardLM 등 라마를 활용한 모델이 연이어 나타났다. WizardLM은 GPT-4 자동 평가에서 29개 기술 중 17개에서 ChatGPT 용량의 90% 이상을 달성 한 바 있다. 국내에서도 LLaMA를 활용한 경량 KoAphaca, KoVicuna를 선보였다.
[그림2] 초거대언어 모델의 성능비교. LLaMA-13B가 불과 2주, 다시 1주 후에 폭발적인 성능 증가된 모습을 볼 수 있다. 알파카는 라마를 기반으로 약 2주 만에 ChatGPT4 대비 68%에서 76%로, 8%의 향상을 이루었으며 다시 1주일 후 Vicuna-13B 모델에서는 92%의 성능을 보였다. LLaMA-13B는 GPT-3 크기의 1/10이나 대부분의 벤치마크에서 가성비 있는 성능을 보였으며, 알파카는 GPT3 보다 1/26배 작았고 투자 비용은 600달러에 불과했다. 비쿠나모델 또한 140달러~ 300달러가 소요되었다. 두 모델 모두 로컬 호스트에서 실행 가능한 용량을 지닌다. (출처 : https://vicuna.imsys.org/)
라마1 보다 40% 더 많은 데이터에 대해 학습한 라마2 모델은 70억, 130억, 700억 매개변수의 세 가지로 제공되며 각각 5,000억 개의 토큰으로 훈련되었다. 또한 추론, 코딩, 숙련도, 지식 테스트를 포함한 많은 벤치마크에서 챗GPT 3.5 등의 다른 오픈소스 언어모델보다 뛰어난 성능을 갖고 있다고 평가된다.
메타에 따르면 이는 MS'애저'와 AWS 클라우드 서비스를 통해 이용이 가능하며 할루시네이션(Hallucination)의 위험성을 줄였고, LLaMa-2-Ko로 한글 지원 및 로컬 시스템에서 호스팅 할 수 있다. 소스는
htttps://github.com/facebooksearch/llama에서 볼 수 있다.
네이버 그리고 챗GPT, 바드, 빙
네이버는 자체의 오션(OCEAN, Optimal Composable Experience Action Network)기반으로 하이퍼클로버X와 큐(Cue) 서비스를 제공 중이다. 네이버 쇼핑과 접목하여 사용자 서비스에 초점을 맞추고 있으며 사투리 사용과 적용 등 한국어 사용에 강점을 제공한다. 마이크로소프트는 오픈AI의 챗GPT를 접목한 빙 서비스, 메타의 라마2를 접목한 애저 등으로 인공지능 협업으로 다양한 서비스를 제공하며 새로운 시장을 선도하고 있다.
오픈AI의 챗GPT-4는 대략적인 학습 방법만 공개하고 모델과 소스코드, 데이터셋은 공개되지 않는다. 그러나 일정 비용을 내면 API를 오픈하여 제공하며, 사용 버전의 등급에 따라 비용을 받는다. 디지털 기술주권(Technology Sovereignty)이 없다면 약탈가격정책(Predatory Pricing, 처음에 가격을 낮게 책정하여 경쟁사를 물리치고 그 후에 가격을 마음대로 책정하는 방식)에 희생될 수 있다.
공개된 라마는 자발적 참여와 집단지성 코딩, 적은 비용(몇백 달러)으로 짧은 시간에 뛰어난 성능개선을 만든 알파카, 비쿠나 사례는 인공지능 개발과 발전에 시사점을 주고 있다. AI 오픈소스는 첨단기술 응용에 강점을 갖고 있는 우리가 과감히 도전하고 기여해야 할 시점이다.
* 최형광 교수(hk.choi@ssu.ac.kr)는 숭실대학교 일반대학원 AI·SW융합학과에서 학생들을 지도하고 있다. ciokr@idg.co.kr
2023.09.26
최형광 | CIO KR
추천기사