Offcanvas

AI / 오픈소스 / 클라우드

알리바바 클라우드, 오픈소스로 70억 개 파라미터 갖춘 LLM 공개

2023.08.08 편집부  |  CIO KR
알리바바 클라우드가 70억 개의 파라미터를 갖춘 대규모 언어 모델(LLM) ‘Qwen-7B’와 ‘Qwen-7B-챗(Chat)’을 오픈소스로 8일 공개한다고 밝혔다. 해당 LLM은 인공지능(AI) 모델 커뮤니티 ‘모델스코프(ModelScope)’와 협력 AI 플랫폼 ‘허깅페이스(HuggingFace)’에서 첫선을 보였다.
 

지난 4월 초, 알리바바 클라우드는 70억 개 이상의 파라미터를 포함한 다양한 모델 사이즈를 제공하며 중국어와 영어에 대해 "인간이 생산하는 것에 준하는 높은 수준의 콘텐츠를 생성할 수 있는" 독자적인 첨단 LLM ‘통이치엔원(Tongyi Qianwen)’을 공개한 바 있다. 이번에 공개된 오픈소스는 사전 학습된 70억 개의 파라미터 모델인 ‘Qwen-7B’와 회화적으로 세밀하게 조정된 버전인 ‘Qwen-7B-챗’을 포함하고 있다.

AI 기술의 민주화를 위한 노력의 일환으로, 알리바바 클라우드는 전 세계 학계와 연구기관, 영리단체들이 모델의 코드와 가중치, 문서에 무료로 접근할 수 있도록 개방할 예정이다. 월간 활성 이용자(MAU) 수가 1억 명 이하인 기업들은 이 모델을 상업적 용도로 무상 사용할 수 있으며, 1억 명 이상의 사용자를 보유한 프로그램들의 경우 알리바바 클라우드에 라이선스를 요청할 수 있다.

알리바바 클라우드 인텔리전스 징런 저우 최고기술책임자(CTO)는 “알리바바 클라우드는 독자적인 LLM을 오픈소스로 공개하여, 포용적 기술을 촉진하고 보다 많은 개발자와 중소기업들이 생성형 AI의 이점을 누릴 수 있도록 지원하고자 한다”라며, “오픈소스 이니셔티브에 대한 확고하고 장기적인 지지자로서, 알리바바 클라우드는 이처럼 개방적인 접근 방식을 통해 집단지성이 발휘되어 오픈소스 커뮤니티의 활성화에 기여할 수 있기를 희망한다”라고 말했다.
 

Qwen-7B는 2조 개 이상의 토큰에 대해 사전 학습되었으며, 이는 중국어, 영어, 기타 다국어 자료, 코드, 수학 등 일반 및 전문 분야를 포괄한다. 또한 8K에 달하는 컨텍스트 길이를 갖추고 있다. 또한 Qwen-7B-챗 모델은 학습 과정에서 인간의 지시사항에 맞춰 조정되었다. Qwen-7B와 Qwen-7B-챗 모델은 클라우드와 온프레미스 인프라 모두에서 배포될 수 있으며, 이를 통해 사용자들은 모델을 세밀하게 조정할 수 있고 효과적·경제적으로 자체적인 고품질 생성형 모델을 구축할 수 있다.

사전 학습된 Qwen-7B 모델은 MMLU(Massive Multi-task Language Understanding, 대규모 다중작업 언어 이해) 벤치마크에서 56.7점의 괄목할 만한 성과를 거두며 유사하거나 일부 더 큰 규모의 여타 주요 사전학습 오픈소스 모델들의 성능을 능가했다. 이 벤치마크는 초등 수학, 컴퓨터 과학, 법률 등을 포함한 57가지의 다양한 과업을 수행하는 텍스트 모델의 다중 작업 정확도를 평가한다. 또한, Qwen-7B는 기초 모델을 위한 종합적인 중국어 평가 테스트인 C-이벌(C-Eval)에서 동등한 파라미터를 가진 모델 중 가장 높은 점수를 기록하기도 했다. 이 모델은 인문학, 사회과학, STEM(과학, 기술, 공학, 수학), 기타 분야를 포함한 총 52개 주제를 다루고 있으며, Qwen-7B는 GSM8K와 휴먼이벌(HumanEval)과 같은 수학 및 코드 생성의 벤치마크에서도 우수한 성능을 보여주었다고 업체 측은 설명했다.

한편, 알리바바 클라우드는 지난 7월 개발자와 중소기업의 창의적 이미지 표현을 지원하는 AI 이미지 생성기 ‘통이 완샹(Tongyi Wanxiang)’을 공개했다. 또한 모델스코프의 다양한 AI 모델을 활용해 언어, 시각, 음성 영역에서 복잡하고 전문화된 AI 작업을 수행하는 데 활용할 수 있는 다용도 프레임워크 ‘모델스코프GPT(ModelScopeGPT)’를 선보이기도 했다. 알리바바 클라우드가 지난해 출시한 모델스코프는 20개의 선도적 AI 연구기관들이 제공한 1,000개 이상의 AI 모델을 보유한 오픈소스 AI 모델 커뮤니티다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.