Offcanvas

AI / 개발자 / 디지털 트랜스포메이션 / 머신러닝|딥러닝 / 오픈소스

메타, 모바일 기기 특화 AI 모델 ‘모바일LLM’ 공개

2024.07.09 이지현  |  CIO KR
메타가 스마트폰 같이 성능이 낮은 기기에서 활용할 수 있는 AI 모델인 ‘모바일LLM’을 공개했다.
 
ⓒ 모바일LLM 논문 원문

6월 27일 등록된 논문을 통해 공개된 모바일LLM은 메타 리얼리티 랩, 파이토치, 메타 AI 리서치(FAIR) 연구팀이 공동으로 개발했다. 논문에 따르면, 모바일LLM은 10억 개 미만의 파라미터로 모델을 최적화하는 데 중점을 두었다. 연구진은 “소규모 모델의 경우 폭보다 깊이를 우선시하는 것이 모델 성능을 높였다”라며 “또한 임베딩 공유, 그룹화된 쿼리 주의, 블록별 가중치 공유 등 고급 가중치 공유 기술을 활용하여 스토리지 제약이 있는 시나리오에서 가중치 활용도를 크게 높였다”라고 설명했다.

논문에 명시된 테스트 결과, 모바일LLM은 제로 샷 상식 추론, 질문 답변, 독해 작업에서 이전에 나왔던 최신 모델에서 크게 앞선 성능을 보여주었다. 또한, 채팅과 API 호출이라는 두 가지 일반적인 온디바이스 사용 사례에서 미세 조정된 모바일LLM 모델의 효과를 입증했다고 연구진은 밝혔다.

IT매체 벤처비트는 “모바일LLM의 개발은 최신 AI의 접근성과 지속 가능성을 높이는 데 중요한 역할을 할 수 있다”라며 “효과적인 언어 모델은 방대해야 한다는 기존 개념을 뒤집으며, 개인용 디바이스에서 AI 애플리케이션을 작동할 수 있는 새로운 가능성을 보여줬다”라고 분석했다.
jihyun.lee@foundryco.com
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.