챗GPT가 스스로 운전한다?··· 자율주행과 LLM의 결합 현주소

AI가 부상하면서 AI 모델의 크기도 커졌다. 이제는 100억 개의 매개변수를 사용하는 하나의 범용 모델이 다수의 작업을 해결하는 데 있어 탁월한 성능을 보여주면서 5,000만 개 매개변수를 사용하는 특정 작업용 모델을 압도하고 있다. 또한 AI 모델의 멀티 모달(multi-modal)화도 진행 중이다. 마이크로소프트 플로렌스 2(Florence 2), 오픈AI의 GPT-4V와 같은 새로운 비전 모델은 모델의 응용 범위를 더 확장해 이미지, 비디오, 소리까지 수용하면서 수백만 가지의 새로운 사용 사례에서 대규모 언어 모델(LLM)의 강력한 힘을 활용할 수 있게 해준다. 
 

모델 엔지니어링 분야에서는 클수록 좋다는 것이 입증된 만큼 모든 애플리케이션이 이와 비슷한 발전 과정을 거쳤다. 
 

1. 단일 작업, 단일 분야 : 특정 사용 사례를 위한 단순한 모델. 도로용 사물 탐지기, 실내 장면을 위한 깊이 분할 모델, 이미지 캡션 모델, 웹 애플리케이션용 챗봇 등이 대표적이다. 
2. 단일 작업, 모든 분야 : 이 간단한 모델을 많은 사용 사례로 확대 응용. 욜로(YOLO), 디노(DINO) 등 모든 곳의 사물 탐지기, 모든 것을 위한 깊이 분할(모바일넷(MobileNet)), 여러 제품을 위한 채팅 플러그인 등이 있다.
3. 모든 작업, 모든 분야 : 모든 일을 할 수 있는 대규모 모델. 플로렌스, GPT-4V, 챗GPT와 같은 새로운 LLM에 의해 가능해진 패러다임 변화를 의미한다.
4. 모든 작업, 단일 분야 : 대규모 모델을 한 가지 분야에 최적화한 것으로, 실시간 응용과 더 높은 신뢰성을 실현. 예를 들어 인터랙티브 검색을 위한 GPT-3.5-터보, 법률 문서 조사 및 초안 작성을 위한 Harvey.ai, 자율 주행을 위한 드라이브GPT(DriveGPT) 등이 있다. 

 

소규모 모델에서의 자율 주행 

자율 주행은 아직 소규모 모델에서 실행된다. 많은 수의 단일 작업 모델, 특수 센서, 정밀한 지도의 결합을 통해 인상적인 프로토타입이 나왔지만 현재 수준으로는 아직 일상적인 운전자를 지원하는 데 필요한 수준의 안전성이나 규모는 제공하지 못한다. 여전히 다음과 같은 요소에 발목이 잡혀 있다. 
 

• 제로샷 일반화. 기존 모델은 흔히 운전의 "긴 꼬리"라고 하는, 이전에 본 적이 없는 시나리오에서 실패하는 경우가 많다. 충분히 학습되지 않은 모델은 앞선 원칙에서 다음에 해야 할 일을 추론하는 능력이 없다. 해결책은 또 다른 특수 목적 모델을 구축하는 것이다. 매핑하기 어려운 동적 시나리오는 대부분의 자율 제품에서 중대한 약점이다. 
• 운전자와 행위자의 의도 해석. 기존 모델은 차량 내의 운전자와 차량 외부의 도로 행위자 모두에 대해 인간의 상호작용과 의도에 따른 미묘한 의미를 이해하지 못한다. 
• 전 세계의 정확한 지도 제작. 지도가 잘 만들어진 지역은 대부분 운전이 가능하지만 지금까지 입증된 바로는 정확한 HD 지도 제작은 확장이 어렵다. 정확한 지도가 없으면 지도 기반 운전 역시 제대로 작동하지 않는다. 
• 차량 확장. 소규모로 운영되는 지금의 로보택시는 특수 센서와 고가의 컴퓨팅, 그리고 많은 특수 목적 모델의 조합을 사용하는데, 이런 복잡하고 비싼 구조 탓에 일상적인 운전자까지 확장되기는 어렵다. 

 

LLM과 긴 꼬리 문제 

모든 응용 분야의 모델 엔지니어들은 현재 LLM을 일종의 초강력 개발 툴로 사용해서 모델 엔지니어링 프로세스의 거의 모든 측면을 개선하고 있다. LLM은 시뮬레이션 환경 개발 및 개선, 방대한 데이터 집합의 정렬, 이해 및 레이블 지정, 신경망 "블랙박스"의 해석과 디버깅에 매우 유용하다는 것이 입증됐다. 개발 프로세스에서 LLM의 가장 큰 이점 중 하나는 복잡한 다단계 로직을 자연어로 표현하므로 전문가 코드가 불필요하고 이를 통해 개발 속도를 높일 수 있다는 것이다. 이는 코드 기반 전반에 걸쳐 복잡한 종속성이 있는 텍스트 요약 또는 코드 완성과 같은 복잡한 문제 영역에서 매우 유용하다는 사실이 이미 입증됐다. 

이러한 모든 엔지니어링 툴은 자율성을 포함한 개발 작업을 광범위하게 개선할 수 있지만, 가장 흥미롭고 영향이 큰 LLM 응용 분야는 운전 작업 자체, 즉 복잡한 시나리오에 대해 추론하고 가장 안전한 경로를 계획하는 것이다. 자율 주행은 특히 까다로운 문제다. 레거시 알고리즘과 모델을 훨씬 뛰어넘는, 인간과 유사한 수준의 복잡한 추론이 필요한 엣지 케이스가 있기 때문이다. LLM은 단순한 상관관계를 넘어 실제로 "세계를 이해"할 수 있다는 가능성을 보여줬다. 새로운 수준의 이 같은 이해는 운전 작업으로 확장되어 명시적인 교육 없이도 안전하고 자연스러운 조작으로 복잡한 시나리오를 탐색할 수 있게 해준다. 

기존 모델은 교차로에서 도로공사 작업자가 있거나 사고 현장 주변을 지날 때 혼란을 겪을 수 있지만 LLM은 상당한 수준으로 능숙하게 적절한 경로와 속도를 추론할 수 있는 능력을 보여줬다. LLM은 이전에 겪은 적이 없는 상황, 즉 '긴 꼬리' 문제를 해결할 수 있는 새로운 방법을 제시한다. 긴 꼬리는 지난 20년 동안 자율 주행이 풀지 못했던 과제다. 
 

자율 작업에서 LLM의 한계 

지금의 대규모 언어 모델에는 자율 애플리케이션과 관련해 여전히 많은 제한이 있다. 간단히 말해 LLM은 지금보다 훨씬 더 안정적이어야 하고 훨씬 더 빨라야 한다. 아직 갈 길이 멀지만, 해결책은 존재하며 이를 위해 현재 활발한 작업이 이뤄지고 있다. 주요 성과를 정리하면 다음과 같다.

지연과 실시간 제약 
운전 시 안전과 직결되는 의사 결정은 1초 이내에 내려져야 한다. 그러나 데이터센터에서 실행되는 최신 LLM의 경우 10초 이상까지 걸리기도 한다. 이 문제에 대한 한 가지 해결책은 차량 내 컴퓨팅으로 데이터센터 처리를 보완하는 하이브리드 클라우드 아키텍처다. 대규모 모델을 차량에 탑재 가능할 정도로 작고 빠른 형태로 압축한 전용 LLM도 있다. 이미 대규모 모델 최적화 부분에서는 비약적으로 개선되고 있다. 미스트랄 7B(Mistral 7B)와 라마 2 7B(Llama 2 7B)는 훨씬 더 적은 매개변수(7억 개)로 GPT-3.5(1,750억 개)와 대등한 성능을 보였다. 무어의 법칙과 지속적인 최적화에 따라 이러한 모델이 엣지로 전환되는 속도는 더 빨라질 것이다. 

환각 
대규모 언어 모델은 상관관계를 기반으로 추론하지만 특정 시나리오에서 모든 상관관계가 유효한 것은 아니다. 예를 들어 교차로에 서 있는 사람은 정지(보행자), 통과(교통 경찰), 또는 서행(도로 건설 작업자)을 의미할 수 있다. 양의 상관관계가 항상 정답을 제공하지는 않는다. 모델이 현실을 반영하지 않는 결과를 도출할 경우 이를 "환각(hallucination)"이라고 한다. 

인간 피드백을 사용한 강화 학습(RLHF)은 이런 종류의 복잡한 주행 시나리오를 이해하기 위해 인간의 피드백에 모델을 맞춤으로써 문제에 대한 잠재적 해결책을 제시한다. 고품질의 데이터를 사용하면 GPT-4에 비해 20배 더 적은 매개변수를 사용하는 라마 2 70B와 같은 비교적 작은 모델도 GPT-4와 대등한 성능을 낸다. 참고로 라마 2 70B는 700억 개, GPT-4는 1조 7,000억 개다. 더 높은 데이터 품질을 더 쉽게 확장할 수 있도록 하는 연구 프로젝트도 있다. 예를 들어 오픈챗(OpenChat) 프레임워크는 비용이 많이 드는 사람에 의한 선호도 레이블 지정 작업 없이 성능을 향상하는 강화 학습 미세 조정(RLFT)과 같은 새로운 기술을 활용한다. 

새로운 긴 꼬리 
언어 모델에 "모든 것"이 코드로 포함돼 있지만 예를 들어 도로공사 중인 복잡한 교차로를 지나갈 수 있는 기능과 같이 모든 주행 개념을 다루지는 못한다. 한 가지 잠재적인 해결책은 모델에 이 같은 더 세밀한 개념을 포함할 수 있는 독점적인 긴 주행 데이터 시퀀스에 모델을 노출하는 방법이다. 한 예로 리플릿(Replit)은 자체 사용자 층에서 확보한 독점적인 코딩 데이터를 사용한 미세 조정을 통해 코드 생성 툴을 지속적으로 개선해서 코드 라마 7B(Code Llama 7B)와 같은 대규모 모델보다 더 높은 성능을 발휘하고 있다. 
 

자율 주행의 새로운 미래 

자율 주행은 아직 주류 기술로 부상하지 못했다. 현재 극소수의 차량이 가장 복잡한 도심 환경에 대처하기 위해 씨름하고 있을 뿐이다. 대규모 모델은 자율 주행 모델을 개발하는 방법에 변화를 일으키고 있으며, 궁극적으로는 자율 주행을 혁신해서 이 기술을 일상적인 운전자에게 제공하는 데 필요한 안전성과 규모를 제공하게 될 것이다. 

*Prannay Khosla는 자율주행 소프트웨어 업체 Ghost Autonomy에서 모델 엔지니어링을 이끌고 있다.
editor@itworld.co.kr