칼럼 | AI의 발전, LLM을 넘어서는 사고가 필요하다

대규모 언어 모델(LLM)에 내재된 약점은 강화 학습(reinforcement learning)이나 순환 신경망(RNN) 같은 다른 기술을 탐색해야 할 충분한 이유가 된다.
 

LLM에 대해 솔직하게 이야기할 필요가 있다. 핵심에 있어서 LLM은 정교한 암기 기계에 지나지 않는다. LLM은 합리적으로 들리게 말할 수 있지만 근본적인 진리는 이해하지 못한다. 중요한 것은 많은 사람들의 기대에도 불구하고 인공 일반 지능(AGI)을 구현할 수 있는 수준과는 거리가 있다는 점이다. 그런데도 LLM을 둘러싼 과대 광고가 끝없이 이어지며 'AGI의 선구자'라는 잘못된 인식을 조장하고 있다.

LLM과 AGI 간의 잘못된 연결 고리로 인공지능의 진정한 발전을 가속화하기는커녕 오히려 둔화시킬 수 있다는 것을 인식해야 할 시점이다. LLM이 AGI 솔루션으로 진화해야 한다는 주장은 터널 비전(tunnel vision)을 잘 보여주는 사례다. 더 큰 규모의 모델을 학습시키는 데 막대하게 투자했지만, 텍스트 기반이 아닌 작업에서는 미미한 개선만 이뤄졌다고 생각해 보라. 현실을 직시해야 한다. LLM은 수학을 하는 방법을 배우는 게 아니다. LLM의 강점은 통계적 텍스트 작업을 능숙하게 처리하는 데 있다. 이렇게 기대치를 재조정하고 LLM이 특정 영역에서는 탁월하지만 다른 영역에서는 부족하다는 점을 인정할 필요가 있다.

AI의 의미 있는 발전으로 나아가기 위해서는 LLM과 AGI 사이의 연결 고리를 끊어야 한다. 일반적인 생각과 달리 LLM은 AGI로 가는 관문이 아니며, 오히려 우회로 혹은 메타 수석 AI 과학자 얀 르쿤이 최근 말한 것처럼 '고속도로 진출로'에 가깝다.

LLM을 넘어서는 사고
LLM에 대한 오해를 불식시키는 데 있어 주요 장애물은 이미 개발자들이 LLM을 보편적으로 채택하고 있다는 것이다. 개발자 도구에 원활히 통합된 LLM은 개발자의 코딩 작업을 손쉽게 도와주는 소중한 자동 완성 도구가 됐다.

코더에게도 LLM은 장단점이 있다. 장점은 계속 활용하고 단점은 피해야 한다. 지난 5일 미국 하원은 데이터 유출 우려 때문에 직원들의 마이크로소프트 코파일럿 사용을 금지했다. 마이크로소프트는 정부의 보안 요구를 더 잘 충족하기 위해 다른 버전을 개발 중이라고 밝혔다.

물론 개발자 중심의 AI는 단순히 LLM에만 국한된 문제가 아니다. LLM에 관심이 쏠리긴 했지만 개발자를 돕는 보완적 AI 접근 방식도 나오고 있다. 다만 이런 솔루션은 시장에서 LLM의 반격에 직면해 있다. 예를 들어 강화 학습 기술에 대해 비판자들은 LLM과 별개라는 이유로 진정한 생성형 AI가 아니라고 주장한다. 그러나 달리(DALL-E)부터 미드저니에 이르기까지 생성형 AI가 LLM에 의존하지 않고도 성공한 사례는 많다. 디프블루(Diffblue)의 경우 강화 학습을 사용해 LLM 없이도 인간 개발자보다 250배 빠른 속도로 자바 단위 테스트를 자율적으로 작성한다. 확산 모델을 사용하는 미드저니는 AI 영역에서 접근 방식의 다양성을 보여주는 또 다른 예다.

사실 LLM은 수학적 또는 기호적 논리 작업에 직면했을 때, 텍스트나 픽셀 덩어리를 나타내는 토큰을 인코딩하고 예측하는 아키텍처의 본질적인 제약으로 인해 고전할 수 있다. 이로 인해 AI의 다음 도약이 LLM에서 나오지 않을 가능성도 매우 높다. 의심할 여지 없이 LLM은 미래 AGI 연구의 한 측면을 구성하겠지만, 독점적이진 않을 것이다. 역사는 알고리즘의 혁신이 컴퓨팅의 패러다임 전환을 촉진한다는 사실을 여러 번 보여줬다. 토마스 쿤이 설명했듯 과학의 발전은 선형적이지 않고 '파괴적 혁신' 또는 '패러다임 전환'에 의해 이뤄진다.

AI 혁명의 구조
최근 발전을 되돌아보면 이를 잘 알 수 있다. 이미지 인식을 위한 신경망은 꾸준히 개선됐지만, 인간을 능가할 정도로 이미지 인식 정확도를 획기적으로 개선한 순환 신경망(RNN) 아키텍처가 개발되기 전까지는 정확도가 충분히 높지 않았다. 트랜스포머 아키텍처의 등장으로 텍스트를 예측하는 신경망도 극적으로 개선됐으며, 이것이 LLM으로 바로 이어졌다. 이제는 이미 수확 체감의 법칙이 시작됐다. GPT-4는 GPT 3.5의 100배 크기로 알려졌는데, 눈에 띄게 개선되긴 했지만 100배 더 나은 것은 분명 아니다.

실제로 팀 오라일리는 최근 매체 '디인포메이션'의 오피니언 기고문에서 LLM의 급격한 증가가 AI 시장 혁신에 해를 끼칠 수 있다고 주장했다. 그는 소수의 돈 많은 LLM 투자자가 시장을 왜곡해 제품 시장 적합성을 저해하는 독점 경쟁을 부추기고 결국 고객에게 피해를 줄 수 있다고 경고했다.

그 의미는 분명하다. LLM에 대한 과장된 투자는 수익률 하락으로 이어질 위험이 있다. 보다 다양한 인공지능 기술에 자금을 투자하는 것이 더 나을 수 있다. 미로처럼 얽힌 인공지능의 지형을 헤쳐나갈 때 역사의 교훈에 귀 기울일 필요가 있다. 진보는 단일 문화가 아니라 다양성 위에서 나타난다. AI의 미래는 돌에 새겨져 있지 않으며, LLM의 한계를 뛰어넘고자 하는 선구자들의 독창성에 의해 만들어질 날을 기다리고 있다.

* Matt Asay는 몽고DB의 개발자 관계 업무를 담당하고 있다. 그러나 본 글은 몽고DB의 입장이 아니다. ciokr@idg.co.kr