블로그 | 마침내 동트는 ‘AI 기반 지식 관리’ 시대

오픈소스 AI 대형 언어 모델(LLM)을 좀더 작은 규모로 구축한다면, 기업은 자체 데이터 자산을 활용해 혁신과 경쟁 우위를 확보할 기회를 마련할 수 있다.
 

지난 30년 동안, 조직의 지식 자산을 수집, 관리 및 활용할 수 있다는 꿈은 진정으로 실현된 바 없었다. 정보 자산을 전사적으로 공유하는 시스템은 정교하게 발전했지만, 디지털 파일에 있는 정보를 사용 가능한 지식으로 변환하는 일은 다음 단계로 나아가지 못했다. 데이터는 방대한 사일로에 존재하지만, 실질적인 지식은 여전히 직원에게 있었다.

하지만 대형 언어 모델(LLM)의 등장으로 진정한 의미의 지식 관리(Knowledge management, KM)가 현실화되려는 조짐이 나타나고 있다. LLM은 인간 분석가를 뛰어넘는 규모와 속도로 디지털 데이터의 의미를 추출한다. 2023년 CIO 현황 설문 조사에 따르면 71%의 CIO가 향후 3년 동안 비즈니스 전략에 더 많이 참여할 것으로 예상하고 있으며, 그중 85%가 디지털과 혁신에 더 중점을 두고 있다고 답했다. 조직의 지식 자산에 LLM을 적용하면 이러한 추세가 더 가속화될 수도 있겠다.

적을수록 풍부하다(Less is More)
오픈AI의 챗GPT, 달-E 2 등 생성형 AI 모델은 AI와 관련한 사람들의 생각에 혁신을 가져왔다. 시를 쓰는 것부터 이미지를 만드는 작업까지, 컴퓨터가 몇 가지 단순한 프롬프트만으로 새로운 콘텐츠를 만들어내는 모습에 사람들은 깜짝 놀랐다. 그러나 이 작업을 수행하는 데 쓰이는 LLM의 규모는 오픈AI조차도 감당하기에 방대하고 비싸다. GPT4는 34일 동안 1,000개 이상의 GPU를 통해 45테라바이트 이상의 텍스트 데이터를 학습했으며, 약 500만 달러 수준의 전력을 소모했다. 실제로 오픈AI는 지난 2022년 113억 달러의 펀딩을 받았음에도 불구하고 5억 4,000만 달러의 손실을 기록했다. 

자체 LLM을 개발하려는 대부분의 조직은 이러한 비용과 운영 규모를 감당하기 어렵다. 다행히 기업 다수에게 AI의 미래는 내부 데이터 자산을 기반으로 훨씬 더 작은 모델을 구축하고 적용하는 데 있다. 오픈AI 같은 기업이 제공하는 API에 의존하며 잠재적으로 민감한 데이터를 타사 서버에 업로드하는 위험을 감수하는 대신, 기업은 소규모 LLM을 사내에 도입한다는 새로운 접근 방식을 취할 수 있다. LLM 모델, 모조(Mojo) 같은 새로운 언어, 파이토치(PyTorch) 같은 AI 프로그래밍 프레임워크의 매개변수를 조정하면 AI 프로그램을 실행하는 데 필요한 컴퓨팅 리소스와 시간을 크게 줄일 수 있다.

오픈소스가 더 나을 수 있다(Open is Better)
웹이 오픈소스 소프트웨어와 프로토콜을 기반으로 구축된 것처럼, 여러 엔터프라이즈 AI 이니셔티브가 라마(LLaMA) 같은 오픈소스 모델과 로라(LoRa) 같은 무료 기술을 기반으로 구축될 가능성이 높다. 최근 유출된 구글의 AI 관련 내부 문서에는 눈길을 끄는 대목이 있다.

“교육과 실험에 대한 진입 장벽이 대형 연구 기관의 전체 설비 수준에서 한 사람, 저녁 시간, 뚱뚱한 노트북 수준으로 낮아졌다.”

진입 장벽은 더 낮아지고 결과는 더 좋아질 것이며, 이를 통해 스타트업과 기업은 비즈니스, 워크플로우의 특정 요구사항에 초점을 맞춘 틈새 모델을 구축할 수 있을 것으로 보인다. 

생성형AI에서 신스AI(SynthAI)로
이러한 모델 개발의 핵심은, 단순한 프롬프트를 기반으로 새 콘텐츠를 만들어내는 AI 시스템에서, 기업 내부 데이터를 학습해 사용 가능한 인사이트와 권고안을 생성하도록 프로그래밍된 모델로 이동하는 것이다.

챗GPT 등 LLM은 신뢰할 만한 결과도 생성하지만, 모델에 입력된 데이터가 어떻게 쓰이는지, 모델이 제공하는 답변이 사실인지 아닌지 명확하게 나타내지 않는다. 최근 뉴욕에서는 한 변호사가 법원 서류를 만들고 고객의 주장을 뒷받침하는 데 챗GPT를 사용한 사례가 있었다. 챗GPT가 과거 사건으로 나열한 사례는 유력한 증거처럼 보였지만, 그중 6건은 실제 사건이 아니었다. 생성형 AI의 결과물에 의존할 때 겪을 수 있는 위험성을 보여준 사례다.

실리콘 밸리의 벤처 캐피털 A16Z는 업무 환경 관련 AI의 미래가 챗GPT 같은 LLM이 아니라 특정 비즈니스 요구 사항을 해결하기 위해 설계된 집중 모델에 있다고 최근 진단했다. A16Z 측은 이 모델을 신스AI라고 부르면서, 자체 데이터 세트로 학습된 신스AI가 고객 지원 문제를 해결하거나 시장 조사 결과를 요약하거나 개인화된 마케팅 이메일을 작성하거나 하는 등의 개별 목적에 최적화돼 있다고 전했다.

기업의 데이터 자산을 더 잘 관리하기 위해 신스AI를 적용하는 것은, AI 혁명에 있어 다음 단계로 자연스럽게 진화하는 과정이다. 컨설팅 회사 BCG는 설문 조사 및 고객 참여로 수집한 보고서, 프레젠테이션, 데이터 등 50년 분량의 아카이브에 신스AI를 적용했다. 이전까지는 직원들이 키워드 검색으로 파일을 검색한 뒤 각 문서를 읽어보고 관련성을 확인해야 했지만, 이제는 시스템이 질문에 따라 유용한 답변을 제공한다. 

지식 관리라는 꿈이 마침내 현실화되고 있다.

* Martin De Saulles 박사는 데이터 기반 혁신과 사물인터넷 연구 및 집필을 전문으로 하는 작가이자 학자다.  ciokr@idg.co.kr