Offcanvas

AI / How To / 머신러닝|딥러닝 / 신기술|미래 / 인문학|교양

기고 | 전이 학습, 임베딩, 트랜스포머... 생성형 AI의 '근간 기술' 안내서

2023.04.26 루디나 세서리  |  CIO
생성형 AI 모델 덕분에 인류는 사상처음으로 인간에 가까운 수준으로 자연어를 이해하고 텍스트 및 이미지를 포함한 다양한 미디어에서 결과물을 생성 및 합성할 수 있는 시스템을 보유하게 됐다. 생성형 AI 및 생성형 AI 기반 파운데이션 모델(foundation model)은 비즈니스 기회에 있어 패러다임 변화에 해당한다. AI 활용을 탐색하는 기업에 상당한 변화를 미칠 전망이다.

이러한 기술을 가능케 하는 것은 강력하고 일반적인 파운데이션 모델로, 보다 전문화된 생성형 AI 모델 개발을 위한 토대 혹은 시작점이 된다. 이 파운데이션 모델은 방대한 양의 데이터로 훈련된다. 자연어 지침에 따라 놀라운 정교함을 갖춘 아웃풋을 생성할 수 있다. 일생 동안 접한 다른 예술가의 작업과 자신의 영감을 결합해 완전히 새로운 것을 창조해내는 재능 있는 예술가라고 비유할 수 있을 것이다. 

이러한 발전에 대한 기사가 앞다투어 나오게 되면서 많은 비즈니스 및 경영진 리더들은 생성형 AI가 갑자기 생겨난 것처럼 생각할 수 있다. 그러나 사실 이 새로운 아키텍처는 지난 수십 년 동안 발전해온 접근방식을 토대로 구축됐다. 업무에 도입하고 혁신 기회를 앞서 포착하려면 이러한 기저 기술의 역할을 이해하는 게 상당히 중요하다. 
 
Image Credit : Getty Images Bank


우리는 어떻게 여기에 이르렀는가?
생성형 AI에서 주목할 만한 실행 기술(enabling technologies)으로는 2000년대 초중반에 등장한 딥러닝, 임베딩(embeddings), 전이 학습(transfer learning)과 더불어 2017년 발명된 신경망 트랜스포머(neural net transformers)이다. 단 모델 규모 및 훈련 양 측면에서 전례 없는 규모로 이러한 기술을 활용할 수 있게 된 것은 최근의 현상이다.   

딥러닝은 2000년대 초 학계에서 등장했으며 2010년경부터 광범위한 채택이 시작됐다. 머신러닝의 하위 분야인 딥러닝의 경우, 다양한 작업을 위한 모델을 예시 제시를 통해 훈련시킨다. 딥러닝은 뉴런(neurons)라고 불리는 상호 연결된 간단한 컴퓨팅 노드 층으로 구성된 인공 신경망(artificial neural net)이라는 특정 유형의 모델에 적용될 수 있다. 

각 뉴런은 다른 뉴런이 전달한 정보를 처리한 다음 그 결과를 다음 층의 뉴런에 전달한다. 신경망 모델의 매개 변수는 훈련에서 모델에 제시된 예를 사용해 조정된다. 그 다음 이 모델은 이전에는 볼 수 없던 새로운 데이터를 예측하거나 분류할 수 있다. 예를 들어, 수천 개의 개 사진으로 훈련된 모델을 보유한 경우, 이 모델을 활용해 이전에는 볼 수 없던 이미지에서 개를 감지할 수 있다. 

전이 학습은 2000년대 중반에 등장해 빠르게 대중화됐다. 전이 학습은 한 작업의 지식을 활용해 다른 작업의 모델 성능을 개선하는 머신러닝 기술이다. 이러한 강력한 기술을 이해하기 위한 적절한 비유로는 ‘로맨스어(Romance Languages)’ 중 하나를 배우는 것에 비유할 수 있다. 유사성으로 인해 스페인어를 배운 사람은 이탈리아어와 같은 다른 로맨스어를 배우는 게 더욱 수월할 수 있다. 

전이 학습은 모델이 한 작업의 지식을 다른 관련 작업에 활용할 수 있도록 하기 때문에 생성형 AI에 필수적이다. 이러한 기술은 데이터 부족 문제를 완화하기 때문에 획기적임이 입증됐다. 

또한 전이 학습은 생성된 콘텐츠의 다양성 및 품질을 개선할 수 있다. 예를 들어 대규모 텍스트 데이터 셋에서 사전 훈련된 모델의 경우, 특정 도메인 혹은 스타일에 특화된 더 작은 규모의 텍스트 데이터 셋에서 미세 조정될 수 있다. 이를 통해 모델은 특정 도메인 혹은 스타일을 위한 더욱 일관성 및 관련성 있는 텍스트를 생성할 수 있다.  

2000년대 초 중반에 대중화된 또 다른 기술은 임베딩이었다. 임베딩은 데이터 및 빈번히 사용되는 단어를 수치 벡터(numerical vectors)로 표현하는 방법이다. 챗GPT와 같은 소비자 대면 기술이 단어 임베딩(word embeddings)의 힘을 보여주는 훌륭한 예다. 단어 임베딩은 단어 간의 의미론적 및 구문적 관계를 포착하도록 설계됐다. 

예를 들어, ‘개’ 및 ‘사자’라는 단어의 벡터 공간 표현은 ‘사과’라는 단어의 벡터 공간보다 서로 훨씬 더 가까울 것이다. ‘개’와 ‘사자’가 상당한 맥락적 유사성을 가지고 있기 때문이다. 생성형 AI의 경우, 이를 통해 모델은 단어 및 문맥상 의미 사이의 관계를 이해할 수 있으며, 챗GPT와 같은 모델이 문맥상 관련성이 있고 의미론적으로 명확한 원본 텍스트를 제공할 수 있게 된다.

임베딩은 언어의 표현으로서 상당히 성공적인 것으로 입증되었으며, 새롭고 더 강력한 신경망 아키텍처에 대한 탐구를 촉발시켰다. 이러한 아키텍처 중 중요한 기술 중 하나인 트랜스포머는2017년 개발됐다. 트랜스포머는 자연어와 같은 순차적 입력 데이터를 처리하고 텍스트 요약 및 번역과 같은 작업을 수행하도록 설계된 신경망 아키텍처다. 

특히 트랜스포머는 ‘셀프 어텐션(self-attention)’ 메커니즘을 통합한다. 이를 통해 모델은 맥락에 적합하도록 단어 간 복잡한 관계를 포착하기 위해 필요에 따라 입력 시퀀스의 다른 부분에 집중할 수 있다. 따라서 모델은 각 문맥에 따라 입력 데이터의 각 부분 중요도를 다르게 재는 방법을 학습할 수 있다. 

예를 들어, ‘그 개는 울타리를 뛰어넘지 않았다. 그것은 너무 피곤했기 때문이다’라는 문구에서 모델은 각 단어 및 단어 위치 처리를 위해 문장을 살펴본다. 그 다음 셀프 어텐션을 통해 이 모델은 ‘그것’과 가장 가까운 연관성을 찾기 위해 단어 위치를 평가한다. 셀프 어텐션은 현재 처리 중인 ‘그것’과 관련된 문장의 모든 단어에 대한 이해를 생성하기 위해 활용된다. 따라서 모델은 ‘그것’이라는 단어를 ‘울타리’라는 단어보다는 ‘개’라는 단어와 연관시킬 수 있는 것이다. 

회원 전용 콘텐츠입니다. 이 기사를 더 읽으시려면 로그인 이 필요합니다. 아직 회원이 아니신 분은 '회원가입' 을 해주십시오.

Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.