최형광 칼럼 | AI, 생각에 관한 생각

많은 것들이 시간이 지나면 해결된다. 그 과정을 보고 싶다면 오래 살아야 한다. 전제 조건은 기술이 더 빠르게 발전해야 볼 수 있다는 것이다. 인공지능이 빠르게 발전하고 있다. 기계가 노동을 대체하던 시대가 있었다. 이제는 소프트웨어가 노동을 대체하고 있다. 체력은 노동을 위해 필요한 것이 아니라 인생의 즐거움을 위해서로 쓰임새가 전환되고 있다.

세상은 인간 공동체의 생각이 구현되면서 움직인다. 인공지능은 생각을 프로그래밍으로 구현한다. 인간은 세상을 만들고, 세상이 인간을 만든다. 인공지능으로 우리의 생각을 구현하고, 구현된 인공지능은 인간의 생각을 만든다. 순환되며 축적되는 인프라는 세상의 도약을 만든다. 우리를 세상과 떼어 놓을 수 없듯이 생각을 인공지능 프로그래밍과 떼어 놓을 수 없다. 이 컬럼을 읽는 것도, 원하는 상품의 구매와 주식 거래도 주말계획을 위한 검색도 한편으로는 인공지능의 도움이다. 

AI, 기계의 생각구현
인공지능은 “기계도 생각할 수 있을까?”(앨런 튜링)로 시작했다. 카너먼의 ‘생각에 관한 생각’에 따르면 인간은 두가지의 생각 영역을 가진다. 그 생각 영역을 사고 체계라 하며 이를 시스템1, 시스템2라 한다. 시스템1은 직관적(Fast Thinking) 사고방식으로 빠르게 작동하지만 많은 노력을 요구하지 않는다. 시스템2는 논리적 사고방식으로 느리게(Thinking Slow) 작동하기에 노력과 시간이 필요해지며 선택과 집중이 요구된다. 


[그림1]은 인공지능, 머신러닝과 딥러닝의 발전과정  

인공지능과 프로그래밍의 발전은 [그림1]에서 볼 수 있다. 그림의 윗부분에서 보다시피 초기의 컴퓨팅 프로그래밍은 명시적으로 출발했다. 이는 모든 체계를 알려주고, 규칙과 범위 안에서 동작하는 것을 말한다. 시간과 학습이 요구되기에 사고 체계의 시스템2에 해당한다. 그림의 아랫부분에 ‘Emergence of…’가 있다. 이머전스(Emergence-발견, 창발로 많이 번역됨)는 명시적(Explict)으로 프로그래밍을 구현하는 방법이다.

① 이머전스 측면의 머신러닝의 초기에는 어떻게(how) 특성을 찾을지 방법을 컴퓨터에 알려줘야 했다. 이는 지도 학습을 의미한다. 신경망을 이용한 딥러닝으로 발전하면서 스스로 어떤 특성(Feature)을 찾아내는 방법으로 진화하며 비지도 학습을 하게 된다. 딥러닝이 거대한 파운데이션 모델로 발전하면서 기능성을 갖추기 시작한다. 이머전스한 방법이 명시적에서 점차 묵시적(Implict) 방법으로 진화함을 의미한다. 인간의 사고 체계를 본다면 시스템2에서 출발한 방법이 축적되면서 시스템1의 영역으로 넘어가는 통합 단계라 볼 수 있다.

② 호모지니제이션(Homogenization)는 단일성 측면의 발전과정이다. 호모지니제이션(단일성, 균질화)은 초기 머신러닝 목적을 구현하기 위한 보편적 알고리즘에 대한 탐색이다. 딥러닝으로 심층화 되면서 알고리즘 보다는 전체를 조망하여 답을 찾는 아키텍처로 발전하게 되었다. 마찬가지로 파운데이션 모델로 발전하며 이제는 하나의 동일한 모델로 다양한 문제를 해결하는 수준으로 가고 있음을 보여준다. 이머전스와 같이 시스템1과 시스템2의 영역이 하나의 사고 체계로 움직이게 됨을 의미한다.

인공지능은 시스템2의 명시적 영역을 사람보다 빠르게 수행할 수 있다. 초기에는 고양이와 개를 어떻게 찾을지, 어떤 특징이 있는지 알려줘야 했다. 이때 알고리즘은 유용한 해결책이 되었다. 발전된 딥러닝은 다른 동물인지 같은 동물인지를 알게 된다. 유사성 분류를 위해 심층화되고 역전파되는 아키텍처가 중요해진다. 

모델이 커지며 파운데이션으로 발전한다. 위키피디아, 블로그, 뉴스 등의 수 많은 빅데이터를 포함하여 분석하게 된다. 인간의 생각과 상상을 넘어서는 데이터와 이미지, 사진과 스크립트를 통해 연관성을 파악하게 되고, 어떤 그림 또는 사진이 어떤 동물인지, 그 동물의 종은 무엇인지, 이름은 무엇인지, 어느 지역에 서식하는지 까지 알게 된다. 

초거대 언어, 파운데이션 모델
초거대 언어모델(LLM, Large Language Model)은 딥러닝을 사용하는 대규모 자연어처리 기술이다. 컴퓨팅 언어가 아닌 인간의 언어로 처리(소통)할 수 있다. 앞서 설명한 바와 같이 초거대 파운데이션은 기술적인 측면에서 새로운 기술은 아니다. 파운데이션 모델은 그 동안 연구되어 온 CNN, RNN 등의 심층신경망(Deep Neural Network)과 강화학습, 자기주도학습(Self- Supervised learning) 기법을 사용하고 있다. 

지금 시대를 평정하는 기술은 2017년에 발표된 트랜스포머(Transformer ; 논문 ‘Attention is All You Need’ 2017)가 리드한다. 다 필요 없고 “어텐션만 있으면 된다”가 활용되고 있다. 그 동안 자연어 처리는 특정 단어 전후에 어떤 단어가 오는지에 대한 확률값 등의 분석에 주의를 기울였다면, 트랜스포머의 어텐션 기법은 텍스트에서 어떤 것이 중요한 단어인지를 파악하는 기법이다.


[그림2] 데이터 기반의 파운데이션 모델 및 활용성

사람 사이의 대화에서 또는 주장에서 우리는 늘 집중하는 대신, 대화 중에 강조하는 특정 단어를 캐치하여 이해한다. 이는 시스템2의 영역으로 집중하면서 시스템1의 영역으로 수용함을 의미한다. 이런 역할을 어텐션이 수행한다. 이를 기반으로 완성된 모델 중 하나가 오픈AI의 챗GPT(Generative Pre-trained Transformer)다. [그림2]는 앞서 살펴본 파운데이션 모델의 프로세스와 다양한 활용을 보여주고 있다.

자연어 프롬프트 입력(Prompt based learning)으로 질문하기 전에 대한 배경을 입력(명시)하면 그 내용을 기반으로 답을 작성해 준다. 간단한 명시를 통하여 묵시적인 지능으로 답을 만들어 낸다. 적합한 프롬프트로 지시하면 그에 따라 질문의 완성도가 달라진다. 모델의 매개변수가 많다는 것은 다양한 경우의 대처가 가능하고 그에 따른 적합한 답을 한다고 볼 수 있다. 그 매개변수가 수천억개로 인간의 범위를 넘어서는 능력을 갖추고 있다.

호모 사피엔스(Homo Sapiens), 생각하는 존재
인간은 생각하는 존재(Homo Sapience)다. 인간의 생각이 기계로 구현되고 있다. 효율적인 알고리즘의 파운데이션으로 인식하여 파악되고 만들어진다. 복잡한 생각이 하나 하나의 연결성을 갖는 뉴런으로 인간의 이머전스는 바로 구현된다. 지금 호모 사피엔스에 필요한 것은 무엇인가? 생각에 관한 생각에서 우리는 어떤 생각을 할 것인가? 

* 최형광 교수(hk.choi@ssu.ac.kr)는 숭실대학교 일반대학원 AI·SW융합학과에서 학생들을 지도하고 있다. ciokr@idg.co.kr