'랭크브레인부터 MUM까지'··· 구글 부사장이 전하는 검색의 진화 이야기

"유용한 검색 결과를 제공하기 위해 많은 노력이 필요하며, 언어 이해는 가장 중요한 검색 기술 중 하나다. 인공지능 및 머신러닝의 발전 덕분에 구글 검색 시스템은 그 어느 때보다 인간의 언어를 더 잘 이해하고 있다. 사실, 우리가 매일 보는 검색의 15%는 완전히 새로운 것이다. 인공지능은 상상력의 가장 바깥쪽에서도 유용한 결과를 보여주는 데 중요한 역할을 한다."

구글의 판두 나약 부사장이 구글 검색 시스템에서 인공 지능의 역할과 발전에 대한 비하인드 스토리를 공식 블로그를 통해 소개했다. 단어 기반의 단순 검색에서 출발한 검색 시스템에 인공 지능을 활용한 알고리즘이 적용되면서, 항상 진화하고 있는 세상 사람들의 호기심에 맞춰 검색 시스템도 진화를 거듭하고 있는 것이다.



랭크브레인은 구글 검색에 적용된 최초의 딥러닝 시스템으로, 단어를 개념으로 이해해 검색에 활용하기 시작했으며, 검색 결과의 순위를 지정하는데 활용한다(위). 뉴럴 매칭이 적용되면서 쿼리(Query)와 페이지에서 개념의 모호한 표현을 이해하고 서로 일치시키는 단계로 발전한다(아래).

그에 따르면 인공지능을 구글 검색에 본격적으로 사용하기 이전에는 단순하게 일치하는 단어를 찾는 수준에 머물렀다. 검색할 키워드를 입력하면 정확하게 일치하는 단어를 찾고, 맞춤법의 오류가 있다면 올바른 맞춤법을 적용해 검색하는 것이다. 이 과정에서 사람들이 자주 하는 맞춤법 실수나 잠재적인 오타처럼, 비슷한 패턴의 클래스를 찾는 알고리즘을 개발하기 시작했다.

그는 "새로운 AI 시스템을 개발할 때 우리의 레거시 알고리즘과 시스템은 그냥 방치되는 것이 아니다. 실제로 검색은 수백 가지 알고리즘과 머신러닝 모델에서 실행되며, 새 시스템과 기존 시스템이 함께 잘 작동할 수 있을 때 이를 개선할 수 있다. 각 알고리즘과 모델에는 특별한 역할이 있으며, 가장 유용한 결과를 제공하는 데 도움이 되도록, 서로 다른 시간과 고유한 조합으로 트리거 된다"라고 전하며, 검색에서의 AI 진화 과정을 다음과 같이 설명했다.

검색에 적용된 최초의 딥러닝 시스템은 2015년에 선보인 랭크브레인(RankBrain)이다. 최초의 AI 시스템이면서 단어가 개념과 어떻게 관련되어 있는지를 이해하는 기술이었다. 사람은 단어와 개념을 구분하는 것이 어렵지 않지만 컴퓨터에게는 복잡한 과제였고, 랭크브레인을 통해 검색 단어와 실제 개념의 관련성을 광범위하게 이해하게 되면서, 이전에는 찾을 수 없던 정보를 찾을 수 있게 되었다.

검색 엔진이 고객이 검색하고 있는 단어가 아닌 개념을 이해할 수 있기 때문에, 단어를 이해하고 개념을 일치시켜 검색을 하는 것이다. 랭크브레인은 이러한 검색 알고리즘을 기반으로 상위 검색 결과의 순위를 지정하거나 최상의 순서를 결정한다. 최초 적용된 딥러닝 모델이지만 랭크브레인은 지금도 검색을 지원하는 중요한 인공지능 알고리즘 중에 하나다.

2018년에는 검색에 신경망(Neural networks)을 적용한 신경 매칭(Neural matching)이 도입되면서, 쿼리(Query)와 페이지에서 개념의 모호한 표현을 이해하고 서로 일치시키는 단계로 발전한다. 단순히 키워드가 아닌 전체 쿼리 또는 페이지를 살펴보고, 이를 통해 검색을 통해 찾고자 하는 개념을 좀 더 포괄적으로 이해하는 것이다.

그는 "예를 들어 , '녹색 관리 방법에 대한 통찰력(insight how to manage a green)'을 검색하라고 입력하면, 사람이라면 오히려 무엇을 요청하는지 당황할 것이다. 하지만 신경 매칭은 관리, 리더십, 성격 등의 쿼리 개념에 대한 광범위한 표현을 살펴보며, 검색자가 인기 있는 색상 기반의 성격 가이드를 기반으로 한 관리 팁을 찾고 있다고 해독할 것이다"라고 신경망을 활용한 검색 과정을 설명했다.

2019년에는 의미와 맥락을 이해할 수 있는 BERT(Bidirectional Encoder Representations from Transformers)가 출시되면서 검색 수준이 자연어를 이해할 수 있는 수준으로 한 단계 진화한다. 단순하게 각각의 단어와 일치하는 콘텐츠를 검색하는 단계에서, 서로 다른 단어 조합이 가진 의미와 의도를 이해해서 검색하는 단계까지 발전한 것이다.

그는 "BERT는 개별 단어와 일치하는 콘텐츠를 단순히 검색하는 것이 아니라, 단어 조합이 복잡한 아이디어를 표현하는 방법을 이해한다. BERT는 시퀀스의 단어와 단어가 서로 어떻게 관련되어 있는지 이해하므로, 아무리 작은 단어라도 쿼리에서 중요한 단어를 삭제하지 않는다. BERT 덕분에 우리는 작은 단어라도 큰 의미를 가질 수 있음을 이해한다"라고 전했다.

BERT는 거의 모든 영어 쿼리에서 중요한 역할을 하고 있는데, 이는 순위 지정과 검색에 탁월하기 때문이라는 것이다. BERT를 기반으로 문서의 관련성을 빠르게 분석해 순위를 매길 수 있고, 레거시 시스템을 개선해 관련 문서를 검색하는 데도 유용하다는 것의 그의 설명이다. 물론 BERT 역시 단독으로 작동하는 것이 아니라, 다른 검색 알고리즘과 조화를 이루며 함께 활용되고 있다.

2021년 5월에는 MUM(Multitask Unified Model)이 등장하면서 검색 시스템이 새로운 단계로 접어들었다. 그는 "MUM은 언어를 이해하고 결과를 생성하는 능력이 BERT 보다 천 배나 강력하고, 한 번에 75개의 언어를 이해하고 다양한 작업이 가능하도록 훈련이 되어 있다. 특히, 다중모드를 지원하기 때문에 텍스트, 이미지 등과 같은 여러 가지 형식의 데이터에서 정보를 이해할 수 있게 될 것이다"라고 설명했다.

MUM은 아직 개발 초기 단계로 코로나19의 백신 정보에 대한 검색을 개선하는 데 사용했고, 앞으로 텍스트와 이미지를 조합하여 검색이 가능한 직관적인 방법을 제공할 예정이다. 다만, 아직까지는 MUM이 검색 결과의 순위를 정하거나 품질을 개선하는 데는 사용되지는 않고 있다. 앞으로 MUM 기반 검색 환경이 확산되면, 고급 언어 이해를 기반으로 좀 더 미묘한 정보를 이해할 수 있는 수준으로 발전할 것이라고 그는 전했다. ciokr@idg.co.kr