Offcanvas

검색|인터넷 / 비즈니스|경제

칼럼 | 검색을 장악하는 기업이 시장을 지배한다

2022.05.02 Marcus Eagan  |  InfoWorld
2000년 당시 야후는 초창기 월드 와이드 웹에서 가장 인기 있고 가장 빠르게 성장하는 서비스 중 하나로, 역사상 최대 규모의 시장 기회를 잡을 수 있는 가장 유리한 고지에 있었다.
 
ⓒ Getty Images Bank

인터넷은 여전히 비교적 새로운 환경이었고(당시 웹사이트 수 1,700만 개인데, 지금은 16억 개다) 야후의 경쟁사는 '시작 페이지'나 '포털(이메일, 뉴스, 금융, 스포츠와 같은 서비스로 연결되는 관문이라는 의미)' 같은 엉성한 명칭으로 분류됐다. 야후는 당시 새로운 '웹' 경험을 위해 가장 사용자 친화적인 인터페이스와 최상의 콘텐츠를 보유했고 압도적인 트래픽을 끌어들이고 있었다.

그런데 야후는 2000년 6월 구글을 '기본 검색 엔진 공급업체'로 선택했다. 그때부터 야후의 검색 상자에는 '구글 제공(powered by Google)'이라는 광고 문구가 붙었다. 그러자 사용자는 어느 순간 구글에서 직접 검색하기 시작했다. 현재 구글(또는 '알파벳')의 시가 총액은 1조 7,000억 달러다. 반면 야후는 최선의 시점에 최선의 위치에 있었음에도 그 기회를 활용하지 못하고 초기 상업적 인터넷의 낙오자로 기록됐다.
 

검색을 장악하는 기업이 시장을 가진다

이 사례의 역사적 교훈은 단순히 구글이 검색으로 인터넷을 정복했다는 것이 아니다. 중요한 것은 검색이 모든 지배적 IT 기업이 현재의 시장 점유율을 얻은 원동력이란 것이다. 애플의 경우 검색으로 앱(앱 스토어)과 음악(아이튠즈)을, 페이스북은 검색으로 소셜 네트워크를, 아마존은 역시 검색으로 전자상거래를 장악했다. 현재 가장 기업가치가 큰 모든 IT 기업은 각자의 영역에서 검색의 최강자다. 역사는 검색이 의문의 여지 없는 가치 동인이며 검색을 장악하는 기업이 시장을 지배한다는 사실을 반복해서 보여줬다.

그런데 지금도 여전히 많은 개발자가 검색이 애플리케이션 플랫폼의 근본적인 요소임을 인식하지 못한다. 애플리케이션에 나중에 '가져다 붙이는' 기능으로 보거나, SQL의 LIKE 쿼리나 기타 미봉책으로 때운다. 애플리케이션 플랫폼 전략에서 검색이 갖는 중요성을 이해하기 위해 무엇이 관건인지, 왜 검색을 제대로 구현해야 하는지 알아보자.
 

검색은 사용자와의 대화

약국에 들어가 '코로나19 자가진단 키트 있어요?'라고 물었는데, 약사가 질문에 대답도 하지 않고 외면한다면 어떤 기분일까? 무시 받은 느낌? 모욕감? 분명한 것은 그 약국을 다시 찾지 않으리라는 것이다. 기업 서비스에서도 마찬가지다. 검색은 사용자와의 대화다. 검색은 사용자가 기업 데이터를 더 쉽게 다룰 수 있도록 하는 방법이다. 그보다 더 중요한 것이 있을까?

10년 전에 검색 기능 개발자는 대부분 텍스트 파싱에 주력했다. 자연어, 분석 체인, 색인 구축, 모두 언어가 어떻게 구성되며 어떤 단어가 중요하고 발음 부호를 어떻게 처리할지 등에 관한 수십 년에 걸친 연구를 기반으로 했다. 이후 검색은 순위 학습 개념으로 발전하면서 과거의 사용자 대화에서 관찰된 내용을 기반으로 검색 결과를 정렬할 수 있게 됐다. 이 기능은 지금도 모든 검색 엔진이 제공하는 매우 유용한 기본 검색 기능이다.
 

사용자보다 한발 앞서 결과를 제시하라

오늘날 검색은 사용자 스스로가 무엇을 찾는지 인지하기도 전에 예측해서 보여주는 단계까지 비약적으로 발전하는 중이다. 넷플릭스를 방문하면 넷플릭스는 사용자가 좋아할 영화 또는 관심을 가질 만한 TV 프로그램을 이미 알고 있다. 이것은 검색 인덱싱과 머신러닝의 힘을 활용한 개인화(personalization)의 전형적인 사례다.

사용자가 무엇을 원하는지 예측하는 작업의 근간에는 인간의 뇌가 기능하는 방식을 모방하는 수학이 자리 잡고 있고, 그 과정을 이끄는 것은 벡터 공간이다. 즉, 단어, 문장 또는 문구를 언어 모델에서 나타나는 위치에 따라 그래프로 표현한 것이다.

이처럼 검색은 텍스트 표현에서 벡터 표현으로 이동하는 중이다. 보편적 인터넷, 보편적 전자상거래, 보편적 스마트폰으로 구성된 디지털 네이티브 세계가 멀티 모달(multi-modal) 정보 추출의 다음 단계로 우리를 이끌고 있다. 메타버스가 대세가 되든 다른 미래 플랫폼이 부상하든 관계없이, 인터페이스는 때로는 텍스트가, 때로는 음성이나 이미지, 비디오가 될 것이다. 궁극적으로는 뇌와의 직접적인 뉴럴 링크가 될 수도 있다.

벡터 표현은 이와 같은 유형의 멀티 모달 정보 추출을 검색에서 가능하게 한다. 텍스트만으로는 불가능한 발견이다. 똑같은 단어도 20세 미만의 누군가가 말할 때와 60세 이상의 누군가가 말할 때 그 의미는 전혀 다를 수 있다. 그만큼 사람마다 말하는 방식은 다르다. 따라서 어떤 사람이 원하는 것을 예측하려면 그 사람이 누구인지, 무엇을 찾고 있는지를 동시에 분석(파싱)해야 한다.
 

SQL LIKE 쿼리는 검색의 막다른 길

따라서 개발자는 검색 구현 방법을 어떻게 결정하느냐에 따라 번영의 기반을 닦을 수도 있고, 반대로 빠르게 발전하는 벡터 표현과 멀티 모달 정보 추출 세계에 발맞추지 못하고 뒤처질 수도 있다.

여기서 큰 걸림돌이 되는 것이 바로 SQL LIKE 쿼리에 대한 의존성이다. 오래된 이 관계형 데이터베이스 접근 방식은 애플리케이션 플랫폼의 검색 관점에서 막다른 길과 같다. LIKE 쿼리는 루씬(Lucene) 또는 다른 현대 검색 엔진에 내장된 기능을 따라갈 수 없다. 또한 운영 워크로드의 성능에도 부정적인 영향을 미쳐 정량자(quantifier)를 통한 리소스 과소비로 이어진다. 이것들은 60~70년 전 SQL의 유물이다. 애플리케이션 개발 세계에서는 몇만 년의 화석과 마찬가지다.

또 하나 주의해야 할 아키텍처의 함정은, 그저 검색할 수 있는 필드만 있으면 되는 경우에도 모든 애플리케이션 데이터를 검색 엔진에 복제하도록 강제하는 상용 검색 엔진이다. 검색을 위한 문서 저장소와 원본 데이터를 위한 별도의 저장소를 모두 유지 관리하는 방식은 큰 복잡성, 스토리지 비용 증가로 이어진다. 검색 전문가이자 파트타임 데이터베이스 관리자 역할까지 해야 하는 오늘날 풀 스택 개발자의 소중한 시간을 갉아먹는다.

오늘날 검색과 같은 운영 워크로드는 상황에 따라 적응하며 동적으로 작동한다. 이들은 '포스트-SQL'로서, 레거시 데이터베이스의 값비싸고 비효율적인 LIKE, CONTAINS 연산을 과거의 역사로 밀어내고 있다.
 

시작은 사용자 여정과 목적지를 찾는 것

검색의 중요성을 인지한 개발자는 성급하게 전문화된 외부 시스템을 구축하고 단번에 모든 것을 제대로 하려고 하기 쉽다. 그러나 현명한 엔지니어가 그렇게 하지 않는다. 대신 단순화와 반복을 선택한다. 필자가 지금까지 본 모든 성공적인 검색 구현에서 첫 번째 단계는 사용자다. 사용자의 목적지를 관찰한 다음 다양한 사용자 경로를 만들어야 한다. 사용자 인터페이스 디자인과 마찬가지다.

이렇게 관찰해보면 일반적으로 사용자 경로는 다를 수 있지만 같은 곳에서 시작해 같은 목적지에 이르는 경우가 많다는 것을 발견하게 될 것이다. 사용자가 무엇을 하고자 하는지와 그 목적을 이루도록 어떻게 이들을 이끌 것인지를 정확히 이해하면 이 공통점이 드러나고, 결과적으로 검색과 관련된 개발 작업을 간소화하고 더 좋은 검색 경험을 만드는 데 집중할 수 있다.
editor@itworld.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.