2018.09.04

칼럼 | '색인과 진실 사이' 검색 엔진의 길을 묻는다

Mike Elgan | Computerworld
최근 트럼프 대통령은 구글이 자신에 대해 비판적인 기사와 언론사에 유리하게 구글 뉴스 검색 결과를 조작했다고 비난했다. 그 근거로 구글이 버락 오바마 대통령의 연두교서(State of the Union)는 홍보했지만 트럼프가 취임하자 이를 중단했다고 주장했다. 그는 이런 내용의 트위터 동영상에 '#StopTheBias'라는 해시태그를 붙였고, 조회 수는 460만 회를 넘어섰다.



이에 대해 구글 측은 오바마 또는 트럼프의 첫 '연두교서'를 자사 홈페이지에서 홍보한 적이 없다고 반박했다. 또한 트럼프의 2차 및 최근 연두교서를 홍보했다고도 덧붙였다. 웨이백 머신(Wayback Machine)이라는 사이트가 캡처한 소셜 미디어의 스크린샷과 페이지가 이를 뒷받침한다. 이 사건은 현재 악의적인 온라인 정치 논쟁으로 이어지고 있지만, 개인적으로 이 논쟁 자체는 그리 흥미롭지 않다. 반면 이로 인해 드러난 문제에 눈길이 간다.

검색 엔진이란 무엇인가
검색 엔진의 작동 방식은 크게 4가지로 나눌 수 있다. 먼저 인터넷 색인이다. 구글이 1996년 처음으로 검색 엔진을 출시했을 때는 검색 엔진의 정의가 명확했다. 인터넷 색인이었다. 구글의 핵심 기술은 각 결과의 상대적인 관련성 또는 중요성을 반영하는 방식으로 페이지에 순위를 매기는 것이었다. 결과와 순위는 실제 세계에 대한 색인이 아니라 인터넷 세계 만의 반영 또는 스냅샷이었다.

검색 엔진은 진실의 결정권자라고도 볼 수 있다. 이런 관점에서 구글 검색은 객관적으로 사실인 정보에 높은 우선순위를 부여하고 사실이 아닌 콘텐츠는 강조하지 않는다. 객관적인 정보원이기도 하다. 객관적인 소스 개념은 구글이 그 어떤 사상이나 소스도 차별하지 않고 논쟁을 초래할 문제와 모든 정보원의 모든 측면을 제공하려 시도한다는 점이다. 마지막으로 조작되고 개인화된 정보원이다. 개인화된 소스 개념은 검색 엔진이 각 사용자에게 진실에 상관없이 사용자가 원하는 것, 인터넷에서 발생하고 있는 일 또는 기타 요소에 기초해 다양한 결과를 제공하는 것을 의미한다.

이 모든 것이 꽤 추상적이기 때문에 명확한 예를 들어보자. 누군가 구글에서 지구의 모양을 찾기 위해 검색을 한다면 구글이 이 질문에 어떻게 접근해야 할까? 단, 여기서는 지구가 평평하다고 주장하는 사람이 지구가 구체라고 생각하는 사람보다 더 많은 링크를 생성했다고 가정하자. 이런 조건에서 보면, 검색 결과는 구글이 검색 엔진의 정의를 어떻게 생각하는지에 따라 달라진다.

검색 엔진이 인터넷 색인이라면 지구의 모양에 대한 검색 결과는 지구가 평평하다는 콘텐츠가 먼저 노출된다. 검색 엔진이 진실의 결정권자라면 검색 결과는 지구가 구체라는 아이디어에 유리해야 한다. 검색 엔진이 객관적인 정보원이라면 검색 결과는 지구가 평평하다는 이론과 구체라는 이론을 공정하게 반영하는 균형 잡힌 결과를 제공해야 한다. 마지막으로 검색 엔진이 조작되고 개인화된 정보원이라면 결과는 검색 주체의 성향에 따라 지구가 평평하거나 구체라는 생각 중 하나를 사용자에 따라 달리 보여준다.

여기서 지구의 모양을 사람들이 검색창에 입력하는 실제 단어로 바꿔보자. 예를 들어, 기업, 제품, 브랜드 또는 자신에 관한 검색 결과를 보면 검색 엔진의 정의에 대한 앞서 살펴본 혼란이 그대로 적용된다는 것을 알 수 있다. 현재 다니는 기업의 고객과 유망한 비즈니스 파트너 또는 미래의 유망한 직원 등을 검색했을 때 어떤 결과가 나와야 할까? "진실"일까? 아니면 거짓이지만 인기 있는 것이어야 할까? 그것도 아니면 둘 사이의 중립이 반영되어야 할까? 아니면 검색 주체에 따라 달라져야 할까?

진실은 구글이 구글 검색을 통해 이 4가지의 목적을 동시에 추구한다는 점이다. 게다가 검색 결과가 지속적으로 변경되는 알고리즘에 의해 관장되며 이것이 구글의 영업 비밀로 보호받고 있다는 점은 문제의 복잡성을 더한다. 아마도 많은 사람이 구글 검색이 1번 모델(인터넷 색인)을 따르며, 진실, 거짓 또는 사용자가 원하는 답변을 결정하지 않을 것으로 믿을 것이다. 하지만 세상은 점차 구글이 2번 모델(진실의 결정권자)을 포용하기를 요구하고 있다.

정부는 정확한 색인을 꺼린다
트럼프는 일반적으로 뉴스 미디어 기사가 자신에게 불리하도록 편향됐다고 반복해서 주장했다. 그것이 사실이고 구글 뉴스 검색이 미디어가 실제로 보도하는 것에 대한 수동적인 색인이었다면, 트럼프가 구글 뉴스 검색에서 반 트럼프 뉴스가 많을 것으로 예상하는 것이 합리적일까?

구글 뉴스 검색을 "조작"이라고 치부하는 트럼프는 구글 뉴스가 뉴스 미디어 웹사이트가 아니라 자신의 관점에서 보는 현실을 반영해야 한다는 기대감을 드러낸 것이다. 아니면 트럼프가 자신에게 불리하게 편향돼 있다고 생각하는 뉴스 소스에 유리한 활동의 가중치에도 불구하고 구글 뉴스 검색은 모든 의견과 소스에 대해 동등하게 균형 잡히고 중립적인 표현을 제공해야 한다고 생각하는 것일 수도 있다.

전 세계의 정부와 정치 리더들은 인터넷 색인 모델형 검색 엔진을 거부하는 경우가 많다. 대표적인 예가 EU와 아르헨티나에서 법률화된 '잊혀질 권리'이다. 인터넷의 정보는 한 사람에게 불공평한 오명을 씌울 수 있으며 시민은 해당 정보가 "잊혀져" 검색 엔진 결과에서 사라지도록 할 권리가 있다는 것이다.

예를 들어, 한 유명 인사가 파산을 신청했고 인터넷에서 100개의 뉴스 사이트와 블로그가 이 사실을 기록했다고 하자. 20년 후, 그 사람이 재정적 지불 능력을 회복하고 한참 후에도 이 오래된 정보가 여전히 제공되고 있어 검색 엔진에서 찾을 수 있다면 현재와 다른 오명이 발생하게 된다. 이때 잊혀질 권리 신청을 통해 검색 결과에서 이런 페이지 링크를 제거할 수 있다. 페이지는 여전히 존재하지만 검색 엔진은 누군가 그 사람의 이름을 검색할 때 이 링크를 제공하지 않는다. 잊혀질 권리 법안의 지지자들은 분명 검색 엔진이 맹목적인 인터넷 색인 모델이어서는 안되며 실제 세계를 있는 그대로 반영해야 한다고 생각한다.

중국의 사례도 있다. 구글은 최근 중국 정부가 요구하는 대로 중국 사이트와 같은 방식으로 인터넷 콘텐츠를 검열하는 중국 전용 검색 엔진으로 중국 시장에 다시 진출하려 하고 있다는 논란에 휩싸였다. 수백 명의 구글 직원이 시위 서명에 참여했다. 구글은 중국 시장으로 "돌아가고" 싶어한다. 그러나 중국 정부는 구글이 중국인이 접근할 수 있는 인터넷을 정확히 반영한 검색 엔진을 운영하는 것을 허용하지 않을 가능성이 크다. 이 외에도 많은 예가 있다. 많은 국가의 정계에서 검색 엔진의 정의에 대해 인터넷 색인 개념을 지지하는 사람을 찾기는 쉽지 않다.


색인형 검색 엔진 개념이 사라지는 이유
구글이 밝히는 검색 엔진의 목표는 "세상의 정보를 정리해 누구나 접근해 사용할 수 있게 하는 것"이다. 그렇다. 이 문장만으로는 어떤 검색 엔진을 추구하는 것인지 모호하다. 필자가 글을 쓰면서 직접 문의한 결과, 구글은 자사의 목표가 인터넷의 정보가 아니라 "세상"의 정보를 정리하는 것이라고 밝혔다. 사실, 크게 봤을 때 사람들이 인터넷에서 원하는 것은 "생각"하는 것에 관한 정보가 아니라 세상에 관한 정보다. 이를 얻기 위해 구글이나 다른 검색 엔진을 이용한다. 색인형 검색 개념과 거리를 두고 있는 것이다.

실제로도 그렇다. 인터넷 색인 모델의 중요성이 점점 줄어들고 있다. 인터넷에서 "생각"하는 것이 점차 선전원, 봇(Bot), 가짜 뉴스, 트롤(Troll), 음모론자, 해커들에 의해 게임화 및 조작되고 있기 때문이다. 검색 엔진에서 이 모든 조작된 정보를 정확하게 반영하면 결국 유리한 것은 조작자 뿐이다. 따라서 구글 같은 검색 엔진은 질문에 대한 단일화된 답변을 요구하는 사용자의 경향을 고려해 진실 또는 진실이라고 생각되는 것에 높은 검색 순위를 제공하는 형태로 바뀔 가능성이 크다. 이는 구글 어시스턴트(Google Assistant), 시리(Siri), 코타나(Cortana), 알렉사(Alexa) 등 검색 엔진 분야의 새로운 경쟁 구도에서 승리하기 위해서도 필요하다.

그렇다면 이러한 변화에 기업은 어떻게 대비해야 할까? 기업은 인터넷 상의 '존재감'에 대한 기존 전략(SEO, 마케팅, 소셜 미디어 전략 등)을 수정해야 한다. 앞으로 검색 엔진은 점차 인터넷 색인을 줄이고 "진실"과 "거짓"을 더 많이 판단하는 방향으로 나아갈 것이다. 따라서 자신의 기업에 대해 구글이 진실이라고 생각하도록 더 많은 노력을 기울여야 한다. ciokr@idg.co.kr 

2018.09.04

칼럼 | '색인과 진실 사이' 검색 엔진의 길을 묻는다

Mike Elgan | Computerworld
최근 트럼프 대통령은 구글이 자신에 대해 비판적인 기사와 언론사에 유리하게 구글 뉴스 검색 결과를 조작했다고 비난했다. 그 근거로 구글이 버락 오바마 대통령의 연두교서(State of the Union)는 홍보했지만 트럼프가 취임하자 이를 중단했다고 주장했다. 그는 이런 내용의 트위터 동영상에 '#StopTheBias'라는 해시태그를 붙였고, 조회 수는 460만 회를 넘어섰다.



이에 대해 구글 측은 오바마 또는 트럼프의 첫 '연두교서'를 자사 홈페이지에서 홍보한 적이 없다고 반박했다. 또한 트럼프의 2차 및 최근 연두교서를 홍보했다고도 덧붙였다. 웨이백 머신(Wayback Machine)이라는 사이트가 캡처한 소셜 미디어의 스크린샷과 페이지가 이를 뒷받침한다. 이 사건은 현재 악의적인 온라인 정치 논쟁으로 이어지고 있지만, 개인적으로 이 논쟁 자체는 그리 흥미롭지 않다. 반면 이로 인해 드러난 문제에 눈길이 간다.

검색 엔진이란 무엇인가
검색 엔진의 작동 방식은 크게 4가지로 나눌 수 있다. 먼저 인터넷 색인이다. 구글이 1996년 처음으로 검색 엔진을 출시했을 때는 검색 엔진의 정의가 명확했다. 인터넷 색인이었다. 구글의 핵심 기술은 각 결과의 상대적인 관련성 또는 중요성을 반영하는 방식으로 페이지에 순위를 매기는 것이었다. 결과와 순위는 실제 세계에 대한 색인이 아니라 인터넷 세계 만의 반영 또는 스냅샷이었다.

검색 엔진은 진실의 결정권자라고도 볼 수 있다. 이런 관점에서 구글 검색은 객관적으로 사실인 정보에 높은 우선순위를 부여하고 사실이 아닌 콘텐츠는 강조하지 않는다. 객관적인 정보원이기도 하다. 객관적인 소스 개념은 구글이 그 어떤 사상이나 소스도 차별하지 않고 논쟁을 초래할 문제와 모든 정보원의 모든 측면을 제공하려 시도한다는 점이다. 마지막으로 조작되고 개인화된 정보원이다. 개인화된 소스 개념은 검색 엔진이 각 사용자에게 진실에 상관없이 사용자가 원하는 것, 인터넷에서 발생하고 있는 일 또는 기타 요소에 기초해 다양한 결과를 제공하는 것을 의미한다.

이 모든 것이 꽤 추상적이기 때문에 명확한 예를 들어보자. 누군가 구글에서 지구의 모양을 찾기 위해 검색을 한다면 구글이 이 질문에 어떻게 접근해야 할까? 단, 여기서는 지구가 평평하다고 주장하는 사람이 지구가 구체라고 생각하는 사람보다 더 많은 링크를 생성했다고 가정하자. 이런 조건에서 보면, 검색 결과는 구글이 검색 엔진의 정의를 어떻게 생각하는지에 따라 달라진다.

검색 엔진이 인터넷 색인이라면 지구의 모양에 대한 검색 결과는 지구가 평평하다는 콘텐츠가 먼저 노출된다. 검색 엔진이 진실의 결정권자라면 검색 결과는 지구가 구체라는 아이디어에 유리해야 한다. 검색 엔진이 객관적인 정보원이라면 검색 결과는 지구가 평평하다는 이론과 구체라는 이론을 공정하게 반영하는 균형 잡힌 결과를 제공해야 한다. 마지막으로 검색 엔진이 조작되고 개인화된 정보원이라면 결과는 검색 주체의 성향에 따라 지구가 평평하거나 구체라는 생각 중 하나를 사용자에 따라 달리 보여준다.

여기서 지구의 모양을 사람들이 검색창에 입력하는 실제 단어로 바꿔보자. 예를 들어, 기업, 제품, 브랜드 또는 자신에 관한 검색 결과를 보면 검색 엔진의 정의에 대한 앞서 살펴본 혼란이 그대로 적용된다는 것을 알 수 있다. 현재 다니는 기업의 고객과 유망한 비즈니스 파트너 또는 미래의 유망한 직원 등을 검색했을 때 어떤 결과가 나와야 할까? "진실"일까? 아니면 거짓이지만 인기 있는 것이어야 할까? 그것도 아니면 둘 사이의 중립이 반영되어야 할까? 아니면 검색 주체에 따라 달라져야 할까?

진실은 구글이 구글 검색을 통해 이 4가지의 목적을 동시에 추구한다는 점이다. 게다가 검색 결과가 지속적으로 변경되는 알고리즘에 의해 관장되며 이것이 구글의 영업 비밀로 보호받고 있다는 점은 문제의 복잡성을 더한다. 아마도 많은 사람이 구글 검색이 1번 모델(인터넷 색인)을 따르며, 진실, 거짓 또는 사용자가 원하는 답변을 결정하지 않을 것으로 믿을 것이다. 하지만 세상은 점차 구글이 2번 모델(진실의 결정권자)을 포용하기를 요구하고 있다.

정부는 정확한 색인을 꺼린다
트럼프는 일반적으로 뉴스 미디어 기사가 자신에게 불리하도록 편향됐다고 반복해서 주장했다. 그것이 사실이고 구글 뉴스 검색이 미디어가 실제로 보도하는 것에 대한 수동적인 색인이었다면, 트럼프가 구글 뉴스 검색에서 반 트럼프 뉴스가 많을 것으로 예상하는 것이 합리적일까?

구글 뉴스 검색을 "조작"이라고 치부하는 트럼프는 구글 뉴스가 뉴스 미디어 웹사이트가 아니라 자신의 관점에서 보는 현실을 반영해야 한다는 기대감을 드러낸 것이다. 아니면 트럼프가 자신에게 불리하게 편향돼 있다고 생각하는 뉴스 소스에 유리한 활동의 가중치에도 불구하고 구글 뉴스 검색은 모든 의견과 소스에 대해 동등하게 균형 잡히고 중립적인 표현을 제공해야 한다고 생각하는 것일 수도 있다.

전 세계의 정부와 정치 리더들은 인터넷 색인 모델형 검색 엔진을 거부하는 경우가 많다. 대표적인 예가 EU와 아르헨티나에서 법률화된 '잊혀질 권리'이다. 인터넷의 정보는 한 사람에게 불공평한 오명을 씌울 수 있으며 시민은 해당 정보가 "잊혀져" 검색 엔진 결과에서 사라지도록 할 권리가 있다는 것이다.

예를 들어, 한 유명 인사가 파산을 신청했고 인터넷에서 100개의 뉴스 사이트와 블로그가 이 사실을 기록했다고 하자. 20년 후, 그 사람이 재정적 지불 능력을 회복하고 한참 후에도 이 오래된 정보가 여전히 제공되고 있어 검색 엔진에서 찾을 수 있다면 현재와 다른 오명이 발생하게 된다. 이때 잊혀질 권리 신청을 통해 검색 결과에서 이런 페이지 링크를 제거할 수 있다. 페이지는 여전히 존재하지만 검색 엔진은 누군가 그 사람의 이름을 검색할 때 이 링크를 제공하지 않는다. 잊혀질 권리 법안의 지지자들은 분명 검색 엔진이 맹목적인 인터넷 색인 모델이어서는 안되며 실제 세계를 있는 그대로 반영해야 한다고 생각한다.

중국의 사례도 있다. 구글은 최근 중국 정부가 요구하는 대로 중국 사이트와 같은 방식으로 인터넷 콘텐츠를 검열하는 중국 전용 검색 엔진으로 중국 시장에 다시 진출하려 하고 있다는 논란에 휩싸였다. 수백 명의 구글 직원이 시위 서명에 참여했다. 구글은 중국 시장으로 "돌아가고" 싶어한다. 그러나 중국 정부는 구글이 중국인이 접근할 수 있는 인터넷을 정확히 반영한 검색 엔진을 운영하는 것을 허용하지 않을 가능성이 크다. 이 외에도 많은 예가 있다. 많은 국가의 정계에서 검색 엔진의 정의에 대해 인터넷 색인 개념을 지지하는 사람을 찾기는 쉽지 않다.


색인형 검색 엔진 개념이 사라지는 이유
구글이 밝히는 검색 엔진의 목표는 "세상의 정보를 정리해 누구나 접근해 사용할 수 있게 하는 것"이다. 그렇다. 이 문장만으로는 어떤 검색 엔진을 추구하는 것인지 모호하다. 필자가 글을 쓰면서 직접 문의한 결과, 구글은 자사의 목표가 인터넷의 정보가 아니라 "세상"의 정보를 정리하는 것이라고 밝혔다. 사실, 크게 봤을 때 사람들이 인터넷에서 원하는 것은 "생각"하는 것에 관한 정보가 아니라 세상에 관한 정보다. 이를 얻기 위해 구글이나 다른 검색 엔진을 이용한다. 색인형 검색 개념과 거리를 두고 있는 것이다.

실제로도 그렇다. 인터넷 색인 모델의 중요성이 점점 줄어들고 있다. 인터넷에서 "생각"하는 것이 점차 선전원, 봇(Bot), 가짜 뉴스, 트롤(Troll), 음모론자, 해커들에 의해 게임화 및 조작되고 있기 때문이다. 검색 엔진에서 이 모든 조작된 정보를 정확하게 반영하면 결국 유리한 것은 조작자 뿐이다. 따라서 구글 같은 검색 엔진은 질문에 대한 단일화된 답변을 요구하는 사용자의 경향을 고려해 진실 또는 진실이라고 생각되는 것에 높은 검색 순위를 제공하는 형태로 바뀔 가능성이 크다. 이는 구글 어시스턴트(Google Assistant), 시리(Siri), 코타나(Cortana), 알렉사(Alexa) 등 검색 엔진 분야의 새로운 경쟁 구도에서 승리하기 위해서도 필요하다.

그렇다면 이러한 변화에 기업은 어떻게 대비해야 할까? 기업은 인터넷 상의 '존재감'에 대한 기존 전략(SEO, 마케팅, 소셜 미디어 전략 등)을 수정해야 한다. 앞으로 검색 엔진은 점차 인터넷 색인을 줄이고 "진실"과 "거짓"을 더 많이 판단하는 방향으로 나아갈 것이다. 따라서 자신의 기업에 대해 구글이 진실이라고 생각하도록 더 많은 노력을 기울여야 한다. ciokr@idg.co.kr 

X