검색은 앞으로 어떻게 발전하며, 투명성 제한이 왜 필요하고, 음성 기반 검색이 어떤 영향을 끼칠까? 구글 글로벌 검색 담당 부사장이 내놓은 전망을 들어 보자.
“구글이 매일 소비자들에게 보여주는 공식 검색 결과는 궁극적으로 사회에서 해당 검색 대기업의 영향력과 역할에 대한 가장 투명한 점검 수단을 제공한다.” 이는 구글의 최고 검색 책임자가 한 말이다.
지난주 호주 시드니에서 열린 TwG(Think with Google) 행사에서 구글의 글로벌 검색 VP 판두 나약(사진)은 검색 기술의 미래와 인공지능(AI)의 역할에 대한 발표 세션에서 과도한 투명성에 대해 경고했다.
나약은 "검색 투명성이 과도하면 문제가 될 수 있다"고 경고했다. 그는 "알고리즘과 투명성을 과도하게 공개하면 스팸 전송자들에게만 도움이 될 뿐이다. 그들은 올바른 일을 하려는 고품질 웹사이트의 웹마스터들보다 더욱 효율이 높아질 것이다. 그리고 대부분 사용자가 피해를 받게 될 것이다"고 이야기했다.
이는 구글의 역사만 보아도 알 수 있다고 나약은 말했다. "검색 순위가 경제적인 가치를 나타나게 되면서 사람들이 시스템으로 게임을 하기 시작했다. 사용자를 위한 훌륭한 서비스와 콘텐츠를 구축하기보다는 사용자가 다른 것을 하도록 시스템을 만들기 시작했으며, 그중에는 악의적인 것도 있었다"고 그는 설명했다.
1999년 구글이 웹 페이지 내에서 링크의 중요성을 조작하는 페이지 순위 규칙에 대한 문서를 공개하자 발생한 일이 한 예다. 나약은 "링크를 속이는 스팸 전송자들도 존재한다"고 덧붙였다.
스팸 보호가 적용되지 않은 결과에 대한 구글의 연구에 따르면 웹 문서 중 40% 이상에 웹 전반에 걸친 인덱스 제공 스팸이 포함된 것으로 나타났다. 나약에 따르면, 이에 대응하는 자체 메커니즘으로 지난 3년 동안 글로벌 스팸 비율이 52%나 증가했다. 그렇지 않았다면 약 500억 명의 임프레션 스팸 전송자들이 검색을 통과했을 것이다.
그 방법이 공개되지는 않았지만 나약은 구글이 좋은 검색이란 무엇인지에 대해 투명하게 공개하는 방식의 예로써 160쪽 분량에 해당하는 품질 가이드라인를 들었다. 그는 AI와 기타 알고리즘이 자연어 검색을 개선하는 데 기여하면서 투명성의 균형은 여전히 허술하다고 지적했다.
사용자에 대한 투명성도 또 다른 중요한 요소다. 나약은 "이미 광고 등을 중심으로 투명성 영역이 제한되어 있다. 검색 자체는 무료다. 왜냐하면 우리가 검색 페이지에 광고를 표시하기 때문이다. 하지만 검색 결과는 무료가 아니며 우리는 분명 광고를 광고로 표시한다"고 예를 들어 설명하며 다음과 같이 말을 이었다.
"우리는 이를 사용자들에게 보여주는 다른 측면과 방법을 찾을 것이다. 투명성이 떨어지면 신뢰가 하락하기 때문에 투명성이야말로 사용자를 유지하는 유일한 수단이다."
이런 투명성의 결여로 구글이 과도하게 자의적으로 되는 것이 아니냐는 청중의 질문에 나약은 검색 결과 자체가 최고의 점검 수단이며 균형이라고 답했다. 그리고 다른 많은 기관과 마찬가지로 미디어와 소비자들 덕분에 구글의 진실성을 유지할 수 있다고 덧붙였다.
그는 "예를 들어, 2년 전 미 대선 이후 가디언지는 우리의 검색 결과에서 홀로코스트에 대한 잘못된 정보를 찾아냈다. 그들은 알고리즘이 아닌 누구에게나 공개된 검색 결과를 보았다. 대부분 사람이 생각하는 것과는 달리 검색 결과는 과도하게 개인화되지 않았기 때문에 우리는 모두 검색 소비자라는 공통점이 있다. 위치도 중요하지만 그 외에는 가볍게 개인화되어 있다"고 말했다.
"문제는 실제로 아무도 '뭐가 문제지?'라고 말하지 않도록 하는 것이다. 문제가 없다는 이야기가 아니다. 하지만 이런 문제는 검색 결과에 나타날 것이다. 누구든 분석할 수 있고 우리와 문제를 명확히 논의할 수 있다"고 나약은 이야기했다.
이어서 "검색 결과는 투명성을 제공하며 효과적이고 우리는 이를 통해 내부적으로 검색을 계속 개선한다"고 강조했다.
음성 기반 검색의 등장
나약의 프레젠테이션에서 제시된 또 다른 중요한 부분은 음성 기반 검색의 혁신적인 속성이었다. 여기에서도 AI와 딥러닝이 동력원이다.
음성 기술이 얼마나 발전했는지 보여주기 위해 나약은 구글의 음성 비서를 실시간으로 시연하면서 자연어 사투리로 호주와 뉴질랜드의 총리에 대해 질문했다. 이를 통해 음성 인식의 발전 수준뿐 아니라 맥락상 관련성의 개선을 엿볼 수 있었다.
나약은 "정보의 접근성을 높이는 것 자체가 놀랍다. 문자해독 능력이 서방 세계에 미치지 못하는 나라들이 많다. 음성 적용은 굉장한 정보의 민주화다"라고 강조했다. "문자해독 능력이 있는 곳에서도 음성 인터페이스가 더 자연스럽고 이해가 잘 되는 상황이 있다. 이런 경우 머신러닝의 발전이야말로 혁신이다"고 전했다.
하지만 아직도 할 일이 많으며 나약은 음성이 반드시 모든 맥락에 적합한 솔루션은 아니라고 밝혔다.
그는 "음성 검색이 전통적인 검색을 압도하려면 먼저 단일 답변에 집중하고 있는 오늘날의 음성 인터페이스부터 해결해야 한다. 이런 방식은 무엇인가에 대한 답변이 하나뿐일 때만 적합하다. 하지만 사람들은 답이 하나 이상인 많은 것들에 관해 질문한다. 이런 문제에 대해 하나의 답변만 제공할 수 있다고 생각하는 것은 순진한 생각이다. 사람들이 미묘한 차이를 확인할 수 있도록 우리가 확보할 수 있는 적절한 음성 인터페이스가 무엇인지 확인하기 위해 노력해야 한다"고 말했다.
나약은 "이 문제를 해결할 때까지는 음성 검색이 이런 상황으로 제한될 것이다"고 덧붙였다.
한편, 디지털 세계에 AI가 스며들면서 나약은 자신의 구글팀이 더 높은 정확성과 맥락 관련성을 제공하도록 언어 이해 능력을 높이는 데 집중하도록 했다.
이는 검색 사용자의 위치나 검색 대상에 상관없이 최고의 정보를 제공하기 위한 언어 간 번역에도 미친다. 지난 1년 동안 구글은 인도네시아어를 대상으로 이를 진행했으며, 나약은 기계 번역을 통해 진전을 보인다고 밝혔다.
나약은 "질문을 받아 영어로 번역하고 질문에 대한 높은 수준의 콘텐츠를 확보한 후 대상 언어로 잘 번역할 수 있다면 어떨까? 이런 높은 품질의 콘텐츠가 존재하지 않는 나라에서는 놀랍도록 유용할 것이다"고 말했다.
전체적으로 AI는 흥미로운 패턴을 발전시키고 발견하는 "매우 강력한 기법"을 제공하며 추가적인 혁신의 주요 동인이 되어가고 있다고 나약은 전했다.
이어서 "우리는 이를 통해 사용자들이 모르는 사이에 검색을 발전시키고 사용자는 더 나은 검색 결과를 얻을 수 있게 될 것이다"고 덧붙였다. ciokr@idg.co.kr