전세계를 떠들썩하게 했던 국제탐사보도언론인협회의 파나마 페이퍼 취재에 빅데이터 분석과 클라우드 활용이 크게 기여한 것으로 알려졌다. 2.6테라바이트라는 방대한 양의 데이터를 어떻게 분석하고 정리했는지 국제탐사보도언론인협회의 데이터와 조사 담당 부서에서 일하는 마르 카브라에게 들어 봤다.
국제탐사보도언론인협회(ICIJ)의 마르 카브라. Credit: Antonio Delgado
파나마 페이퍼가 전세계를 떠들썩하게 만들었다. 조사 내용은 둘째치고, 기술적인 부분에도 관심이 쏠렸다. 데이터가 무려 2.6테라바이트에 달하기 때문이다. 문서로는 1,150만 건이다. 어마어마한 분량이다. 언론인들은 이 방대한 문서를 어떻게 정리하고 관리해서 분석했을까?
국제탐사보도언론인협회(ICIJ: International Consortium of Investigative Journalist)는 지난 몇 년간 세계적인 언론 탐사 보도를 위해 기술 인프라를 구축했다. ICIJ는 2013년 해외로의 조세 회피와 관련된 ‘오프쇼어 리크스(Offshore leaks)’, 2014년 룩셈부르크 부유세 법안과 관련된 ‘럭스 리크스(Lux Leaks)’, 2015년 스위스은행을 이용한 부정한 현금 예탁과 관련된 ‘스위스 리크스(Swiss Leaks)’ 등 기술 '풀뿌리(토대)'를 마련했고, 언론 보도에 데이터 분석을 이용하는 많은 경험을 축적했다. ICIJ의 데이터와 조사 담당 부서에서 근무하는 마르 카브라는 파나마 페이퍼의 기술적 당면과제에 대해 다른 누구보다 잘 알고 있다. <컴퓨터월드(Computerwoche (Germany))>는 며칠 전, 이 스페인 언론인과 대화를 나눌 기회를 가졌다.
컴퓨터월드(이하 CW) : 파나마 페이퍼는 역대 (단일)언론 탐사 보도 가운데 가장 많은 분량의 데이터에 바탕을 두고 있다. 이메일과 PDF 문서, 이미지, 데이터베이스 세트가 2.6 테라바이트에 달한다. 어떤 방법으로 데이터를 분석하고 검색할 수 있도록 만들었는가?
마르 카브라(이하 카브라): 해외에서 누설된 정보를 바탕으로 한 4번째 탐사 보도였다. 우리는 몇 년 동안 이런 조사를 시작할 때, 그 전에 시간을 들여 확보한 데이터를 이해해야 한다는 점을 배웠다. 그래서 데이터를 처리할 방법을 파악하기 위해 몇 달 동안 다양한 형태의 데이터를 이해했다. 앞서 조사에서 이용했던 플랫폼을 이용했지만, 이 정도의 데이터를 처리할 수 있도록 플랫폼을 개선했다.
문서 일체를 호스팅 할 플랫폼이 필요하다는 점을 가장 먼저 알았다. 안타깝게도 문서의 약 1/3이 PDF나 TIF 같은 이미지 파일이었다. 이에 광학 인식으로 텍스트를 처리할 복잡한 프로세스를 준비해야 했다. 그런 후, 전세계에서 문서를 검색할 수 있도록 문서를 색인 처리해 클라우드 플랫폼에 집어넣었다.
동시에 우리는 21개 사법권의 조세 회피처를 이용한 20여만 회사에 대한 정보가 들어있는 모색 폰세카(Mossack Fonseca) 내부 데이터베이스 자료를 확보하고 있었다. 이들 데이터를 가시화할 또 다른 도구가 필요했다. 우리는 데이터베이스를 Neo4j 로 옮기기로 했다. 그리고 손쉽게 그래프를 구현할 수 있고, 기업과 수혜자, 주주, 기타 관계자의 상관관계를 확인할 수 있는 소프트웨어인 Linkurio.us로 Neo4j 데이터베이스를 처리했다. 기자들은 이 두 플랫폼을 가장 많이 활용해 2.6테라바이트의 정보를 분석했다.
CW: 자동화할 수 있었던 작업, 수동으로 처리해야 했던 작업은 무엇인가?
카브라: 자동화한 작업이 없었다. 1,150만 파일에 담긴 2.6테라바이트의 정보를 처리하기 위해 많은 시간을 투자했다는 의미다. 사용했던 플랫폼을 개선하기 위해 많은 리소스를 투입했다. ICIJ는 취재에 도움을 주는 소프트웨어에 있어, 사용자가 아주 다양하다는 점을 염두에 둔다.
또 취재에는 능숙하지만, 기술에는 서툰 기자들이 있다. 반면 암호화와 컴퓨터에 관해 정말 많은 것을 알고 있는 기술 전문가급 기자들이 있다. 심지어 프로그램을 개발할 수 있는 기자들도 있다. 이런 사용자들의 필요 사항에 부합하는 도구를 도입해 활용해야 한다.
자료 검색 플랫폼은 구글처럼 검색 창으로 검색할 수 있고, 동시에 은행 계좌, ID, 비밀번호 등 정규 표현식과 패턴 검색에 있어 복잡한 쿼리를 처리할 수 있는 플랫폼이 필요했다. Linkurio.us와 Neo4j가 여기에 해당한다.
Linkurio.us는 그래프 데이터를 아주 손쉽게 가시화할 수 있다는 장점이 있다. 누구나 다룰 수 있다. 기술에 능숙하지 못한 기자들도 점들을 클릭하면, 연결되면서 상관관계를 파악할 수 있다. 직관적이어서 아주 유용하다. 그러나 고급 사용자가 Neo4j의 언어인 Cypher를 이용해 쿼리를 할 수 있도록 Linkurio.us와 Neo4j를 통합해야 했다. ‘2단계 이내에서 이 사람과 연결된 모든 사람들’, ‘20개 이상의 회사와 관계가 있는 모든 사람들’ 같은 검색을 처리할 수 있는 방식이다. 즉 두 부류의 언론인들을 지원할 수 있는 플랫폼을 구현하는 것이 아주 중요했다. 우리는 풀타임 프로그래머를 채용해 문서(자료) 플랫폼을 개선했고, 1년 동안 자료를 처리했다.
Surfshark
VPN (가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다. 동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다. 무료 VPN, 정말 괜찮을까? 무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다. 보안 우려 대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다. 속도와 대역폭 제한 무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다. 서비스 제한 무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다. 광고 및 추적 일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다. 제한된 기능 무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다. 유료 VPN의 필요성 최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다. 그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다. 보안 강화 해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다. 개인 정보 보호 인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다. 지역 제한 해제 해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다. 빠르고 안전한 유료 VPN, 서프샤크 VPN 뛰어난 보안 서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다. 다양한 서버 위치 서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다. 속도와 대역폭 서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다. 다양한 플랫폼 지원 서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다. 디바이스 무제한 연결 서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.