2016.05.02

파나마 페이퍼 '빅데이터와 클라우드로 찾아냈다'

Simon Huelsboemer | Computerworld

전세계를 떠들썩하게 했던 국제탐사보도언론인협회의 파나마 페이퍼 취재에 빅데이터 분석과 클라우드 활용이 크게 기여한 것으로 알려졌다. 2.6테라바이트라는 방대한 양의 데이터를 어떻게 분석하고 정리했는지 국제탐사보도언론인협회의 데이터와 조사 담당 부서에서 일하는 마르 카브라에게 들어 봤다. 


국제탐사보도언론인협회(ICIJ)의 마르 카브라. Credit: Antonio Delgado

파나마 페이퍼가 전세계를 떠들썩하게 만들었다. 조사 내용은 둘째치고, 기술적인 부분에도 관심이 쏠렸다. 데이터가 무려 2.6테라바이트에 달하기 때문이다. 문서로는 1,150만 건이다. 어마어마한 분량이다. 언론인들은 이 방대한 문서를 어떻게 정리하고 관리해서 분석했을까?

국제탐사보도언론인협회(ICIJ: International Consortium of Investigative Journalist)는 지난 몇 년간 세계적인 언론 탐사 보도를 위해 기술 인프라를 구축했다. ICIJ는 2013년 해외로의 조세 회피와 관련된 ‘오프쇼어 리크스(Offshore leaks)’, 2014년 룩셈부르크 부유세 법안과 관련된 ‘럭스 리크스(Lux Leaks)’, 2015년 스위스은행을 이용한 부정한 현금 예탁과 관련된 ‘스위스 리크스(Swiss Leaks)’ 등 기술 '풀뿌리(토대)'를 마련했고, 언론 보도에 데이터 분석을 이용하는 많은 경험을 축적했다. ICIJ의 데이터와 조사 담당 부서에서 근무하는 마르 카브라는 파나마 페이퍼의 기술적 당면과제에 대해 다른 누구보다 잘 알고 있다. <컴퓨터월드(Computerwoche (Germany))>는 며칠 전, 이 스페인 언론인과 대화를 나눌 기회를 가졌다.

컴퓨터월드(이하 CW) : 파나마 페이퍼는 역대 (단일)언론 탐사 보도 가운데 가장 많은 분량의 데이터에 바탕을 두고 있다. 이메일과 PDF 문서, 이미지, 데이터베이스 세트가 2.6 테라바이트에 달한다. 어떤 방법으로 데이터를 분석하고 검색할 수 있도록 만들었는가?
마르 카브라(이하 카브라):
해외에서 누설된 정보를 바탕으로 한 4번째 탐사 보도였다. 우리는 몇 년 동안 이런 조사를 시작할 때, 그 전에 시간을 들여 확보한 데이터를 이해해야 한다는 점을 배웠다. 그래서 데이터를 처리할 방법을 파악하기 위해 몇 달 동안 다양한 형태의 데이터를 이해했다. 앞서 조사에서 이용했던 플랫폼을 이용했지만, 이 정도의 데이터를 처리할 수 있도록 플랫폼을 개선했다.

문서 일체를 호스팅 할 플랫폼이 필요하다는 점을 가장 먼저 알았다. 안타깝게도 문서의 약 1/3이 PDF나 TIF 같은 이미지 파일이었다. 이에 광학 인식으로 텍스트를 처리할 복잡한 프로세스를 준비해야 했다. 그런 후, 전세계에서 문서를 검색할 수 있도록 문서를 색인 처리해 클라우드 플랫폼에 집어넣었다.

동시에 우리는 21개 사법권의 조세 회피처를 이용한 20여만 회사에 대한 정보가 들어있는 모색 폰세카(Mossack Fonseca) 내부 데이터베이스 자료를 확보하고 있었다. 이들 데이터를 가시화할 또 다른 도구가 필요했다. 우리는 데이터베이스를 Neo4j 로 옮기기로 했다. 그리고 손쉽게 그래프를 구현할 수 있고, 기업과 수혜자, 주주, 기타 관계자의 상관관계를 확인할 수 있는 소프트웨어인 Linkurio.us로 Neo4j 데이터베이스를 처리했다. 기자들은 이 두 플랫폼을 가장 많이 활용해 2.6테라바이트의 정보를 분석했다.

CW: 자동화할 수 있었던 작업, 수동으로 처리해야 했던 작업은 무엇인가?
카브라:
자동화한 작업이 없었다. 1,150만 파일에 담긴 2.6테라바이트의 정보를 처리하기 위해 많은 시간을 투자했다는 의미다. 사용했던 플랫폼을 개선하기 위해 많은 리소스를 투입했다. ICIJ는 취재에 도움을 주는 소프트웨어에 있어, 사용자가 아주 다양하다는 점을 염두에 둔다.

또 취재에는 능숙하지만, 기술에는 서툰 기자들이 있다. 반면 암호화와 컴퓨터에 관해 정말 많은 것을 알고 있는 기술 전문가급 기자들이 있다. 심지어 프로그램을 개발할 수 있는 기자들도 있다. 이런 사용자들의 필요 사항에 부합하는 도구를 도입해 활용해야 한다.

자료 검색 플랫폼은 구글처럼 검색 창으로 검색할 수 있고, 동시에 은행 계좌, ID, 비밀번호 등 정규 표현식과 패턴 검색에 있어 복잡한 쿼리를 처리할 수 있는 플랫폼이 필요했다. Linkurio.us와 Neo4j가 여기에 해당한다.

Linkurio.us는 그래프 데이터를 아주 손쉽게 가시화할 수 있다는 장점이 있다. 누구나 다룰 수 있다. 기술에 능숙하지 못한 기자들도 점들을 클릭하면, 연결되면서 상관관계를 파악할 수 있다. 직관적이어서 아주 유용하다. 그러나 고급 사용자가 Neo4j의 언어인 Cypher를 이용해 쿼리를 할 수 있도록 Linkurio.us와 Neo4j를 통합해야 했다. ‘2단계 이내에서 이 사람과 연결된 모든 사람들’, ‘20개 이상의 회사와 관계가 있는 모든 사람들’ 같은 검색을 처리할 수 있는 방식이다. 즉 두 부류의 언론인들을 지원할 수 있는 플랫폼을 구현하는 것이 아주 중요했다. 우리는 풀타임 프로그래머를 채용해 문서(자료) 플랫폼을 개선했고, 1년 동안 자료를 처리했다.




2016.05.02

파나마 페이퍼 '빅데이터와 클라우드로 찾아냈다'

Simon Huelsboemer | Computerworld

전세계를 떠들썩하게 했던 국제탐사보도언론인협회의 파나마 페이퍼 취재에 빅데이터 분석과 클라우드 활용이 크게 기여한 것으로 알려졌다. 2.6테라바이트라는 방대한 양의 데이터를 어떻게 분석하고 정리했는지 국제탐사보도언론인협회의 데이터와 조사 담당 부서에서 일하는 마르 카브라에게 들어 봤다. 


국제탐사보도언론인협회(ICIJ)의 마르 카브라. Credit: Antonio Delgado

파나마 페이퍼가 전세계를 떠들썩하게 만들었다. 조사 내용은 둘째치고, 기술적인 부분에도 관심이 쏠렸다. 데이터가 무려 2.6테라바이트에 달하기 때문이다. 문서로는 1,150만 건이다. 어마어마한 분량이다. 언론인들은 이 방대한 문서를 어떻게 정리하고 관리해서 분석했을까?

국제탐사보도언론인협회(ICIJ: International Consortium of Investigative Journalist)는 지난 몇 년간 세계적인 언론 탐사 보도를 위해 기술 인프라를 구축했다. ICIJ는 2013년 해외로의 조세 회피와 관련된 ‘오프쇼어 리크스(Offshore leaks)’, 2014년 룩셈부르크 부유세 법안과 관련된 ‘럭스 리크스(Lux Leaks)’, 2015년 스위스은행을 이용한 부정한 현금 예탁과 관련된 ‘스위스 리크스(Swiss Leaks)’ 등 기술 '풀뿌리(토대)'를 마련했고, 언론 보도에 데이터 분석을 이용하는 많은 경험을 축적했다. ICIJ의 데이터와 조사 담당 부서에서 근무하는 마르 카브라는 파나마 페이퍼의 기술적 당면과제에 대해 다른 누구보다 잘 알고 있다. <컴퓨터월드(Computerwoche (Germany))>는 며칠 전, 이 스페인 언론인과 대화를 나눌 기회를 가졌다.

컴퓨터월드(이하 CW) : 파나마 페이퍼는 역대 (단일)언론 탐사 보도 가운데 가장 많은 분량의 데이터에 바탕을 두고 있다. 이메일과 PDF 문서, 이미지, 데이터베이스 세트가 2.6 테라바이트에 달한다. 어떤 방법으로 데이터를 분석하고 검색할 수 있도록 만들었는가?
마르 카브라(이하 카브라):
해외에서 누설된 정보를 바탕으로 한 4번째 탐사 보도였다. 우리는 몇 년 동안 이런 조사를 시작할 때, 그 전에 시간을 들여 확보한 데이터를 이해해야 한다는 점을 배웠다. 그래서 데이터를 처리할 방법을 파악하기 위해 몇 달 동안 다양한 형태의 데이터를 이해했다. 앞서 조사에서 이용했던 플랫폼을 이용했지만, 이 정도의 데이터를 처리할 수 있도록 플랫폼을 개선했다.

문서 일체를 호스팅 할 플랫폼이 필요하다는 점을 가장 먼저 알았다. 안타깝게도 문서의 약 1/3이 PDF나 TIF 같은 이미지 파일이었다. 이에 광학 인식으로 텍스트를 처리할 복잡한 프로세스를 준비해야 했다. 그런 후, 전세계에서 문서를 검색할 수 있도록 문서를 색인 처리해 클라우드 플랫폼에 집어넣었다.

동시에 우리는 21개 사법권의 조세 회피처를 이용한 20여만 회사에 대한 정보가 들어있는 모색 폰세카(Mossack Fonseca) 내부 데이터베이스 자료를 확보하고 있었다. 이들 데이터를 가시화할 또 다른 도구가 필요했다. 우리는 데이터베이스를 Neo4j 로 옮기기로 했다. 그리고 손쉽게 그래프를 구현할 수 있고, 기업과 수혜자, 주주, 기타 관계자의 상관관계를 확인할 수 있는 소프트웨어인 Linkurio.us로 Neo4j 데이터베이스를 처리했다. 기자들은 이 두 플랫폼을 가장 많이 활용해 2.6테라바이트의 정보를 분석했다.

CW: 자동화할 수 있었던 작업, 수동으로 처리해야 했던 작업은 무엇인가?
카브라:
자동화한 작업이 없었다. 1,150만 파일에 담긴 2.6테라바이트의 정보를 처리하기 위해 많은 시간을 투자했다는 의미다. 사용했던 플랫폼을 개선하기 위해 많은 리소스를 투입했다. ICIJ는 취재에 도움을 주는 소프트웨어에 있어, 사용자가 아주 다양하다는 점을 염두에 둔다.

또 취재에는 능숙하지만, 기술에는 서툰 기자들이 있다. 반면 암호화와 컴퓨터에 관해 정말 많은 것을 알고 있는 기술 전문가급 기자들이 있다. 심지어 프로그램을 개발할 수 있는 기자들도 있다. 이런 사용자들의 필요 사항에 부합하는 도구를 도입해 활용해야 한다.

자료 검색 플랫폼은 구글처럼 검색 창으로 검색할 수 있고, 동시에 은행 계좌, ID, 비밀번호 등 정규 표현식과 패턴 검색에 있어 복잡한 쿼리를 처리할 수 있는 플랫폼이 필요했다. Linkurio.us와 Neo4j가 여기에 해당한다.

Linkurio.us는 그래프 데이터를 아주 손쉽게 가시화할 수 있다는 장점이 있다. 누구나 다룰 수 있다. 기술에 능숙하지 못한 기자들도 점들을 클릭하면, 연결되면서 상관관계를 파악할 수 있다. 직관적이어서 아주 유용하다. 그러나 고급 사용자가 Neo4j의 언어인 Cypher를 이용해 쿼리를 할 수 있도록 Linkurio.us와 Neo4j를 통합해야 했다. ‘2단계 이내에서 이 사람과 연결된 모든 사람들’, ‘20개 이상의 회사와 관계가 있는 모든 사람들’ 같은 검색을 처리할 수 있는 방식이다. 즉 두 부류의 언론인들을 지원할 수 있는 플랫폼을 구현하는 것이 아주 중요했다. 우리는 풀타임 프로그래머를 채용해 문서(자료) 플랫폼을 개선했고, 1년 동안 자료를 처리했다.


X