Offcanvas

BI / How To / 검색|인터넷 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 애플리케이션 / 클라우드

파나마 페이퍼 '빅데이터와 클라우드로 찾아냈다'

2016.05.02 Simon Huelsboemer   |  Computerworld


CW: 가장 큰 어려움은 무엇이었나?
카브라:
데이터 처리다. 우리는 기본적으로 문서를 가져와, 머신이 텍스트를 체계화할 수 있는지 조사하는 아주 복잡한 '사슬'을 구현해야 했다. 이것이 불가능할 경우, 문서를 OCR로 인식시킨 후, 인덱스로 보낸다. 우리는 클라우드의 30~40개 머신을 이용한 병렬 프로세싱으로 이를 처리했다. 문서 대기행렬(queue)이 하나만 있었더라도, 아주 많은 시간이 걸렸을 것이다.

CW: 플랫폼을 개선했다고 언급했다. 어떤 방법으로 개선했나?
카브라:
많은 문서가 다양한 형식(Format)을 띠기 때문에 ICIJ에는 특별한 중요성이 있었던 부분이다. 예를 들어, 일부 언론인들은 국가 이름 리스트를 집어넣을 경우 문서에서 이와 관련된 리스트를 추출하는 기능을 원했다. 이에 '배치 검색(Batch searching)' 기능을 개발했다. 이름이 든 스프레드시트를 집어넣으면, 몇 분 뒤 리스트를 제공하는 기능이다. 우리는 과거 조사에서는 필요 없었던 기능을 도입해 도구를 개선했다.

CW: ICIJ에서 파나파 페이퍼스의 기술적인 부분을 담당한 사람은 몇 명인가?
카브라:
언론인과 프로그래머 12명으로 구성된 작은 팀이다. 6명이 내가 책임진 데이터 및 조사 부서 소속이다. 모두 데이터 처리 업무를 책임진다. 그러나 기술적인 문제들을 전담하는 3명의 프로그래머가 있다. 프로그래머 1명은 자료의 비정형 데이터, 다른 1명은 정형 데이터, Linkurio.us, Neo5j, 데이터 분석에 초점을 맞췄다.

CW: 기술적인 관점에서 파나마 페이퍼의 다음 목표는 무엇인가?
카브라:
기사에서는 아주 큰 성과를 일궈냈다. 50개 국가의 정치인 수백 명 등 공인들의 이름을 폭로했다. 5월 초에는 모색 폰세카에 포함되지 않은 조세 회피처를 이용한 20여 만 회사의 이름을 공개할 예정이다. 우리는 이를 클라우드에 집어넣을 계획이다. 누구나 우리 웹사이트에서 이용할 수 있도록 지원하기 위해서다. 이미 ICIJ.org에서 수만 오프쇼어(해외) 회사들의 이름을 확인할 수 있는 오프쇼어 리크스(Offshore leaks)를 운영하고 있다. 여기에 파나마 페이퍼 데이터를 추가할 계획이다.

즉 5월 초에는 웹사이트에 기자, 일반 시민, 법 집행 기관, 세무 당국 등 누구나 이들 회사와 관계자를 검색할 수 있는 검색 엔진이 구현된다. 또 Neo4j와 Linkurios.us라는 백엔드 툴로 시각화를 지원할 예정이다. 수많은 사람들이 데이터베이스를 이용할 수 있다는 점에서 아주 큰 성과가 될 전망이다.

CW: 그렇게 생각하는 이유는 무엇인가
카브라:
ICIJ가 그 동안 구현한 모든 것들 중 가장 성공적인 산물은 오프쇼어 리크스 데이터베이스다. (파나마 페이퍼 이전에) 웹사이트에서 가장 많이 이용하는 기능이 오프쇼어 리크스 데이터베이스다. 이 데이터베이스로 더 큰 성과를 일궈낼 수 있다고 확신한다. 오프쇼어 데이터에 관심을 갖는 사람들이 증가하고 있기 때문이다. 이 사람들이 데이터베이스를 많이 사용할 것이다. 예를 들어, 2013년 6월 오프쇼어 리크스 데이터를 공개했을 때, 세무 당국들이 이를 이용했었다. 한국 정부는 우리가 공개한 데이터를 이용해 미납 세금 수백만 달러를 징수할 수 있었다. 나는 많은 사람들이 이에 관심을 갖게 될 것으로 예상한다. ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.