Offcanvas

How To / SNS / 데이터센터 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 애플리케이션

'1,700억 트윗 저장·인덱싱' 미 의회 도서관의 도전

2013.01.10 Brandon Butler  |  Network World

미 국회도서관이 자체적으로 수집한 1,700억 건의 트윗(tweet)을 포함해 총 133TB 규모의 파일을 인덱싱해 공개하는 계획을 진행 중이다.

도서관은 관련 작업 개요 보고서를 통해 프로젝트가 이미 상당 부분 진행된 상태이며 현재는 시장에서 이 빅 데이터를 관리할 툴을 모색하는 단계에서 어려움을 겪고 있다고 설명했다.

한 관계자는 “데이터에 대한 학문적 접근을 지원하는 기술은 데이터 창출 및 배포 기술만큼의 발전을 보여주지 못하고 있다. 민간 부문조차 이와 같은 작업의 복잡성과 방대한 요구 조건으로 인해 시장성 있는 솔루션을 발견하지 못하고 있다”라고 말했다.

민간 기업들조차 빅 데이터 관리에 어려움을 겪고 있는 오늘날의 상황에서, 예산에 쪼들리는 정부 투자 기관이(아무리 세계 최대의 도서관이라곤 하지만) 어떻게 실용적이고 효율적인, 그리고 손쉬운 접근이 가능한 인덱싱 시스템을 구축할 수 있을까?

국회도서관은 트위터와 그들 사이트에 업데이트 되는 모든 포스트에 대한 접근권을 가질 수 있도록 계약을 체결했다. 도서관 측은 소셜 미디어를 통해 오가는 데이터들이 출판물과 같은 가치의 인류 상호 작용 수단으로 부상했다며 시스템 구축이 지니는 의의를 설명했다.

도서관에 처음 전달된 데이터는 메타데이터(metadata) 형태의 트윗 210억 건 총 20TB 분량이었으며 트위터가 설립된 2006년에서 2010년까지 수집된 것들이다. 2010년 이후의 트윗 데이터 역시 최근 도서관 측에 전달되었다. 두 번에 걸쳐 트위터로부터 전달된 압축 파일의 총 규모는 133.2TB였다.

앞으로 도서관은 신규 트윗을 매 시간 수집할 계획인데, 이 작업에는 닙(Gnip)이 파트너사로 참여한다. 2011년 2월 기준으로 하루에 수집 되는 신규 트윗 수는 평균 1억 4,000만 건 수준이었으며 지난 해 8월에는 그 규모가 5억 건까지 증가했다.

이 데이터에 관한 연구자들의 반응 역시 뜨겁다. 도서관 측에 따르면 트윗 데이터 접근 요청 건수는 이미 400 건을 넘긴 상황이다. 트위터의 경우에는 사용자들에게 그들의 트위터 기록을 항목화하여 제공하는 방식으로 프로젝트를 진행하고 있다.

국회도서관의 빅 데이터 관리 사례는 이번이 처음이 아니다. 도서관은 2000년 이후 정부 데이터를 포함하는 웹사이트 아카이브를 수집하고 있으며 저장소는 이미 300TB 규모를 넘긴 상태다.

그러나 관계자에 따르면 트위터 아카이브 프로젝트에는 조금 다른 문제가 남아있다. 기존 프로젝트에 비해 정보의 검색 능력에 좀 더 신경 쓰고 있기 때문이다. 현재의 테입 저장소(tape repository) 형태에서는 (전체 용량의 1/8에 불과한) 2006~2010년의 데이터만을 검색하는데에도 최대 24시간이 소요되고 있다.

도서관 측은 “트위터 아카이브는 매우 큰 규모일 뿐 아니라 실시간으로 그 규모가 증대되고 있다. 그 속도는 실로 막대한 수준이다. 오리지널 트윗과 트위터 소프트웨어를 통한 리트윗, 수동 리트윗, 이미지나 링크를 포함한 트윗 등 트윗 형태를 분류하는 것도 역시 복잡한 작업이다”라고 설명했다.

문제의 해결책은 쉽사리 나타나지 않았다. 도서관이 가장 먼저 고려한 방식은 분산 컴퓨팅과 병렬 컴퓨팅이었지만 둘 모두 비용적 부담이 너무 컸다.

도서관 측은 “검색 시간 단축을 위해서는 최소 수백 대의 서버로 구성된 집중적인 인프라스트럭처가 필요했다. 그러나 그 비용은 우리와 같은 공공 기관이 감당하기엔 너무 부담스러운 것이었다”라고 말했다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.