Offcanvas

검색|인터넷 / 빅데이터 | 애널리틱스

빅 데이터 시대의 오픈소스 검색 '뜬다'

2012.05.14
데이터의 규모가 폭발적으로 증가하면서 오픈소스 검색 애플리케이션이 기업 시장을 향해 전진하고 있다.
 
트위터, 페이스북, 국회 도서관 등 모든 기관들은 신속하게 색인 처리하고 검색해야 하는 구조화된 또는 비 구조화된 엄청난 양의 데이터를 보유하고 있다. 트위터의 경우, 매일 3억 개의 새로운 정보를 색인 처리해야 한다.
 
따라서 이런 기관들이 단순히 비용 절감을 위해서가 아니라 애플리케이션을 신속하게 수정할 수 있는 능력을 위해 길들여지지 않은 오픈소스 검색의 세계로 뛰어드는 것은 당연하다고 생각한다. 또한 오픈소스는 관련된 문제를 해결하는데 도움이 되는 활동적인 커뮤니티를 보유하고 있다.
 
그렇다면 다른 기업 사용자는 어떨까? 가트너에 따르면 현재 일반적인 기업에서 텍스트, 이메일, 블로그, 비디오 등 정보의 80% 정도가 비 구조화되어 있으며 그 비율이 증가하고 있다. 
 
이 모든 데이터는 잠재적으로 값을 갖고 있으며 현재 모든 웹 사이트는 최고의 인터넷 검색 엔진만큼 빨리 관련 데이터를 찾고 생성할 수 있는 것으로 생각된다. 
 
가트너 애널리스트 위트 앤드류스는 "사람들은 현재 컴퓨터로 하는 모든 것에서 검색 기술을 필요로 한다. 다들 검색 기능은 모든 것에 내재될 것이라고 생각한다"고 말했다. 
 
현재 대부분의 기관들은 일반적으로 SQL 쿼리나 구체적인 형태 또는 보고서에 기반한 극히 제한적인 검색 능력을 갖고 있다. 앤드류스는 "이런 패러다임은 곧 깨질 것이다. 왜냐하면 데이터의 양이 엄청나기 때문이며, 이런 정보는 상시적인 환경에서 매우 빠르게 생성되고 있다"고 설명했다.
 
오픈소스 검색, 빅 데이터 검색에서 필수 
거의 모든 기업들이 구조화되거나 구조화되지 않은 대규모의 데이터를 살펴보기 위해 오픈소스 검색 애플리케이션을 연구하기 시작했다.  
 
그 가운데 루센(Lucene)이라는 제품은 오픈소스 검색 플랫폼으로 미국 캘리포니아 산 마테오에 위치한 루시드 이매지네이션라는 업체가 개발한 것이다.
 
오픈소스 검색 애플리케이션에 대한 관심은 3년 전부터 시작됐다. 블랙 덕 소프트웨어 소속의 오픈소스 컨설팅 업체 올리언스 그룹 책임자 그레그 올슨은 "당시 루시드 이매지네이션이 오픈소스 소프트웨어를 위한 상용 지원 자원으로서 설립됐다"고 말했다. 
 
"이것은 루센과 같은 원천 기술을 중심으로 하는 서비스 또는 솔루션에 대한 수요가 발생하고 있다는 긍정적인 지표다."
 
앤드류스는 "루센은 검색 업계의 유력 업체"라며, "루센은 매우 발전된 검색 서비스 또는 제품을 필요로 하는 사람들에게 중요하다. 일반적인 사용자는 자체 애플리케이션 기술에 있어 막대한 규모를 필요로 하는 개발업체다. 이에 루센을 사용하기에 매우 적합하다. 엄청난 수의 자료를 검색할 수 있어야 한다. 루센이 사용되지 않을 경우는 인트라넷에서 검색 기능이 필요 없을 때 뿐"이라고 말했다. 
 
일부 다른 업체는 동일한 루센 오픈소스 기술에 기반한 가벼운 검색 툴을 제공하고 있다. 예를 들어 온라인 소매기업 잡포스닷컴은 루센 솔러(Solr)를 이용해 매월 6,300만 명의 고객으로부터 받는 요청을 처리한다. 
 
하지만 잡포스닷컴 검색 팀 책임자 아예 투는 "내부적으로 "웹 사이트에 중요하지 않은 시스템이나 성능에 제한이 없는 종류의 서비스를 위해 오픈소스 검색 엔진인 엘라스틱서치를 배치하고 있다"고 말했다. 
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.