Offcanvas

데이터센터 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 애플리케이션

데이터 분석을 빠르게··· 인메모리 기술 확산

2013.06.28 John Moore  |  CIO

“빠르다. 정신 못차리게 빠르다.”

SaaS 광고지원 플랫폼을 운용하는 애드저글러(AdJuggler)에 물어보라. 이 기업의 광고제공 사업은 항상 빠른 속도로 진행되는데, 실시간 입찰이 출현하면서 속도가 한 차원 업그레이드됐다.

실시간 입찰에서 퍼블리셔(Publisher)는 입찰을 요청하는 온라인 거래소에 광고를 전송한다. 사용자가 특정 웹 페이지에 도착하면 광고주들은 입찰을 열고 입찰이 가장 높은 광고가 해당 페이지에 위치하게 된다. 디지털 광고 판매는 빠르게 이뤄진다. 애드저글러의 기술담당 부사장 벤 린드퀴스트에 따르면 실시간 입찰에 참여하는 구매자는 주어진 광고에 대하여 입찰할 수 있는 시간이 1만분의 1초 밖에 되지 않는다.

이런 빠른 속도 때문에 애드저글러는 인메모리(In-Memory) 데이터 관리 제품인 테라코타(Terracotta)의 빅메모리(BigMemory)를 구매했다. 이 인메모리 기술은 애드저글러의 차세대 광고제공 플랫폼의 일환으로 이번 달 말에 제한적인 용도로 공개될 예정이다.
이번 도입을 통해 전통적으로 디스크에 저장된 데이터베이스가 메모리로 옮겨지게 되었다. 이런 접근방식은 메모리로부터 처리코어까지의 전송 속도가 디스크에 저장된 데이터를 찾는 속도보다 훨씬 빠르기 때문에 데이터베이스 쿼리(Query) 응답시간을 단축시킨다.

테라코타의 제품관리 부사장 마이크 앨런은 경험법칙상 메모리가 디스크보다 1,000배나 빠르다고 말했다. 애드저글러의 경우, 입찰 창구가 매우 협소하고 거래량은 많기 때문에 이런 속도 차이가 인메모리를 선택한 결정적 계기가 되었다.
린드퀴스느는 "입찰자들은 디스크 검색에 그런 많은 시간을 할애할 수 없다. 당연한 결과라 할 수 있다"라고 말했다.

데이터베이스 조율 문제 해소
광고를 웹 페이지 상에 초당 2만 건의 거래 클립으로 위치시키는 애드저글러의 현 플랫폼에는 mySQL 데이터베이스가 포함되어 있다. 이 데이터베이스는 다양한 웹 사이트의 광고 표시 등 고객의 광고에 대한 환경설정 데이터가 저장돼 있다.

린드퀴스크는 이 모든 환경설정 데이터가 디스크 기반의 mySQL 데이터 저장소에서 테라코타의 인메모리 기술로 이전될 것이라고 전했다. 또한 애드저글러는 수 테라바이트에 달하는 익명 청중(Audience) 데이터를 추가할 계획이다.

린드퀴스는 "우리의 시스템을 통해 광고가 될 수 있는 콘텐츠를 지나쳐 가는 모든 사용자에 대한 기록을 갖게 될 것이다"라며, 사용자 데이터가 수억 개에 달할 것이라고 덧붙였다.

애드저글러의 고객들이 자체적인 저작권이 있는 청중 데이터를 테라코타의 데이터 관리시스템에 저장할 수 있게 되기 때문에 데이터 저장량은 더욱 증가할 전망이다. 린드퀴스트는 처리량의 경우, 새로운 플래폼이 초당 최소 100만 건의 거래를 지원할 수 있을 것이라고 밝혔다.

그는 또 인메모리로 이행하면서 실시간 의사결정에 관계된 데이터베이스의 가능성이 확산될 것이라고 예상했다. 예전에는 데이터베이스가 지금 필요로 하는 수준의 성능을 내도록 하기 위해서 상당한 조율이 필요했다. 메모리를 설정하고 램(RAM)에서 데이터 캐시(Cache)를 별도로 취급해 성능을 향상시켜야 했다.

캐시를 사용하는 것이 디스크로 되돌아가는 것보다 빠르긴 하지만 캐시는 일반적으로 데이터베이스 저장된 데이터의 일부만을 나타낼 수 있다. 린드퀴스트는 mySQL의 성능이 적절한 시기에 메모리에 적절한 데이터를 확보하는 기술에 달려 있다고 설명했다.

린드퀴스트는 "우리는 전체를 메모리에 저장함으로써 고객들이 과거와는 달리 상당한 수준의 데이터베이스 조율에 대해 걱정할 필요가 없어야 한다고 생각했다"라고 설명했다. 애드저글러는 해당 기업의 빅메모리 데이터 관리 소프트웨어의 분산형 버전을 사용해 테라코타의 클러스터를 운용할 예정이다.

USPS, 인메모리로 부정사용을 더 확실하게 적발
한편, USPS(United States Postal Service) 또한 부정사용을 적발하고 메일 전송을 향상시키기 위해 유사한 결정을 내렸다. USPS는 실리콘 그래픽스 인터내셔널(Silicon Graphics International)의 하드웨어와 오라클(Oracle)의 타임즈텐(T인메모리esTen) 인메모리 데이터베이스 소프트웨어를 사용하고 있다. 이 기업은 데이터 부하의 병렬화를 향상시키기 위해 단일 이미지보다는 다수의 타임즈텐 인스턴스(Instance)를 사용하고 있다.

USPS는 향후 인메모리 기술로 이행하면 상당한 디스크관리 소프트웨어 간접비, 스토리지 구조 레이턴시(Latency), 디스크 스핀들 속도의 한계 등을 극복할 수 있다고 밝혔다.

"인메모리 데이터베이스의 주된 장점은 매우 신속한 실시간에 가까운 답변을 제공하면서 상당한 양의 데이터를 확인할 수 있다는 점이다"라고 USPS의 데이터관리 서비스 관리자 댄 휴스턴 Jr.과 USPS의 제품정보 전문가 스콧 앳킨스는 밝혔다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.